তার বইয়ে কেন বই, Judea Pearl তাদের বুদ্ধিমত্তা বাড়ানোর জন্য মেশিনে কারণ এবং প্রভাব নীতি শেখানোর পক্ষে। গভীর শিক্ষার কৃতিত্বগুলি মূলত এক ধরণের বক্ররেখা ফিটিং, যেখানে কার্যকারণটি সরাসরি অনুমান পরীক্ষা না করে বিভিন্ন সীমাবদ্ধতার অধীনে বিশ্বের সিস্টেমের মধ্যে মিথস্ক্রিয়া উন্মোচন করতে ব্যবহার করা যেতে পারে। এটি এমন উত্তর প্রদান করতে পারে যা আমাদের AGI (কৃত্রিম সাধারণ বুদ্ধিমত্তা) তে নিয়ে যায়।
এই সমাধানটি কার্যকারণ নির্ভরতাকে প্রতিনিধিত্ব করতে বায়েসিয়ান নেটওয়ার্কগুলি ব্যবহার করে একটি কার্যকারণ অনুমান কাঠামোর প্রস্তাব করে এবং অনুকরণ করা আবহাওয়া এবং মাটির অবস্থার আকারে পর্যবেক্ষণকৃত উপগ্রহ চিত্র এবং পরীক্ষামূলক ট্রায়াল ডেটার উপর ভিত্তি করে কার্যকারণ উপসংহার আঁকতে পারে। দ্য কেস স্টাডি নাইট্রোজেন-ভিত্তিক সার প্রয়োগ এবং ভুট্টার ফলনের মধ্যে কার্যকারণ সম্পর্ক।
স্যাটেলাইট চিত্রগুলি উদ্দেশ্য-নির্মিত ব্যবহার করে প্রক্রিয়া করা হয় আমাজন সেজমেকার ভূ-স্থানিক ক্ষমতা এবং কাস্টম-বিল্ট দিয়ে সমৃদ্ধ আমাজন সেজমেকার প্রসেসিং অপারেশন কার্যকারণ অনুমান ইঞ্জিন সঙ্গে স্থাপন করা হয় অ্যামাজন সেজমেকার অ্যাসিঙ্ক্রোনাস ইনফারেন্স.
এই পোস্টে, আমরা ব্যবহার করে এই কাউন্টারফ্যাকচুয়াল বিশ্লেষণ কীভাবে তৈরি করতে হয় তা প্রদর্শন করি আমাজন সেজমেকার জাম্পস্টার্ট সমাধান.
সমাধান ওভারভিউ
নিম্নোক্ত চিত্রটি শেষ থেকে শেষ কর্মপ্রবাহের জন্য আর্কিটেকচার দেখায়।
পূর্বশর্ত
আপনি একটি প্রয়োজন এডাব্লুএস অ্যাকাউন্ট এই সমাধান ব্যবহার করতে।
এই জাম্পস্টার্ট 1P সলিউশনটি চালাতে এবং আপনার AWS অ্যাকাউন্টে পরিকাঠামো স্থাপন করতে, আপনাকে একটি সক্রিয় তৈরি করতে হবে অ্যামাজন সেজমেকার স্টুডিও উদাহরণ (পড়ুন Amazon SageMaker ডোমেনে অনবোর্ড) আপনার স্টুডিওর উদাহরণ প্রস্তুত হলে, নির্দেশাবলী অনুসরণ করুন সেজমেকার জাম্পস্টার্ট ফসল ফলন কাউন্টারফ্যাকচুয়াল সমাধান চালু করতে.
মনে রাখবেন যে এই সমাধানটি বর্তমানে শুধুমাত্র মার্কিন পশ্চিম (ওরেগন) অঞ্চলে উপলব্ধ।
কার্যকারণ অনুমান
কার্যকারণ হল পরিবর্তন বোঝার বিষয়ে, কিন্তু পরিসংখ্যান এবং মেশিন লার্নিং (ML) এ কীভাবে এটিকে আনুষ্ঠানিক করা যায় তা একটি তুচ্ছ অনুশীলন নয়।
এই ফসল ফলন গবেষণায়, নাইট্রোজেন সার হিসাবে যোগ করা হয়েছে এবং ফলনের ফলাফল বিভ্রান্ত হতে পারে। একইভাবে, সার হিসাবে যোগ করা নাইট্রোজেন এবং নাইট্রোজেন লিচিং ফলাফলগুলিও বিভ্রান্ত হতে পারে, এই অর্থে যে একটি সাধারণ কারণ তাদের সংযোগ ব্যাখ্যা করতে পারে। যাইহোক, সমিতি কার্যকারণ নয়। যদি আমরা জানি যে কোন পর্যবেক্ষিত কারণগুলি সমিতিকে বিভ্রান্ত করে, আমরা তাদের জন্য দায়ী, কিন্তু যদি বিভ্রান্তির জন্য দায়ী অন্যান্য লুকানো ভেরিয়েবল থাকে তবে কী হবে? সারের পরিমাণ হ্রাস করা অগত্যা অবশিষ্ট নাইট্রোজেন হ্রাস করবে না; একইভাবে, এটি ফলনকে ব্যাপকভাবে হ্রাস নাও করতে পারে, যেখানে মাটি এবং জলবায়ু পরিস্থিতি এমন পর্যবেক্ষিত কারণ হতে পারে যা সমিতিকে বিভ্রান্ত করে। বিভ্রান্তিকর কীভাবে পরিচালনা করা যায় তা হল কার্যকারণ অনুমানের কেন্দ্রীয় সমস্যা। আরএ ফিশার দ্বারা প্রবর্তিত একটি কৌশল বলা হয় এলোমেলোভাবে নিয়ন্ত্রিত ট্রায়াল সম্ভাব্য বিভ্রান্তি ভাঙ্গার লক্ষ্য।
যাইহোক, র্যান্ডমাইজড কন্ট্রোল ট্রায়ালের অনুপস্থিতিতে, পর্যবেক্ষণমূলক ডেটা থেকে বিশুদ্ধভাবে কার্যকারণ অনুমানের প্রয়োজন রয়েছে। কার্যকারণমূলক প্রশ্নগুলিকে পর্যবেক্ষণমূলক অধ্যয়নের ডেটার সাথে সংযোগ করার উপায় রয়েছে যা আমরা কীভাবে ঘটতে পারি তার উপর কার্যকারণ গ্রাফিকাল মডেল লিখে। শর্তযুক্ত অজ্ঞতার জন্য গ্রাফিকাল মানদণ্ডকে সন্তুষ্ট করার সময় সংশ্লিষ্ট ট্রাভার্সগুলি সংশ্লিষ্ট নির্ভরতাগুলিকে ক্যাপচার করবে দাবি করা জড়িত (কারণগত অনুমানের উপর ভিত্তি করে আমরা কার্যকারণকে কতটা অ্যাসোসিয়েশন হিসাবে বিবেচনা করতে পারি)। আমরা গঠনটি অনুমান করার পরে, আমরা পর্যবেক্ষণমূলক ডেটা থেকে শিখতে এবং র্যান্ডমাইজড কন্ট্রোল ট্রায়াল ছাড়াই কার্যকারণ দাবি অনুমান করে কার্যকারণ প্রশ্নে প্লাগ ইন করার জন্য অন্তর্নিহিত পরিবর্তনগুলি ব্যবহার করতে পারি।
এই সমাধানটি সিমুলেটেড র্যান্ডমাইজড কন্ট্রোল ট্রায়াল (RCTs) এবং উপগ্রহ চিত্র থেকে পর্যবেক্ষণমূলক ডেটা উভয়ই ব্যবহার করে। ইলিনয় (মার্কিন যুক্তরাষ্ট্র) হাজার হাজার ক্ষেত্র এবং একাধিক বছর ধরে পরিচালিত সিমুলেশনের একটি সিরিজ এই অঞ্চলে দেখা আবহাওয়া এবং মাটির বৈচিত্র্যের বিস্তৃত সংমিশ্রণের জন্য নাইট্রোজেনের হার বৃদ্ধির জন্য ভুট্টার প্রতিক্রিয়া অধ্যয়ন করতে ব্যবহৃত হয়। এটি বিভিন্ন কৃষি পরিস্থিতি এবং ভৌগোলিক শস্যের সিমুলেশন ব্যবহার করে অন্বেষণ করতে পারে এমন মৃত্তিকা এবং বছরের সংখ্যায় সীমিত ট্রায়াল ডেটা ব্যবহারের সীমাবদ্ধতাকে সম্বোধন করে। এই অঞ্চলে 400 টিরও বেশি ট্রায়াল থেকে ডেটা ব্যবহার করে ডেটাবেসটি ক্রমাঙ্কিত এবং যাচাই করা হয়েছিল। মাটিতে প্রাথমিক নাইট্রোজেনের ঘনত্ব যুক্তিসঙ্গত পরিসরের মধ্যে এলোমেলোভাবে সেট করা হয়েছিল।
অতিরিক্তভাবে, উপগ্রহ চিত্র থেকে পর্যবেক্ষণের সাহায্যে ডাটাবেস উন্নত করা হয়, যেখানে অঞ্চলগত পরিসংখ্যানগুলি বর্ণালী সূচকগুলি থেকে উদ্ভূত হয় যাতে উদ্ভিদের স্থানিক-অস্থায়ী পরিবর্তনগুলিকে উপস্থাপন করা হয়, যা ভৌগলিক এবং ফেনোলজিকাল পর্যায়গুলিতে দেখা যায়।
Bayesian নেটওয়ার্কের সাথে কার্যকারণ অনুমান
কাঠামোগত কার্যকারণ মডেল (SCMs) ডেটা-চালিত এবং মানব ইনপুট উভয়ই অন্তর্ভুক্ত করে কার্যকারণ নির্ভরতা উপস্থাপন করতে গ্রাফিকাল মডেল ব্যবহার করে। বায়েসিয়ান নেটওয়ার্ক নামক একটি বিশেষ ধরনের গঠন কার্যকারণ মডেলকে নোড হিসাবে ভেরিয়েবল এবং প্রান্ত হিসাবে ভেরিয়েবলের মধ্যে সম্পর্ক উপস্থাপন করে সম্ভাব্য অভিব্যক্তি ব্যবহার করে ক্রপ ফেনোলজি গতিবিদ্যার মডেল করার প্রস্তাব করা হয়েছে। নোডগুলি হল ফসলের বৃদ্ধি, মাটি এবং আবহাওয়ার অবস্থার সূচক এবং তাদের মধ্যকার প্রান্তগুলি স্থানিক-অস্থায়ী কার্যকারণ সম্পর্কের প্রতিনিধিত্ব করে। প্যারেন্ট নোডগুলি হল ক্ষেত্র-সম্পর্কিত প্যারামিটার (বপনের দিন এবং রোপণের দিন সহ), এবং চাইল্ড নোডগুলি হল ফলন, নাইট্রোজেন গ্রহণ এবং নাইট্রোজেন লিচিং মেট্রিক্স৷
আরও তথ্যের জন্য, দেখুন ডাটাবেস চরিত্রায়ন এবং কৌশল ভুট্টা বৃদ্ধির পর্যায় সনাক্ত করার জন্য।
একটি Bayesian নেটওয়ার্ক মডেল তৈরি করতে কয়েকটি ধাপ প্রয়োজন (সহ CausalNex) এর আগে আমরা এটিকে কাউন্টারফ্যাকচুয়াল এবং ইন্টারভেনশনাল বিশ্লেষণের জন্য ব্যবহার করতে পারি। কার্যকারণ মডেলের গঠন প্রাথমিকভাবে ডেটা থেকে শেখা হয়, যেখানে বিষয়বস্তুর দক্ষতা (বিশ্বস্ত সাহিত্য বা অভিজ্ঞতামূলক বিশ্বাস) র্যান্ডম ভেরিয়েবল এবং ইন্টারভেনশন ভেরিয়েবলের মধ্যে অতিরিক্ত নির্ভরতা এবং স্বতন্ত্রতা নির্ধারণ করতে ব্যবহৃত হয়, পাশাপাশি গঠনটি কার্যকারণ বলে দাবি করা হয়।
ব্যবহার অশ্রু নেই, কাঠামো শেখার জন্য একটি অবিচ্ছিন্ন অপ্টিমাইজেশান অ্যালগরিদম, ভেরিয়েবলের মধ্যে শর্তসাপেক্ষ নির্ভরতা বর্ণনা করে গ্রাফ কাঠামোটি ডেটা থেকে শেখা হয়, প্রান্ত, প্যারেন্ট নোড এবং চাইল্ড নোডের উপর আরোপিত সীমাবদ্ধতার একটি সেট যা কার্যকারণ মডেলে অনুমোদিত নয়। এটি ভেরিয়েবলের মধ্যে সাময়িক নির্ভরতা সংরক্ষণ করে। নিম্নলিখিত কোড দেখুন:
"""
tabu_edges: Imposing edges that are not allowed in the causal model
tabu_parents: Imposing parent nodes that are not allowed in the causal model
tabu_child: Imposing child nodes that are not allowed in the causal model """
from causalnex.structure.notears import from_pandas g_learned = from_pandas( X, tabu_edges=tabu_edges, tabu_parent_nodes=tabu_parents, tabu_child_nodes=tabu_child, max_iter=100,
)
পরের ধাপটি মডেলে ডোমেন জ্ঞানকে এনকোড করে এবং ফেনোলজির গতিবিদ্যাকে ক্যাপচার করে, যখন মিথ্যা সম্পর্ক এড়িয়ে যায়। মাল্টিকোলিনিয়ারিটি অ্যানালাইসিস, ভ্যারিয়েশন ইনফ্লেশন ফ্যাক্টর অ্যানালাইসিস এবং গ্লোবাল ফিচার গুরুত্ব ব্যবহার করে SHAP জলের চাপের ভেরিয়েবলের অন্তর্দৃষ্টি এবং সীমাবদ্ধতাগুলি (বিস্তৃতি, ফিনলজি, এবং ফুল ফোটার চারপাশে সালোকসংশ্লেষণ), আবহাওয়া এবং মাটির ভেরিয়েবল, বর্ণালী সূচক এবং নাইট্রোজেন-ভিত্তিক সূচকগুলি বের করার জন্য বিশ্লেষণ করা হয়:
"""
edges: Modifying the structure by imposing constraints on edges """
from causalnex.structure import StructureModel g = StructureModel()
g.add_edges_from( edges, origin="expert" )
CausalNex-এ Bayesian নেটওয়ার্ক শুধুমাত্র বিচ্ছিন্ন ডিস্ট্রিবিউশন সমর্থন করে। যে কোনো ক্রমাগত বৈশিষ্ট্য, বা বৃহৎ সংখ্যক শ্রেণীবিভাগ সহ বৈশিষ্ট্যগুলিকে বেয়েসিয়ান নেটওয়ার্ক ফিট করার আগে বিচ্ছিন্ন করা হয়:
from causalnex.discretiser.discretiser_strategy import ( DecisionTreeSupervisedDiscretiserMethod, MDLPSupervisedDiscretiserMethod
) discretiser = DecisionTreeSupervisedDiscretiserMethod( mode="single", tree_params={"max_depth": 2, "random_state": 2022},
)
discretiser.fit( feat_names=features, dataframe=df, target_continuous=True, target=target,
)
কাঠামো পর্যালোচনা করার পরে, প্রতিটি ভেরিয়েবলের শর্তসাপেক্ষ সম্ভাব্যতা বন্টন তার পিতামাতাকে দেওয়া একটি ধাপে ডেটা থেকে শেখা যেতে পারে সম্ভাবনা অনুমান:
from causalnex.network import BayesianNetwork bn = BayesianNetwork(g)
bn = bn.fit_node_states(discretised_data)
bn = bn.fit_cpds( train, method="BayesianEstimator", bayes_prior="K2",
)
অবশেষে, কাঠামো এবং সম্ভাবনাগুলি একটি নির্ধারক অনুসরণ করে ফ্লাইতে পর্যবেক্ষণমূলক অনুমান সম্পাদন করতে ব্যবহৃত হয় জংশন ট্রি অ্যালগরিদম (JTA), এবং ব্যবহার করে হস্তক্ষেপ করা ডু-ক্যালকুলাস. সেজমেকার অ্যাসিঙ্ক্রোনাস ইনফারেন্স ইনকামিং অনুরোধ সারিবদ্ধ করার অনুমতি দেয় এবং অসিঙ্ক্রোনাসভাবে সেগুলি প্রক্রিয়া করে। এই বিকল্পটি পর্যবেক্ষণমূলক এবং কাউন্টারফ্যাকচুয়াল ইনফারেন্স উভয় পরিস্থিতির জন্যই আদর্শ, যেখানে প্রক্রিয়াটিকে সমান্তরাল করা যায় না, যার ফলে পুরো নেটওয়ার্ক জুড়ে সম্ভাব্যতা আপডেট করতে উল্লেখযোগ্য সময় লাগে, যদিও একাধিক প্রশ্ন সমান্তরালভাবে চালানো যেতে পারে। নিম্নলিখিত কোড দেখুন:
"""
Query the marginal likelihood of states in the graph given some observations. These observations can be made anywhere in the network, and their impact will be propagated through to the node of interest. """
from causalnex.inference import InferenceEngine ie = InferenceEngine(bn) pseudo_observation = [{"day_sow":0}, {"day_sow":1}, {"day_sow":2}]
marginals_multi = ie.query( pseudo_observation, parallel=True, num_cores=multiprocessing.cpu_count(),
)
# distribution before intervention
marginals_before = ie.query()["Y_corn"] # updating a node distribution
ie.do_intervention("N_fert", 0) # effect of do on marginals
marginals_after = ie.query()["Y_corn"] # Resetting the node distribution
ie.reset_do("N_fert")
আরো বিস্তারিত জানার জন্য, দেখুন অনুমান লিপি.
কার্যকারণ মডেল নোটবই পূর্ববর্তী ধাপগুলি চালানোর জন্য একটি ধাপে ধাপে নির্দেশিকা।
ভূ-স্থানিক ডেটা প্রসেসিং
পৃথিবী পর্যবেক্ষণ কাজ (EOJs) স্যাটেলাইট ইমেজ অর্জন এবং রূপান্তর করার জন্য একত্রে শৃঙ্খলিত হয়, যেখানে উদ্দেশ্য-নির্মিত অপারেশন এবং প্রাক-প্রশিক্ষিত মডেলগুলি ক্লাউড অপসারণ, মোজাইকিং, ব্যান্ড ম্যাথ অপারেশন এবং পুনরায় নমুনা তৈরির জন্য ব্যবহৃত হয়। এই বিভাগে, আমরা ভূ-স্থানিক প্রক্রিয়াকরণের ধাপগুলি আরও বিশদে আলোচনা করি।
আগ্রহের ক্ষেত্র
নীচের চিত্রে, সবুজ বহুভুজ হল নির্বাচিত কাউন্টি, কমলা গ্রিড হল ডাটাবেস মানচিত্র (10 x 10 কিমি কোষের একটি গ্রিড যেখানে অঞ্চলে ট্রায়াল পরিচালিত হয়), এবং গ্রেস্কেল বর্গক্ষেত্রের গ্রিড হল 100 কিমি x 100 কিমি সেন্টিনেল-2 UTM টাইলিং গ্রিড।
স্থানিক ফাইলগুলি অনুরূপ উপগ্রহ চিত্রের সাথে সিমুলেটেড ডাটাবেস ম্যাপ করতে ব্যবহৃত হয়, 10 কিমি x 10 কিমি কোষের বহুভুজকে ওভারলে করে যা ইলিনয় রাজ্যকে বিভক্ত করে (যেখানে ট্রায়ালগুলি অঞ্চলে পরিচালিত হয়), কাউন্টি বহুভুজ এবং 100 কিমি x 100 কিমি সেন্টিনেল- 2টি UTM টাইলস। ভূ-স্থানিক ডেটা প্রসেসিং পাইপলাইন অপ্টিমাইজ করার জন্য, কয়েকটি কাছাকাছি সেন্টিনেল-2 টাইলস প্রথমে নির্বাচন করা হয়েছে। এরপরে, আগ্রহের অঞ্চল (RoI) পাওয়ার জন্য টাইলস এবং কক্ষগুলির সমষ্টিগত জ্যামিতিগুলিকে ওভারলে করা হয়৷ যে কাউন্টি এবং সেল আইডিগুলি সম্পূর্ণরূপে RoI-এর মধ্যে পরিলক্ষিত হয় সেগুলিকে EOJ-এ পাস করা বহুভুজ জ্যামিতি গঠনের জন্য নির্বাচন করা হয়।
সময় পরিসীমা
এই অনুশীলনের জন্য, ভুট্টা ফেনোলজি চক্রকে তিনটি পর্যায়ে বিভক্ত করা হয়েছে: উদ্ভিজ্জ পর্যায় v5 থেকে R1 (উত্থান, পাতার কলার এবং টেসেলিং), প্রজনন পর্যায় R1 থেকে R4 (সিলিং, ফোস্কা, দুধ এবং ময়দা) এবং প্রজনন পর্যায়। R5 (ডেন্টেড) এবং R6 (শারীরিক পরিপক্কতা)। পরপর স্যাটেলাইট পরিদর্শন প্রতিটি ফেনোলজি পর্যায়ের জন্য 2 সপ্তাহের সময়সীমার মধ্যে অর্জিত হয় এবং আগ্রহের একটি পূর্বনির্ধারিত এলাকা (নির্বাচিত কাউন্টি), স্যাটেলাইট চিত্রের স্থানিক এবং অস্থায়ী বিশ্লেষণ সক্ষম করে। নিম্নলিখিত চিত্র এই মেট্রিক্স চিত্রিত.
মেঘ অপসারণ
সেন্টিনেল-2 ডেটার জন্য ক্লাউড অপসারণ চিত্রে মেঘ সনাক্ত করতে একটি ML-ভিত্তিক শব্দার্থিক বিভাজন মডেল ব্যবহার করে, যেখানে মেঘলা পিক্সেলগুলিকে মান -9999 (নোডাটা মান) দিয়ে প্রতিস্থাপিত করা হয়:
request_polygon_coordinates = [[(-90.571754, 39.839326), (-90.893651, 39.84092), (-90.916609, 39.845075), (-90.916071, 39.757168), (-91.147678, 39.75707), (-91.265848, 39.757258), (-91.365125, 39.758723), (-91.367962, 39.759124), (-91.365396, 39.777266), (-91.432919, 39.840554), (-91.446385, 39.870394), (-91.455887, 39.945538), (-91.460287, 39.980333), (-91.494865, 40.037421), (-91.510322, 40.127994), (-91.512974, 40.181062), (-91.510332, 40.201142), (-91.258828, 40.197299), (-90.911969, 40.193088), (-90.909756, 40.284394), (-90.450227, 40.276335), (-90.451502, 40.188892), (-90.199556, 40.183945), (-90.118966, 40.235263), (-90.033026, 40.377806), (-89.92468, 40.435921), (-89.717104, 40.435655), (-89.714927, 40.319218), (-89.602979, 40.320129), (-89.601604, 40.122432), (-89.578289, 39.976127), (-89.698259, 39.975309), (-89.701864, 39.916787), (-89.994506, 39.901925), (-89.994405, 39.87286), (-90.583534, 39.87675), (-90.582435, 39.854574), (-90.571754, 39.839326)]]
start_time = '2018-08-15T00:00:00Z'
end_time = '2018-09-15T00:00:00Z' eoj_input_config = { "RasterDataCollectionQuery": { "RasterDataCollectionArn": 'arn:aws:sagemaker-geospatial:us-west-2:378778860802:raster-data-collection/public/nmqj48dcu3g7ayw8', "AreaOfInterest": { "AreaOfInterestGeometry": { "PolygonGeometry": {"Coordinates": request_polygon_coordinates} } }, "TimeRangeFilter": {"StartTime": start_time, "EndTime": end_time}, "PropertyFilters": { "Properties": [{"Property": {"EoCloudCover": {"LowerBound": 0, "UpperBound": 10}}}], "LogicalOperator": "AND", }, }
} eoj_config = { "JobConfig": { "CloudRemovalConfig": { "AlgorithmName": "INTERPOLATION", "InterpolationValue": "-9999", "TargetBands": ["red", "green", "blue", "nir", "swir16"], }, }
} eojParams = { "Name": "cloudremoval", "InputConfig": eoj_input_config, **eoj_config, "ExecutionRoleArn": role_arn,
} eoj_response = sg_client.start_earth_observation_job(**eojParams)
EOJ তৈরি হওয়ার পরে, ARN ফেরত দেওয়া হয় এবং পরবর্তী জিওমোসাইক অপারেশন করতে ব্যবহৃত হয়।
চাকরির মর্যাদা পেতে দৌড়াতে পারেন sg_client.get_earth_observation_job(Arn = response['Arn']).
জিওমোজাইক
জিওমোসাইক ইওজে ব্যবহার করা হয় একাধিক স্যাটেলাইট ভিজিট থেকে আসা ছবিগুলিকে একটি বড় মোজাইকে, নোডাটা বা স্বচ্ছ পিক্সেল (মেঘলা পিক্সেল সহ) ওভাররাইট করে অন্যান্য টাইমস্ট্যাম্পের পিক্সেলগুলির সাথে একত্রিত করতে:
eoj_config = {"JobConfig": {"GeoMosaicConfig": {"AlgorithmName": "NEAR"}}} eojParams = { "Name": "geomosaic", "InputConfig": {"PreviousEarthObservationJobArn": eoj_arn}, **eoj_config, "ExecutionRoleArn": role_arn,
} eoj_response = sg_client.start_earth_observation_job(**eojParams)
EOJ তৈরি হওয়ার পর, ARN ফেরত দেওয়া হয় এবং পরবর্তী রিস্যাম্পলিং অপারেশন করতে ব্যবহৃত হয়।
পুনরায় মডেলিং
ক্রপ মাস্কের রেজোলিউশনের সাথে মেলে (10-30 মিটার রেজোলিউশন রিস্কেলিং): জিওস্পেশিয়াল ইমেজের রেজোলিউশন ডাউনস্কেল করতে রিস্যাম্পলিং ব্যবহার করা হয়:
eoj_config = { "JobConfig": { "ResamplingConfig": { "OutputResolution": {"UserDefined": {"Value": 30, "Unit": "METERS"}}, "AlgorithmName": "NEAR", }, }
} eojParams = { "Name": "resample", "InputConfig": {"PreviousEarthObservationJobArn": eoj_arn}, **eoj_config, "ExecutionRoleArn": role_arn,
} eoj_response = sg_client.start_earth_observation_job(**eojParams)
EOJ তৈরি হওয়ার পরে, ARN ফেরত দেওয়া হয় এবং পরবর্তী ব্যান্ড গণিত অপারেশন সম্পাদন করতে ব্যবহৃত হয়।
ব্যান্ড গণিত
একাধিক বর্ণালী ব্যান্ড থেকে একক ব্যান্ডে পর্যবেক্ষণগুলিকে রূপান্তর করার জন্য ব্যান্ড গণিত ক্রিয়াকলাপগুলি ব্যবহার করা হয়। এটি নিম্নলিখিত বর্ণালী সূচকগুলি অন্তর্ভুক্ত করে:
- EVI2 - দুই-ব্যান্ড বর্ধিত উদ্ভিদ সূচক
- ডিজিভিআই - সাধারণীকৃত পার্থক্য উদ্ভিদ সূচক
- এনডিএমআই - নরমালাইজড ডিফারেন্স আর্দ্রতা সূচক
- এনডিভিআই - স্বাভাবিককরণ পার্থক্য উদ্ভিদ সূচক
- NDWI - স্বাভাবিককরণ পার্থক্য জল সূচক
নিম্নলিখিত কোডটি দেখুন:
spectral_indices = [['EVI2', ' 2.5 * ( nir - red ) / ( nir + 2.4 * red + 1.0 ) '], ['GDVI', ' ( ( nir * * 2.0 ) - ( red * * 2.0 ) ) / ( ( nir * * 2.0 ) + ( red * * 2.0 ) ) '], ['NDMI', ' ( nir - swir16 ) / ( nir + swir16 ) '], ['NDVI', ' ( nir - red ) / ( nir + red ) '], ['NDWI', ' ( green - nir ) / ( green + nir ) ']] eoj_config = { "JobConfig": { "BandMathConfig": {"CustomIndices": {"Operations": []}}, }
} for indices in spectral_indices: eoj_config["JobConfig"]["BandMathConfig"]["CustomIndices"]["Operations"].append( {"Name": indices[0], "Equation": indices[1][1:-1]} ) eojParams = { "Name": "bandmath", "InputConfig": {"PreviousEarthObservationJobArn": eoj_arn}, **eoj_config, "ExecutionRoleArn": role_arn,
} eoj_response = sg_client.start_earth_observation_job(**eojParams)
আঞ্চলিক পরিসংখ্যান
বর্ণালী সূচকগুলি ব্যবহার করে আরও সমৃদ্ধ করা হয় আমাজন সেজমেকার প্রসেসিং, যেখানে GDAL-ভিত্তিক কাস্টম লজিক নিম্নলিখিতগুলি করতে ব্যবহৃত হয়:
- মার্জ করুন বর্ণালী সূচক একটি একক মাল্টি-চ্যানেল মোজাইকের মধ্যে
- মোজাইককে পুনরায় প্রজেক্ট করুন ফসল মাস্কএর অভিক্ষেপ
- ক্রপ মাস্ক প্রয়োগ করুন এবং বহুভুজের সিআরসি কোষে মোজাইকটি পুনরায় প্রজেক্ট করুন
- নির্বাচিত বহুভুজের জন্য জোনাল পরিসংখ্যান গণনা করুন (10 কিমি x 10 কিমি ঘর)
সমান্তরাল ডেটা বিতরণের সাথে, ম্যানিফেস্ট ফাইলগুলি (প্রতিটি ক্রপ ফেনোলজিকাল পর্যায়ের জন্য) বিভিন্ন দৃষ্টান্ত জুড়ে বিতরণ করা হয় ShardedByS3Key
S3 ডেটা বিতরণের ধরন। আরও বিস্তারিত জানার জন্য, দেখুন বৈশিষ্ট্য নিষ্কাশন স্ক্রিপ্ট.
ভূ-স্থানিক প্রক্রিয়াকরণ নোটবই পূর্ববর্তী ধাপগুলি চালানোর জন্য একটি ধাপে ধাপে নির্দেশিকা।
নিম্নলিখিত চিত্রটি ক্রপ ফেনোলজি চক্রের উদ্ভিজ্জ এবং প্রজনন পর্যায়ের প্রতিনিধিত্বকারী ক্রপ মাস্ক (CW 20, 26 এবং 33, 2018 সেন্ট্রাল ইলিনয়) ছাড়া (বামে) ক্রপ মাস্কের সাথে ক্রমাগত স্যাটেলাইট পরিদর্শনের RGB চ্যানেলগুলি দেখায়।
নিম্নলিখিত চিত্রে, বর্ণালী সূচকগুলি (এনডিভিআই, EVI2, এনডিএমআই) পরপর স্যাটেলাইট পরিদর্শন কর্ন ফেনোলজি চক্রের উদ্ভিজ্জ এবং প্রজনন পর্যায়ের প্রতিনিধিত্ব করে (CW 20, 26 এবং 33, 2018 সেন্ট্রাল ইলিনয়)।
পরিষ্কার কর
আপনি যদি এই সমাধানটি আর ব্যবহার করতে না চান তবে আপনি এটি তৈরি করা সংস্থানগুলি মুছতে পারেন। সমাধানটি স্টুডিওতে স্থাপন করার পরে, নির্বাচন করুন সমস্ত সংস্থান মুছুন S3 বালতি সহ সমাধানটি চালু করার সময় তৈরি করা সমস্ত মানসম্পন্ন সংস্থান স্বয়ংক্রিয়ভাবে মুছে ফেলার জন্য।
উপসংহার
এই সমাধানটি ব্যবহারের ক্ষেত্রে একটি ব্লুপ্রিন্ট প্রদান করে যেখানে ডেটা এবং মানব ইনপুটগুলির সংমিশ্রণ থেকে কার্যকারণমূলক প্রশ্নের উত্তর দেওয়ার জন্য বায়েসিয়ান নেটওয়ার্কগুলির সাথে কার্যকারণ অনুমানটি পছন্দের পদ্ধতি। কর্মপ্রবাহের মধ্যে রয়েছে ইনফারেন্স ইঞ্জিনের একটি দক্ষ বাস্তবায়ন, যা ইনকামিং কোয়েরি এবং ইন্টারভেনশনকে সারিবদ্ধ করে এবং সেগুলিকে অ্যাসিঙ্ক্রোনাসভাবে প্রক্রিয়া করে। মডুলার দিকটি উদ্দেশ্য-নির্মিত ক্রিয়াকলাপ এবং প্রাক-প্রশিক্ষিত মডেল সহ ভূ-স্থানিক প্রক্রিয়াকরণ, কাস্টম-নির্মিত GDAL ক্রিয়াকলাপগুলির সাথে স্যাটেলাইট চিত্রের সমৃদ্ধকরণ এবং মাল্টিমোডাল বৈশিষ্ট্য ইঞ্জিনিয়ারিং (বর্ণালী সূচক এবং ট্যাবুলার ডেটা) সহ বিভিন্ন উপাদানের পুনঃব্যবহার সক্ষম করে।
এছাড়াও, আপনি এই সমাধানটিকে গ্রিড করা ফসলের মডেল তৈরির জন্য একটি টেমপ্লেট হিসাবে ব্যবহার করতে পারেন যেখানে নাইট্রোজেন সার ব্যবস্থাপনা এবং পরিবেশগত নীতি বিশ্লেষণ পরিচালিত হয়।
আরও তথ্যের জন্য, দেখুন সমাধান টেমপ্লেট এবং অনুসরণ করুন কৌশল ইউএস পশ্চিম (ওরেগন) অঞ্চলে ক্রপ ইল্ড কাউন্টারফ্যাকচুয়াল সমাধান চালু করতে। কোড পাওয়া যায় গিটহুব রেপো.
উদ্ধৃতিসমূহ
জার্মান মান্দ্রিনি, সোটিরিওস ভি. আর্কনটুলিস, ক্যামেরন এম. পিটেলকো, তারো মিয়েনো, নিকোলাস এফ. মার্টিন,
ইলিনয়েতে হাজার হাজার ক্ষেত্র এবং একাধিক বছর ধরে নাইট্রোজেনের প্রতি ভুট্টার প্রতিক্রিয়ার সিমুলেটেড ডেটাসেট,
সংক্ষিপ্ত তথ্য, ভলিউম 40, 2022, 107753, ISSN 2352-3409
দরকারী সম্পদ
লেখক সম্পর্কে
পল বার্না AWS এ মেশিন লার্নিং প্রোটোটাইপিং ল্যাব সহ একজন সিনিয়র ডেটা সায়েন্টিস্ট।
- এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
- প্লেটোব্লকচেন। Web3 মেটাভার্স ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
- উত্স: https://aws.amazon.com/blogs/machine-learning/generate-a-counterfactual-analysis-of-corn-response-to-nitrogen-with-amazon-sagemaker-jumpstart-solutions/
- : হয়
- 1
- 10
- 100
- 2018
- 2021
- 2022
- 39
- 7
- a
- সম্পর্কে
- শিক্ষাদীক্ষা
- হিসাব
- অর্জন
- অর্জিত
- দিয়ে
- সক্রিয়
- যোগ
- যোগ
- অতিরিক্ত
- ঠিকানাগুলি
- সমর্থনকারীরা
- পর
- AGI
- লক্ষ্য
- অ্যালগরিদম
- সব
- অনুমতি
- যদিও
- মর্দানী স্ত্রীলোক
- আমাজন সেজমেকার
- আমাজন সেজমেকার জাম্পস্টার্ট
- মধ্যে
- পরিমাণ
- বিশ্লেষণ
- এবং
- উত্তর
- কোথাও
- আবেদন
- স্থাপত্য
- রয়েছি
- এলাকায়
- কাছাকাছি
- AS
- দৃষ্টিভঙ্গি
- জাহির করছে
- এসোসিয়েশন
- At
- স্বয়ংক্রিয়ভাবে
- সহজলভ্য
- এড়ানো
- ডেস্কটপ AWS
- দল
- ভিত্তি
- বায়েসিয়ান
- BE
- আগে
- মধ্যে
- নীল
- বই
- বিরতি
- প্রশস্ত
- নির্মাণ করা
- ভবন
- by
- নামক
- CAN
- ক্ষমতা
- গ্রেপ্তার
- ক্যাচ
- মামলা
- বিভাগ
- কারণ
- সেল
- মধ্য
- শৃঙ্খলিত
- পরিবর্তন
- পরিবর্তন
- চ্যানেল
- শিশু
- বেছে নিন
- দাবি
- দাবি
- মেঘ
- কোড
- collars
- সমাহার
- সাধারণ
- উপাদান
- একাগ্রতা
- পরিবেশ
- পরিচালিত
- সংযোগ করা
- পরপর
- সীমাবদ্ধতার
- একটানা
- নিয়ন্ত্রণ
- নিয়ন্ত্রিত
- অনুরূপ
- পারা
- সৃষ্টি
- নির্মিত
- ফসল
- এখন
- বাঁক
- প্রথা
- কাস্টম-বিল্ট
- চক্র
- উপাত্ত
- তথ্য প্রক্রিয়াজাতকরণ
- তথ্য বিজ্ঞানী
- তথ্য চালিত
- ডেটাবেস
- দিন
- গভীর
- গভীর জ্ঞানার্জন
- প্রদর্শন
- মোতায়েন
- উদ্ভূত
- বিস্তারিত
- বিস্তারিত
- পার্থক্য
- সরাসরি
- আলোচনা করা
- বণ্টিত
- বিতরণ
- ডিস্ট্রিবিউশন
- বিভক্ত
- ডোমেইন
- আয়তন বহুলাংশে
- আঁকা
- গতিবিদ্যা
- প্রতি
- প্রভাব
- উত্থান
- সম্ভব
- সক্রিয়
- সর্বশেষ সীমা
- ইঞ্জিন
- প্রকৌশল
- উন্নত
- সমৃদ্ধ
- পরিবেশ
- পরিবেশগত নীতি
- মূলত
- ব্যায়াম
- সম্প্রসারণ
- ক্যান্সার
- ল্যাপারোস্কোপিক পদ্ধতি
- ব্যাখ্যা করা
- অন্বেষণ করুণ
- এক্সপ্রেশন
- প্রসার
- নির্যাস
- কারণের
- কৃষি
- বৈশিষ্ট্য
- বৈশিষ্ট্য
- কয়েক
- ক্ষেত্রসমূহ
- ব্যক্তিত্ব
- অনুসরণ করা
- অনুসরণ
- জন্য
- ফর্ম
- ফ্রেমওয়ার্ক
- থেকে
- সম্পূর্ণরূপে
- অধিকতর
- উত্পাদন করা
- ভূগোল
- পাওয়া
- GitHub
- প্রদত্ত
- বিশ্বব্যাপী
- চিত্রলেখ
- গ্রেস্কেল
- Green
- গ্রিড
- উন্নতি
- কৌশল
- হাতল
- ঘটা
- আছে
- গোপন
- কিভাবে
- কিভাবে
- যাহোক
- এইচটিএমএল
- HTTP
- HTTPS দ্বারা
- মানবীয়
- আদর্শ
- সনাক্ত করা
- চিহ্নিতকরণের
- ইলিনয়
- ভাবমূর্তি
- চিত্র
- প্রভাব
- বাস্তবায়ন
- ঊহ্য
- আমদানি
- গুরুত্ব
- আরোপিত
- মনোরম
- in
- অন্তর্ভুক্ত
- সুদ্ধ
- ইনকামিং
- একত্রিত
- ক্রমবর্ধমান
- সূচক
- ইন্ডিসিস
- তথ্য
- পরিকাঠামো
- প্রারম্ভিক
- প্রাথমিকভাবে
- অর্ন্তদৃষ্টি
- উদাহরণ
- নির্দেশাবলী
- বুদ্ধিমত্তা
- পারস্পরিক ক্রিয়ার
- স্বার্থ
- হস্তক্ষেপ
- উপস্থাপিত
- IT
- এর
- কাজ
- জানা
- জ্ঞান
- ল্যাবস
- বড়
- শুরু করা
- চালু করা
- নেতৃত্ব
- শিখতে
- জ্ঞানী
- শিক্ষা
- সীমাবদ্ধতা
- সীমিত
- সাহিত্য
- আর
- মেশিন
- মেশিন লার্নিং
- মেশিন
- প্রণীত
- মেকিং
- ব্যবস্থাপনা
- মানচিত্র
- মার্টিন
- মাস্ক
- মুখোশ
- ম্যাচ
- গণিত
- ব্যাপার
- পরিপক্বতা
- মার্জ
- প্রণালী বিজ্ঞান
- ছন্দোবিজ্ঞান
- হতে পারে
- দুধ
- ML
- মডেল
- মডেল
- মডুলার
- অধিক
- বহু
- নাম
- নাসা
- কাছাকাছি
- অগত্যা
- প্রয়োজন
- নেটওয়ার্ক
- নেটওয়ার্ক
- পরবর্তী
- নিকোলাস
- নোড
- নোড বিতরণ
- নোড
- সংখ্যা
- প্রাপ্ত
- of
- on
- অপারেশন
- অপারেশনস
- অপ্টিমাইজেশান
- অপ্টিমিজ
- পছন্দ
- কমলা
- ক্রম
- অরেগন
- অন্যান্য
- সমান্তরাল
- পরামিতি
- বাবা
- বিশেষ
- গৃহীত
- পিডিএফ
- সম্পাদন করা
- সালোকসংশ্লেষ
- পাইপলাইন
- Plato
- প্লেটো ডেটা ইন্টেলিজেন্স
- প্লেটোডাটা
- প্লাগ
- নীতি
- বহুভুজ
- সম্ভব
- পোস্ট
- পছন্দের
- নীতিগুলো
- পূর্বে
- সমস্যা
- প্রক্রিয়া
- প্রক্রিয়াকৃত
- প্রসেস
- প্রক্রিয়াজাতকরণ
- বৈশিষ্ট্য
- সম্পত্তি
- প্রস্তাবিত
- প্রস্তাব
- প্রোটোটাইপিং
- প্রদান
- উপলব্ধ
- বিশুদ্ধরূপে
- প্রশ্ন
- এলোমেলো
- এলোমেলোভাবে
- পরিসর
- হার
- প্রস্তুত
- ন্যায্য
- লাল
- হ্রাস করা
- হ্রাস
- এলাকা
- সম্পর্ক
- সম্পর্ক
- অপসারণ
- প্রতিস্থাপিত
- চিত্রিত করা
- প্রতিনিধিত্বমূলক
- অনুরোধ
- প্রয়োজনীয়
- সমাধান
- Resources
- প্রতিক্রিয়া
- দায়ী
- পর্যালোচনা
- আরজিবি
- ROI
- চালান
- দৌড়
- ঋষি নির্মাতা
- উপগ্রহ
- পরিস্থিতিতে
- বিজ্ঞানী
- অধ্যায়
- সেগমেন্টেশন
- নির্বাচিত
- জ্যেষ্ঠ
- অনুভূতি
- ক্রম
- সেট
- বিভিন্ন
- শো
- একভাবে
- একক
- সমাধান
- সলিউশন
- কিছু
- স্থান-সংক্রান্ত
- ভুতুড়ে
- স্কোয়ার
- পর্যায়
- ইন্টার্নশিপ
- মান
- রাষ্ট্র
- যুক্তরাষ্ট্র
- পরিসংখ্যান
- অবস্থা
- ধাপ
- প্রারম্ভিক ব্যবহারের নির্দেশাবলী
- জোর
- গঠন
- গবেষণায়
- চিত্রশালা
- অধ্যয়ন
- বিষয়
- পরবর্তী
- সমর্থন
- সিস্টেম
- গ্রহণ
- তারো
- শিক্ষাদান
- টেমপ্লেট
- পরীক্ষামূলক
- যে
- সার্জারির
- গ্রাফ
- রাষ্ট্র
- বিশ্ব
- তাদের
- তাহাদিগকে
- যার ফলে
- এইগুলো
- কিছু
- হাজার হাজার
- তিন
- দ্বারা
- সর্বত্র
- সময়
- থেকে
- একসঙ্গে
- রেলগাড়ি
- রুপান্তর
- রূপান্তর
- স্বচ্ছ
- আচরণ করা
- পরীক্ষা
- বিচারের
- বিশ্বস্ত
- শীর্ষ
- উন্মোচন
- অধীনে
- বোধশক্তি
- একক
- অবিভক্ত
- মার্কিন যুক্তরাষ্ট
- আপডেট
- আপডেট
- us
- ব্যবহার
- যাচাই
- মূল্য
- বিভিন্ন
- ভিজিট
- আয়তন
- পানি
- উপায়
- আবহাওয়া
- সপ্তাহ
- আমরা একটি
- পশ্চিম
- কি
- যে
- যখন
- ইচ্ছা
- সঙ্গে
- মধ্যে
- ছাড়া
- বিশ্ব
- লেখা
- X
- বছর
- উত্পাদ
- উৎপাদনের
- আপনি
- আপনার
- zephyrnet