دانلود مقاله انگلیسی ترجمه شده: حسابداری برای عدم قطعیت پارامتریک در فرآیند تصمیم گیری مارکوف

سال نشر: ۲۰۱۳

تعداد صفحه انگلیسی:۷

تعداد صفحه ترجمه فارسی: ۲۴ صفحه فایل WORD

(دانلود رایگان مقاله انگلیسی) 

کد محصول: h104

عنوان فارسی:

مقاله انگلیسی ترجمه شده: حسابداری برای عدم قطعیت پارامتریک در فرآیند تصمیم گیری مارکوف(تئوری حسابداری)

عنوان انگلیسی:

:Accounting for parametric uncertainty in Markov decision processes

چکیده فارسی:

فرآیند تصمیم گیری مارکوف تبدیل به ابزاری استاندارد برای مدل سازی متوالی مسائل تصمیم گیری در حفاظت از محیط زیست شده است. با این حال، در بسیاری از برنامه های کاربردی جهان واقعی، پارامترها درتابع انتقال وضعیت عملا به طور دقیق غیرعملی هستند. در این مطالعه، یک راه جدید برای برخورد با ابهام در تابع انتقال وضعیت معرفی می کنیم. در مقایسه با روش های موجود، ما اثرات عدم قطعیت در سطح سیاست، و نه در سطح تصمیم گیری در وضعیتها را بررسی می کنیم. ما با استفاده از تئوری تصمیم گیری شکاف اطلاعاتی،در پاسخ به این سوال که چگونه عدم قطعیت زیاد در تابع انتقال وضعیت می­تواند تحمل شود در حالی که هنوز هم مقادیر مورد انتظار تعیین شده از سوی تابع هدف ارائه می شود. بر این اساس، هدف دیگر از مسئله بهینه سازی به حداکثر رساندن مقادیر مورد انتظار نیست،بلکه به حداکثر رساندن مقاوم بودن مکانی برای عدم قطعیت است(در حالی که هنوز مجمعی در ارتباط با سطح مطلوب عملکرد صورت نگرفته است). ما مسئله ی ساده تملک اراضی را با استفاده از تئوری تصمیم گیری شکاف اطلاعاتی برای ترویج عدم قطعیت تجزیه وتحلیل کردیم و سیاست های جایگزین را رتبه بندی کردیم. ابتدا، شکاف اطلاعاتی به جای نیاز به اطلاعات در مورد میزان  پارامترعدم قطعیت ، به این پرسش که چه میزان عدم قطعیت در تابع انتقال وضعیت قبل از تغییر سیاست های مطلوب مجاز است ،می پردازد.

واژه های کلیدی: شکاف اطلاعاتی ،فرآیند تصمیم گیری مارکوف، انتخاب ذخیره ، برنامه نویسی پویای تصادفی ،عدم قطعیت

۱٫مقدمه

فرآیند تصمیم گیری مارکوف (MDPs) بطور فزاینده ای نقش مهمی در پژوهش های برنامه ریزی حفاظت از محیط زیست، تشکیل مدل پایه برای تحقیقات اخیر به سمت مدیریت فراجمعیتی(به عنوان مثال، وست و همکاران، ۲۰۰۳) ، کنترل گونه های مهاجم (به عنوان مثال، بوگیچ و شیا، ۲۰۰۸)، جابجایی وجایگیری(به عنوان مثال، تنهومبرگ و همکاران، ۲۰۰۴)، مدیریت برداشت محصول (نیکولز و همکاران، ۲۰۰۷) و انتخاب متوالی ذخایر (به عنوان مثال، چاپاوق و تایری، ۲۰۱۲) بازی می کند. هدف از چنین برنامه ی کاربردی ایجاد یک سیاست است که وضعیت هر سیستم را با یک عمل خاص مرتبط می سازد. این سیاست باید عملکرد بهینه به معنای به حداکثر رساندن یا به حداقل رساندن هدف حفاظت از محیط زیست مشخص شده را ارائه دهد (پوسینقام و همکاران، ۲۰۰۱). فرآیند تصمیم گیری مارکوف بر نظریه احتمال برای مدل انتقال وضعیت تکیه می کند. به طور خاص، هر عمل امکان پذیر دارای ماتریس انتقال مرتبطی است که شامل احتمالاتی  است که انجام این عمل در وضعیت سیستم s را به سمت حالت s حرکت می­دهد.به عبارتی فرآیند تصادفی‌ مارکوف بصورت چندگانه ( áS,A,R,Tñ)نشان داده می شود که در آن‌ Sمجموعه متناهی از‌وضعیت‌ها ؛A  مجموعه عملیات قابل دسترس برای عامل، T: S×A×S ®[۰,۱]  احتمال انتقال از وضعیت جاری به وضعیت بعدی با انجام عملa  است وR: S×A®Â بیانگر تابع پاداش است که یک مقدار عددی را بر می گرداند. ماتریس انتقال در مجموع به تابع انتقال وضعیت اشاره دارد، و این می تواند برآوردی از داده ها، آموزه های تجربی، و یا طراحی شده بوسیله ی دست باشد. فرض رایج براین است که پارامترهای تابع انتقال وضعیت در میان بوم شناسان و دانشمندان حفاظت از محیط زیست دقیقا شناخته شده است؛ با این حال، تعیین این احتمال با چنین اطمینانی می تواند مشکل باشد. عدم قطعیت ممکن است از خطا در اندازه گیری یا نمونه برداری و یا دیگر دانش ناقص سیستم ریشه بگیرد(ویلیامز، ۲۰۰۱). به نظر می رسد که سیاست بهینه می تواند حتی به خطاهای نامحسوس در تابع انتقال وضعیت بسیار حساس باشد. بنابراین، یک سیاست ساخته شده بر این فرض است که پارامترها دقیق هستند،درحالیکه  که در واقع آنها نامشخص هستند،بنابراین می تواند به سطح بهینه تصمیم گیری منجر شود(نیلیم و القاوی، ۲۰۰۵). نویسندگان مختلفی در انجمن پژوهش عملیاتی به موضوع عدم قطعیت پارامتریک و کاهش اثر آن بر سیاست های مطلوب پرداخته اند. رویکرد معمول این است که فرض کنیم که پارامترهای نامشخص تابع انتقال وضعیت محدود به نادرست بودن در یک بازه ی زمانی هستند(به عنوان مثال، ساتیا و کشیدن، ۱۹۷۳؛ وایت و الدیب، ۱۹۹۴). بازی تصادفی دو نفره که در آن “حریف” به همراه دارد، تابعی (از احتمالات تعیین شده توسط ماتریس فاصله است) که ارزش مورد انتظار را به حداقل می رساند انتخاب می کند ، در حالی که تصمیم گیرنده برای حداکثر رساندن پاداش در بدترین حالت سناریو تلاش می کند. نتیجه سیاست یک استراتژی ماکسیمم-مینیمم است. با این حال چنین رویکردی می تواند جنبه ی  محاسباتی به خود بگیرد، اما از انجا که در واقع  تعداد نامحدود تعریف برای ماتریس فاصله در فرایند تصمیم گیری مارکوف(MDPs)وجود دارد (زیرا این احتمال پیوسته است و یک ماتریس انتقال منحصر به فرد یک زنجیره­ی منحصر به فرد مارکوف را تعریف می کند) که می تواند گاهی نیاز به جستجوی گسترده برای پیدا کردن توزیع بدترین حالت را فراهم آورد. یک رویکرد جایگزین (شاپیرو و کلیویت، ۲۰۰۲)یک احتمال قبلی را به هر تابع انتقال وضعیت در مجموعه ی مجاز تعریف شده توسط کاربر اختصاص می دهد و سپس مانعی در برابر بدترین عملکرد مورد انتظار می شود. میانگین بالای توابع در مجموعه­ی مجاز،منجر به فرمولاسیون ماکسیمم-مینیمم متناظر با مساله­ی برنامه نویسی پویا می­شود. با این وجود، این روش، مستلزم آگاهی ودانش پیشین توزیع بر روی هر ماتریس انتقال است(نیلیم و القایو، ۲۰۰۵): این اساسا عدم قطعیت در یک سطح از مساله را می­گیرد(به عنوان مثال، عناصر فردی ماتریس های انتقال چه هستند؟)و آن را به سطح دیگری حرکت می­دهد(به عنوان مثال، احتمالات پیشین مناسب بر روی ماتریس های انتقال متفاوت چه هستند؟).ما یک روش جدید برای مقابله با عدم قطعیت درتابع انتقال وضعیت معرفی می­کنیم. در مقایسه با روش های فوق، ما اثرات عدم قطعیت را در سطح سیاست، و نه در سطح تصمیم گیری برای وضعیت ها بررسی می­کنیم. مزیت این رویکرد صرفه جویی محاسباتی است. ما با استفاده از شکاف اطلاعاتی (info-gap)و تئوری تصمیم گیری (بن حییم، ۲۰۰۶) به به این سوال که چه مقدارعدم قطعیت در تابع انتقال وضعیت را می­توان تحمل کرد درحالی که هنوز هم یک سطح مطلوب عملکرد ارائه می کند ،پاسخ می دهیم. بر این اساس، هدف مسئله بهینه سازی است به حداکثر رساندن ارزش مورد انتظار نیست، بلکه به حداکثر رساندن استحکام موضعی برای عدم قطعیت است(در حالی که هنوز جلسه ای در ارتباط با سطح مطلوب عملکرد صورت نگرفته است). به طور مشخص،بوسیله ی بررسی­های انجام شده توسط چاپاوق و تایر (۲۰۱۲) ما با استفاده از تئوری تصمیم گیری شکاف اطلاعاتی دوباره با تجزیه و تحلیل مسئله تصمیم گیری ،به گسترش عدم قطعیت و رتبه بندی سیاست های جایگزین می پردازیم. به جای نیاز به اطلاعات در موردانتخاب قیاسی میزان عدم قطعیت پارامتریک ، شکاف اطلاعاتی، به این پرسش که چه مقدار عدم قطعیت در تابع انتقال وضعیت قبل از تغییر سیاست های مطلوب ،مجاز است می پردازد.