Bayes eksperimental dizayni

Bayescha eksperiment tuzish (Bayesian experimental design) ehtimollar nazariyasiga asoslangan umumiy asosni beradi. Undan eksperiment tuzish boʻyicha boshqa nazariyalarni keltirib chiqarish mumkin. U Bayescha xulosalashga tayanadi va tajriba davomida olingan kuzatuvlar hamda maʼlumotlarni shu asosda talqin qiladi. Bu esa aniqlanishi kerak boʻlgan parametrlar haqidagi oldindan maʼlum bilimlarni ham, kuzatuvlardagi noaniqliklarni ham hisobga olish imkonini beradi.

Bayescha eksperiment tuzish nazariyasi maʼlum darajada noaniqlik sharoitida optimal qaror qabul qilish nazariyasiga asoslanadi. Tajribani loyihalashdan maqsad — tajriba natijasining kutilayotgan foydaliligini maksimal darajaga yetkazish. Foydalilik koʻpincha tajriba beradigan maʼlumotning aniqlik oʻlchovi orqali taʼriflanadi. Masalan, bunday oʻlchov sifatida Shennon axboroti yoki dispersiyaning manfiy qiymati olinadi. Shu bilan birga, foydalilikka tajriba oʻtkazishning moliyaviy xarajati kabi omillar ham kirishi mumkin. Qaysi tajriba loyihasi optimal boʻlishi tanlangan foydalilik mezoniga bogʻliq.

Maxsusroq optimal loyihalash nazariyasi bilan aloqasi

Chiziqli nazariya

Agar model chiziqli boʻlsa, aprior ehtimollik zichligi funksiyasi (PDF) bir jinsli boʻlsa va kuzatuv xatoliklari normal taqsimlangan boʻlsa, nazariya soddalashadi. Bunday holda u klassik optimal eksperiment tuzish nazariyasiga aylanadi.

Taqribiy normallik

Bayescha eksperiment tuzishga bagʻishlangan koʻplab nashrlarda barcha aposterior ehtimolliklar taqriban normal boʻladi deb faraz qilinadi. Bu faraz koʻpincha oshkora aytilmaydi. Shu yondashuv kutilayotgan foydalilikni chiziqli nazariya yordamida, model parametrlari fazosi boʻyicha oʻrtachalab hisoblash imkonini beradi. Ammo bu usulni qoʻllashda ehtiyot boʻlish kerak, chunki barcha mumkin boʻlgan aposterior taqsimotlarning taqribiy normalligini tekshirish qiyin. Bu hatto kuzatuv xatoliklari normal va aprior ehtimollik tekis boʻlgan hollarda ham shunday.

Aposterior taqsimot

Koʻp hollarda aposterior taqsimotni yopiq koʻrinishda yozib boʻlmaydi, shuning uchun uni sonli usullar bilan taqribiy hisoblashga toʻgʻri keladi. Eng keng tarqalgan yondashuv — Markov zanjiri Monte-Karlo usullaridan foydalanish. Bu usullar aposterior taqsimotdan tanlanmalar hosil qiladi, ular esa kutilayotgan foydalilikni taqriban hisoblashga xizmat qiladi.

Yana bir yondashuv — aposterior taqsimotning variational Bayes taqribidan foydalanish. Bunday taqribni koʻpincha yopiq koʻrinishda hisoblash mumkin. Uning afzalligi shundaki, u Monte-Karlo usullariga qaraganda hisoblash jihatidan tejamliroq. Kamchiligi esa taqrib yetarlicha aniq boʻlmasligi mumkinligida.

Baʼzi mualliflar yangi oʻlchashlar bashorat noaniqligiga qanday taʼsir qilishini baholash uchun posterior predictive distributiondan foydalanishni taklif qilgan. Boshqa mualliflar esa parametrlar, bashoratlar va boʻlajak tajribalar orasidagi oʻzaro axborotni (mutual information) maksimallashtirishni tavsiya etadi.

Matematik ifodalanishi

Notation $\theta \,$ parameters to be determined $y\,$ observation or data $\xi \,$ design $p(y\mid \theta ,\xi )\,$ PDF for making observation $y$, given parameter values $\theta$ and design $\xi$ $p(\theta )\,$ prior PDF $p(y\mid \xi )\,$ marginal PDF in observation space $p(\theta \mid y,\xi )\,$    posterior PDF $U(\xi )\,$    utility of the design $\xi$ $U(y,\xi )\,$    utility of the experiment outcome after observation $y$ with design $\xi$

Aniqlanishi kerak boʻlgan parametrlarning $\theta$ vektori hamda bu parametrlar uchun $p(\theta )$ aprior ehtimollik berilgan boʻlsin. Shuningdek, $y$ kuzatuvni olish uchun $p(y\mid \theta ,\xi )$ ishonchlilik funksiyasi (likelihood) berilgan; bunda $\theta$ — parametr qiymatlari, $\xi$ — tajriba rejasi (experiment design). Aposterior ehtimollikni Bayes' theorem yordamida hisoblash mumkin:

$p(\theta \mid y,\xi )={\frac {p(y\mid \theta ,\xi )p(\theta )}{p(y\mid \xi )}}\,,$

bu yerda $p(y\mid \xi )$ — kuzatuvlar fazosidagi marginal ehtimollik zichligi:

$p(y\mid \xi )=\int p(\theta )p(y\mid \theta ,\xi )\,d\theta \,.$

Shundan soʻng $\xi$ rejaga ega tajribaning kutilayotgan foydaliligini quyidagicha taʼriflash mumkin:

$U(\xi )=\int p(y\mid \xi )U(y,\xi )\,dy,$

bu yerda $U(y,\xi )$ — $p(\theta \mid y,\xi )$ aposterior ehtimollikning qandaydir haqiqiy qiymatli funksionali. U $\xi$ tajriba rejasi asosida $y$ kuzatuv olingandan keyin hisoblanadi.

Foydalilik sifatida Shennon axborotining ortishi

Foydalilikni (utility) aprior taqsimotdan aposterior taqsimotga oʻtishdagi Shannon axboroti ortishi sifatida taʼriflash mumkin

$U(y,\xi )=\int \log(p(\theta \mid y,\xi ))\,p(\theta |y,\xi )\,d\theta -\int \log(p(\theta ))\,p(\theta )\,d\theta \,.$

Foydalilikni yana quyidagicha taʼriflash ham mumkin:

$U(y,\xi )=D_{KL}(p(\theta \mid y,\xi )\|p(\theta ))\,,$

yaʼni aposterior taqsimotning aprior taqsimotdan Kullback–Leibler divergence boʻyicha farqi sifatida. Lindley (1956) shuni qayd etganki, bunday holda kutilayotgan foydalilik koordinatalarga bogʻliq boʻlmaydi va uni ikki koʻrinishda yozish mumkin

${\begin{alignedat}{2}U(\xi )&=\int \int \log(p(\theta \mid y,\xi ))\,p(\theta ,y\mid \xi )\,d\theta \,dy-\int \log(p(\theta ))\,p(\theta )\,d\theta \\&=\int \int \log(p(y\mid \theta ,\xi ))\,p(\theta ,y\mid \xi )\,dy\,d\theta -\int \log(p(y\mid \xi ))\,p(y\mid \xi )\,dy,\end{alignedat}}\,$

Bulardan ikkinchisini hisoblash uchun barcha mumkin boʻlgan $y$ kuzatuvlari boʻyicha alohida aposterior ehtimollik $p(\theta \mid y,\xi )$ ni topish shart emas. Shuni taʼkidlash joizki, ikkinchi qatordagi ikkinchi had $\xi$ rejasiga (design) bogʻliq emas — albatta, agar kuzatuv noaniqligi ham unga bogʻliq boʻlmasa. Birinchi koʻrinishdagi $p(\theta )\log p(\theta )$ integrali esa barcha $\xi$ lar uchun oʻzgarmas qiymatga ega. Shu sababli maqsad eng yuqori foydalilikka ega rejani tanlash boʻlsa, bu hadni umuman hisoblash kerak emas. Bir necha mualliflar ushbu mezonni hisoblash va optimallashtirishning sonli usullarini koʻrib chiqqan. Eʼtibor bering:

$U(\xi )=I(\theta ;y)\,,$

yaʼni kutilayotgan axborot ortishi aynan θ parametri bilan y kuzatuvi orasidagi mutual information kattaligiga teng. Chiziqli dinamik modelni identifikatsiya qilish uchun Bayescha rejaga misollar manbalarida keltirilgan.

$I(\theta ;y)\,,$ ni hisoblash qiyin boʻlgani uchun uning quyi chegarasi foydalilik funksiyasi sifatida ishlatilgan. Soʻngra bu quyi chegara signal energiyasiga qoʻyilgan cheklov ostida maksimallashtiriladi. Taklif etilgan Bayescha rejani klassik oʻrtacha D-optimal reja bilan ham solishtirishgan. Tadqiqot Bayescha rejaning D-optimal rejadan ustun ekanini koʻrsatdi.

Kelly criterion ham foydani koʻpaytirishga intilayotgan qimorboz uchun shunday foydalilik funksiyasini tavsiflaydi; bu mezon gambling and information theory sohasida qoʻllanadi. Kellining holati yuqorida bayon etilganidan farq qilmaydi: bunda tajriba oʻrnini yon axborot, yaʼni «xususiy sim» (private wire) egallaydi.

Yana qarang

• Bayescha optimallashtirish
• Optimal tajriba rejasi
• Faol oʻqitish
• Tanlanma maʼlumotining kutilayotgan qiymati

Qoʻshimcha adabiyotlar

• DasGupta, A. (1996), „Review of optimal Bayes designs“ (PDF), in Ghosh, S.; Rao, C. R. (muh.), Design and Analysis of Experiments, Handbook of Statistics, 13-jild, North-Holland, 1099–1148-bet, ISBN 978-0-444-82061-7
• Rainforth, Tom; et al. (2023), Modern Bayesian Experimental Design, arXiv:2302.14545

Manba

Ushbu maqola Vikipediyaning en.wikipedia.org ulanishidan avtomatik tarjima orqali olingan (CC BY-SA 4.0).