गिब्स सैंपलिंग

आंकड़ों में, गिब्स सैंपलिंग या गिब्स सैम्पलर एक मार्कोव शृंखला मोंटे कार्लो (एमसीएमसी)कलन विधि है, जो अवलोकनों का एक क्रम प्राप्त करने के लिए होती है, तथा जो तब एक निर्दिष्ट बहुभिन्नरूपी संभाव्यता वितरण से अनुमानित होती है, जब प्रत्यक्ष सैंपलिंग कठिन होता है। इस अनुक्रम का उपयोग संयुक्त वितरण (उदाहरण के लिए, वितरण का आयत चित्र उत्पन्न करने के लिए), जैसे किसी एक चर, या चर के कुछ उपसमुच्चय (उदाहरण के लिए, अज्ञात प्राचल या अंतर्निहित चर) के सीमांत वितरण का अनुमान लगाने के लिए, या एक अभिन्न की गणना करने के लिए, (जैसे चर में से एक का प्रत्याशित मान) आदि को अनुमानित करने के लिए किया जा सकता है। सामान्यतः कुछ चर उन टिप्पणियों के अनुरूप होते हैं जिनके मान ज्ञात होते हैं, और इसलिए उन्हें प्रतिचयित लेने की आवश्यकता नहीं होती है।

गिब्स सैंपलिंग सामान्यतः सांख्यिकीय अनुमिती यानी विशेष रूप से बेज अनुमिति के साधन के रूप में प्रयोग किया जाता है। यह एक यादृच्छिक कलन विधि है (अर्थात एक कलन विधि जो यादृच्छिक संख्याओं का उपयोग करती है), जो अपेक्षा-अधिकतमीकरण कलन विधि (ईएम) जैसे सांख्यिकीय अनुमिती के लिए नियतात्मक कलन विधि का एक विकल्प है।

अन्य एमसीएमसी कलन विधि के साथ, गिब्स सैंपलिंग सैंपलिंग की मार्कोव श्रृंखला उत्पन्न करता है, जिनमें से प्रत्येक पास के सैंपलिंग से सहसंबंधित है। जिसके फलस्वरूप, अगर स्वतंत्र सैंपलिंग वांछित हैं तो देखभाल की जानी चाहिए। सामान्यतः श्रृंखला की प्रारम्भ ("बर्न-इन अवधि") से सैंपलिंग वांछित वितरण का सटीक रूप से प्रतिनिधित्व नहीं कर सकते हैं और सामान्यतः निराकृत कर दिए जाते हैं।

परिचय

सैंपलिंग कलन विधि और सांख्यिकीय भौतिकी के बीच समानता के संदर्भ में, गिब्स सैंपलिंग का नाम भौतिक विज्ञानी जोशियाह विलार्ड गिब्स के नाम पर रखा गया है। गिब्स की मृत्यु के लगभग आठ दशक बाद 1984 में दो भाइयों स्टुअर्ट जेमन और डोनाल्ड जेमन द्वारा कलन विधि का वर्णन किया गया था, और सीमांत प्रायिकता वितरण, विशेष रूप से उत्‍तरबंटन की गणना के लिए सांख्यिकी समुदाय में लोकप्रिय हो गया।

अपने मूल संस्करण में, गिब्स सैंपलिंग मेट्रोपोलिस-हेस्टिंग्स कलन विधि की एक विशेष स्थिति है। हालांकि, इसके विस्तारित संस्करणों (नीचे देखें) में, इसे प्रत्येक चर (या कुछ स्थितयो में, चर के प्रत्येक समूह) को बदले में प्रतिचयित करके चर के एक बड़े सेट से सैंपलिंग के लिए एक सामान्य रूपरेखा माना जा सकता है, और सैंपलिंग के एक या अधिक चरणों को लागू करने के लिए मेट्रोपोलिस-हेस्टिंग्स कलन विधि (या अंशअ सैंपलिंग जैसी विधियाँ) को सम्मिलित कर सकते हैं।

गिब्स सैंपलिंग तब लागू होता है जब संयुक्त वितरण स्पष्ट रूप से ज्ञात नहीं होता है या प्रत्यक्ष रूप से सैंपलिंग लेना मुश्किल होता है, लेकिन प्रत्येक चर का सशर्त वितरण ज्ञात होता है और सैंपलिंग के लिए आसान (या कम से कम, आसान) होता है। गिब्स सैंपलिंग कलन विधि बदले में प्रत्येक चर के वितरण से एक अन्य चर के वर्तमान मूल्यों पर सशर्त उदाहरण उत्पन्न करता है। यह दिखाया जा सकता है कि प्रतिदर्शो का अनुक्रम एक मार्कोव श्रृंखला का गठन करता है, और उस मार्कोव श्रृंखला का स्थिर वितरण केवल वांछित संयुक्त वितरण है।

गिब्स सैंपलिंग विशेष रूप से बायेसियन नेटवर्क के उत्‍तरबंटन के सैंपलिंग के लिए अनुकूलित है, क्योंकि बायेसियन नेटवर्क सामान्यतः सशर्त वितरण के संग्रह के रूप में निर्दिष्ट होते हैं।

कार्यान्वयन

गिब्स प्रतिचयन, अपने मूल अवतार में, मेट्रोपोलिस-हेस्टिंग्स कलन विधि की एक विशेष स्थिति है। गिब्स सैंपलिंग का सारांश यह है कि एक बहुचर वितरण को देखते हुए एक संयुक्त वितरण पर एकीकृत करके सीमांत वितरण की तुलना में एक सशर्त वितरण से सैंपलिंग लेना आसान है। मान लीजिए हम एक संयुक्त वितरण $p(x_{1},\dots ,x_{n})$ से $\mathbf {X} =(x_{1},\dots ,x_{n})$ के $\left.k\right.$ सैंपलिंग प्राप्त करना चाहते हैं। $i$वें सैंपलिंग को $\mathbf {X} ^{(i)}=\left(x_{1}^{(i)},\dots ,x_{n}^{(i)}\right)$से निरूपित करें। हम निम्नानुसार आगे बढ़ते हैं,

1. हम कुछ प्रारंभिक मान $\mathbf {X} ^{(0)}$ से शुरू करते हैं।
2. हम अगला सैंपलिंग चाहते हैं। इस अगले सैंपलिंग को $\mathbf {X} ^{(i+1)}$कहते है। चूँकि $\mathbf {X} ^{(i+1)}=\left(x_{1}^{(i+1)},x_{2}^{(i+1)},\dots ,x_{n}^{(i+1)}\right)$ एक सदिश है, तो हम सदिश के प्रत्येक घटक का सैंपलिंग $x_{j}^{(i+1)}$ लेते हैं, उस घटक के वितरण से जो अब तक सैंपलिंग लिए गए वो अन्य सभी घटकों पर सशर्त है। लेकिन यहां एक जाल है, हम $\mathbf {X} ^{(i+1)}$, घटकों पर $x_{j-1}^{(i+1)}$तक प्रतिबंध लगाते हैं, और उसके बाद $\mathbf {X} ^{(i)}$ के घटकों पर $x_{j+1}^{(i)}$ से $x_{n}^{(i)}$ तक प्रतिबंध लगाते हैं। इसे प्राप्त करने के लिए, हम पहले घटक से शुरू करते हुए, क्रम में घटकों का सैंपलिंग लेते हैं। अधिक औपचारिक रूप से, सैंपलिंग $x_{j}^{(i+1)}$ लेने के लिए, हम $p\left(x_{j}^{(i+1)}|x_{1}^{(i+1)},\dots ,x_{j-1}^{(i+1)},x_{j+1}^{(i)},\dots ,x_{n}^{(i)}\right)$द्वारा निर्दिष्ट वितरण के अनुसार इसे अद्यतन करते हैं।
3. हम $i$वें सैंपलिंग में $($