बायेसियन नेटवर्क

एक बायेसियन नेटवर्क (जिसे बेयस नेटवर्क, बेयस नेट, विश्वास नेटवर्क या निर्णय नेटवर्क के रूप में भी जाना जाता है) संभाव्य ग्राफिकल मॉडल है जो निर्देशित विश्वकोश ग्राफ (डीएजी) के माध्यम से चर के सेट और उनकी सशर्त निर्भरता का प्रतिनिधित्व करता है। बायेसियन नेटवर्क किसी ऐसी घटना को लेने के लिए आदर्श होते हैं जो घटित हुई और इस संभावना की भविष्यवाणी की जाती है कि कई संभावित ज्ञात कारणों में से कोई योगदान कारक था। उदाहरण के लिए, बायेसियन नेटवर्क रोगों और लक्षणों के बीच संभाव्य संबंधों का प्रतिनिधित्व कर सकता है। लक्षणों को देखते हुए, विभिन्न रोगों की उपस्थिति की संभावनाओं की गणना करने के लिए नेटवर्क का उपयोग किया जा सकता है।

कुशल एल्गोरिदम बायेसियन नेटवर्क में अनुमान और मशीन सीखने का प्रदर्शन कर सकते हैं। बायेसियन नेटवर्क जो वेरिएबल्स के मॉडल अनुक्रम (जैसे वाक् पहचान या पेप्टाइड अनुक्रम) को डायनेमिक बायेसियन नेटवर्क कहते हैं। बेयसियन नेटवर्क के सामान्यीकरण जो अनिश्चितता के तहत निर्णय की समस्याओं का प्रतिनिधित्व और समाधान कर सकते हैं, प्रभाव आरेख कहलाते हैं।

ग्राफिकल मॉडल

औपचारिक रूप से, बायेसियन नेटवर्क एसाइक्लिक ग्राफ (डीएजी) निर्देशित होते हैं, जिनके नोड बायेसियन संभाव्यता अर्थ में चर का प्रतिनिधित्व करते हैं: वे देखने योग्य मात्रा, अव्यक्त चर, अज्ञात पैरामीटर या परिकल्पना हो सकते हैं। किनारे सशर्त निर्भरताओं का प्रतिनिधित्व करते हैं; नोड जो जुड़े नहीं हैं (कोई पथ नोड को दूसरे से जोड़ता नहीं है) उन चरों का प्रतिनिधित्व करते हैं जो दूसरे की सशर्त स्वतंत्रता हैं। प्रत्येक नोड संभाव्यता वितरण से जुड़ा होता है, जो इनपुट के रूप में, नोड के ग्राफ़ सिद्धांत की शब्दावली के लिए मूल्यों का विशेष सेट #डायरेक्टेड एसाइक्लिक ग्राफ़ चर देता है, और (आउटपुट के रूप में) संभाव्यता (या संभाव्यता वितरण, यदि लागू हो) देता है। नोड द्वारा दर्शाया गया चर। उदाहरण के लिए, यदि $m$ मूल नोड प्रतिनिधित्व करते हैं $m$ बूलियन डेटा प्रकार, तो प्रायिकता फ़ंक्शन को तालिका द्वारा दर्शाया जा सकता है $2^{m}$ प्रविष्टियाँ, प्रत्येक के लिए प्रविष्टि $2^{m}$ संभावित माता-पिता संयोजन। इसी तरह के विचारों को मार्कोव नेटवर्क जैसे अप्रत्यक्ष, और संभवतः चक्रीय, ग्राफ़ पर लागू किया जा सकता है।

उदाहरण

सशर्त संभाव्यता तालिकाओं के साथ साधारण बायेसियन नेटवर्क

आइए बायेसियन नेटवर्क की अवधारणाओं को लागू करने के लिए दृष्टांत का उपयोग करें। मान लीजिए कि हम तीन चरों के बीच निर्भरता को मॉडल करना चाहते हैं: स्प्रिंकलर (या अधिक उचित रूप से, इसकी स्थिति - चाहे वह चालू हो या नहीं), बारिश की उपस्थिति या अनुपस्थिति और घास गीली है या नहीं। गौर करें कि दो घटनाओं के कारण घास गीली हो सकती है: सक्रिय स्प्रिंकलर या बारिश। स्प्रिंकलर के उपयोग पर बारिश का सीधा प्रभाव पड़ता है (अर्थात् जब बारिश होती है, तो स्प्रिंकलर आमतौर पर सक्रिय नहीं होता है)। इस स्थिति को बायेसियन नेटवर्क (दाईं ओर दिखाया गया) के साथ तैयार किया जा सकता है। प्रत्येक चर के दो संभावित मान हैं, T (सत्य के लिए) और F (असत्य के लिए)।

संभाव्यता के श्रृंखला नियम द्वारा संयुक्त संभाव्यता वितरण है,

$\Pr(G,S,R)=\Pr(G\mid S,R)\Pr(S\mid R)\Pr(R)$

जहाँ G = घास गीला (सही/गलत), S = स्प्रिंकलर चालू (सही/गलत), और R = बारिश (सही/गलत)।

मॉडल प्रभाव की उपस्थिति (तथाकथित व्युत्क्रम संभाव्यता) को देखते हुए किसी कारण की उपस्थिति के बारे में प्रश्नों का उत्तर दे सकता है, जैसे घास गीली होने पर बारिश होने की क्या संभावना है? सशर्त संभाव्यता सूत्र का उपयोग करके और सभी उपद्रव चरों पर योग करके:

$\Pr(R=T\mid G=T)={\frac {\Pr(G=T,R=T)}{\Pr(G=T)}}={\frac {\sum _{x\in \{T,F\}}\Pr(G=T,S=x,R=T)}{\sum _{x,y\in \{T,F\}}\Pr(G=T,S=x,R=y)}}$

संयुक्त संभावना समारोह के लिए विस्तार का उपयोग करना $\Pr(G,S,R)$ और सशर्त संभाव्यता तालिका से सशर्त संभावनाएं | सशर्त संभावना तालिका (सीपीटी) आरेख में बताई गई है, प्रत्येक शब्द अंश और भाजक में योग का मूल्यांकन कर सकता है। उदाहरण के लिए,

${\begin{aligned}\Pr(G=T,S=T,R=T)&=\Pr(G=T\mid S=T,R=T)\Pr(S=T\mid R=T)\Pr(R=T)\\&=0.99\times 0.01\times 0.2\\&=0.00198.\end{aligned}}$

फिर संख्यात्मक परिणाम (संबंधित चर मानों द्वारा सबस्क्रिप्टेड) ​​हैं

$\Pr(R=T\mid G=T)={\frac {0.00198_{TTT}+0.1584_{TFT}}{0.00198_{TTT}+0.288_{TTF}+0.1584_{TFT}+0.0_{TFF}}}={\frac {891}{2491}}\approx 35.77\%.$

एक इंटरवेंशनल प्रश्न का उत्तर देने के लिए, जैसे कि बारिश होने की क्या संभावना है, यह देखते हुए कि हम घास को गीला करते हैं? उत्तर हस्तक्षेप के बाद के संयुक्त वितरण समारोह द्वारा शासित होता है

$\Pr(S,R\mid {\text{do}}(G=T))=\Pr(S\mid R)\Pr(R)$

कारक को हटाकर प्राप्त किया $\Pr(G\mid S,R)$ पूर्व-हस्तक्षेप वितरण से। do संकारक G के मान को सत्य होने के लिए बाध्य करता है। बारिश की संभावना कार्रवाई से अप्रभावित है:

$\Pr(R\mid {\text{do}}(G=T))=\Pr(R).$

स्प्रिंकलर को चालू करने के प्रभाव का अनुमान लगाने के लिए:

$\Pr(R,G\mid {\text{do}}(S=T))=\Pr(R)\Pr(G\mid R,S=T)$

अवधि के साथ $\Pr(S=T\mid R)$ हटा दिया, यह दर्शाता है कि कार्रवाई घास को प्रभावित करती है लेकिन बारिश को नहीं।

अधिकांश नीति मूल्यांकन समस्याओं के रूप में, इन भविष्यवाणियों को अप्राप्य चरों को देखते हुए व्यवहार्य नहीं हो सकता है। क्रिया का प्रभाव ${\text{do}}(x)$ हालाँकि, अभी भी भविष्यवाणी की जा सकती है, जब भी पिछले दरवाजे की कसौटी पूरी होती है। इसमें कहा गया है कि, यदि नोड्स का सेट Z देखा जा सकता है कि #d-separation|d-अलग हो जाता है (या ब्लॉक) X से Y तक के सभी बैक-डोर पथ

$\Pr(Y,Z\mid {\text{do}}(x))={\frac {\Pr(Y,Z,X=x)}{\Pr(X=x\mid Z)}}.$

एक बैक-डोर पथ वह है जो एक्स में तीर के साथ समाप्त होता है। बैक-डोर मानदंड को पूरा करने वाले सेट को पर्याप्त या स्वीकार्य कहा जाता है। उदाहरण के लिए, सेट Z = R G पर S = T के प्रभाव की भविष्यवाणी करने के लिए स्वीकार्य है, क्योंकि R d- (केवल) बैक-डोर पथ S ← R → G को अलग करता है। हालांकि, यदि S नहीं देखा गया है, तो कोई अन्य नहीं सेट डी इस पथ को अलग करता है और घास (जी) पर स्प्रिंकलर (एस = टी) को चालू करने के प्रभाव को निष्क्रिय अवलोकन से भविष्यवाणी नहीं की जा सकती है। उस मामले में P(G | do(S = T)) की पहचान नहीं की जाती है। यह इस तथ्य को दर्शाता है कि, इंटरवेंशनल डेटा की कमी, S और G के बीच देखी गई निर्भरता कारण संबंध के कारण है या नकली है (एक सामान्य कारण से उत्पन्न होने वाली स्पष्ट निर्भरता, आर)। (सिम्पसन का विरोधाभास देखें)

यह निर्धारित करने के लिए कि क्या मनमाना बायेसियन नेटवर्क से बिना देखे हुए चर के साथ कारण संबंध की पहचान की जाती है, कोई डू-कैलकुलस के तीन नियमों का उपयोग कर सकता है और परीक्षण करें कि क्या सभी do शब्दों को उस संबंध की अभिव्यक्ति से हटाया जा सकता है, इस प्रकार यह पुष्टि करता है कि आवृत्ति डेटा से वांछित मात्रा का अनुमान लगाया जा सकता है। यदि संयुक्त वितरण में निर्भरता विरल है, तो बायेसियन नेटवर्क का उपयोग संपूर्ण संभाव्यता तालिकाओं पर काफी मात्रा में मेमोरी बचा सकता है। उदाहरण के लिए, तालिका के रूप में 10 दो-मूल्यवान चरों की सशर्त संभावनाओं को संग्रहीत करने के लिए भोली विधि के लिए भंडारण स्थान की आवश्यकता होती है $2^{10}=1024$ मान। यदि किसी चर का स्थानीय वितरण तीन से अधिक मूल चर पर निर्भर नहीं करता है, तो बायेसियन नेटवर्क प्रतिनिधित्व अधिक से अधिक संग्रहीत करता है $10\cdot 2^{3}=80$ मान।

बायेसियन नेटवर्क का फायदा यह है कि मानव के लिए पूर्ण संयुक्त वितरण की तुलना में प्रत्यक्ष निर्भरता और स्थानीय वितरण को समझना सहज रूप से आसान है।

अनुमान और सीखना

बायेसियन नेटवर्क तीन मुख्य अनुमान कार्य करते हैं:

अनदेखे चरों का उल्लेख

क्योंकि बायेसियन नेटवर्क अपने चरों और उनके संबंधों के लिए पूर्ण मॉडल है, इसका उपयोग उनके बारे में संभाव्य प्रश्नों के उत्तर देने के लिए किया जा सकता है। उदाहरण के लिए, जब अन्य चर (साक्ष्य चर) देखे जाते हैं, तो चर के सबसेट की स्थिति के ज्ञान को अद्यतन करने के लिए नेटवर्क का उपयोग किया जा सकता है। दिए गए प्रमाणों के चरों के पश्च वितरण की गणना करने की इस प्रक्रिया को संभाव्य अनुमान कहा जाता है। पोस्टीरियर डिटेक्शन एप्लिकेशन के लिए सार्वभौमिक पर्याप्त आँकड़ा देता है, जब वेरिएबल सबसेट के लिए मान चुनते हैं जो कुछ अपेक्षित हानि फ़ंक्शन को कम करते हैं, उदाहरण के लिए निर्णय त्रुटि की संभावना। इस प्रकार बायेसियन नेटवर्क को जटिल समस्याओं के लिए बेयस प्रमेय को स्वचालित रूप से लागू करने के लिए तंत्र माना जा सकता है।

सबसे आम सटीक अनुमान विधियां हैं: परिवर्तनीय उन्मूलन, जो उत्पाद पर राशि वितरित करके एक-एक करके गैर-देखे गए गैर-क्वेरी चर को समाप्त (एकीकरण या योग द्वारा) करता है; जंक्शन ट्री एल्गोरिथम, जो गणना को कैश करता है ताकि समय में कई चर को क्वेरी किया जा सके और नए साक्ष्य को जल्दी से प्रचारित किया जा सके; और पुनरावर्ती कंडीशनिंग और AND/OR खोज, जो स्पेस-टाइम ट्रेडऑफ़ की अनुमति देते हैं और जब पर्याप्त स्थान का उपयोग किया जाता है तो वेरिएबल एलिमिनेशन की दक्षता से मेल खाते हैं। इन सभी विधियों में जटिलता है जो नेटवर्क के पेड़ की चौड़ाई में घातीय है। सबसे आम अनुमानित अनुमान एल्गोरिदम हैं महत्व नमूनाकरण, स्टोचैस्टिक मार्कोव चेन मोंटे कार्लो सिमुलेशन, मिनी-बकेट एलिमिनेशन, लूपी विश्वास प्रसार, सामान्यीकृत विश्वास प्रचार और परिवर्तनशील बेज़।

पैरामीटर सीखना

बायेसियन नेटवर्क को पूरी तरह से निर्दिष्ट करने के लिए और इस प्रकार संयुक्त संभाव्यता वितरण का पूरी तरह से प्रतिनिधित्व करने के लिए, प्रत्येक नोड X के लिए X पर सशर्त X के लिए प्रायिकता वितरण निर्दिष्ट करना आवश्यक है।'s अभिभावक। इसके माता-पिता पर सशर्त एक्स का वितरण किसी भी रूप में हो सकता है। असतत या सामान्य वितरण के साथ काम करना आम बात है क्योंकि इससे गणना सरल हो जाती है। कभी-कभी केवल वितरण पर प्रतिबंध ही ज्ञात होते हैं; इसके बाद एकल वितरण को निर्धारित करने के लिए अधिकतम एन्ट्रापी दर सिद्धांत का उपयोग किया जा सकता है, सबसे बड़ी जानकारी एंट्रॉपी के साथ बाधाओं को देखते हुए। (सादृश्य रूप से, गतिशील बायेसियन नेटवर्क के विशिष्ट संदर्भ में, छिपे हुए राज्य के अस्थायी विकास के लिए सशर्त वितरण आमतौर पर निहित स्टोकेस्टिक प्रक्रिया की एन्ट्रॉपी दर को अधिकतम करने के लिए निर्दिष्ट किया जाता है।)

अक्सर इन सशर्त वितरण में ऐसे पैरामीटर शामिल होते हैं जो अज्ञात होते हैं और डेटा से अनुमान लगाया जाना चाहिए, उदाहरण के लिए, अधिकतम संभावना दृष्टिकोण के माध्यम से। संभावना का प्रत्यक्ष अधिकतमकरण (या पश्च संभाव्यता का) अक्सर बिना देखे हुए चरों को देखते हुए जटिल होता है। इस समस्या के लिए शास्त्रीय दृष्टिकोण अपेक्षा-अधिकतमीकरण एल्गोरिथ्म है, जो अवलोकन किए गए डेटा पर सशर्त अप्रतिबंधित चर के अपेक्षित मूल्यों की गणना करता है, यह मानते हुए कि पहले से गणना किए गए अपेक्षित मान सही हैं, पूर्ण संभावना (या पश्च) को अधिकतम करने के साथ। हल्के नियमितता स्थितियों के तहत, यह प्रक्रिया पैरामीटर के लिए अधिकतम संभावना (या अधिकतम पश्च) मानों पर अभिसरित होती है।

मापदंडों के लिए अधिक पूरी तरह से बायेसियन दृष्टिकोण उन्हें अतिरिक्त अप्रमाणित चर के रूप में मानना ​​​​है और देखे गए डेटा पर सशर्त सभी नोड्स पर पूर्ण पश्च वितरण की गणना करना है, फिर मापदंडों को एकीकृत करना है। यह दृष्टिकोण महंगा हो सकता है और बड़े आयाम वाले मॉडल का नेतृत्व कर सकता है, शास्त्रीय पैरामीटर-सेटिंग दृष्टिकोण को और अधिक ट्रैक्टेबल बना सकता है।

संरचना सीखना

सबसे सरल मामले में, बायेसियन नेटवर्क विशेषज्ञ द्वारा निर्दिष्ट किया जाता है और फिर इसका उपयोग अनुमान लगाने के लिए किया जाता है। अन्य अनुप्रयोगों में, नेटवर्क को परिभाषित करने का कार्य मनुष्य के लिए बहुत जटिल है। इस मामले में, नेटवर्क संरचना और स्थानीय वितरण के मापदंडों को डेटा से सीखना चाहिए।

बायेसियन नेटवर्क (बीएन) की ग्राफ संरचना को स्वचालित रूप से सीखना मशीन सीखने के भीतर चुनौती है। मूल विचार Rebane और Judea Pearl द्वारा विकसित पुनर्प्राप्ति एल्गोरिथम पर वापस जाता है और 3-नोड डीएजी में अनुमत तीन संभावित पैटर्नों के बीच अंतर पर आधारित है:

Junction patterns

Pattern	Model
Chain	$X\rightarrow Y\rightarrow Z$
Fork	$X\leftarrow Y\rightarrow Z$
Collider	$X\rightarrow Y\leftarrow Z$

पहले 2 समान निर्भरताओं का प्रतिनिधित्व करते हैं ($X$ और $Z$ स्वतंत्र दिए गए हैं $Y$) और इसलिए, अप्रभेद्य हैं। हालाँकि, कोलाइडर को विशिष्ट रूप से पहचाना जा सकता है $X$ और $Z$ आंशिक रूप से स्वतंत्र हैं और अन्य सभी जोड़े निर्भर हैं। इस प्रकार, जबकि इन तीनों त्रिगुणों के कंकाल (तीरों से छीने गए रेखांकन) समान हैं, तीरों की दिशात्मकता आंशिक रूप से पहचान योग्य है। वही भेद तब लागू होता है जब $X$ और $Z$ सामान्य माता-पिता हैं, सिवाय इसके कि उन माता-पिता पर पहली शर्त होनी चाहिए। एल्गोरिदम को अंतर्निहित ग्राफ के कंकाल को व्यवस्थित रूप से निर्धारित करने के लिए विकसित किया गया है और फिर, उन सभी तीरों को उन्मुख किया गया है जिनकी दिशा सशर्त स्वतंत्रता द्वारा निर्धारित की जाती है। संरचनात्मक सीखने का वैकल्पिक तरीका अनुकूलन-आधारित खोज का उपयोग करता है। इसके लिए स्कोरिंग समारोह और खोज रणनीति की आवश्यकता होती है। सामान्य स्कोरिंग फ़ंक्शन बायेसियन सूचना मानदंड या बीडीयू जैसे प्रशिक्षण डेटा को देखते हुए संरचना की पिछली संभावना है। स्कोर को अधिकतम करने वाली संरचना को लौटाने वाली संपूर्ण खोज की समय की आवश्यकता चर की संख्या में टेट्रेशन है। स्थानीय खोज रणनीति संरचना के स्कोर में सुधार लाने के उद्देश्य से वृद्धिशील परिवर्तन करती है। मार्कोव चेन मोंटे कार्लो जैसा वैश्विक खोज एल्गोरिदम मैक्सिमा और मिनिमा में फंसने से बच सकता है। फ्रीडमैन एट अल। चरों के बीच आपसी जानकारी का उपयोग करने और इसे अधिकतम करने वाली संरचना खोजने पर चर्चा करें। वे माता-पिता के उम्मीदवार को k नोड्स तक सीमित करके और उसमें पूरी तरह से खोज करके ऐसा करते हैं।

सटीक बीएन सीखने के लिए विशेष रूप से तेज़ तरीका समस्या को अनुकूलन समस्या के रूप में डालना है, और पूर्णांक प्रोग्रामिंग का उपयोग करके इसे हल करना है। कटिंग-प्लेन विधि के रूप में हल करने के दौरान पूर्णांक कार्यक्रम (आईपी) में चक्रीयता बाधाओं को जोड़ा जाता है। इस तरह की विधि 100 चर तक की समस्याओं को संभाल सकती है।

हजारों चर वाली समस्याओं से निपटने के लिए अलग दृष्टिकोण आवश्यक है। पहले ऑर्डरिंग का नमूना लेना है, और फिर उस ऑर्डरिंग के संबंध में इष्टतम बीएन संरचना का पता लगाना है। इसका तात्पर्य संभावित ऑर्डरिंग के खोज स्थान पर काम करना है, जो सुविधाजनक है क्योंकि यह नेटवर्क संरचनाओं के स्थान से छोटा है। एकाधिक ऑर्डरिंग का नमूना और मूल्यांकन किया जाता है। चरों की संख्या बहुत अधिक होने पर यह विधि साहित्य में सर्वोत्तम उपलब्ध सिद्ध हुई है। एक अन्य विधि में अपघटन योग्य मॉडल के उप-वर्ग पर ध्यान केंद्रित करना शामिल है, जिसके लिए अधिकतम संभावना अनुमान का बंद रूप है। तब सैकड़ों चरों के लिए सुसंगत संरचना की खोज करना संभव है। बाउंडेड ट्रेविड्थ के साथ बायेसियन नेटवर्क सीखना सटीक, ट्रैक्टेबल अनुमान की अनुमति देने के लिए आवश्यक है, क्योंकि सबसे खराब स्थिति वाली इंट्रेंस जटिलता ट्रेविड्थ k (एक्सपोनेंशियल टाइम परिकल्पना के तहत) में एक्सपोनेंशियल है। फिर भी, ग्राफ की वैश्विक संपत्ति के रूप में, यह सीखने की प्रक्रिया की कठिनाई को काफी बढ़ा देता है। इस संदर्भ में प्रभावी शिक्षण के लिए K ट्री का उपयोग करना संभव है।

सांख्यिकीय परिचय

Main articles: Bayesian statistics and Multilevel model

दिया गया डेटा $x\,\!$ और पैरामीटर $\theta$, साधारण बायेसियन आँकड़े पूर्व संभाव्यता (पूर्व) के साथ शुरू होते हैं $p(\theta )$ और संभावना समारोह $p(x\mid \theta )$ पश्च संभाव्यता की गणना करने के लिए $p(\theta \mid x)\propto p(x\mid \theta )p(\theta )$.

अक्सर पूर्व $\theta$ बदले में अन्य मापदंडों पर निर्भर करता है $\varphi$ जिनका उल्लेख संभावना में नहीं है। तो, पूर्व $p(\theta )$ संभावना द्वारा प्रतिस्थापित किया जाना चाहिए $p(\theta \mid \varphi )$, और पूर्व $p(\varphi )$ नए पेश किए गए मापदंडों पर $\varphi$ की आवश्यकता होती है, जिसके परिणामस्वरूप पश्च संभाव्यता होती है

$p(\theta ,\varphi \mid x)\propto p(x\mid \theta )p(\theta \mid \varphi )p(\varphi ).$

यह बायेसियन_श्रेणीबद्ध_मॉडलिंग का सबसे सरल उदाहरण है।

प्रक्रिया को दोहराया जा सकता है; उदाहरण के लिए, पैरामीटर $\varphi$ बदले में अतिरिक्त पैरामीटर पर निर्भर हो सकता है $\psi \,\!$, जिन्हें अपने स्वयं के पूर्व की आवश्यकता होती है। अंततः प्रक्रिया को समाप्त होना चाहिए, उन पुजारियों के साथ जो अनिर्दिष्ट मापदंडों पर निर्भर नहीं करते हैं।

परिचयात्मक उदाहरण

मापी गई मात्राओं को देखते हुए $x_{1},\dots ,x_{n}\,\!$प्रत्येक ज्ञात मानक विचलन की सामान्य वितरण त्रुटियों के साथ $\sigma \,\!$,

$x_{i}\sim N(\theta _{i},\sigma ^{2})$

मान लीजिए कि हम अनुमान लगाने में रुचि रखते हैं $\theta _{i}$. अनुमान लगाने का तरीका होगा $\theta _{i}$ अधिकतम संभावना दृष्टिकोण का उपयोग करना; चूँकि प्रेक्षण स्वतंत्र हैं, संभावना कारक है और अधिकतम संभावना अनुमान सरल है

$\theta _{i}=x_{i}.$

हालाँकि, यदि मात्राएँ संबंधित हैं, तो उदाहरण के लिए व्यक्ति $\theta _{i}$खुद को अंतर्निहित वितरण से लिया गया है, तो यह रिश्ता स्वतंत्रता को नष्ट कर देता है और अधिक जटिल मॉडल का सुझाव देता है, जैसे,

$x_{i}\sim N(\theta _{i},\sigma ^{2}),$

$\theta _{i}\sim N(\varphi ,\tau ^{2}),$

अनुचित प्राथमिकताओं के साथ $\varphi \sim {\text{flat}}$, $\tau \sim {\text{flat}}\in (0,\infty )$. कब $n\geq 3$, यह पहचाना गया मॉडल है (अर्थात मॉडल के मापदंडों के लिए अनूठा समाधान मौजूद है), और व्यक्ति के बाद के वितरण $\theta _{i}$ हटना होगा, या सिकुड़न अनुमानक अधिकतम संभावना अनुमानों से दूर अपने सामान्य माध्य की ओर जाएगा। यह संकोचन श्रेणीबद्ध बेयस मॉडल में विशिष्ट व्यवहार है।

पुजारियों पर प्रतिबंध

एक पदानुक्रमित मॉडल में प्राथमिकताओं का चयन करते समय कुछ देखभाल की आवश्यकता होती है, विशेष रूप से पदानुक्रम के उच्च स्तर पर स्केल चर पर जैसे चर $\tau \,\!$ उदाहरण में। जेफरीस पूर्व जैसे सामान्य प्राथमिकताएं अक्सर काम नहीं करती हैं, क्योंकि पश्च वितरण सामान्य नहीं होगा और हानि फ़ंक्शन को कम करके किए गए अनुमान # अपेक्षित नुकसान स्वीकार्य निर्णय नियम होंगे।

परिभाषाएं और अवधारणाएं

See also: Glossary of graph theory § Directed acyclic graphs

बायेसियन नेटवर्क की कई समान परिभाषाएँ प्रस्तुत की गई हैं। निम्नलिखित के लिए, जी = (वी, ई) निर्देशित चक्रीय ग्राफ (डीएजी) बनें और एक्स = (एक्स_v), वी ∈ वी वी द्वारा अनुक्रमित यादृच्छिक चर का सेट हो।

गुणनखंड परिभाषा

X, G के संबंध में बायेसियन नेटवर्क है यदि इसकी संयुक्त संभाव्यता घनत्व फ़ंक्शन (उत्पाद माप के संबंध में) को व्यक्तिगत घनत्व कार्यों के उत्पाद के रूप में लिखा जा सकता है, उनके माता-पिता चर पर सशर्त:

$p(x)=\prod _{v\in V}p\left(x_{v}\,{\big |}\,x_{\operatorname {pa} (v)}\right)$

जहां पीए (वी) वी के माता-पिता का सेट है (यानी वे वर्टिकल सीधे किनारे के माध्यम से वी को इंगित करते हैं)।

यादृच्छिक चर के किसी भी सेट के लिए, संयुक्त वितरण के किसी भी सदस्य की संभावना की गणना सशर्त संभावनाओं से श्रृंखला नियम (प्रायिकता) (एक्स के सांस्थितिक क्रम को देखते हुए) का उपयोग करके की जा सकती है:

$\operatorname {P} (X_{1}=x_{1},\ldots ,X_{n}=x_{n})=\prod _{v=1}^{n}\operatorname {P} \left(X_{v}=x_{v}\mid X_{v+1}=x_{v+1},\ldots ,X_{n}=x_{n}\right)$

उपरोक्त परिभाषा का उपयोग करते हुए, इसे इस प्रकार लिखा जा सकता है:

$\operatorname {P} (X_{1}=x_{1},\ldots ,X_{n}=x_{n})=\prod _{v=1}^{n}\operatorname {P} (X_{v}=x_{v}\mid X_{j}=x_{j}{\text{ for each }}X_{j}\,{\text{ that is a parent of }}X_{v}\,)$

दो भावों के बीच का अंतर उनके किसी भी गैर-वंशज से चर की सशर्त स्वतंत्रता है, उनके मूल चर के मान दिए गए हैं।

स्थानीय मार्कोव संपत्ति

X, G के संबंध में बायेसियन नेटवर्क है यदि यह स्थानीय मार्कोव संपत्ति को संतुष्ट करता है: प्रत्येक चर अपने गैर-वंशजों की सशर्त स्वतंत्रता है जो इसके मूल चर हैं:

$X_{v}\perp \!\!\!\perp X_{V\,\smallsetminus \,\operatorname {de} (v)}\mid X_{\operatorname {pa} (v)}\quad {\text{for all }}v\in V$

जहाँ de(v) वंशजों का समुच्चय है और V \ de(v) v के गैर-वंशजों का समुच्चय है।

इसे पहली परिभाषा के समान शब्दों में व्यक्त किया जा सकता है, जैसे

${\begin{aligned}&\operatorname {P} (X_{v}=x_{v}\mid X_{i}=x_{i}{\text{ for each }}X_{i}{\text{ that is not a descendant of }}X_{v}\,)\\[6pt]={}&P(X_{v}=x_{v}\mid X_{j}=x_{j}{\text{ for each }}X_{j}{\text{ that is a parent of }}X_{v}\,)\end{aligned}}$

माता-पिता का सेट गैर-वंशजों के सेट का सबसेट है क्योंकि ग्राफ साइकिल (ग्राफ सिद्धांत) है।

बायेसियन नेटवर्क विकसित करना

बायेसियन नेटवर्क का विकास अक्सर डीएजी जी बनाने के साथ शुरू होता है जैसे कि एक्स जी के संबंध में स्थानीय मार्कोव संपत्ति को संतुष्ट करता है। कभी-कभी यह कारणात्मक ग्राफ डीएजी होता है। जी में अपने माता-पिता को दिए गए प्रत्येक चर के सशर्त संभाव्यता वितरण का मूल्यांकन किया जाता है। कई मामलों में, विशेष रूप से ऐसे मामले में जहां चर असतत होते हैं, यदि X का संयुक्त वितरण इन सशर्त वितरणों का उत्पाद है, तो X, G के संबंध में बायेसियन नेटवर्क है।

मार्कोव कंबल

एक नोड का मार्कोव कंबल उसके माता-पिता, उसके बच्चों और उसके बच्चों के किसी भी अन्य माता-पिता से मिलकर नोड्स का समूह है। मार्कोव कंबल बाकी नेटवर्क से स्वतंत्र नोड को प्रस्तुत करता है; नोड के मार्कोव कंबल में चर का संयुक्त वितरण नोड के वितरण की गणना के लिए पर्याप्त ज्ञान है। X, G के संबंध में बायेसियन नेटवर्क है यदि प्रत्येक नोड अपने मार्कोव कंबल को देखते हुए नेटवर्क के अन्य सभी नोड्स से सशर्त रूप से स्वतंत्र है।

डी-पृथक्करण

दो नोड्स के डी-पृथक्करण को परिभाषित करके इस परिभाषा को और अधिक सामान्य बनाया जा सकता है, जहां डी दिशात्मक है।हम पहले निशान के डी-पृथक्करण को परिभाषित करते हैं और फिर हम उसके संदर्भ में दो नोड्स के डी-पृथक्करण को परिभाषित करेंगे।

पी को नोड यू से वी तक निशान होने दें। निशान दो नोड्स के बीच लूप-फ्री, अप्रत्यक्ष (यानी सभी किनारों की दिशाओं को नजरअंदाज कर दिया जाता है) पथ है। तब P को नोड्स Z के सेट द्वारा d-पृथक कहा जाता है यदि निम्न स्थितियों में से कोई भी हो:

• P में निर्देशित श्रृंखला शामिल है (लेकिन पूरी तरह से होने की आवश्यकता नहीं है), $u\cdots \leftarrow m\leftarrow \cdots v$ या $u\cdots \rightarrow m\rightarrow \cdots v$, जैसे कि मध्य नोड m Z में है,
• P में कांटा होता है, $u\cdots \leftarrow m\rightarrow \cdots v$, जैसे कि मध्य नोड m Z में है, या
• पी में उलटा कांटा (या कोलाइडर) होता है, $u\cdots \rightarrow m\leftarrow \cdots v$, जैसे कि मध्य नोड m Z में नहीं है और m का कोई वंशज Z में नहीं है।

नोड्स यू और वी जेड द्वारा डी-पृथक हैं यदि उनके बीच के सभी ट्रेल्स डी-पृथक हैं। यदि यू और वी डी-पृथक नहीं हैं, तो वे डी-कनेक्टेड हैं।

X, G के संबंध में बायेसियन नेटवर्क है, यदि किन्हीं दो नोड्स u, v के लिए:

$X_{u}\perp \!\!\!\perp X_{v}\mid X_{Z}$

जहाँ Z सेट है जो d-u और v को अलग करता है। (मार्कोव कंबल नोड्स का न्यूनतम सेट है जो d-नोड v को अन्य सभी नोड्स से अलग करता है।)

कारण नेटवर्क

हालाँकि बायेसियन नेटवर्क का उपयोग अक्सर कार्य-कारण संबंधों का प्रतिनिधित्व करने के लिए किया जाता है, यह मामला नहीं होना चाहिए: यू से वी तक निर्देशित किनारे को एक्स की आवश्यकता नहीं होती है_vX पर यथोचित रूप से निर्भर रहें_u. यह इस तथ्य से प्रदर्शित होता है कि बायेसियन नेटवर्क रेखांकन पर:

$a\rightarrow b\rightarrow c\qquad {\text{and}}\qquad a\leftarrow b\leftarrow c$

समतुल्य हैं: यानी वे ठीक वैसी ही सशर्त स्वतंत्रता आवश्यकताओं को लागू करते हैं।

कारणात्मक नेटवर्क बायेसियन नेटवर्क है जिसके लिए आवश्यक है कि संबंध कारणात्मक हों। कारण नेटवर्क के अतिरिक्त शब्दार्थ निर्दिष्ट करते हैं कि यदि कोई नोड X सक्रिय रूप से किसी दिए गए राज्य x (do(X = x) के रूप में लिखी गई क्रिया) में होने के कारण होता है, तो संभाव्यता घनत्व फ़ंक्शन उस नेटवर्क के लिए बदल जाता है जिसे काटकर प्राप्त किया जाता है। X के माता-पिता से X के लिए लिंक, और X को कारण मान x पर सेट करना।इन शब्दार्थों का उपयोग करते हुए, हस्तक्षेप से पहले प्राप्त आंकड़ों से बाहरी हस्तक्षेपों के प्रभाव का अनुमान लगाया जा सकता है।

अनुमान जटिलता और सन्निकटन एल्गोरिदम

1990 में, बड़े जैव सूचनात्मक अनुप्रयोगों पर स्टैनफोर्ड यूनिवर्सिटी में काम करते हुए, कूपर ने साबित किया कि बायेसियन नेटवर्क में सटीक अनुमान एनपी कठिन है। इस परिणाम ने संभाव्य अनुमान के लिए ट्रैक्टेबल सन्निकटन विकसित करने के उद्देश्य से सन्निकटन एल्गोरिदम पर शोध को प्रेरित किया। 1993 में, पॉल डगम और माइकल लुबी ने बायेसियन नेटवर्क में संभाव्य अनुमान के सन्निकटन की जटिलता पर दो आश्चर्यजनक परिणाम साबित किए। सबसे पहले, उन्होंने साबित किया कि कोई भी व्यवस्थित नियतात्मक एल्गोरिदम पूर्ण त्रुटि ɛ < 1/2 के भीतर संभाव्य अनुमान का अनुमान नहीं लगा सकता है। दूसरा, उन्होंने साबित किया कि कोई भी ट्रैक्टेबल यादृच्छिक एल्गोरिदम 1/2 से अधिक आत्मविश्वास की संभावना के साथ पूर्ण त्रुटि ɛ <1/2 के भीतर संभाव्य अनुमान का अनुमान नहीं लगा सकता है।

लगभग उसी समय, डेन रोथ ने साबित किया कि बेयसियन नेटवर्क में सटीक अनुमान वास्तव में तीव्र-पी-पूर्ण|#पी-पूर्ण है (और इस प्रकार संयोजन सामान्य फॉर्म फॉर्मूला (सीएनएफ) के संतोषजनक असाइनमेंट की संख्या की गणना करने जितना कठिन है) और वह कारक 2 के भीतर अनुमानित अनुमान^n1−ɛ हर ɛ > 0 के लिए, यहां तक ​​कि प्रतिबंधित आर्किटेक्चर वाले बायेसियन नेटवर्क के लिए भी, एनपी-हार्ड है। व्यावहारिक रूप से, इन जटिलता के परिणामों ने सुझाव दिया कि जबकि बायेसियन नेटवर्क एआई और मशीन लर्निंग अनुप्रयोगों के लिए समृद्ध प्रतिनिधित्व थे, बड़े वास्तविक दुनिया के अनुप्रयोगों में उनके उपयोग को या तो भोले-भाले बेयस नेटवर्क, या प्रतिबंधों द्वारा सामयिक संरचनात्मक बाधाओं से संयमित करने की आवश्यकता होगी। सशर्त संभावनाओं पर। परिबद्ध विचरण एल्गोरिथम Dagum और Luby द्वारा विकसित किया गया पहला सिद्ध करने योग्य तेज़ सन्निकटन एल्गोरिथम त्रुटि सन्निकटन पर गारंटी के साथ बायेसियन नेटवर्क में कुशलता से संभावित अनुमानित अनुमान लगाने के लिए था। इस शक्तिशाली एल्गोरिदम को बायेसियन नेटवर्क की सशर्त संभावनाओं पर मामूली प्रतिबंध की आवश्यकता होती है जो शून्य और से दूर हो। $1/p(n)$ कहाँ $p(n)$ नेटवर्क में नोड्स की संख्या का कोई बहुपद था, $n$.

सॉफ्टवेयर

बायेसियन नेटवर्क के लिए उल्लेखनीय सॉफ्टवेयर में शामिल हैं:

• बस और गिब्स सैम्पलर (JAGS) - WinBUGS का ओपन-सोर्स विकल्प। गिब्स नमूनाकरण का उपयोग करता है।
• OpenBUGS - WinBUGS का ओपन-सोर्स विकास।
• एसपीएसएस मॉडलर - व्यावसायिक सॉफ्टवेयर जिसमें बायेसियन नेटवर्क के लिए कार्यान्वयन शामिल है।
• स्टेन (सॉफ्टवेयर) - स्टेन नो-यू-टर्न सैंपलर (एनयूटीएस) का उपयोग करके बायेसियन अनुमान प्राप्त करने के लिए ओपन-सोर्स पैकेज है, हैमिल्टनियन मोंटे कार्लो का संस्करण।
• PyMC3 - बायेसियन नेटवर्क का प्रतिनिधित्व करने के लिए एम्बेडेड डोमेन विशिष्ट भाषा को लागू करने वाला पायथन पुस्तकालय, और विभिन्न प्रकार के नमूने (एनयूटीएस सहित)
• विनबग्स - एमसीएमसी सैंपलर्स के पहले कम्प्यूटेशनल कार्यान्वयन में से एक। अब नहीं रखा जाता।

इतिहास

बायेसियन नेटवर्क शब्द 1985 में जूडिया पर्ल द्वारा जोर देने के लिए गढ़ा गया था:

• इनपुट जानकारी की अक्सर व्यक्तिपरक प्रकृति
• जानकारी अपडेट करने के आधार के रूप में बेयस कंडीशनिंग पर निर्भरता
• तर्क के कारण और साक्ष्य के तरीकों के बीच अंतर

1980 के दशक के अंत में इंटेलिजेंट सिस्टम्स में पर्ल की प्रोबेबिलिस्टिक रीज़निंग और रिचर्ड ई. नीपोलिटन की विशेषज्ञ प्रणालियों में संभाव्य तर्क उनके गुणों को सारांशित किया और उन्हें अध्ययन के क्षेत्र के रूप में स्थापित किया।

यह भी देखें

• Bayesian epistemology
• Bayesian programming
• Causal inference
• Causal loop diagram
• Chow–Liu tree
• Computational intelligence
• Computational phylogenetics
• Deep belief network
• Dempster–Shafer theory – a generalization of Bayes' theorem
• Expectation–maximization algorithm
• Factor graph
• Hierarchical temporal memory
• Kalman filter
• Memory-prediction framework
• Mixture distribution
• Mixture model
• Naive Bayes classifier
• Polytree
• Sensor fusion
• Sequence alignment
• Structural equation modeling
• Subjective logic
• Variable-order Bayesian network

संदर्भ

• Ben Gal I (2007). "Bayesian Networks" (PDF). In Ruggeri F, Kennett RS, Faltin FW (eds.). Support-Page. Encyclopedia of Statistics in Quality and Reliability. John Wiley & Sons. doi:10.1002/9780470061572.eqr089. ISBN 978-0-470-01861-3.
• Bertsch McGrayne S (2011). The Theory That Would not Die. New Haven: Yale University Press.
• Borgelt C, Kruse R (March 2002). Graphical Models: Methods for Data Analysis and Mining. Chichester, UK: Wiley. ISBN 978-0-470-84337-6.
• Borsuk ME (2008). "Ecological informatics: Bayesian networks". In Jørgensen, Sven Erik, Fath, Brian (eds.). Encyclopedia of Ecology. Elsevier. ISBN 978-0-444-52033-3.
• Castillo E, Gutiérrez JM, Hadi AS (1997). "Learning Bayesian Networks". Expert Systems and Probabilistic Network Models. Monographs in computer science. New York: Springer-Verlag. pp. 481–528. ISBN 978-0-387-94858-4.
• Comley JW, Dowe DL (June 2003). "General Bayesian networks and asymmetric languages". Proceedings of the 2nd Hawaii International Conference on Statistics and Related Fields.
• Comley JW, Dowe DL (2005). "Minimum Message Length and Generalized Bayesian Nets with Asymmetric Languages". In Grünwald PD, Myung IJ, Pitt MA (eds.). Advances in Minimum Description Length: Theory and Applications. Neural information processing series. Cambridge, Massachusetts: Bradford Books (MIT Press) (published April 2005). pp. 265–294. ISBN 978-0-262-07262-5. (This paper puts decision trees in internal nodes of Bayes networks using Minimum Message Length (MML).
• Darwiche A (2009). Modeling and Reasoning with Bayesian Networks. Cambridge University Press. ISBN 978-0-521-88438-9.
• Dowe, David L. (2011-05-31). "Hybrid Bayesian network graphical models, statistical consistency, invariance and uniqueness" (PDF). Philosophy of Statistics (in English). Elsevier. pp. 901–982. ISBN 978-0-08-093096-1.
• Fenton N, Neil ME (November 2007). "Managing Risk in the Modern World: Applications of Bayesian Networks" (PDF). A Knowledge Transfer Report from the London Mathematical Society and the Knowledge Transfer Network for Industrial Mathematics. London (England): London Mathematical Society. Archived from the original (PDF) on 2008-05-14. Retrieved 2008-10-29.
• Fenton N, Neil ME (July 23, 2004). "Combining evidence in risk analysis using Bayesian Networks" (PDF). Safety Critical Systems Club Newsletter. Vol. 13, no. 4. Newcastle upon Tyne, England. pp. 8–13. Archived from the original (PDF) on 2007-09-27.
• Gelman A, Carlin JB, Stern HS, Rubin DB (2003). "Part II: Fundamentals of Bayesian Data Analysis: Ch.5 Hierarchical models". Bayesian Data Analysis. CRC Press. pp. 120–. ISBN 978-1-58488-388-3.
• Heckerman, David (March 1, 1995). "Tutorial on Learning with Bayesian Networks". In Jordan, Michael Irwin (ed.). Learning in Graphical Models. Adaptive Computation and Machine Learning. Cambridge, Massachusetts: MIT Press (published 1998). pp. 301–354. ISBN 978-0-262-60032-3. Archived from the original on July 19, 2006. Retrieved September 15, 2006.{{cite book}}: CS1 maint: bot: original URL status unknown (link):Also appears as Heckerman, David (March 1997). "Bayesian Networks for Data Mining". Data Mining and Knowledge Discovery. 1 (1): 79–119. doi:10.1023/A:1009730122752. S2CID 6294315.

An earlier version appears as , Microsoft Research, March 1, 1995. The paper is about both parameter and structure learning in Bayesian networks.

• Jensen FV, Nielsen TD (June 6, 2007). Bayesian Networks and Decision Graphs. Information Science and Statistics series (2nd ed.). New York: Springer-Verlag. ISBN 978-0-387-68281-5.
• Karimi K, Hamilton HJ (2000). "Finding temporal relations: Causal bayesian networks vs. C4. 5" (PDF). Twelfth International Symposium on Methodologies for Intelligent Systems.
• Korb KB, Nicholson AE (December 2010). Bayesian Artificial Intelligence. CRC Computer Science & Data Analysis (2nd ed.). Chapman & Hall (CRC Press). doi:10.1007/s10044-004-0214-5. ISBN 978-1-58488-387-6. S2CID 22138783.
• Lunn D, Spiegelhalter D, Thomas A, Best N (November 2009). "The BUGS project: Evolution, critique and future directions". Statistics in Medicine. 28 (25): 3049–67. doi:10.1002/sim.3680. PMID 19630097. S2CID 7717482.
• Neil M, Fenton N, Tailor M (August 2005). Greenberg, Michael R. (ed.). "Using Bayesian networks to model expected and unexpected operational losses" (PDF). Risk Analysis. 25 (4): 963–72. doi:10.1111/j.1539-6924.2005.00641.x. PMID 16268944. S2CID 3254505.
• Pearl J (September 1986). "Fusion, propagation, and structuring in belief networks". Artificial Intelligence. 29 (3): 241–288. doi:10.1016/0004-3702(86)90072-X.
• Pearl J (1988). Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference. Representation and Reasoning Series (2nd printing ed.). San Francisco, California: Morgan Kaufmann. ISBN 978-0-934613-73-6.
• Pearl J, Russell S (November 2002). "Bayesian Networks". In Arbib MA (ed.). Handbook of Brain Theory and Neural Networks. Cambridge, Massachusetts: Bradford Books (MIT Press). pp. 157–160. ISBN 978-0-262-01197-6.
• Russell, Stuart J.; Norvig, Peter (2003), Artificial Intelligence: A Modern Approach (2nd ed.), Upper Saddle River, New Jersey: Prentice Hall, ISBN 0-13-790395-2.
• Zhang NL, Poole D (May 1994). "A simple approach to Bayesian network computations" (PDF). Proceedings of the Tenth Biennial Canadian Artificial Intelligence Conference (AI-94).: 171–178. This paper presents variable elimination for belief networks.

अग्रिम पठन

• Conrady S, Jouffe L (2015-07-01). Bayesian Networks and BayesiaLab – A practical introduction for researchers. Franklin, Tennessee: Bayesian USA. ISBN 978-0-9965333-0-0.
• Charniak E (Winter 1991). "Bayesian networks without tears" (PDF). AI Magazine.
• Kruse R, Borgelt C, Klawonn F, Moewes C, Steinbrecher M, Held P (2013). Computational Intelligence A Methodological Introduction. London: Springer-Verlag. ISBN 978-1-4471-5012-1.
• Borgelt C, Steinbrecher M, Kruse R (2009). Graphical Models – Representations for Learning, Reasoning and Data Mining (Second ed.). Chichester: Wiley. ISBN 978-0-470-74956-2.

बाहरी संबंध

• An Introduction to Bayesian Networks and their Contemporary Applications
• On-line Tutorial on Bayesian nets and probability
• Web-App to create Bayesian nets and run it with a Monte Carlo method
• Continuous Time Bayesian Networks
• Bayesian Networks: Explanation and Analogy
• A live tutorial on learning Bayesian networks
• A hierarchical Bayes Model for handling sample heterogeneity in classification problems, provides a classification model taking into consideration the uncertainty associated with measuring replicate samples.
• Hierarchical Naive Bayes Model for handling sample uncertainty Archived 2007-09-28 at the Wayback Machine, shows how to perform classification and learning with continuous and discrete variables with replicated measurements.