बोल्ट्ज़मान मशीन

बोल्ट्ज़मैन मशीन के एक उदाहरण का चित्रमय प्रतिनिधित्व। प्रत्येक अप्रत्यक्ष किनारा निर्भरता का प्रतिनिधित्व करता है। इस उदाहरण में 3 प्रच्छन्न हुई इकाइयाँ और 4 दृश्यमान इकाइयाँ हैं। यह कोई प्रतिबंधित बोल्ट्ज़मैन मशीन नहीं है।

लुडविग बोल्ट्ज़मान मशीन (जिसे बाहरी क्षेत्र के साथ शेरिंगटन-किर्कपैट्रिक मॉडल या प्रसंभाव्य आइसिंग-लेनज़-लिटिल मॉडल भी कहा जाता है) एक बाहरी क्षेत्र के साथ प्रसंभाव्य स्पिन-ग्लास मॉडल है, अर्थात, एक प्रचक्रण ग्लास#शेरिंगटन-किर्कपैट्रिक मॉडल , यह एक प्रसंभाव्य आइसिंग मॉडल है। यह एक सांख्यिकीय भौतिकी तकनीक है जिसका उपयोग संज्ञानात्मक विज्ञान के संदर्भ में किया जाता है। इसे मार्कोव यादृच्छिक क्षेत्र के रूप में भी वर्गीकृत किया गया है।

बोल्ट्ज़मैन मशीनें अपने प्रशिक्षण कलनविधि की स्थानीयता और हेब्बियन प्रकृति (हेब्ब के नियम द्वारा प्रशिक्षित होने) और उनके समानांतरवाद (अभिकलन) और सरल भौतिक प्रक्रियाओं के साथ उनकी गतिशीलता की समानता के कारण सैद्धांतिक रूप से दिलचस्प हैं। अप्रतिबंधित संयोजकता वाली बोल्ट्ज़मैन मशीनें सीखने या अनुमान में व्यावहारिक समस्याओं के लिए उपयोगी सिद्ध नहीं हुई हैं, लेकिन यदि संयोजकता ठीक से बाधित है, तो सीखने को व्यावहारिक समस्याओं के लिए उपयोगी होने के लिए पर्याप्त कुशल बनाया जा सकता है। उनका नाम सांख्यिकीय यांत्रिकी में बोल्ट्ज़मान बंटन के नाम पर रखा गया है, जिसका उपयोग उनके नमूनाकरण फलन में किया जाता है। उन्हें संज्ञानात्मक विज्ञान समुदायों और यंत्र अधिगम में जेफ्री हिंटन, टेरी सेजनोवस्की और वाई एन एल ईसीयू के अंदर द्वारा काफी लोकप्रिय और प्रचारित किया गया था। यंत्र अधिगम के भीतर एक अधिक सामान्य वर्ग के रूप में इन मॉडलों को ऊर्जा आधारित मॉडल (ईबीएम) कहा जाता है, क्योंकि प्रचक्रण ग्लास के हैमिल्टनियन यांत्रिकी का उपयोग सीखने के कार्य को परिभाषित करने के लिए प्रारंभिकी बिंदु के रूप में किया जाता है।

संरचना

कुछ वजन लेबल के साथ बोल्ट्ज़मैन मशीन का एक चित्रमय प्रतिनिधित्व। प्रत्येक अप्रत्यक्ष किनारा निर्भरता का प्रतिनिधित्व करता है और वजन के साथ भारित होता है $w_{ij}$. इस उदाहरण में 3 प्रच्छन्न हुई इकाइयाँ (नीली) और 4 दृश्यमान इकाइयाँ (सफ़ेद) हैं। यह कोई प्रतिबंधित बोल्ट्ज़मैन मशीन नहीं है।

बोल्ट्ज़मैन मशीन, प्रचक्रण ग्लास#शेरिंगटन-किर्कपैट्रिक मॉडल की तरह, समग्र संजाल के लिए परिभाषित कुल ऊर्जा (हैमिल्टनियन यांत्रिकी) वाली इकाइयों का एक संजाल है। इसकी इकाइयाँ द्विआधारी संख्या परिणाम उत्पन्न करती हैं। बोल्ट्ज़मैन मशीन का वज़न प्रसंभाव्य है। वैश्विक ऊर्जा $E$ बोल्ट्ज़मैन मशीन हॉपफील्ड संजाल और आइसिंग मॉडल के समान है:

$E=-\left(\sum _{i<j}w_{ij}\,s_{i}\,s_{j}+\sum _{i}\theta _{i}\,s_{i}\right)$

जहाँ:

• $w_{ij}$ इकाई के बीच संबंध शक्ति है $j$ और इकाई $i$.
• $s_{i}$ स्थिति है, $s_{i}\in \{0,1\}$, इकाई का $i$.
• $\theta _{i}$ इकाई का पूर्वाग्रह है $i$ वैश्विक ऊर्जा समारोह में. ($-\theta _{i}$ इकाई के लिए सक्रियण सीमा है।)

अधिकांशत: वजन $w_{ij}$ एक सममित आव्युह के रूप में दर्शाया गया है $W=[w_{ij}]$ विकर्ण के साथ शून्य के साथ है।

इकाई अवस्था संभाव्यता

वैश्विक ऊर्जा में अंतर जो एक इकाई से उत्पन्न होता है $i$ 0 (बंद) बनाम 1 (चालू) के बराबर, लिखा हुआ $\Delta E_{i}$, वज़न का एक सममित आव्युह मानते हुए, इस प्रकार दिया गया है:

$\Delta E_{i}=\sum _{j>i}w_{ij}\,s_{j}+\sum _{j<i}w_{ji}\,s_{j}+\theta _{i}$

इसे दो स्थितियों की ऊर्जाओं के अंतर के रूप में व्यक्त किया जा सकता है:

$\Delta E_{i}=E_{\text{i=off}}-E_{\text{i=on}}$

प्रत्येक स्थिति की ऊर्जा को उसकी सापेक्ष संभाव्यता के साथ बोल्ट्ज़मान कारक (बोल्ट्ज़मैन बंटन का गुण जो किसी स्थिति की ऊर्जा उस स्थिति की नकारात्मक लॉग संभावना के समानुपाती होती है) के अनुसार प्रतिस्थापित करने पर मिलती है:

$\Delta E_{i}=-k_{B}\,T\ln(p_{\text{i=off}})-(-k_{B}\,T\ln(p_{\text{i=on}}))$

जहाँ $k_{B}$ बोल्ट्ज़मैन स्थिरांक है और तापमान की कृत्रिम धारणा में अवशोषित हो जाता है $T$. फिर हम शर्तों को पुनर्व्यवस्थित करते हैं और विचार करते हैं कि इकाई के चालू और बंद होने की संभावनाओं का योग एक होना चाहिए:

${\frac {\Delta E_{i}}{T}}=\ln(p_{\text{i=on}})-\ln(p_{\text{i=off}})$

${\frac {\Delta E_{i}}{T}}=\ln(p_{\text{i=on}})-\ln(1-p_{\text{i=on}})$

${\frac {\Delta E_{i}}{T}}=\ln \left({\frac {p_{\text{i=on}}}{1-p_{\text{i=on}}}}\right)$

$-{\frac {\Delta E_{i}}{T}}=\ln \left({\frac {1-p_{\text{i=on}}}{p_{\text{i=on}}}}\right)$

$-{\frac {\Delta E_{i}}{T}}=\ln \left({\frac {1}{p_{\text{i=on}}}}-1\right)$

$\exp \left(-{\frac {\Delta E_{i}}{T}}\right)={\frac {1}{p_{\text{i=on}}}}-1$

के लिए समाधान $p_{\text{i=on}}$, संभावना है कि $i$-वीं इकाई चालू है:

$p_{\text{i=on}}={\frac {1}{1+\exp(-{\frac {\Delta E_{i}}{T}})}}$

जहां अदिश (भौतिकी) $T$ इसे सिस्टम का तापमान कहा जाता है। यह संबंध बोल्ट्ज़मैन मशीन के वेरिएंट में संभाव्यता अभिव्यक्तियों में पाए जाने वाले लॉजिस्टिक फलन का स्रोत है।

साम्यावस्था

संजाल बार-बार एक इकाई को चुनने और उसकी स्थिति को पुनर्स्थापन करने से चलता है। एक निश्चित तापमान पर लंबे समय तक चलने के बाद, बोल्ट्ज़मैन बंटन के अनुसार, संजाल की वैश्विक स्थिति की संभावना केवल उस वैश्विक स्थिति की ऊर्जा पर निर्भर करती है, न कि उस प्रारंभिक स्थिति पर जहां से प्रक्रिया शुरू की गई थी। इसका मतलब यह है कि वैश्विक स्थिति की लॉग-संभावनाएं उनकी ऊर्जा में रैखिक हो जाती हैं। यह संबंध तब सत्य होता है जब मशीन ऊष्मीय साम्य पर होती है, जिसका अर्थ है कि वैश्विक स्थिति का संभाव्यता बंटन अभिसरण हो गया है। उच्च तापमान से शुरू होने वाले संजाल को चलाने पर, कम तापमान पर थर्मल संतुलन तक पहुंचने तक इसका तापमान धीरे-धीरे कम हो जाता है। इसके बाद यह एक ऐसे बंटन में परिवर्तित हो सकता है जहां ऊर्जा स्तर वैश्विक न्यूनतम के आसपास उतार-चढ़ाव करता है। इस प्रक्रिया को अनुकारितअनीलन कहा जाता है।

संजाल को प्रशिक्षित करने के लिए जिससे कि इन स्थितियों पर बाहरी बंटन के अनुसार वैश्विक स्थिति में परिवर्तित होने का मौका मिले, वजन निर्धारित किया जाना चाहिए जिससे कि उच्चतम संभावनाओं वाले वैश्विक स्थितियों को सबसे कम ऊर्जा मिल सके। यह प्रशिक्षण द्वारा किया जाता है।

प्रशिक्षण

बोल्ट्ज़मान मशीन में इकाइयों को 'दृश्यमान' इकाइयों, V, और 'प्रच्छन्न' इकाइयों, H में विभाजित किया गया है। दृश्यमान इकाइयां वे हैं जो 'पर्यावरण' से जानकारी प्राप्त करती हैं, अर्थात प्रशिक्षण सेट द्विआधारी सदिश का एक सेट है, सेट V। प्रशिक्षण सेट पर बंटन दर्शाया गया है $P^{+}(V)$।

जैसे ही बोल्ट्ज़मैन मशीन थर्मल संतुलन तक पहुँचती है, वैश्विक स्थितियों पर बंटन परिवर्तित हो जाता है। हम इस बंटन को छुपी हुई इकाइयों पर सीमांत बंटन के बाद निरूपित करते हैं $P^{-}(V)$.

हमारा लक्ष्य वास्तविक बंटन का अनुमान लगाना है $P^{+}(V)$ का उपयोग $P^{-}(V)$ मशीन द्वारा उत्पादित. दो बंटनों की समानता कुल्बैक-लीब्लर विचलन द्वारा मापी जाती है, $G$:

$G=\sum _{v}{P^{+}(v)\ln \left({\frac {P^{+}(v)}{P^{-}(v)}}\right)}$

जहां योग सभी संभावित स्थितियों से अधिक है $V$. $G$ भार का एक कार्य है, क्योंकि वे एक स्थिति की ऊर्जा निर्धारित करते हैं, और ऊर्जा निर्धारित करती है $P^{-}(v)$, जैसा कि बोल्ट्ज़मैन बंटन द्वारा वादा किया गया था। एक प्रवणता अवरोह कलनविधि पर $G$, दिए गए वजन को बदलता है, $w_{ij}$ के आंशिक व्युत्पन्न को घटाकर वजन के संबंध में $G$ ।

बोल्ट्ज़मैन मशीन प्रशिक्षण में दो वैकल्पिक चरण सम्मलित हैं। एक सकारात्मक चरण है जहां दृश्यमान इकाइयों की स्थिति को प्रशिक्षण सेट से नमूना किए गए एक विशेष द्विआधारी अवस्था सदिश से जोड़ा जाता है (के अनुसार $P^{+}$). दूसरा नकारात्मक चरण है जहां संजाल को स्वतंत्र रूप से चलने की अनुमति है, अर्थात केवल निविष्ट नोड्स की स्थिति बाहरी आंकड़ो द्वारा निर्धारित होती है, लेकिन निर्गम नोड्स को प्लव करने की अनुमति होती है। किसी दिए गए वजन के संबंध में ढाल, $w_{ij}$, समीकरण द्वारा दिया गया है:

${\frac {\partial {G}}{\partial {w_{ij}}}}=-{\frac {1}{R}}[p_{ij}^{+}-p_{ij}^{-}]$

जहाँ:

• $p_{ij}^{+}$ यह संभावना है कि जब मशीन सकारात्मक चरण पर संतुलन पर होती है तो इकाइयाँ i और j दोनों चालू होती हैं।
• $p_{ij}^{-}$ यह संभावना है कि जब मशीन नकारात्मक चरण पर संतुलन पर होती है तो इकाइयाँ i और j दोनों चालू होती हैं।
• $R$ सीखने की दर को दर्शाता है

यह परिणाम इस तथ्य से निकलता है कि तापीय संतुलन पर संभाव्यता $P^{-}(s)$ किसी भी वैश्विक स्थिति का $s$ जब संजाल मुक्तधावी होता है तो बोल्ट्ज़मैन बंटन द्वारा दिया जाता है।

यह सीखने का नियम जैविक रूप से प्रशंसनीय है क्योंकि वज़न बदलने के लिए आवश्यक एकमात्र जानकारी स्थानीय जानकारी द्वारा प्रदान की जाती है। अर्थात्, संश्रय (निष्कर्ष, जैविक रूप से) को इससे जुड़ने वाले दो न्यूरॉन्स के अतिरिक्त किसी अन्य चीज़ के बारे में जानकारी की आवश्यकता नहीं है। यह पश्चप्रचार जैसे कई अन्य तंत्रिका संजाल प्रशिक्षण कलनविधि में संश्रय के लिए आवश्यक जानकारी की तुलना में अधिक जैविक रूप से यथार्थवादी है।

बोल्ट्ज़मैन मशीन का प्रशिक्षण ईएम कलनविधि का उपयोग नहीं करता है, जिसका यंत्र अधिगम में भारी उपयोग किया जाता है। कुल्बैक-लीबलर डाइवर्जेंस को कम करके, यह आंकड़ो की लॉग-संभावना को अधिकतम करने के बराबर है। इसलिए, प्रशिक्षण प्रक्रिया प्रेक्षित आंकड़ो की लॉग-संभावना पर क्रमिक आरोहण करती है। यह ईएम कलनविधि के विपरीत है, जहां एम-चरण के दौरान पूर्ण आंकड़ा संभावना के अपेक्षित मान को अधिकतम करने से पहले प्रच्छन्न हुए नोड्स के पीछे के बंटन की गणना की जानी चाहिए।

पूर्वाग्रहों का प्रशिक्षण समान है, लेकिन केवल एकल नोड गतिविधि का उपयोग करता है:

${\frac {\partial {G}}{\partial {\theta _{i}}}}=-{\frac {1}{R}}[p_{i}^{+}-p_{i}^{-}]$

समस्याएँ

सैद्धांतिक रूप से बोल्ट्ज़मान मशीन एक सामान्य अभिकलनी माध्यम है। उदाहरण के लिए, यदि तस्वीरों पर प्रशिक्षित किया जाता है, तो मशीन सैद्धांतिक रूप से तस्वीरों के बंटन का मॉडल तैयार करेगी, और उदाहरण के लिए, आंशिक तस्वीर को पूरा करने के लिए उस मॉडल का उपयोग कर सकती है।

दुर्भाग्य से, बोल्ट्ज़मैन मशीनें एक गंभीर व्यावहारिक समस्या का अनुभव करती हैं, अर्थात् जब मशीन को एक क्षुद्र आकार से अधिक बड़े आकार में ले जाया जाता है तो यह सही ढंग से सीखना बंद कर देती है। यह महत्वपूर्ण प्रभावों के कारण है, विशेष रूप से:

• संतुलन आँकड़े एकत्र करने के लिए आवश्यक समय क्रम मशीन के आकार और संश्रय शक्तियों के परिमाण के साथ तेजी से बढ़ता है
• संश्रय की ताकत अधिक नम्य होती है जब संसक्त इकाइयों में सक्रियण संभावनाएं शून्य और एक के बीच मध्यवर्ती होती हैं, जिससे एक तथाकथित विचरण जाल होता है। निवल प्रभाव यह है कि जब तक गतिविधियां संतृप्त नहीं हो जातीं, तब तक रव के कारण संश्रय की ताकत यादृच्छिक रूप से चलने लगती है।

प्रकार

प्रतिबंधित बोल्ट्ज़मैन मशीन

प्रतिबंधित बोल्ट्ज़मैन मशीन का चित्रमय प्रतिनिधित्व। चार नीली इकाइयाँ प्रच्छन्न हुई इकाइयों का प्रतिनिधित्व करती हैं, और तीन लाल इकाइयाँ दृश्य स्थितियों का प्रतिनिधित्व करती हैं। प्रतिबंधित बोल्ट्ज़मैन मशीनों में प्रच्छन्न और दृश्य इकाइयों के बीच केवल संश्रय (निर्भरताएं) होते हैं, और एक ही प्रकार की इकाइयों के बीच कोई भी नहीं (कोई छिपा-छिपा नहीं, न ही दृश्य-दृश्य संश्रय)।

Main article: प्रतिबंधित बोल्ट्ज़मैन मशीन

चूंकि सामान्य बोल्ट्ज़मैन मशीनों में सीखना अव्यावहारिक है, इसे प्रतिबंधित बोल्ट्ज़मैन मशीन (आरबीएम) में काफी कुशल बनाया जा सकता है जो प्रच्छन्न हुई इकाइयों और दृश्यमान इकाइयों के बीच अंतःस्तर संश्रय की अनुमति नहीं देता है, अर्थात दृश्यमान से दृश्यमान और प्रच्छन्न हुई इकाइयों के बीच कोई संबंध नहीं है। एक आरबीएम को प्रशिक्षित करने के बाद, इसकी प्रच्छन्न हुई इकाइयों की गतिविधियों को उच्च-स्तरीय आरबीएम के प्रशिक्षण के लिए आंकड़ो के रूप में माना जा सकता है। आरबीएम को स्टैक करने की यह विधि प्रच्छन्न हुई इकाइयों की कई परतों को कुशलतापूर्वक प्रशिक्षित करना संभव बनाती है और यह सबसे आम गहन शिक्षण रणनीतियों में से एक है। जैसे-जैसे प्रत्येक नई परत जोड़ी जाती है, जेनरेटिव मॉडल में सुधार होता है।

प्रतिबंधित बोल्ट्ज़मैन मशीन का विस्तार द्विआधारी आंकड़ो के अतिरिक्त वास्तविक मान आंकड़ो का उपयोग करने की अनुमति देता है। व्यावहारिक आरबीएम अनुप्रयोग का एक उदाहरण वाक् पहचान में है।

डीप बोल्ट्ज़मैन मशीन

एक डीप बोल्ट्ज़मैन मशीन (डीबीएम) एक प्रकार का द्विआधारी युग्‍मानूसार मार्कोव यादृच्छिक क्षेत्र (ग्राफ (असतत गणित)#अनडायरेक्टेड ग्राफ प्रोबेबिलिस्टिक चित्रमय मॉडल ) है जिसमें अव्यक्त चर यादृच्छिक चर की कई परतें होती हैं। यह सममित रूप से युग्मित प्रसंभाव्य द्विआधारी वैरिएबल का एक संजाल है। इसमें दृश्य इकाइयों का एक सेट सम्मलित है ${\boldsymbol {\nu }}\in \{0,1\}^{D}$ और प्रच्छन्न हुई इकाइयों की परतें हैं।${\boldsymbol {h}}^{(1)}\in \{0,1\}^{F_{1}},{\boldsymbol {h}}^{(2)}\in \{0,1\}^{F_{2}},\ldots ,{\boldsymbol {h}}^{(L)}\in \{0,1\}^{F_{L}}$. कोई भी संश्रय एक ही परत की इकाइयों को नहीं जोड़ता (जैसे कि प्रतिबंधित बोल्ट्ज़मैन मशीन)। के लिए डीबीएम, सदिश को सौंपी गई संभाव्यता ν है

$p({\boldsymbol {\nu }})={\frac {1}{Z}}\sum _{h}e^{\sum _{ij}W_{ij}^{(1)}\nu _{i}h_{j}^{(1)}+\sum _{jl}W_{jl}^{(2)}h_{j}^{(1)}h_{l}^{(2)}+\sum _{lm}W_{lm}^{(3)}h_{l}^{(2)}h_{m}^{(3)}},$

जहाँ ${\boldsymbol {h}}=\{{\boldsymbol {h}}^{(1)},{\boldsymbol {h}}^{(2)},{\boldsymbol {h}}^{(3)}\}$ प्रच्छन्न हुई इकाइयों का समूह हैं, और $\theta =\{{\boldsymbol {W}}^{(1)},{\boldsymbol {W}}^{(2)},{\boldsymbol {W}}^{(3)}\}$ मॉडल मापदंड हैं, जो दृश्य-दृश्य, दृश्य-प्रच्छन्न और प्रच्छन्न-प्रच्छन्न अन्योन्यक्रिया का प्रतिनिधित्व करते हैं। डीबीएन में केवल शीर्ष दो परतें एक प्रतिबंधित बोल्ट्ज़मैन मशीन (जो एक अप्रत्यक्ष ग्राफिकल मॉडल है) बनाती हैं, जबकि निचली परतें एक निर्देशित जेनरेटर मॉडल बनाती हैं। डीबीएम में सभी परतें सममित और अप्रत्यक्ष होती हैं।

डीबीएन की तरह, डीबीएम बिना लेबल वाले संवेदी निविष्ट आंकड़ो के एक बड़े सेट का उपयोग करके बनाए गए अभ्यावेदन को ठीक करने के लिए सीमित, लेबल वाले आंकड़ो का उपयोग करके ऑब्जेक्ट पहचान या वाक् पहचान जैसे कार्यों में निविष्ट के जटिल और अमूर्त आंतरिक प्रतिनिधित्व सीख सकते हैं। चूंकि, डीबीएन और गहरे दृढ़ तंत्रिका संजाल के विपरीत, वे नीचे-ऊपर और ऊपर-नीचे दोनों दिशाओं में अनुमान और प्रशिक्षण प्रक्रिया अपनाते हैं, जो डीबीएम को निविष्ट संरचनाओं के प्रतिनिधित्व को बेहतर ढंग से प्रकट करने की अनुमति देता है। चूंकि, डीबीएम की धीमी गति उनके प्रदर्शन और कार्यक्षमता को सीमित करती है। क्योंकि सटीक अधिकतम संभावना सीखना डीबीएम के लिए कठिन है, केवल अनुमानित अधिकतम संभावना सीखना संभव है। एक अन्य विकल्प आंकड़ो-निर्भर अपेक्षाओं का अनुमान लगाने के लिए माध्य-क्षेत्र अनुमान का उपयोग करना और मार्कोव श्रृंखला मोंटे कार्लो (एमसीएमसी) का उपयोग करके अपेक्षित पर्याप्त आंकड़ों का अनुमान लगाना है।यह अनुमानित अनुमान, जो प्रत्येक परीक्षण निविष्ट के लिए किया जाना चाहिए, डीबीएम में एकल बॉटम-अप पास की तुलना में लगभग 25 से 50 गुना धीमा है। यह बड़े आंकड़े सेट के लिए संयुक्त अनुकूलन को अव्यवहारिक बनाता है, और फीचर प्रतिनिधित्व जैसे कार्यों के लिए डीबीएम के उपयोग को प्रतिबंधित करता है।

स्पाइक-एंड-स्लैब आरबीएम

गाऊसी आरबीएम की तरह, वास्तविक संख्या | वास्तविक-मान निविष्ट के साथ गहन सीखने की आवश्यकता ने स्पाइक-एंड-स्लैब प्रतिबंधित बोल्टज़मैन मशीन (एसएस प्रतिबंधित बोल्टज़मैन मशीन) को जन्म दिया, जो द्विआधारी वैरिएबल अव्यक्त चर के साथ निरंतर-मान मॉडल को निविष्ट करता है। बुनियादी प्रतिबंधित बोल्ट्ज़मैन मशीन और उसके वेरिएंट के समान, स्पाइक-एंड-स्लैब आरबीएम एक द्विदलीय ग्राफ है, जबकि प्रतिबंधित बोल्ट्ज़मैन मशीन की तरह, दृश्य इकाइयाँ (निविष्ट) वास्तविक-मान हैं। अंतर प्रच्छन्न हुई परत में है, जहां प्रत्येक प्रच्छन्न हुई इकाई में एक द्विआधारी स्पाइक वैरिएबल और एक वास्तविक-मान स्लैब वैरिएबल होता है। एक स्पाइक शून्य पर एक असतत संभाव्यता द्रव्यमान है, जबकि एक स्लैब निरंतर डोमेन पर एक संभाव्यता घनत्व है; उनका मिश्रण एक पूर्व संभाव्यता बनाता है। एसएसप्रतिबंधित बोल्ट्ज़मैन मशीन का एक विस्तार जिसे µ-एसएसप्रतिबंधित बोल्ट्ज़मैन मशीन कहा जाता है, ऊर्जा फलन में अतिरिक्त शब्दों का उपयोग करके अतिरिक्त मॉडलिंग क्षमता प्रदान करता है। इनमें से एक शब्द मॉडल को एक अवलोकन दिए गए स्लैब चर को हाशिए पर रखकर स्पाइक चर का एक सशर्त संभाव्यता बंटन बनाने में सक्षम बनाता है।

गणित में

मुख्य लेख: गिब्स माप और लॉग-रैखिक मॉडल

अधिक सामान्य गणितीय सेटिंग में, बोल्ट्ज़मैन बंटन को गिब्स माप के रूप में भी जाना जाता है। सांख्यिकी और यंत्र अधिगम में इसे लॉग-रैखिक मॉडल कहा जाता है। गहन शिक्षण में बोल्ट्ज़मैन बंटन का उपयोग बोल्ट्ज़मैन मशीन जैसे प्रसंभाव्य तंत्रिका संजाल के नमूना बंटन में किया जाता है।

इतिहास

बोल्ट्ज़मैन मशीन शेरिंगटन-किर्कपैट्रिक के प्रसंभाव्य आइसिंग मॉडल के प्रचक्रण ग्लास मॉडल पर आधारित है। संज्ञानात्मक विज्ञान में ऐसे ऊर्जा आधारित मॉडल को लागू करने में मूल योगदान हिंटन और सेजनोव्स्की के पत्रों में दिखाई दिया। जॉन हॉपफ़ील्ड के मौलिक प्रकाशन में प्रचक्रण ग्लास का उल्लेख करते हुए भौतिकी और सांख्यिकीय यांत्रिकी को जोड़ा गया है। एनील्ड गिब्स नमूनाकरण के साथ आइसिंग मॉडल को लागू करने का विचार डगलस हॉफ़स्टैटर के कॉपीकैट प्रोजेक्ट में सम्मलित है। इसी तरह के विचार (ऊर्जा फलन में संकेत के परिवर्तन के साथ) पॉल स्मोलेंस्की के हार्मनी सिद्धांत में पाए जाते हैं।

बोल्ट्ज़मैन मशीन संरूपण में सांख्यिकीय यांत्रिकी के साथ खींची गई स्पष्ट सादृश्यता ने भौतिकी से उधार ली गई पारिभाषिक (उदाहरण के लिए, सद्भाव के अतिरिक्त ऊर्जा) का उपयोग किया, जो क्षेत्र में मानक बन गया है। इस पारिभाषिक को व्यापक रूप से अपनाने को इस तथ्य से प्रोत्साहित किया गया होगा कि इसके उपयोग से सांख्यिकीय यांत्रिकी से विभिन्न अवधारणाओं और विधियों को अपनाया गया है। अनुमान के लिए अनुकारितअनीलन का उपयोग करने के विभिन्न प्रस्ताव स्पष्ट रूप से स्वतंत्र थे।

आइसिंग मॉडल को मार्कोव यादृच्छिक क्षेत्रों का एक विशेष स्थितिा माना जाता है, जिसका भाषा विज्ञान, रोबोटिक्स, अभिकलित्र दृष्टि और कृत्रिम बुद्धिमत्ता में व्यापक अनुप्रयोग मिलता है।

यह भी देखें

• प्रतिबंधित बोल्ट्ज़मैन मशीन
• हेल्महोल्त्ज़ मशीन
• मार्कोव रैंडम फील्ड
• आइज़िंग मॉडल
• हॉपफील्ड संजाल
• सीखने का नियम जो सशर्त स्थानीय जानकारी का उपयोग करता है उसे उल्टे रूप से प्राप्त किया जा सकता है $G$,

$G'=\sum _{v}{P^{-}(v)\ln \left({\frac {P^{-}(v)}{P^{+}(v)}}\right)}$.

संदर्भ

1. https://www.mis.mpg.de/preprints/2018/preprint2018_87.pdf

अग्रिम पठन

• Hinton, G. E.; Sejnowski, T. J. (1986). D. E. Rumelhart; J. L. McClelland (eds.). "Learning and Relearning in Boltzmann Machines" (PDF). Parallel Distributed Processing: Explorations in the Microstructure of Cognition. Volume 1: Foundations: 282–317. Archived from the original (PDF) on 2010-07-05.
• Hinton, G. E. (2002). "Training Products of Experts by Minimizing Contrastive Divergence" (PDF). Neural Computation. 14 (8): 1771–1800. CiteSeerX 10.1.1.35.8613. doi:10.1162/089976602760128018. PMID 12180402. S2CID 207596505.
• Hinton, G. E.; Osindero, S.; Teh, Y. (2006). "A fast learning algorithm for deep belief nets" (PDF). Neural Computation. 18 (7): 1527–1554. CiteSeerX 10.1.1.76.1541. doi:10.1162/neco.2006.18.7.1527. PMID 16764513. S2CID 2309950.
• Kothari P (2020): https://www.forbes.com/sites/tomtaulli/2020/02/02/coronavirus-can-ai-artificial-intelligence-make-a-difference/?sh=1eca51e55817

बाहरी संबंध

• Scholarpedia article by Hinton about Boltzmann machines
• Talk at Google by Geoffrey Hinton