बोल्ट्ज़मान मशीन

लुडविग बोल्ट्ज़मान मशीन (जिसे बाहरी क्षेत्र के साथ शेरिंगटन-किर्कपैट्रिक मॉडल या स्टोकेस्टिक आइसिंग-लेनज़-लिटिल मॉडल भी कहा जाता है) एक बाहरी क्षेत्र के साथ स्टोकेस्टिक स्पिन-ग्लास मॉडल है, यानी, एक स्पिन ग्लास#शेरिंगटन-किर्कपैट्रिक मॉडल, यह एक स्टोकेस्टिक आइसिंग मॉडल है। यह एक सांख्यिकीय भौतिकी तकनीक है जिसका उपयोग संज्ञानात्मक विज्ञान के संदर्भ में किया जाता है। इसे मार्कोव यादृच्छिक क्षेत्र के रूप में भी वर्गीकृत किया गया है। बोल्ट्ज़मैन मशीनें अपने प्रशिक्षण एल्गोरिदम की स्थानीयता और हेब्बियन प्रकृति (हेब्ब के नियम द्वारा प्रशिक्षित होने) और उनके समानांतरवाद (कंप्यूटिंग) और सरल भौतिक प्रक्रियाओं के साथ उनकी गतिशीलता की समानता के कारण सैद्धांतिक रूप से दिलचस्प हैं। अप्रतिबंधित कनेक्टिविटी वाली बोल्ट्ज़मैन मशीनें मशीन सीखने या अनुमान में व्यावहारिक समस्याओं के लिए उपयोगी साबित नहीं हुई हैं, लेकिन यदि कनेक्टिविटी ठीक से बाधित है, तो सीखने को व्यावहारिक समस्याओं के लिए उपयोगी होने के लिए पर्याप्त कुशल बनाया जा सकता है। उनका नाम सांख्यिकीय यांत्रिकी में बोल्ट्ज़मान वितरण के नाम पर रखा गया है, जिसका उपयोग उनके नमूनाकरण फ़ंक्शन में किया जाता है। उन्हें संज्ञानात्मक विज्ञान समुदायों और यंत्र अधिगम  में जेफ्री हिंटन, टेरी सेजनोवस्की और  वाई एन एल ईसीयू के अंदर  द्वारा काफी लोकप्रिय और प्रचारित किया गया था। मशीन लर्निंग के भीतर एक अधिक सामान्य वर्ग के रूप में इन मॉडलों को ऊर्जा आधारित मॉडल (ईबीएम) कहा जाता है, क्योंकि  चश्मा घुमाओ  के हैमिल्टनियन यांत्रिकी का उपयोग सीखने के कार्य को परिभाषित करने के लिए शुरुआती बिंदु के रूप में किया जाता है।

संरचना
बोल्ट्ज़मैन मशीन, स्पिन ग्लास#शेरिंगटन-किर्कपैट्रिक मॉडल|शेरिंगटन-किर्कपैट्रिक मॉडल की तरह, समग्र नेटवर्क के लिए परिभाषित कुल ऊर्जा (हैमिल्टनियन यांत्रिकी) वाली इकाइयों का एक नेटवर्क है। इसकी इकाइयाँ बाइनरी संख्या परिणाम उत्पन्न करती हैं। बोल्ट्ज़मैन मशीन का वज़न स्टोकेस्टिक है। वैश्विक ऊर्जा $$E$$ बोल्ट्ज़मैन मशीन हॉपफील्ड नेटवर्क और आइसिंग मॉडल के समान है:


 * $$E = -\left(\sum_{i<j} w_{ij} \, s_i \, s_j + \sum_i \theta_i \, s_i \right)$$

कहाँ:
 * $$w_{ij}$$ इकाई के बीच संबंध शक्ति है $$j$$ और इकाई $$i$$.
 * $$s_i$$ राज्य है, $$s_i \in \{0,1\}$$, इकाई का $$i$$.
 * $$\theta_i$$ इकाई का पूर्वाग्रह है $$i$$ वैश्विक ऊर्जा समारोह में. ($$-\theta_i$$ इकाई के लिए सक्रियण सीमा है।)

अक्सर वजन $$w_{ij}$$ एक सममित मैट्रिक्स के रूप में दर्शाया गया है $$W=[w_{ij}]$$ विकर्ण के साथ शून्य के साथ.

इकाई अवस्था संभाव्यता
वैश्विक ऊर्जा में अंतर जो एक इकाई से उत्पन्न होता है $$i$$ 0 (बंद) बनाम 1 (चालू) के बराबर, लिखा हुआ $$\Delta E_i$$, वज़न का एक सममित मैट्रिक्स मानते हुए, इस प्रकार दिया गया है:


 * $$\Delta E_i = \sum_{j>i} w_{ij} \, s_j + \sum_{j<i} w_{ji} \, s_j + \theta_i$$

इसे दो राज्यों की ऊर्जाओं के अंतर के रूप में व्यक्त किया जा सकता है:


 * $$\Delta E_i = E_\text{i=off} - E_\text{i=on}$$

प्रत्येक राज्य की ऊर्जा को उसकी सापेक्ष संभाव्यता के साथ बोल्ट्ज़मान कारक (बोल्ट्ज़मैन वितरण की संपत्ति जो किसी राज्य की ऊर्जा उस राज्य की नकारात्मक लॉग संभावना के समानुपाती होती है) के अनुसार प्रतिस्थापित करने पर मिलती है:


 * $$\Delta E_i = -k_B\,T\ln(p_\text{i=off}) - (-k_B\,T\ln(p_\text{i=on}))$$

कहाँ $$k_B$$ बोल्ट्ज़मैन स्थिरांक है और तापमान की कृत्रिम धारणा में अवशोषित हो जाता है $$T$$. फिर हम शर्तों को पुनर्व्यवस्थित करते हैं और विचार करते हैं कि इकाई के चालू और बंद होने की संभावनाओं का योग एक होना चाहिए:


 * $$\frac{\Delta E_i}{T} = \ln(p_\text{i=on}) - \ln(p_\text{i=off})$$
 * $$\frac{\Delta E_i}{T} = \ln(p_\text{i=on}) - \ln(1 - p_\text{i=on})$$
 * $$\frac{\Delta E_i}{T} = \ln\left(\frac{p_\text{i=on}}{1 - p_\text{i=on}}\right)$$
 * $$-\frac{\Delta E_i}{T} = \ln\left(\frac{1 - p_\text{i=on}}{p_\text{i=on}}\right)$$
 * $$-\frac{\Delta E_i}{T} = \ln\left(\frac{1}{p_\text{i=on}} - 1\right)$$
 * $$\exp\left(-\frac{\Delta E_i}{T}\right) = \frac{1}{p_\text{i=on}} - 1$$

के लिए समाधान $$p_\text{i=on}$$, संभावना है कि $$i$$-वीं इकाई चालू है:


 * $$p_\text{i=on} = \frac{1}{1+\exp(-\frac{\Delta E_i}{T})}$$

जहां अदिश (भौतिकी) $$T$$ इसे सिस्टम का तापमान कहा जाता है। यह संबंध बोल्ट्ज़मैन मशीन के वेरिएंट में संभाव्यता अभिव्यक्तियों में पाए जाने वाले लॉजिस्टिक फ़ंक्शन का स्रोत है।

संतुलन अवस्था
नेटवर्क बार-बार एक इकाई को चुनने और उसकी स्थिति को रीसेट करने से चलता है। एक निश्चित तापमान पर लंबे समय तक चलने के बाद, बोल्ट्ज़मैन वितरण के अनुसार, नेटवर्क की वैश्विक स्थिति की संभावना केवल उस वैश्विक स्थिति की ऊर्जा पर निर्भर करती है, न कि उस प्रारंभिक स्थिति पर जहां से प्रक्रिया शुरू की गई थी। इसका मतलब यह है कि वैश्विक राज्यों की लॉग-संभावनाएं उनकी ऊर्जा में रैखिक हो जाती हैं। यह संबंध तब सत्य होता है जब मशीन थर्मल संतुलन पर होती है, जिसका अर्थ है कि वैश्विक राज्यों का संभाव्यता वितरण अभिसरण हो गया है। उच्च तापमान से शुरू होने वाले नेटवर्क को चलाने पर, कम तापमान पर थर्मल संतुलन तक पहुंचने तक इसका तापमान धीरे-धीरे कम हो जाता है। इसके बाद यह एक ऐसे वितरण में परिवर्तित हो सकता है जहां ऊर्जा स्तर वैश्विक न्यूनतम के आसपास उतार-चढ़ाव करता है। इस प्रक्रिया को तैयार किए हुयी धातु पे पानी चढाने की कला  कहा जाता है।

नेटवर्क को प्रशिक्षित करने के लिए ताकि इन राज्यों पर बाहरी वितरण के अनुसार वैश्विक स्थिति में परिवर्तित होने का मौका मिले, वजन निर्धारित किया जाना चाहिए ताकि उच्चतम संभावनाओं वाले वैश्विक राज्यों को सबसे कम ऊर्जा मिल सके। यह प्रशिक्षण द्वारा किया जाता है।

प्रशिक्षण
बोल्ट्ज़मान मशीन में इकाइयों को 'दृश्यमान' इकाइयों, वी, और 'छिपी' इकाइयों, एच में विभाजित किया गया है। दृश्यमान इकाइयां वे हैं जो 'पर्यावरण' से जानकारी प्राप्त करती हैं, यानी प्रशिक्षण सेट बाइनरी वैक्टर का एक सेट है सेट वी. प्रशिक्षण सेट पर वितरण दर्शाया गया है $$P^{+}(V)$$. जैसे ही बोल्ट्ज़मैन मशीन थर्मल संतुलन तक पहुँचती है, वैश्विक राज्यों पर वितरण परिवर्तित हो जाता है। हम इस वितरण को छुपी हुई इकाइयों पर सीमांत वितरण के बाद निरूपित करते हैं $$P^{-}(V)$$.

हमारा लक्ष्य वास्तविक वितरण का अनुमान लगाना है $$P^{+}(V)$$ का उपयोग $$P^{-}(V)$$ मशीन द्वारा उत्पादित. दो वितरणों की समानता कुल्बैक-लीब्लर विचलन द्वारा मापी जाती है, $$G$$:


 * $$G = \sum_{v}{P^{+}(v)\ln\left({\frac{P^{+}(v)}{P^{-}(v)}}\right)}$$

जहां योग सभी संभावित स्थितियों से अधिक है $$V$$. $$G$$ भार का एक कार्य है, क्योंकि वे एक राज्य की ऊर्जा निर्धारित करते हैं, और ऊर्जा निर्धारित करती है $$P^{-}(v)$$, जैसा कि बोल्ट्ज़मैन वितरण द्वारा वादा किया गया था। एक ढतला हुआ वंश  एल्गोरिदम खत्म $$G$$, दिए गए वजन को बदलता है, $$w_{ij}$$ के आंशिक व्युत्पन्न को घटाकर $$G$$ वजन के संबंध में.

बोल्ट्ज़मैन मशीन प्रशिक्षण में दो वैकल्पिक चरण शामिल हैं। एक सकारात्मक चरण है जहां दृश्यमान इकाइयों की स्थिति को प्रशिक्षण सेट से नमूना किए गए एक विशेष बाइनरी स्टेट वेक्टर से जोड़ा जाता है (के अनुसार) $$P^{+}$$). दूसरा नकारात्मक चरण है जहां नेटवर्क को स्वतंत्र रूप से चलने की अनुमति है, यानी केवल इनपुट नोड्स की स्थिति बाहरी डेटा द्वारा निर्धारित होती है, लेकिन आउटपुट नोड्स को फ्लोट करने की अनुमति होती है। किसी दिए गए वजन के संबंध में ढाल, $$w_{ij}$$, समीकरण द्वारा दिया गया है:
 * $$\frac{\partial{G}}{\partial{w_{ij}}} = -\frac{1}{R}[p_{ij}^{+}-p_{ij}^{-}]$$

कहाँ:
 * $$p_{ij}^{+}$$ यह संभावना है कि जब मशीन सकारात्मक चरण पर संतुलन पर होती है तो इकाइयाँ i और j दोनों चालू होती हैं।
 * $$p_{ij}^{-}$$ यह संभावना है कि जब मशीन नकारात्मक चरण पर संतुलन पर होती है तो इकाइयाँ i और j दोनों चालू होती हैं।
 * $$R$$ सीखने की दर को दर्शाता है

यह परिणाम इस तथ्य से निकलता है कि तापीय संतुलन पर संभाव्यता $$P^{-}(s)$$ किसी भी वैश्विक राज्य का $$s$$ जब नेटवर्क फ्री-रनिंग होता है तो बोल्ट्ज़मैन वितरण द्वारा दिया जाता है।

यह सीखने का नियम जैविक रूप से प्रशंसनीय है क्योंकि वज़न बदलने के लिए आवश्यक एकमात्र जानकारी स्थानीय जानकारी द्वारा प्रदान की जाती है। अर्थात्, कनेक्शन (निष्कर्ष, जैविक रूप से) को इससे जुड़ने वाले दो न्यूरॉन्स के अलावा किसी अन्य चीज़ के बारे में जानकारी की आवश्यकता नहीं है। यह पश्चप्रचार जैसे कई अन्य तंत्रिका नेटवर्क प्रशिक्षण एल्गोरिदम में कनेक्शन के लिए आवश्यक जानकारी की तुलना में अधिक जैविक रूप से यथार्थवादी है।

बोल्ट्ज़मैन मशीन का प्रशिक्षण ईएम एल्गोरिदम का उपयोग नहीं करता है, जिसका मशीन लर्निंग में भारी उपयोग किया जाता है। कुल्बैक-लीबलर डाइवर्जेंस|केएल-डाइवर्जेंस को कम करके, यह डेटा की लॉग-संभावना को अधिकतम करने के बराबर है। इसलिए, प्रशिक्षण प्रक्रिया प्रेक्षित डेटा की लॉग-संभावना पर क्रमिक आरोहण करती है। यह ईएम एल्गोरिदम के विपरीत है, जहां एम-चरण के दौरान पूर्ण डेटा संभावना के अपेक्षित मूल्य को अधिकतम करने से पहले छिपे हुए नोड्स के पीछे के वितरण की गणना की जानी चाहिए।

पूर्वाग्रहों का प्रशिक्षण समान है, लेकिन केवल एकल नोड गतिविधि का उपयोग करता है:


 * $$\frac{\partial{G}}{\partial{\theta_{i}}} = -\frac{1}{R}[p_{i}^{+}-p_{i}^{-}]$$

समस्याएँ
सैद्धांतिक रूप से बोल्ट्ज़मान मशीन एक सामान्य कम्प्यूटेशनल माध्यम है। उदाहरण के लिए, यदि तस्वीरों पर प्रशिक्षित किया जाता है, तो मशीन सैद्धांतिक रूप से तस्वीरों के वितरण का मॉडल तैयार करेगी, और उदाहरण के लिए, आंशिक तस्वीर को पूरा करने के लिए उस मॉडल का उपयोग कर सकती है।

दुर्भाग्य से, बोल्ट्ज़मैन मशीनें एक गंभीर व्यावहारिक समस्या का अनुभव करती हैं, अर्थात् जब मशीन को एक तुच्छ आकार से अधिक बड़े आकार में ले जाया जाता है तो यह सही ढंग से सीखना बंद कर देती है। यह महत्वपूर्ण प्रभावों के कारण है, विशेष रूप से:


 * संतुलन आँकड़े एकत्र करने के लिए आवश्यक समय क्रम मशीन के आकार और कनेक्शन शक्तियों के परिमाण के साथ तेजी से बढ़ता है
 * कनेक्शन की ताकत अधिक प्लास्टिक होती है जब कनेक्टेड इकाइयों में सक्रियण संभावनाएं शून्य और एक के बीच मध्यवर्ती होती हैं, जिससे एक तथाकथित विचरण जाल होता है। शुद्ध प्रभाव यह है कि जब तक गतिविधियां संतृप्त नहीं हो जातीं, तब तक शोर के कारण कनेक्शन की ताकत यादृच्छिक रूप से चलने लगती है।

प्रतिबंधित बोल्ट्ज़मैन मशीन


हालाँकि सामान्य बोल्ट्ज़मैन मशीनों में सीखना अव्यावहारिक है, इसे प्रतिबंधित बोल्ट्ज़मैन मशीन (आरबीएम) में काफी कुशल बनाया जा सकता है जो छिपी हुई इकाइयों और दृश्यमान इकाइयों के बीच इंट्रालेयर कनेक्शन की अनुमति नहीं देता है, यानी दृश्यमान से दृश्यमान और छिपी हुई इकाइयों के बीच कोई संबंध नहीं है।. एक आरबीएम को प्रशिक्षित करने के बाद, इसकी छिपी हुई इकाइयों की गतिविधियों को उच्च-स्तरीय आरबीएम के प्रशिक्षण के लिए डेटा के रूप में माना जा सकता है। आरबीएम को स्टैक करने की यह विधि छिपी हुई इकाइयों की कई परतों को कुशलतापूर्वक प्रशिक्षित करना संभव बनाती है और यह सबसे आम गहन शिक्षण रणनीतियों में से एक है। जैसे-जैसे प्रत्येक नई परत जोड़ी जाती है, जेनरेटिव मॉडल में सुधार होता है।

प्रतिबंधित बोल्ट्ज़मैन मशीन का विस्तार बाइनरी डेटा के बजाय वास्तविक मूल्यवान डेटा का उपयोग करने की अनुमति देता है। व्यावहारिक आरबीएम अनुप्रयोग का एक उदाहरण वाक् पहचान में है।

डीप बोल्ट्ज़मैन मशीन
एक डीप बोल्ट्ज़मैन मशीन (डीबीएम) एक प्रकार का बाइनरी पेयरवाइज मार्कोव यादृच्छिक क्षेत्र  (ग्राफ (असतत गणित)#अनडायरेक्टेड ग्राफ प्रोबेबिलिस्टिक  चित्रमय मॉडल ) है जिसमें अव्यक्त चर यादृच्छिक चर की कई परतें होती हैं। यह सममित रूप से युग्मित स्टोकेस्टिक बाइनरी वैरिएबल का एक नेटवर्क है। इसमें दृश्य इकाइयों का एक सेट शामिल है $$\boldsymbol{\nu} \in \{0,1\}^D$$ और छिपी हुई इकाइयों की परतें $$\boldsymbol{h}^{(1)} \in \{0,1\}^{F_1}, \boldsymbol{h}^{(2)} \in \{0,1\}^{F_2}, \ldots, \boldsymbol{h}^{(L)} \in \{0,1\}^{F_L}$$. कोई भी कनेक्शन एक ही परत की इकाइयों को नहीं जोड़ता (जैसे कि प्रतिबंधित बोल्ट्ज़मैन मशीन)। के लिए DBM, वेक्टर को सौंपी गई संभाव्यता $&nu;$ है
 * $$p(\boldsymbol{\nu}) = \frac{1}{Z}\sum_h e^{\sum_{ij}W_{ij}^{(1)}\nu_i h_j^{(1)} + \sum_{jl}W_{jl}^{(2)}h_j^{(1)}h_l^{(2)}+\sum_{lm}W_{lm}^{(3)}h_l^{(2)}h_m^{(3)}},$$

कहाँ $$\boldsymbol{h} = \{\boldsymbol{h}^{(1)}, \boldsymbol{h}^{(2)}, \boldsymbol{h}^{(3)} \}$$ छिपी हुई इकाइयों का समूह हैं, और $$\theta = \{\boldsymbol{W}^{(1)}, \boldsymbol{W}^{(2)}, \boldsymbol{W}^{(3)} \} $$ मॉडल पैरामीटर हैं, जो दृश्य-दृश्य, दृश्य-छिपे और छिपे-छिपे इंटरैक्शन का प्रतिनिधित्व करते हैं। डीबीएन में केवल शीर्ष दो परतें एक प्रतिबंधित बोल्ट्ज़मैन मशीन (जो एक अप्रत्यक्ष ग्राफिकल मॉडल है) बनाती हैं, जबकि निचली परतें एक निर्देशित जेनरेटर मॉडल बनाती हैं। DBM में सभी परतें सममित और अप्रत्यक्ष होती हैं।

गहरा विश्वास नेटवर्क की तरह, डीबीएम बिना लेबल वाले संवेदी इनपुट डेटा के एक बड़े सेट का उपयोग करके बनाए गए अभ्यावेदन को ठीक करने के लिए सीमित, लेबल वाले डेटा का उपयोग करके ऑब्जेक्ट पहचान या वाक् पहचान जैसे कार्यों में इनपुट के जटिल और अमूर्त आंतरिक प्रतिनिधित्व सीख सकते हैं। हालाँकि, डीबीएन और गहरे दृढ़ तंत्रिका नेटवर्क के विपरीत, वे नीचे-ऊपर और ऊपर-नीचे दोनों दिशाओं में अनुमान और प्रशिक्षण प्रक्रिया अपनाते हैं, जो डीबीएम को इनपुट संरचनाओं के प्रतिनिधित्व को बेहतर ढंग से प्रकट करने की अनुमति देता है। हालाँकि, DBM की धीमी गति उनके प्रदर्शन और कार्यक्षमता को सीमित करती है। क्योंकि सटीक अधिकतम संभावना सीखना डीबीएम के लिए कठिन है, केवल अनुमानित अधिकतम संभावना सीखना संभव है। एक अन्य विकल्प डेटा-निर्भर अपेक्षाओं का अनुमान लगाने के लिए माध्य-क्षेत्र अनुमान का उपयोग करना और मार्कोव श्रृंखला मोंटे कार्लो (एमसीएमसी) का उपयोग करके अपेक्षित पर्याप्त आंकड़ों का अनुमान लगाना है। यह अनुमानित अनुमान, जो प्रत्येक परीक्षण इनपुट के लिए किया जाना चाहिए, डीबीएम में एकल बॉटम-अप पास की तुलना में लगभग 25 से 50 गुना धीमा है। यह बड़े डेटा सेट के लिए संयुक्त अनुकूलन को अव्यवहारिक बनाता है, और फीचर प्रतिनिधित्व जैसे कार्यों के लिए डीबीएम के उपयोग को प्रतिबंधित करता है।

स्पाइक-एंड-स्लैब आरबीएम
गाऊसी आरबीएम की तरह, वास्तविक संख्या | वास्तविक-मूल्यवान इनपुट के साथ गहन सीखने की आवश्यकता ने स्पाइक-एंड-स्लैब प्रतिबंधित बोल्टज़मैन मशीन (एसएस प्रतिबंधित बोल्टज़मैन मशीन) को जन्म दिया, जो बाइनरी वैरिएबल अव्यक्त चर के साथ निरंतर-मूल्यवान इनपुट को मॉडल करता है। बुनियादी प्रतिबंधित बोल्ट्ज़मैन मशीन और उसके वेरिएंट के समान, स्पाइक-एंड-स्लैब आरबीएम एक द्विदलीय ग्राफ है, जबकि प्रतिबंधित बोल्ट्ज़मैन मशीन की तरह, दृश्य इकाइयाँ (इनपुट) वास्तविक-मूल्यवान हैं। अंतर छिपी हुई परत में है, जहां प्रत्येक छिपी हुई इकाई में एक बाइनरी स्पाइक वैरिएबल और एक वास्तविक-मूल्यवान स्लैब वैरिएबल होता है। एक स्पाइक शून्य पर एक असतत संभाव्यता द्रव्यमान है, जबकि एक स्लैब निरंतर डोमेन पर एक संभाव्यता घनत्व है; उनका मिश्रण एक पूर्व संभाव्यता बनाता है। ssRestricted Boltzmann मशीन का एक विस्तार जिसे µ-ssRestricted Boltzmann मशीन कहा जाता है, ऊर्जा समारोह में अतिरिक्त शब्दों का उपयोग करके अतिरिक्त मॉडलिंग क्षमता प्रदान करता है। इनमें से एक शब्द मॉडल को एक अवलोकन दिए गए स्लैब चर को हाशिए पर रखकर स्पाइक चर का एक सशर्त संभाव्यता वितरण बनाने में सक्षम बनाता है।

गणित में

मुख्य लेख: गिब्स माप और लॉग-रैखिक मॉडल

अधिक सामान्य गणितीय सेटिंग में, बोल्ट्ज़मैन वितरण को गिब्स माप के रूप में भी जाना जाता है। सांख्यिकी और मशीन लर्निंग में इसे लॉग-लीनियर मॉडल कहा जाता है। गहन शिक्षण में बोल्ट्ज़मैन वितरण का उपयोग बोल्ट्ज़मैन मशीन जैसे स्टोकेस्टिक तंत्रिका नेटवर्क के नमूना वितरण में किया जाता है।

इतिहास
बोल्ट्ज़मैन मशीन शेरिंगटन-किर्कपैट्रिक के स्टोकेस्टिक आइसिंग मॉडल के कांच घूमाओ |स्पिन-ग्लास मॉडल पर आधारित है। संज्ञानात्मक विज्ञान में ऐसे ऊर्जा आधारित मॉडल को लागू करने में मूल योगदान हिंटन और सेजनोव्स्की के पत्रों में दिखाई दिया। जॉन हॉपफ़ील्ड के मौलिक प्रकाशन में स्पिन ग्लास का उल्लेख करते हुए भौतिकी और सांख्यिकीय यांत्रिकी को जोड़ा गया। एनील्ड गिब्स नमूनाकरण  के साथ आइसिंग मॉडल को लागू करने का विचार डगलस हॉफ़स्टैटर के  नकलची (सॉफ्टवेयर)  प्रोजेक्ट में मौजूद है। इसी तरह के विचार (ऊर्जा फ़ंक्शन में संकेत के परिवर्तन के साथ) पॉल स्मोलेंस्की के हार्मनी थ्योरी में पाए जाते हैं।

बोल्ट्ज़मैन मशीन फॉर्मूलेशन में सांख्यिकीय यांत्रिकी के साथ खींची गई स्पष्ट सादृश्यता ने भौतिकी से उधार ली गई शब्दावली (उदाहरण के लिए, सद्भाव के बजाय ऊर्जा) का उपयोग किया, जो क्षेत्र में मानक बन गया। इस शब्दावली को व्यापक रूप से अपनाने को इस तथ्य से प्रोत्साहित किया गया होगा कि इसके उपयोग से सांख्यिकीय यांत्रिकी से विभिन्न अवधारणाओं और विधियों को अपनाया गया। अनुमान के लिए सिम्युलेटेड एनीलिंग का उपयोग करने के विभिन्न प्रस्ताव स्पष्ट रूप से स्वतंत्र थे।

आइसिंग मॉडल को मार्कोव यादृच्छिक क्षेत्रों का एक विशेष मामला माना जाता है, जिसका भाषा विज्ञान, रोबोटिक्स, कंप्यूटर दृष्टि और कृत्रिम बुद्धिमत्ता में व्यापक अनुप्रयोग मिलता है।

यह भी देखें

 * प्रतिबंधित बोल्ट्ज़मैन मशीन
 * हेल्महोल्त्ज़ मशीन
 * मार्कोव रैंडम फील्ड
 * आइज़िंग मॉडल
 * हॉपफील्ड नेटवर्क
 * सीखने का नियम जो सशर्त स्थानीय जानकारी का उपयोग करता है उसे उल्टे रूप से प्राप्त किया जा सकता है $$G$$,


 * $$G' = \sum_{v}{P^{-}(v)\ln\left({\frac{P^{-}(v)}{P^{+}(v)}}\right)}$$.

संदर्भ

 * 1) https://www.mis.mpg.de/preprints/2018/preprint2018_87.pdf

अग्रिम पठन

 * Kothari P (2020): https://www.forbes.com/sites/tomtaulli/2020/02/02/coronavirus-can-ai-artificial-intelligence-make-a-difference/?sh=1eca51e55817
 * Kothari P (2020): https://www.forbes.com/sites/tomtaulli/2020/02/02/coronavirus-can-ai-artificial-intelligence-make-a-difference/?sh=1eca51e55817
 * Kothari P (2020): https://www.forbes.com/sites/tomtaulli/2020/02/02/coronavirus-can-ai-artificial-intelligence-make-a-difference/?sh=1eca51e55817
 * Kothari P (2020): https://www.forbes.com/sites/tomtaulli/2020/02/02/coronavirus-can-ai-artificial-intelligence-make-a-difference/?sh=1eca51e55817

बाहरी संबंध

 * Scholarpedia article by Hinton about Boltzmann machines
 * Talk at Google by Geoffrey Hinton