हॉपफील्ड नेटवर्क

हॉपफील्ड नेटवर्क (या अमारी-हॉपफील्ड नेटवर्कआवर्तक तंत्रिका नेटवर्क का आइसिंग मॉडल या आइसिंग-लेन्ज़-लिटिल मॉडल) आवर्ती तंत्रिका नेटवर्क कृत्रिम तंत्रिका नेटवर्क का एक रूप है और 1982 में जॉन हॉपफ़ील्ड  द्वारा लोकप्रिय  कांच घूमाओ  सिस्टम का एक प्रकार है। जैसा कि 1972 में शुनिची अमारी द्वारा वर्णित है  और 1974 में लिटिल द्वारा इज़िंग मॉडल पर विलियम लेन्ज़ के साथ अर्न्स्ट इज़िंग के काम पर आधारित। हॉपफील्ड नेटवर्क कंटेंट-एड्रेसेबल मेमोरी के रूप में काम करते हैं | बाइनरी अंक प्रणाली थ्रेशोल्ड कृत्रिम न्यूरॉन, या निरंतर चर के साथ कंटेंट-एड्रेसेबल (साहचर्य) मेमोरी सिस्टम। हॉपफ़ील्ड नेटवर्क मानव स्मृति को समझने के लिए एक मॉडल भी प्रदान करते हैं।

उत्पत्ति
लर्निंग मेमोरी मॉडल के रूप में आवर्ती तंत्रिका नेटवर्क का आइसिंग मॉडल पहली बार 1972 में शुनिची अमारी द्वारा प्रस्तावित किया गया था। और फिर 1974 में विलियम ए. लिटिल (भौतिक विज्ञानी)|विलियम ए. लिटिल द्वारा, जिसे होपफील्ड ने अपने 1982 के पेपर में स्वीकार किया था। हॉपफील्ड द्वारा अपने 1984 के पेपर में निरंतर गतिशीलता वाले नेटवर्क विकसित किए गए थे। मेमोरी स्टोरेज क्षमता में एक बड़ी प्रगति 2016 में क्रोटोव और हॉपफील्ड द्वारा विकसित की गई थी नेटवर्क गतिशीलता और ऊर्जा फ़ंक्शन में बदलाव के माध्यम से। इस विचार को 2017 में डेमिरसिगिल और सहयोगियों द्वारा आगे बढ़ाया गया। बड़ी मेमोरी क्षमता वाले मॉडल की निरंतर गतिशीलता को 2016 और 2020 के बीच पत्रों की एक श्रृंखला में विकसित किया गया था।  बड़ी मेमोरी भंडारण क्षमता वाले हॉपफील्ड नेटवर्क को अब डेंस एसोसिएटिव मेमोरीज़ या आधुनिक हॉपफ़ील्ड नेटवर्क कहा जाता है।

संरचना
हॉपफ़ील्ड नेट में इकाइयाँ बाइनरी थ्रेशोल्ड इकाइयाँ हैं, यानी इकाइयाँ अपने राज्यों के लिए केवल दो अलग-अलग मान लेती हैं, और मूल्य इस बात से निर्धारित होता है कि इकाई का इनपुट इसकी सीमा से अधिक है या नहीं $$ U_i $$. असतत हॉपफील्ड नेट बाइनरी (फायरिंग या नॉन-फायरिंग) न्यूरॉन्स के बीच संबंधों का वर्णन करते हैं $$1,2,\ldots,i,j,\ldots,N$$. एक निश्चित समय पर, तंत्रिका जाल की स्थिति का वर्णन एक वेक्टर द्वारा किया जाता है $$ V $$, जो रिकॉर्ड करता है कि कौन से न्यूरॉन्स बाइनरी शब्द में सक्रिय हो रहे हैं $$ N $$ बिट्स

अंतःक्रियाएँ $$ w_{ij} $$ न्यूरॉन्स के बीच ऐसी इकाइयाँ होती हैं जो आमतौर पर 1 या -1 का मान लेती हैं, और इस सम्मेलन का उपयोग इस पूरे लेख में किया जाएगा। हालाँकि, अन्य साहित्य ऐसी इकाइयों का उपयोग कर सकते हैं जो 0 और 1 का मान लेते हैं। इन अंतःक्रियाओं को हेब्बियन सिद्धांत के माध्यम से सीखा जाता है। हेब्ब के संघ के नियम, जैसे कि, एक निश्चित स्थिति के लिए $$ V^s $$ और विशिष्ट नोड्स $$i,j$$

$$ w_{ij} = V_i^s V_j^s $$ लेकिन $$ w_{ii} = 0 $$.

(ध्यान दें कि हेब्बियन सीखने का नियम रूप लेता है $$ w_{ij} = (2V_i^s - 1)(2V_j^s -1) $$ जब इकाइयाँ मान ग्रहण करती हैं $$ \{0, 1\} $$.)

एक बार नेटवर्क प्रशिक्षित हो जाए, $$ w_{ij} $$ अब विकसित नहीं होता. यदि न्यूरॉन्स की एक नई स्थिति $$ V^{s'} $$ तंत्रिका नेटवर्क से परिचित होने पर, नेटवर्क न्यूरॉन्स पर इस प्रकार कार्य करता है

कहाँ $$U_i$$ i'वें न्यूरॉन का थ्रेशोल्ड मान है (अक्सर 0 माना जाता है)। इस तरह, हॉपफील्ड नेटवर्क में इंटरेक्शन मैट्रिक्स में संग्रहीत राज्यों को याद रखने की क्षमता होती है, क्योंकि यदि कोई नया राज्य है $$V^{s'} $$ इंटरेक्शन मैट्रिक्स के अधीन है, प्रत्येक न्यूरॉन तब तक बदल जाएगा जब तक यह मूल स्थिति से मेल नहीं खाता $$V^{s} $$ (नीचे अपडेट अनुभाग देखें)।
 * $$V^{s'}_i \rightarrow 1 $$ अगर $$ \sum_j w_{ij} V^{s'}_j > U_i $$
 * $$V^{s'}_i \rightarrow -1 $$ अगर $$ \sum_j w_{ij} V^{s'}_j < U_i $$

हॉपफ़ील्ड नेट में कनेक्शन पर आमतौर पर निम्नलिखित प्रतिबंध होते हैं:
 * $$w_{ii}=0, \forall i$$ (किसी भी इकाई का स्वयं से कोई संबंध नहीं है)
 * $$w_{ij} = w_{ji}, \forall i,j$$ (कनेक्शन सममित हैं)

वजन सममित होने की बाधा यह गारंटी देती है कि सक्रियण नियमों का पालन करते समय ऊर्जा कार्य नीरस रूप से घट जाता है। असममित भार वाला नेटवर्क कुछ आवधिक या अराजक व्यवहार प्रदर्शित कर सकता है; हालाँकि, होपफील्ड ने पाया कि यह व्यवहार चरण स्थान के अपेक्षाकृत छोटे हिस्सों तक ही सीमित है और सामग्री-पता योग्य सहयोगी मेमोरी सिस्टम के रूप में कार्य करने की नेटवर्क की क्षमता को ख़राब नहीं करता है।

हॉपफील्ड ने निरंतर मूल्यों के लिए तंत्रिका जाल भी तैयार किया, जिसमें प्रत्येक न्यूरॉन का विद्युत उत्पादन बाइनरी नहीं है बल्कि 0 और 1 के बीच कुछ मान है। उन्होंने पाया कि इस प्रकार का नेटवर्क याद किए गए राज्यों को संग्रहीत और पुन: उत्पन्न करने में भी सक्षम था।

ध्यान दें कि हॉपफील्ड नेटवर्क में इकाइयों i और j की प्रत्येक जोड़ी में एक कनेक्शन होता है जिसे कनेक्टिविटी भार द्वारा वर्णित किया जाता है $$ w_{ij} $$. इस अर्थ में, हॉपफ़ील्ड नेटवर्क को औपचारिक रूप से पूर्ण अप्रत्यक्ष ग्राफ़ के रूप में वर्णित किया जा सकता है $$ G = \langle V, f\rangle $$, कहाँ $$V$$ कृत्रिम न्यूरॉन|मैकुलोच-पिट्स न्यूरॉन्स और का एक सेट है $$f:V^2 \rightarrow \mathbb R$$ एक फ़ंक्शन है जो इकाइयों के जोड़े को वास्तविक मूल्य, कनेक्टिविटी भार से जोड़ता है।

अद्यतन हो रहा है
हॉपफ़ील्ड नेटवर्क में एक इकाई (कृत्रिम न्यूरॉन का अनुकरण करने वाले ग्राफ़ में नोड) को अद्यतन करना निम्नलिखित नियम का उपयोग करके किया जाता है:

$$s_i \leftarrow \left\{\begin{array}{ll} +1 & \text{if }\sum_{j}{w_{ij}s_j}\geq\theta_i, \\ -1 & \text{otherwise.}\end{array}\right.$$ कहाँ:
 * $$w_{ij}$$ इकाई j से इकाई i (कनेक्शन का भार) तक कनेक्शन भार की ताकत है।
 * $$s_i$$ इकाई I की स्थिति है.
 * $$\theta_i$$ इकाई I की दहलीज है.

हॉपफील्ड नेटवर्क में अपडेट दो अलग-अलग तरीकों से किया जा सकता है:
 * अतुल्यकालिक: एक समय में केवल एक इकाई अद्यतन की जाती है। इस इकाई को यादृच्छिक रूप से चुना जा सकता है, या शुरुआत से ही पूर्व-परिभाषित आदेश लगाया जा सकता है।
 * सिंक्रोनस: सभी इकाइयाँ एक ही समय में अपडेट की जाती हैं। सिंक्रोनाइज़ेशन बनाए रखने के लिए सिस्टम में एक केंद्रीय घड़ी की आवश्यकता होती है। इस पद्धति को कुछ लोगों द्वारा कम यथार्थवादी माना जाता है, जो रुचि के अनुरूप जैविक या भौतिक प्रणालियों को प्रभावित करने वाली देखी गई वैश्विक घड़ी की अनुपस्थिति पर आधारित है।

न्यूरॉन्स राज्य स्थान में एक दूसरे को आकर्षित या प्रतिकर्षित करते हैं
दो इकाइयों के बीच का भार न्यूरॉन्स के मूल्यों पर एक शक्तिशाली प्रभाव डालता है। कनेक्शन भार पर विचार करें $$w_{ij}$$ दो न्यूरॉन्स I और J के बीच। अगर $$w_{ij} > 0 $$, अद्यतन नियम का तात्पर्य यह है कि: इस प्रकार, यदि उनके बीच का भार सकारात्मक है तो न्यूरॉन्स i और j के मान परिवर्तित हो जाएंगे। इसी तरह, यदि वजन नकारात्मक है तो वे अलग हो जाएंगे।
 * कब $$s_j = 1$$, भारित योग में j का योगदान सकारात्मक है। इस प्रकार, $$s_{i}$$ j द्वारा इसके मान की ओर खींचा जाता है $$s_{i} = 1$$
 * कब $$s_j = -1$$, भारित योग में j का योगदान ऋणात्मक है। तो फिर, $$s_i$$ j द्वारा इसके मान की ओर धकेला जाता है $$s_i = -1$$

असतत और सतत हॉपफील्ड नेटवर्क के कार्य सिद्धांत
ब्रुक ने 1990 में अपने पेपर में अभिसरण साबित करते समय असतत हॉपफील्ड नेटवर्क में एक न्यूरॉन के व्यवहार पर प्रकाश डाला।  एक बाद का पेपर जब अनुकूलन प्रक्रिया के दौरान संबंधित ऊर्जा फ़ंक्शन को कम किया जाता है, तो असतत-समय और निरंतर-समय हॉपफील्ड नेटवर्क दोनों में किसी भी न्यूरॉन के व्यवहार की जांच की जाती है। ब्रुक दिखाता है वह न्यूरॉन जे अपनी स्थिति बदलता है यदि और केवल तभी जब वह निम्नलिखित पक्षपाती छद्म-कट को और कम कर देता है। असतत हॉपफील्ड नेटवर्क निम्नलिखित पक्षपाती छद्म कट को कम करता है हॉपफील्ड नेट के सिनैप्टिक वेट मैट्रिक्स के लिए।

$$ J_{pseudo-cut}(k) = \sum_{i \in C_1(k)} \sum_{j \in C_2(k)} w_{ij} + \sum_{j \in C_1(k)} {\theta_j} $$ कहाँ $$ C_1(k) $$ और $$ C_2(k) $$ न्यूरॉन्स के सेट का प्रतिनिधित्व करता है जो समय पर क्रमशः -1 और +1 हैं $$ k $$. अधिक जानकारी के लिए हालिया पेपर देखें।

असतत-समय हॉपफील्ड नेटवर्क हमेशा निम्नलिखित छद्म-कट को न्यूनतम करता है


 * $$ U(k) = \sum_{i=1}^N \sum_{j=1}^{N} w_{ij} ( s_i(k) - s_j(k) )^2 + 2 \sum_{j=1}^N \theta_j s_j(k) $$

निरंतर-समय हॉपफ़ील्ड नेटवर्क हमेशा निम्न भारित कटौती के लिए ऊपरी सीमा को न्यूनतम करता है


 * $$ V(t) = \sum_{i=1}^N \sum_{j=1}^N w_{ij} ( f(s_i(t)) - f(s_j(t) )^2 + 2 \sum_{j=1}^N \theta_j f(s_j(t)) $$

कहाँ $$ f(\cdot) $$ एक शून्य-केंद्रित सिग्मॉइड फ़ंक्शन है।

दूसरी ओर, जटिल हॉपफ़ील्ड नेटवर्क आम तौर पर नेट के जटिल भार मैट्रिक्स के तथाकथित छाया-कट को कम करता है।

ऊर्जा
हॉपफ़ील्ड नेट में नेटवर्क की प्रत्येक स्थिति से जुड़ा एक अदिश मान होता है, जिसे नेटवर्क की ऊर्जा, ई कहा जाता है, जहां:
 * $$E = -\frac12\sum_{i,j} w_{ij} s_i s_j -\sum_i \theta_i s_i$$

इस मात्रा को ऊर्जा कहा जाता है क्योंकि नेटवर्क इकाइयों के अद्यतन होने पर यह या तो कम हो जाती है या समान रहती है। इसके अलावा, बार-बार अपडेट करने पर नेटवर्क अंततः एक ऐसी स्थिति में परिवर्तित हो जाएगा जो ऊर्जा फ़ंक्शन में एक स्थानीय न्यूनतम है (जिसे ल्यपुनोव समारोह माना जाता है)। इस प्रकार, यदि कोई राज्य ऊर्जा फ़ंक्शन में स्थानीय न्यूनतम है तो यह नेटवर्क के लिए एक स्थिर स्थिति है। ध्यान दें कि यह ऊर्जा फ़ंक्शन भौतिकी में आइसिंग मॉडल के नाम से मॉडलों के एक सामान्य वर्ग से संबंधित है; ये बदले में मार्कोव नेटवर्क का एक विशेष मामला है, क्योंकि संबंधित संभाव्यता माप, गिब्स माप में मार्कोव संपत्ति है।

अनुकूलन में हॉपफ़ील्ड नेटवर्क
हॉपफील्ड और टैंक ने 1985 में क्लासिकल ट्रैवलिंग-सेल्समैन समस्या को हल करने के लिए हॉपफील्ड नेटवर्क एप्लिकेशन प्रस्तुत किया। तब से, अनुकूलन के लिए हॉपफील्ड नेटवर्क का व्यापक रूप से उपयोग किया गया है। अनुकूलन समस्याओं में हॉपफील्ड नेटवर्क का उपयोग करने का विचार सीधा है: यदि एक विवश/अप्रतिबंधित लागत फ़ंक्शन को हॉपफील्ड ऊर्जा फ़ंक्शन ई के रूप में लिखा जा सकता है, तो एक हॉपफील्ड नेटवर्क मौजूद है जिसके संतुलन बिंदु बाधित/अप्रतिबंधित अनुकूलन के समाधान का प्रतिनिधित्व करते हैं संकट। हॉपफील्ड ऊर्जा फ़ंक्शन को न्यूनतम करने से उद्देश्य फ़ंक्शन कम हो जाता है और बाधाएं भी संतुष्ट हो जाती हैं क्योंकि बाधाएं नेटवर्क के सिनैप्टिक भार में "एम्बेडेड" होती हैं। यद्यपि सर्वोत्तम संभव तरीके से सिनैप्टिक वेट में अनुकूलन बाधाओं को शामिल करना एक चुनौतीपूर्ण कार्य है, विभिन्न विषयों में बाधाओं के साथ कई कठिन अनुकूलन समस्याओं को हॉपफील्ड ऊर्जा फ़ंक्शन में परिवर्तित कर दिया गया है: एसोसिएटिव मेमोरी सिस्टम, एनालॉग-टू-डिजिटल रूपांतरण, जॉब- शॉप शेड्यूलिंग समस्या, द्विघात असाइनमेंट और अन्य संबंधित एनपी-पूर्ण समस्याएं, वायरलेस नेटवर्क में चैनल आवंटन समस्या, मोबाइल एड-हॉक नेटवर्क रूटिंग समस्या, छवि बहाली, सिस्टम पहचान, कॉम्बिनेटोरियल ऑप्टिमाइज़ेशन, आदि, बस कुछ के नाम बताने के लिए। अधिक विवरण उदाहरण में पाया जा सकता है। कागज़।

आरंभीकरण और चलाना
हॉपफ़ील्ड नेटवर्क का आरंभीकरण इकाइयों के मानों को वांछित प्रारंभ पैटर्न पर सेट करके किया जाता है। तब तक बार-बार अपडेट किया जाता है जब तक कि नेटवर्क एक आकर्षक पैटर्न में परिवर्तित न हो जाए। आम तौर पर अभिसरण का आश्वासन दिया जाता है, क्योंकि हॉपफील्ड ने साबित कर दिया है कि इस गैर-रेखीय गतिशील प्रणाली के आकर्षण स्थिर हैं, कुछ अन्य प्रणालियों की तरह आवधिक या अराजक नहीं हैं. इसलिए, हॉपफील्ड नेटवर्क के संदर्भ में, एक आकर्षित करने वाला पैटर्न एक अंतिम स्थिर स्थिति है, एक पैटर्न जो अद्यतन के तहत इसके भीतर कोई भी मूल्य नहीं बदल सकता है.

प्रशिक्षण
हॉपफ़ील्ड नेट के प्रशिक्षण में राज्यों की ऊर्जा को कम करना शामिल है जिसे नेट को याद रखना चाहिए। यह नेट को एक कंटेंट एड्रेसेबल मेमोरी सिस्टम के रूप में काम करने की अनुमति देता है, यानी, यदि नेटवर्क को राज्य का केवल एक हिस्सा दिया जाता है, तो यह एक याद की गई स्थिति में परिवर्तित हो जाएगा। नेट का उपयोग किसी विकृत इनपुट से उस प्रशिक्षित स्थिति में पुनर्प्राप्त करने के लिए किया जा सकता है जो उस इनपुट के सबसे समान है। इसे साहचर्यात्मक स्मृति कहा जाता है क्योंकि यह समानता के आधार पर स्मृतियों को पुनः प्राप्त करती है। उदाहरण के लिए, यदि हम एक हॉपफील्ड नेट को पांच इकाइयों के साथ प्रशिक्षित करते हैं ताकि राज्य (1, −1, 1, −1, 1) एक न्यूनतम ऊर्जा हो, और हम नेटवर्क को राज्य (1, −1, −1,) देते हैं −1, 1) यह (1, −1, 1, −1, 1) में परिवर्तित हो जाएगा। इस प्रकार, नेटवर्क को ठीक से प्रशिक्षित किया जाता है जब राज्यों की ऊर्जा जिसे नेटवर्क को याद रखना चाहिए वह स्थानीय न्यूनतम होती है। ध्यान दें कि, परसेप्ट्रॉन#लर्निंग एल्गोरिदम प्रशिक्षण के विपरीत, न्यूरॉन्स की सीमाएँ कभी भी अपडेट नहीं की जाती हैं।

सीखने के नियम
सीखने के कई अलग-अलग नियम हैं जिनका उपयोग हॉपफील्ड नेटवर्क की मेमोरी में जानकारी संग्रहीत करने के लिए किया जा सकता है। किसी सीखने के नियम के लिए निम्नलिखित दो गुणों का होना वांछनीय है:
 * स्थानीय: एक सीखने का नियम स्थानीय होता है यदि प्रत्येक वजन को उस विशेष वजन से जुड़े कनेक्शन के दोनों ओर न्यूरॉन्स के लिए उपलब्ध जानकारी का उपयोग करके अद्यतन किया जाता है।
 * वृद्धिशील: पुराने पैटर्न से जानकारी का उपयोग किए बिना नए पैटर्न सीखे जा सकते हैं जिनका उपयोग प्रशिक्षण के लिए भी किया गया है। अर्थात्, जब प्रशिक्षण के लिए एक नए पैटर्न का उपयोग किया जाता है, तो वजन के लिए नए मूल्य केवल पुराने मूल्यों और नए पैटर्न पर निर्भर करते हैं।

ये गुण वांछनीय हैं, क्योंकि इन्हें संतुष्ट करने वाला सीखने का नियम जैविक रूप से अधिक प्रशंसनीय है। उदाहरण के लिए, चूँकि मानव मस्तिष्क हमेशा नई अवधारणाएँ सीखता रहता है, कोई यह तर्क दे सकता है कि मानव सीखना वृद्धिशील है। एक शिक्षण प्रणाली जो वृद्धिशील नहीं थी, उसे आमतौर पर प्रशिक्षण डेटा के एक विशाल बैच के साथ केवल एक बार प्रशिक्षित किया जाएगा।

होपफील्ड नेटवर्क के लिए हेब्बियन सीखने का नियम
हेब्बियन सिद्धांत को डोनाल्ड हेब्ब द्वारा 1949 में सहयोगी शिक्षा को समझाने के लिए पेश किया गया था, जिसमें न्यूरॉन कोशिकाओं के एक साथ सक्रिय होने से उन कोशिकाओं के बीच सिनैप्टिक ताकत में स्पष्ट वृद्धि होती है। इसे अक्सर न्यूरॉन्स के रूप में संक्षेपित किया जाता है जो एक साथ सक्रिय होते हैं, एक साथ तार होते हैं। न्यूरॉन्स जो सिंक से बाहर हो जाते हैं, लिंक करने में विफल हो जाते हैं।

हेब्बियन नियम स्थानीय और वृद्धिशील दोनों है। हॉपफ़ील्ड नेटवर्क के लिए, सीखते समय इसे निम्नलिखित तरीके से कार्यान्वित किया जाता है $$n$$ बाइनरी पैटर्न:

$$ w_{ij}=\frac{1}{n}\sum_{\mu=1}^{n}\epsilon_{i}^\mu \epsilon_{j}^\mu $$ कहाँ $$\epsilon_i^\mu$$ पैटर्न से बिट I का प्रतिनिधित्व करता है $$\mu$$.

यदि न्यूरॉन्स i और j के अनुरूप बिट्स पैटर्न में समान हैं $$\mu$$, फिर उत्पाद $$ \epsilon_{i}^\mu \epsilon_{j}^\mu $$ सकारात्मक होगा. इससे वज़न पर सकारात्मक प्रभाव पड़ेगा $$w_{ij} $$ और i और j के मान समान हो जायेंगे। यदि न्यूरॉन्स i और j के अनुरूप बिट्स भिन्न हैं तो विपरीत होता है।

स्टॉर्क सीखने का नियम
यह नियम 1997 में अमोस स्टॉर्की द्वारा पेश किया गया था और यह स्थानीय और वृद्धिशील दोनों है। स्टॉर्की ने यह भी दिखाया कि इस नियम का उपयोग करके प्रशिक्षित हॉपफील्ड नेटवर्क की क्षमता हेब्बियन नियम का उपयोग करके प्रशिक्षित संबंधित नेटवर्क की तुलना में अधिक है। एक आकर्षितकर्ता तंत्रिका नेटवर्क का भार मैट्रिक्स को स्टॉर्की सीखने के नियम का पालन करने के लिए कहा जाता है यदि वह इसका पालन करता है:

$$ w_{ij}^{\nu} = w_{ij}^{\nu-1} +\frac{1}{n}\epsilon_{i}^{\nu} \epsilon_{j}^{\nu} -\frac{1}{n}\epsilon_{i}^{\nu} h_{ji}^{\nu} -\frac{1}{n}\epsilon_{j}^{\nu} h_{ij}^{\nu} $$ कहाँ $$ h_{ij}^{\nu} = \sum_{k=1~:~i\neq k\neq j}^{n} w_{ik}^{\nu-1}\epsilon_{k}^{\nu} $$ स्थानीय क्षेत्र का एक रूप है न्यूरॉन I पर

यह सीखने का नियम स्थानीय है, क्योंकि सिनैप्स केवल अपने पक्षों के न्यूरॉन्स को ध्यान में रखते हैं। स्थानीय क्षेत्र के प्रभाव के कारण, नियम सामान्यीकृत हेब्बियन नियम की तुलना में पैटर्न और वजन से अधिक जानकारी का उपयोग करता है।

नकली पैटर्न
पैटर्न जो नेटवर्क प्रशिक्षण के लिए उपयोग करता है (पुनर्प्राप्ति स्थिति कहा जाता है) सिस्टम के आकर्षण बन जाते हैं। बार-बार अद्यतन करने से अंततः पुनर्प्राप्ति स्थितियों में से एक में अभिसरण हो जाएगा। हालाँकि, कभी-कभी नेटवर्क नकली पैटर्न (प्रशिक्षण पैटर्न से भिन्न) में परिवर्तित हो जाएगा। इन नकली पैटर्नों में ऊर्जा भी स्थानीय न्यूनतम है। प्रत्येक संग्रहीत पैटर्न x के लिए, निषेध -x भी एक नकली पैटर्न है।

एक नकली अवस्था विषम संख्या में पुनर्प्राप्ति अवस्थाओं का एक रैखिक संयोजन भी हो सकती है। उदाहरण के लिए, 3 पैटर्न का उपयोग करते समय $$ \mu_1, \mu_2, \mu_3$$, कोई निम्नलिखित नकली स्थिति प्राप्त कर सकता है:

$$ \epsilon_{i}^{\rm{mix}} = \pm \sgn(\pm \epsilon_{i}^{\mu_{1}} 			        \pm \epsilon_{i}^{\mu_{2}}			         \pm \epsilon_{i}^{\mu_{3}}) $$ ऐसे नकली पैटर्न जिनमें राज्यों की संख्या सम है, मौजूद नहीं हो सकते, क्योंकि उनका योग शून्य तक हो सकता है

क्षमता
हॉपफील्ड नेटवर्क मॉडल की नेटवर्क क्षमता किसी दिए गए नेटवर्क के भीतर न्यूरॉन मात्रा और कनेक्शन द्वारा निर्धारित की जाती है। इसलिए, संग्रहीत की जा सकने वाली यादों की संख्या न्यूरॉन्स और कनेक्शन पर निर्भर करती है। इसके अलावा, यह दिखाया गया कि वैक्टर और नोड्स के बीच रिकॉल सटीकता 0.138 थी (प्रत्येक 1000 नोड्स के लिए लगभग 138 वैक्टर को स्टोरेज से रिकॉल किया जा सकता है) (हर्ट्ज़ एट अल।, 1991)। इसलिए, यह स्पष्ट है कि यदि कोई बड़ी संख्या में वैक्टर संग्रहीत करने का प्रयास करेगा तो कई गलतियाँ होंगी। जब हॉपफील्ड मॉडल सही पैटर्न को याद नहीं करता है, तो यह संभव है कि एक घुसपैठ हुई है, क्योंकि शब्दार्थ से संबंधित आइटम व्यक्ति को भ्रमित करते हैं, और गलत पैटर्न की याद आती है। इसलिए, हॉपफील्ड नेटवर्क मॉडल को पुनर्प्राप्ति पर एक संग्रहीत आइटम को दूसरे के साथ भ्रमित करने के लिए दिखाया गया है। परफेक्ट रिकॉल और उच्च क्षमता, >0.14, को स्टॉर्की लर्निंग विधि द्वारा नेटवर्क में लोड किया जा सकता है; एताम, ETAM प्रयोगों में भी. होपफील्ड नेटवर्क से प्रेरित पूर्ववर्ती मॉडलों को बाद में भंडारण सीमा बढ़ाने और पुनर्प्राप्ति त्रुटि दर को कम करने के लिए तैयार किया गया था, जिनमें से कुछ वन-शॉट लर्निंग (कंप्यूटर विज़न) | वन-शॉट लर्निंग में सक्षम थे। भण्डारण क्षमता इस प्रकार दी जा सकती है $$C \cong \frac{n}{2\log_2n}$$ कहाँ $$n$$ नेट में न्यूरॉन्स की संख्या है.

मानव स्मृति
होपफील्ड मॉडल याद  वैक्टर के समावेश के माध्यम से एसोसिएशन (मनोविज्ञान) मेमोरी का हिसाब लगाता है। मेमोरी वैक्टर का थोड़ा उपयोग किया जा सकता है, और यह नेटवर्क में सबसे समान वेक्टर की पुनर्प्राप्ति को बढ़ावा देगा। हालाँकि, हम पता लगाएंगे कि इस प्रक्रिया के कारण घुसपैठ हो सकती है। हॉपफील्ड नेटवर्क के लिए एसोसिएटिव मेमोरी में, दो प्रकार के ऑपरेशन होते हैं: ऑटो-एसोसिएशन और हेटेरो-एसोसिएशन। पहला तब होता है जब एक वेक्टर स्वयं से जुड़ा होता है, और दूसरा तब होता है जब दो अलग-अलग वेक्टर स्टोरेज में जुड़े होते हैं। इसके अलावा, दोनों प्रकार के ऑपरेशनों को एक ही मेमोरी मैट्रिक्स में संग्रहीत करना संभव है, लेकिन केवल तभी जब दिया गया प्रतिनिधित्व मैट्रिक्स एक या दूसरे ऑपरेशन नहीं है, बल्कि दोनों का संयोजन (ऑटो-एसोसिएटिव और हेटेरो-एसोसिएटिव) है। यह ध्यान रखना महत्वपूर्ण है कि हॉपफील्ड का नेटवर्क मॉडल हेब्बियन सिद्धांत | हेब्ब (1949) के सीखने के नियम के समान सीखने के नियम का उपयोग करता है, जो मूल रूप से यह दिखाने की कोशिश करता है कि गतिविधि होने पर वजन के मजबूत होने के परिणामस्वरूप सीखना होता है।

रिज़ुटो और कहाना (2001) यह दिखाने में सक्षम थे कि तंत्रिका नेटवर्क मॉडल एक संभाव्य-शिक्षण एल्गोरिदम को शामिल करके रिकॉल सटीकता पर पुनरावृत्ति के लिए जिम्मेदार हो सकता है। पुनर्प्राप्ति प्रक्रिया के दौरान, कोई सीख नहीं होती है। परिणामस्वरूप, नेटवर्क का भार स्थिर रहता है, जिससे पता चलता है कि मॉडल सीखने के चरण से रिकॉल चरण में स्विच करने में सक्षम है। प्रासंगिक बहाव को जोड़कर वे तेजी से भूलने को दिखाने में सक्षम थे जो कि होपफील्ड मॉडल में एक उद्धृत-रिकॉल कार्य के दौरान होता है। संपूर्ण नेटवर्क किसी एक नोड के सक्रियण में परिवर्तन में योगदान देता है।

मैककुलोच और पिट्स का (1943) गतिशील नियम, जो न्यूरॉन्स के व्यवहार का वर्णन करता है, ऐसा इस तरह से करता है जिससे पता चलता है कि कैसे कई न्यूरॉन्स की सक्रियता एक नए न्यूरॉन की फायरिंग दर की सक्रियता पर मैप करती है, और न्यूरॉन्स का वजन कैसे मजबूत होता है नए सक्रिय न्यूरॉन (और इसे सक्रिय करने वालों) के बीच सिनैप्टिक कनेक्शन। हॉपफील्ड नेटवर्क में पुनर्प्राप्ति कैसे संभव है यह दिखाने के लिए हॉपफील्ड मैककुलोच-पिट्स के गतिशील नियम का उपयोग करेगा। हालाँकि, यह ध्यान रखना महत्वपूर्ण है कि होपफ़ील्ड ऐसा दोहराव वाले तरीके से करेगा। हॉपफ़ील्ड एक रैखिक फ़ंक्शन का उपयोग करने के बजाय एक गैर-रेखीय सक्रियण फ़ंक्शन का उपयोग करेगा। इसलिए यह हॉपफील्ड गतिशील नियम बनाएगा और इसके साथ, हॉपफील्ड यह दिखाने में सक्षम था कि गैर-रेखीय सक्रियण फ़ंक्शन के साथ, गतिशील नियम हमेशा संग्रहीत पैटर्न में से एक की दिशा में राज्य वेक्टर के मूल्यों को संशोधित करेगा।

सघन साहचर्य स्मृति या आधुनिक हॉपफील्ड नेटवर्क
हॉपफील्ड नेटवर्क गतिशील प्रक्षेपवक्र के साथ आवर्ती तंत्रिका नेटवर्क हैं जो निश्चित बिंदु आकर्षित करने वाले राज्यों में परिवर्तित होते हैं और एक ऊर्जा फ़ंक्शन द्वारा वर्णित होते हैं। प्रत्येक मॉडल न्यूरॉन की स्थिति $i $ समय-निर्भर चर द्वारा परिभाषित किया गया है $$V_i$$, जिसे या तो असतत या निरंतर चुना जा सकता है। एक संपूर्ण मॉडल इस गणित का वर्णन करता है कि प्रत्येक न्यूरॉन की गतिविधि की भविष्य की स्थिति सभी न्यूरॉन्स की ज्ञात वर्तमान या पिछली गतिविधि पर कैसे निर्भर करती है।

साहचर्य स्मृति के मूल हॉपफ़ील्ड मॉडल में, चर द्विआधारी थे, और गतिशीलता का वर्णन न्यूरॉन्स की स्थिति के एक-एक-समय के अद्यतन द्वारा किया गया था। में एक ऊर्जा फलन द्विघात है $$V_i$$ परिभाषित किया गया था, और गतिशीलता में प्रत्येक एकल न्यूरॉन की गतिविधि को बदलना शामिल था $$i$$ केवल तभी जब ऐसा करने से सिस्टम की कुल ऊर्जा कम हो जाएगी। इसी विचार को के मामले में भी विस्तारित किया गया था $$V_i$$ न्यूरॉन के आउटपुट का प्रतिनिधित्व करने वाला एक सतत चर होना $$i$$, और $$V_i$$ इनपुट करंट का एक मोनोटोनिक फ़ंक्शन होना। गतिशीलता को प्रथम-क्रम विभेदक समीकरणों के एक सेट के रूप में व्यक्त किया गया जिसके लिए सिस्टम की ऊर्जा हमेशा कम हो गई।   निरंतर स्थिति में ऊर्जा का एक पद होता है जो कि द्विघात होता है $$V_i$$ (जैसा कि बाइनरी मॉडल में है), और एक दूसरा पद जो लाभ फ़ंक्शन (न्यूरॉन के सक्रियण फ़ंक्शन) पर निर्भर करता है। साहचर्य स्मृति के कई वांछनीय गुण होने के बावजूद, ये दोनों शास्त्रीय प्रणालियाँ एक छोटी मेमोरी भंडारण क्षमता से ग्रस्त हैं, जो इनपुट सुविधाओं की संख्या के साथ रैखिक रूप से बढ़ती है।

सघन साहचर्य स्मृतियाँ (आधुनिक हॉपफ़ील्ड नेटवर्क के रूप में भी जाना जाता है ) शास्त्रीय हॉपफील्ड नेटवर्क के सामान्यीकरण हैं जो इनपुट सुविधाओं की संख्या और संग्रहीत यादों की संख्या के बीच रैखिक स्केलिंग संबंध को तोड़ते हैं। यह मजबूत गैर-रैखिकता (या तो ऊर्जा कार्य या न्यूरॉन्स के सक्रियण कार्यों में) को पेश करके प्राप्त किया जाता है, जिससे सुपर-रैखिक होता है (यहां तक ​​कि एक घातीय भी ) फीचर न्यूरॉन्स की संख्या के एक फ़ंक्शन के रूप में मेमोरी स्टोरेज क्षमता। नेटवर्क को अभी भी पर्याप्त संख्या में छिपे हुए न्यूरॉन्स की आवश्यकता है। आधुनिक हॉपफील्ड नेटवर्क के पीछे मुख्य सैद्धांतिक विचार एक ऊर्जा फ़ंक्शन और एक अद्यतन नियम का उपयोग करना है जो शास्त्रीय हॉपफील्ड नेटवर्क की तुलना में न्यूरॉन के कॉन्फ़िगरेशन के स्थान में संग्रहीत यादों के आसपास अधिक तेजी से चरम पर है।

असतत चर
एक सरल उदाहरण आधुनिक हॉपफ़ील्ड नेटवर्क को बाइनरी डेटा के रूप में लिखा जा सकता है $$V_i$$ जो सक्रिय का प्रतिनिधित्व करता है $$V_i=+1$$ और निष्क्रिय $$V_i=-1$$ मॉडल न्यूरॉन की स्थिति $$i$$। xi_{\mu i} V_i\Big) इस सूत्र में भार $\xi_{\mu i}$ मेमोरी वैक्टर के मैट्रिक्स का प्रतिनिधित्व करें (सूचकांक)। $$\mu = 1...N_\text{mem}$$ विभिन्न यादों और अनुक्रमणिका की गणना करता है $$i=1...N_f$$ के अनुरूप प्रत्येक मेमोरी की सामग्री की गणना करता है $$i$$-वें फीचर न्यूरॉन), और फ़ंक्शन $$F(x)$$ एक तेजी से बढ़ने वाला गैर-रैखिक कार्य है। व्यक्तिगत न्यूरॉन्स के लिए अद्यतन नियम (अतुल्यकालिक मामले में) निम्नलिखित रूप में लिखा जा सकता है <गणित प्रदर्शन = ब्लॉक आईडी = DAM_update_rule >V^{(t+1)}_i = साइन\bigg[ \sum\limits_{\mu =1}^{N_\text{mem}} \bigg(F\Big(\xi_{\mu i} + \sum\limits_{j\neq i}\xi_{\mu j} V^{(t) }_j\बिग) - F\बिग(-\xi_{\mu i} + \sum\limits_{j\neq i}\xi_{\mu j} V^{(t)}_j\Big) \bigg) \bigg] जो बताता है कि अद्यतन स्थिति की गणना करने के लिए $i$ -वें न्यूरॉन नेटवर्क दो ऊर्जाओं की तुलना करता है: नेटवर्क की ऊर्जा के साथ $$i$$-वें न्यूरॉन चालू अवस्था में और नेटवर्क की ऊर्जा के साथ $$i$$-वां न्यूरॉन ऑफ अवस्था में, शेष न्यूरॉन की स्थिति को देखते हुए। की अद्यतन स्थिति $$i$$-वें न्यूरॉन उस अवस्था का चयन करता है जिसमें दोनों ऊर्जाओं में से सबसे कम ऊर्जा होती है।

सीमित मामले में जब गैर-रैखिक ऊर्जा फलन द्विघात होता है $$F(x) = x^2$$ ये समीकरण परिचित ऊर्जा फ़ंक्शन और शास्त्रीय बाइनरी हॉपफील्ड नेटवर्क के लिए अद्यतन नियम को कम करते हैं।

इन नेटवर्कों की मेमोरी स्टोरेज क्षमता की गणना यादृच्छिक बाइनरी पैटर्न के लिए की जा सकती है। विद्युत ऊर्जा फ़ंक्शन के लिए $$F(x)=x^n$$ त्रुटियों के बिना इस नेटवर्क से संग्रहीत और पुनर्प्राप्त की जा सकने वाली स्मृतियों की अधिकतम संख्या निम्न द्वारा दी गई है $$N^{max}_{\text{mem}}\approx \frac{1}{2 (2n-3)!!} \frac{N_f^{n-1}}{\ln(N_f)}$$एक घातांकीय ऊर्जा फलन के लिए $F(x)=e^x$ मेमोरी भंडारण क्षमता फ़ीचर न्यूरॉन्स की संख्या में घातीय है $$N^{max}_{\text{mem}}\approx 2^{N_f/2}$$

सतत चर
आधुनिक हॉपफ़ील्ड नेटवर्क या सघन साहचर्य स्मृतियों को निरंतर चर और निरंतर समय में सबसे अच्छी तरह समझा जा सकता है। चित्र 1 में दिखाए गए नेटवर्क आर्किटेक्चर और न्यूरॉन की स्थिति के विकास के समीकरणों पर विचार करें जहां फ़ीचर न्यूरॉन्स की धाराओं को निरूपित किया जाता है $x_i$, और मेमोरी न्यूरॉन्स की धाराओं को इसके द्वारा निरूपित किया जाता है $$h_\mu$$ ($$h$$ छिपे हुए न्यूरॉन्स के लिए खड़ा है)। फ़ीचर न्यूरॉन्स या मेमोरी न्यूरॉन्स के बीच कोई सिनैप्टिक कनेक्शन नहीं हैं। एक मैट्रिक्स $$\xi_{\mu i}$$ एक फीचर न्यूरॉन से सिनैप्स की ताकत को दर्शाता है $$i$$ मेमोरी न्यूरॉन को $$\mu$$. सिनैप्स को सममित माना जाता है, ताकि समान मान मेमोरी न्यूरॉन से भिन्न भौतिक सिनैप्स की विशेषता बता सके। $$\mu$$ फ़ीचर न्यूरॉन के लिए $$i$$. मेमोरी न्यूरॉन्स और फ़ीचर न्यूरॉन्स के आउटपुट को इसके द्वारा निरूपित किया जाता है $$f_\mu$$ और $$g_i$$, जो संबंधित धाराओं के गैर-रैखिक कार्य हैं। सामान्य तौर पर ये आउटपुट उस परत के सभी न्यूरॉन्स की धाराओं पर निर्भर हो सकते हैं $$f_\mu = f(\{h_\mu\})$$ और $g_i = g(\{x_i\})$. इन सक्रियण कार्यों को न्यूरॉन्स के दो समूहों के लिए लैग्रेंजियन कार्यों के व्युत्पन्न के रूप में परिभाषित करना सुविधाजनक हैइस तरह लैग्रेंजियन फ़ंक्शन निर्दिष्ट होने के बाद न्यूरॉन की स्थितियों के लिए समीकरणों का विशिष्ट रूप पूरी तरह से परिभाषित हो जाता है। अंत में, न्यूरॉन्स के दो समूहों के लिए समय स्थिरांक को निरूपित किया जाता है $$\tau_f$$ और $$\tau_h$$, $$I_i$$ नेटवर्क का इनपुट करंट है जिसे प्रस्तुत डेटा द्वारा संचालित किया जा सकता है। गैर-रेखीय विभेदक समीकरणों की सामान्य प्रणालियों में कई जटिल व्यवहार हो सकते हैं जो गैर-रैखिकता और प्रारंभिक स्थितियों की पसंद पर निर्भर हो सकते हैं। हालाँकि, हॉपफ़ील्ड नेटवर्क के लिए, यह मामला नहीं है - गतिशील प्रक्षेपवक्र हमेशा एक निश्चित बिंदु आकर्षित करने वाली स्थिति में परिवर्तित होते हैं। यह गुण इसलिए हासिल किया गया है क्योंकि इन समीकरणों को विशेष रूप से इंजीनियर किया गया है ताकि उनमें एक अंतर्निहित ऊर्जा कार्य हो वर्गाकार कोष्ठकों में समूहीकृत शब्द न्यूरॉन्स की अवस्थाओं के संबंध में लैग्रेंजियन फ़ंक्शन के एक लेजेंडरी परिवर्तन का प्रतिनिधित्व करते हैं। यदि लैग्रेंजियन फ़ंक्शंस के हेसियन मैट्रिक्स सकारात्मक अर्ध-निश्चित हैं, तो गतिशील प्रक्षेपवक्र पर ऊर्जा फ़ंक्शन में कमी की गारंटी है यह संपत्ति यह साबित करना संभव बनाती है कि न्यूरॉन्स की गतिविधियों के अस्थायी विकास का वर्णन करने वाले गतिशील समीकरणों की प्रणाली अंततः एक निश्चित बिंदु आकर्षण स्थिति तक पहुंच जाएगी।

कुछ स्थितियों में कोई यह मान सकता है कि छिपे हुए न्यूरॉन्स की गतिशीलता फीचर न्यूरॉन्स की तुलना में बहुत तेज समय के पैमाने पर संतुलित होती है, $\tau_h\ll\tau_f$. इस मामले में सिस्टम में दूसरे समीकरण का स्थिर अवस्था समाधान ($$) का उपयोग फीचर न्यूरॉन्स के आउटपुट के माध्यम से छिपी हुई इकाइयों की धाराओं को व्यक्त करने के लिए किया जा सकता है। इससे सामान्य सिद्धांत को कम करना संभव हो जाता है ($$) केवल फीचर न्यूरॉन्स के लिए एक प्रभावी सिद्धांत के लिए। परिणामी प्रभावी अद्यतन नियम और लैग्रेंजियन फ़ंक्शंस के विभिन्न सामान्य विकल्पों के लिए ऊर्जाएँ चित्र 2 में दिखाई गई हैं। लॉग-सम-एक्सपोनेंशियल लैग्रेंजियन फ़ंक्शन के मामले में फीचर न्यूरॉन्स की स्थिति के लिए अद्यतन नियम (यदि एक बार लागू किया जाता है) ध्यान तंत्र है आमतौर पर कई आधुनिक एआई सिस्टम में उपयोग किया जाता है (संदर्भ देखें)। निरंतर समय निरूपण से इस परिणाम की व्युत्पत्ति के लिए)।

सतत चर के साथ शास्त्रीय हॉपफील्ड नेटवर्क से संबंध
सतत हॉपफील्ड नेटवर्क का शास्त्रीय सूत्रीकरण समझा जा सकता है एक छिपी हुई परत के साथ आधुनिक हॉपफ़ील्ड नेटवर्क के एक विशेष सीमित मामले के रूप में। श्रेणीबद्ध प्रतिक्रिया वाले न्यूरॉन्स के लिए सतत हॉपफील्ड नेटवर्क आमतौर पर वर्णित हैं गतिशील समीकरणों द्वारा और ऊर्जा कार्य  कहाँ $V_i = g(x_i)$, और $$g^{-1}(z)$$ सक्रियण फ़ंक्शन का व्युत्क्रम है $$g(x)$$. यह मॉडल मॉडलों के वर्ग की एक विशेष सीमा है जिसे मॉडल ए कहा जाता है, लैग्रेंजियन फ़ंक्शंस के निम्नलिखित विकल्प के साथ वह, परिभाषा के अनुसार ($$), सक्रियण कार्यों की ओर ले जाता है  यदि हम छिपे हुए न्यूरॉन्स को समीकरणों की प्रणाली से एकीकृत करते हैं ($$) फीचर न्यूरॉन्स पर समीकरणों को कम करता है ($$) साथ $$T_{ij} = \sum\limits_{\mu=1}^{N_h} \xi_{\mu i }\xi_{\mu j}$$, और ऊर्जा के लिए सामान्य अभिव्यक्ति ($$) प्रभावी ऊर्जा को कम कर देता है  जबकि समीकरण में पहले दो पद ($$) समीकरण के समान हैं ($$), तीसरे पद सतही तौर पर भिन्न दिखते हैं। समीकरण में ($$) यह फ़ीचर न्यूरॉन्स के लिए लैग्रेन्जियन का एक पौराणिक रूपांतरण है, जबकि ($$) तीसरा पद व्युत्क्रम सक्रियण फलन का अभिन्न अंग है। फिर भी, ये दो अभिव्यक्तियाँ वास्तव में समतुल्य हैं, क्योंकि किसी फ़ंक्शन के व्युत्पन्न और उसके लेजेंड्रे परिवर्तन एक दूसरे के व्युत्क्रम फ़ंक्शन हैं। यह देखने का सबसे आसान तरीका है कि ये दोनों शब्द स्पष्ट रूप से समान हैं, प्रत्येक के संबंध में अंतर करना है $$x_i$$. दोनों अभिव्यक्तियों के लिए इन विभेदों के परिणाम समान हैं $$x_i g(x_i)'$$. इस प्रकार, दोनों अभिव्यक्तियाँ एक योगात्मक स्थिरांक तक बराबर हैं। इससे प्रमाण पूर्ण हो जाता है वह शास्त्रीय हॉपफ़ील्ड नेटवर्क निरंतर अवस्थाओं के साथ आधुनिक हॉपफ़ील्ड नेटवर्क का एक विशेष सीमित मामला है ($$) ऊर्जा के साथ ($$).

आधुनिक हॉपफील्ड नेटवर्क का सामान्य सूत्रीकरण
जैविक तंत्रिका नेटवर्क में विभिन्न कोशिका प्रकारों के संदर्भ में काफी हद तक विविधता होती है। यह खंड विविधता की चरम डिग्री को मानते हुए पूरी तरह से जुड़े आधुनिक हॉपफील्ड नेटवर्क के गणितीय मॉडल का वर्णन करता है: हर एक न्यूरॉन अलग है। विशेष रूप से, एक ऊर्जा फ़ंक्शन और संबंधित गतिशील समीकरणों का वर्णन यह मानते हुए किया गया है कि प्रत्येक न्यूरॉन का अपना सक्रियण फ़ंक्शन और गतिज समय पैमाना है। यह माना जाता है कि नेटवर्क पूरी तरह से जुड़ा हुआ है, ताकि प्रत्येक न्यूरॉन वजन के सममित मैट्रिक्स का उपयोग करके हर दूसरे न्यूरॉन से जुड़ा हो $$W_{IJ}$$, सूचकांक $$I$$ और $$J$$ नेटवर्क में विभिन्न न्यूरॉन्स की गणना करें, चित्र 3 देखें। इस समस्या को गणितीय रूप से तैयार करने का सबसे आसान तरीका लैग्रेंजियन फ़ंक्शन के माध्यम से आर्किटेक्चर को परिभाषित करना है $$L(\{x_I\})$$ यह नेटवर्क में सभी न्यूरॉन्स की गतिविधियों पर निर्भर करता है। प्रत्येक न्यूरॉन के लिए सक्रियण फ़ंक्शन को उस न्यूरॉन की गतिविधि के संबंध में लैग्रेंजियन के आंशिक व्युत्पन्न के रूप में परिभाषित किया गया है जैविक दृष्टिकोण से कोई भी विचार कर सकता है $$g_I$$ न्यूरॉन के एक्सोनल आउटपुट के रूप में $$I$$. सबसे सरल मामले में, जब लैग्रेन्जियन विभिन्न न्यूरॉन्स के लिए योगात्मक होता है, तो इस परिभाषा के परिणामस्वरूप सक्रियण होता है जो उस न्यूरॉन की गतिविधि का एक गैर-रेखीय कार्य है। गैर-एडिटिव लैग्रेन्जियंस के लिए यह सक्रियण फ़ंक्शन न्यूरॉन्स के समूह की गतिविधियों पर निर्भर हो सकता है। उदाहरण के लिए, इसमें विरोधाभासी (सॉफ्टमैक्स) या विभाजनकारी सामान्यीकरण हो सकता है। किसी दिए गए न्यूरॉन के अस्थायी विकास का वर्णन करने वाले गतिशील समीकरण दिए गए हैं यह समीकरण तंत्रिका विज्ञान में फायरिंग रेट मॉडल नामक मॉडल के वर्ग से संबंधित है। प्रत्येक न्यूरॉन $$I$$ एक्सोनल आउटपुट एकत्र करता है $$g_J$$ सभी न्यूरॉन्स से, उन्हें सिनैप्टिक गुणांक के साथ भारित करता है $$W_{IJ}$$ और अपनी स्वयं की समय-निर्भर गतिविधि उत्पन्न करता है $$x_I$$. लौकिक विकास में एक समय स्थिरांक होता है $$\tau_I$$, जो सामान्यतः प्रत्येक न्यूरॉन के लिए भिन्न हो सकता है। इस नेटवर्क का वैश्विक ऊर्जा कार्य है जहां पहले दो शब्द न्यूरॉन्स की धाराओं के संबंध में लैग्रेंजियन फ़ंक्शन के लीजेंड्रे परिवर्तन का प्रतिनिधित्व करते हैं $$x_I$$. इस ऊर्जा फ़ंक्शन के अस्थायी व्युत्पन्न की गणना गतिशील प्रक्षेपवक्र पर की जा सकती है (देखें)। जानकारी के लिए) अंतिम असमानता चिह्न धारण करता है बशर्ते कि मैट्रिक्स $$M_{IK}$$ (या इसका सममित भाग) धनात्मक अर्ध-निश्चित है। यदि, इसके अलावा, ऊर्जा फ़ंक्शन को नीचे से सीमित किया जाता है, तो गैर-रेखीय गतिशील समीकरणों को एक निश्चित बिंदु आकर्षित करने वाले राज्य में परिवर्तित होने की गारंटी दी जाती है। इस नेटवर्क को लैग्रेंजियन फ़ंक्शंस के संदर्भ में तैयार करने का लाभ यह है कि यह सक्रियण फ़ंक्शंस के विभिन्न विकल्पों और न्यूरॉन्स की विभिन्न वास्तुशिल्प व्यवस्थाओं के साथ आसानी से प्रयोग करना संभव बनाता है। उन सभी लचीले विकल्पों के लिए अभिसरण की शर्तें मैट्रिक्स के गुणों द्वारा निर्धारित की जाती हैं $$M_{IJ}$$ और ऊर्जा कार्य पर निचली सीमा का अस्तित्व।

पदानुक्रमित साहचर्य स्मृति नेटवर्क
न्यूरॉन्स को परतों में व्यवस्थित किया जा सकता है ताकि किसी दिए गए परत के प्रत्येक न्यूरॉन में समान सक्रियण कार्य और समान गतिशील समय स्केल हो। यदि हम मानते हैं कि परत के भीतर न्यूरॉन्स के बीच कोई क्षैतिज कनेक्शन नहीं है (पार्श्व कनेक्शन) और कोई स्किप-लेयर कनेक्शन नहीं है, तो सामान्य पूरी तरह से जुड़ा हुआ नेटवर्क ($$), ($$) चित्र 4 में दिखाए गए आर्किटेक्चर में कम हो जाता है। यह है $$N_\text{layer}$$ निरंतर चर द्वारा वर्णित अवस्थाओं के साथ आवर्ती रूप से जुड़े न्यूरॉन्स की परतें $$x_i^{A}$$ और सक्रियण कार्य $$g_i^{A}$$, अनुक्रमणिका $$A$$ नेटवर्क और सूचकांक की परतों की गणना करता है $$i$$ उस परत में अलग-अलग न्यूरॉन्स की गणना करता है। सक्रियण कार्य परत के सभी न्यूरॉन्स की गतिविधियों पर निर्भर हो सकते हैं। प्रत्येक परत में अलग-अलग संख्या में न्यूरॉन्स हो सकते हैं $$N_A$$. ये न्यूरॉन पिछली और बाद की परतों के न्यूरॉन से बार-बार जुड़े रहते हैं। भार के मैट्रिक्स जो न्यूरॉन्स को परतों में जोड़ते हैं $$A$$ और $$B$$ द्वारा निरूपित किये जाते हैं $$\xi^{(A,B)}_{ij}$$ (भार के लिए ऊपरी सूचकांकों का क्रम निचले सूचकांकों के क्रम के समान है, ऊपर के उदाहरण में इसका मतलब है कि सूचकांक $$i$$ परत में न्यूरॉन्स की गणना करता है $$A$$, और सूचकांक $$j$$ परत में न्यूरॉन्स की गणना करता है $$B$$). फीडफॉरवर्ड वेट और फीडबैक वेट बराबर हैं। न्यूरॉन्स की अवस्थाओं के लिए गतिशील समीकरणों को इस प्रकार लिखा जा सकता है सीमा शर्तों के साथ इन समीकरणों और पारंपरिक फीडफॉरवर्ड नेटवर्क के बीच मुख्य अंतर दूसरे पद की उपस्थिति है, जो उच्च परतों से फीडबैक के लिए जिम्मेदार है। ये ऊपर से नीचे के संकेत निचली परतों में न्यूरॉन्स को प्रस्तुत उत्तेजनाओं के प्रति उनकी प्रतिक्रिया पर निर्णय लेने में मदद करते हैं। सामान्य नुस्खा का पालन करते हुए लैग्रेंजियन फ़ंक्शन को पेश करना सुविधाजनक है $$L^A(\{x^A_i\})$$ के लिए $$A$$-वीं छिपी हुई परत, जो उस परत के सभी न्यूरॉन्स की गतिविधियों पर निर्भर करती है। उस परत में सक्रियण कार्यों को लैग्रेंजियन के आंशिक व्युत्पन्न के रूप में परिभाषित किया जा सकता है  इन परिभाषाओं के साथ ऊर्जा (ल्यपुनोव) फ़ंक्शन दिया गया है  यदि लैग्रेंजियन फ़ंक्शंस, या समकक्ष सक्रियण फ़ंक्शंस, इस तरह से चुने जाते हैं कि प्रत्येक परत के लिए हेसियन सकारात्मक अर्ध-निश्चित हैं और समग्र ऊर्जा नीचे से बंधी हुई है, तो इस प्रणाली को एक निश्चित बिंदु आकर्षित करने वाले राज्य में परिवर्तित होने की गारंटी है. इस ऊर्जा फलन का अस्थायी व्युत्पन्न इस प्रकार दिया गया है इस प्रकार, पदानुक्रमित स्तरित नेटवर्क वास्तव में वैश्विक ऊर्जा फ़ंक्शन के साथ एक आकर्षक नेटवर्क है। इस नेटवर्क को सिनैप्टिक भार के एक पदानुक्रमित सेट द्वारा वर्णित किया गया है जिसे प्रत्येक विशिष्ट समस्या के लिए सीखा जा सकता है।

यह भी देखें

 * साहचर्य स्मृति (बहुविकल्पी)
 * ऑटोएसोसिएटिव मेमोरी
 * बोल्ट्ज़मान मशीन - हॉपफील्ड नेट की तरह लेकिन ग्रेडिएंट डिसेंट के बजाय एनील्ड गिब्स सैंपलिंग का उपयोग करती है
 * संज्ञानात्मक मॉडल#सहयोगी स्मृति
 * आइसिंग मॉडल
 * हेब्बियन सिद्धांत

बाहरी संबंध

 * Hopfield Network Javascript
 * The Travelling Salesman Problem – Hopfield Neural Network JAVA Applet
 * Neural Lab Graphical Interface – Hopfield Neural Network graphical interface (Python & gtk)
 * Neural Lab Graphical Interface – Hopfield Neural Network graphical interface (Python & gtk)
 * Neural Lab Graphical Interface – Hopfield Neural Network graphical interface (Python & gtk)
 * Neural Lab Graphical Interface – Hopfield Neural Network graphical interface (Python & gtk)