हॉपफील्ड नेटवर्क

हॉपफील्ड नेटवर्क (या अमारी-हॉपफील्ड नेटवर्क, न्यूरल नेटवर्क का आइसिंग मॉडल या आइसिंग-लेन्ज़-लिटिल मॉडल) आवर्ती कृत्रिम नेटवर्क का रूप है और 1982 में जॉन हॉपफ़ील्ड द्वारा लोकप्रिय स्पिन ग्लास प्रणाली का प्रकार है। जैसा कि वर्णित है 1972 में शुनिची अमारी द्वारा और 1974 में लिटिल द्वारा जो इसिंग मॉडल पर विलियम लेन्ज़ के साथ अर्न्स्ट इसिंग के कार्य पर आधारित था। हॉपफ़ील्ड नेटवर्क बाइनरी अंक प्रणाली थ्रेशोल्ड नोड्स या निरंतर चर के साथ सामग्री-ज्ञात योग्य ("साहचर्य") मेमोरी प्रणाली के रूप में कार्य करते हैं। हॉपफ़ील्ड नेटवर्क मानव मेमोरी को समझने के लिए मॉडल भी प्रदान करते हैं।

उत्पत्ति
लर्निंग मेमोरी मॉडल के रूप में आवर्ती न्यूरल नेटवर्क का आइसिंग मॉडल पहले 1972 में शुनिची अमारी द्वारा प्रस्तावित किया गया था। और फिर 1974 में विलियम ए. लिटिल द्वारा, जिसे होपफील्ड ने 1982 में स्वीकार किया था। कागज़ हॉपफील्ड द्वारा अपने 1984 के पेपर में निरंतर गतिशीलता वाले नेटवर्क विकसित किए गए थे। मेमोरी स्टोरेज क्षमता में बड़ी प्रगति 2016 में क्रोटोव और हॉपफील्ड द्वारा नेटवर्क डायनेमिक्स और ऊर्जा फलन में परिवर्तन के माध्यम से विकसित की गई थी। इस विचार को 2017 में डेमिरसिगिल और सहयोगियों द्वारा आगे बढ़ाया गया। बड़ी मेमोरी क्षमता वाले मॉडलों की निरंतर गतिशीलता को 2016 और 2020 के मध्य पत्रों की श्रृंखला में विकसित किया गया था। बड़ी मेमोरी भंडारण क्षमता वाले हॉपफील्ड नेटवर्क को अब डेंस एसोसिएटिव मेमोरीज़ या आधुनिक हॉपफ़ील्ड नेटवर्क कहा जाता है।

संरचना
हॉपफ़ील्ड नेट में बाइनरी थ्रेशोल्ड इकाइयाँ हैं, अर्थात इकाइयाँ अपनी स्थितियों के लिए केवल दो भिन्न-भिन्न मान लेती हैं, और मान इस बात से निर्धारित होता है कि इकाई का इनपुट इसकी सीमा से अधिक है या नहीं $$ U_i $$ असतत हॉपफील्ड नेट बाइनरी (फायरिंग या नॉन-फायरिंग) न्यूरॉन्स के मध्य संबंधों $$1,2,\ldots,i,j,\ldots,N$$ का वर्णन करते हैं निश्चित समय पर, न्यूरल की स्थिति का वर्णन वेक्टर $$ V $$ द्वारा किया जाता है, जो रिकॉर्ड करता है कि कौन से न्यूरॉन्स $$ N $$ बिट्स बाइनरी शब्द में सक्रिय हो रहे हैं।

अंतःक्रियाएँ $$ w_{ij} $$ न्यूरॉन्स के मध्य ऐसी इकाइयाँ होती हैं जो सामान्यतः 1 या -1 का मान लेती हैं, और इस सम्मेलन का उपयोग इस पूर्ण लेख में किया जाएगा। चूँकि, अन्य साहित्य ऐसी इकाइयों का उपयोग कर सकते हैं जो 0 और 1 का मान लेते हैं। इन अंतःक्रियाओं को हेब्बियन सिद्धांत के माध्यम से सीखा जाता है। जैसे कि, निश्चित स्थिति के लिए $$ V^s $$ और विशिष्ट नोड्स $$i,j$$ है।

$$ w_{ij} = V_i^s V_j^s $$

किन्तु $$ w_{ii} = 0 $$

(ध्यान दें कि हेब्बियन सीखने का नियम $$ w_{ij} = (2V_i^s - 1)(2V_j^s -1) $$ रूप लेता है जब इकाइयाँ मान $$ \{0, 1\} $$ ग्रहण करती हैं)

एक बार नेटवर्क $$ w_{ij} $$ प्रशिक्षित हो जाए, तो विकसित नहीं होगा। यदि न्यूरॉन्स की नई स्थिति $$ V^{s'} $$को न्यूरल नेटवर्क से परिचित कराया गया है, नेट न्यूरॉन्स पर इस प्रकार कार्य करता है:

जहाँ $$U_i$$'वें न्यूरॉन का थ्रेशोल्ड मान है (प्रायः 0 माना जाता है)। इस प्रकार, हॉपफील्ड नेटवर्क में इंटरेक्शन मैट्रिक्स में संग्रहीत स्थितियां रखने" की क्षमता होती है, क्योंकि यदि कोई नई स्तिथि $$V^{s'} $$है। इंटरेक्शन मैट्रिक्स के अधीन है, प्रत्येक न्यूरॉन तब तक परिवर्तित कर दिया जाएगा जब तक यह मूल स्थिति से युग्मित $$V^{s} $$अपडेट अनुभाग देखें)।
 * $$V^{s'}_i \rightarrow 1 $$ यदि $$ \sum_j w_{ij} V^{s'}_j > U_i $$
 * $$V^{s'}_i \rightarrow -1 $$ यदि $$ \sum_j w_{ij} V^{s'}_j < U_i $$

हॉपफ़ील्ड नेट में कनेक्शन पर सामान्यतः निम्नलिखित प्रतिबंध होते हैं:
 * $$w_{ii}=0, \forall i$$ (किसी भी इकाई का स्वयं से कोई संबंध नहीं है)
 * $$w_{ij} = w_{ji}, \forall i,j$$ (कनेक्शन सममित हैं)

यह प्रतिबंध का भार सममित है, और यह आश्वासन देता है कि सक्रियण नियमों का पालन करते समय ऊर्जा कार्य नीरस रूप से घटता है। असममित भार वाला नेटवर्क कुछ आवधिक या अराजक व्यवहार प्रदर्शित कर सकता है; चूँकि, होपफील्ड ने पाया कि यह व्यवहार चरण स्थान के अपेक्षाकृत छोटे भागों तक ही सीमित है और सामग्री-ज्ञात योग्य सहयोगी मेमोरी प्रणाली के रूप में कार्य करने की नेटवर्क की क्षमता को व्यर्थ नहीं करता है।

हॉपफील्ड ने निरंतर मानों के लिए न्यूरल जाल भी तैयार किया, जिसमें प्रत्येक न्यूरॉन का विद्युत उत्पादन बाइनरी नहीं है अन्यथा 0 और 1 के मध्य कुछ मान है। उन्होंने पाया कि इस प्रकार का नेटवर्क याद किए गए स्थितियों को संग्रहीत और पुन: उत्पन्न करने में भी सक्षम था।

ध्यान दें कि हॉपफील्ड नेटवर्क में इकाइयां i और j की प्रत्येक जोड़ी में कनेक्शन होता है जिसे कनेक्टिविटी भार $$ w_{ij} $$ द्वारा वर्णित किया जाता है। इस अर्थ में, हॉपफ़ील्ड नेटवर्क को औपचारिक रूप से पूर्ण अप्रत्यक्ष ग्राफ़ $$ G = \langle V, f\rangle $$ के रूप में वर्णित किया जा सकता है, जहाँ $$V$$ मैकुलोच-पिट्स न्यूरॉन्स का सेट $$f:V^2 \rightarrow \mathbb R$$ फलन है जो इकाइयों के जोड़े को वास्तविक मान, कनेक्टिविटी भार से जोड़ता है।

अद्यतन
हॉपफ़ील्ड नेटवर्क में इकाई (कृत्रिम न्यूरॉन का अनुकरण करने वाले ग्राफ़ में नोड) का अद्यतन करने के लिए निम्नलिखित नियम का उपयोग करके किया जाता है:

$$s_i \leftarrow \left\{\begin{array}{ll} +1 & \text{if }\sum_{j}{w_{ij}s_j}\geq\theta_i, \\ -1 & \text{otherwise.}\end{array}\right.$$

जहाँ:
 * $$w_{ij}$$ इकाई j से इकाई i (कनेक्शन का भार) तक कनेक्शन भार की ताकत है।
 * $$s_i$$ इकाई i की स्थिति है।
 * $$\theta_i$$ इकाई i की सीमा है।

हॉपफील्ड नेटवर्क में अपडेट दो भिन्न-भिन्न विधियों से किया जा सकता है:
 * असिंक्रोनोस: एक समय में केवल इकाई अद्यतन की जाती है। इस इकाई को यादृच्छिक रूप से चयन किया जा सकता है, या प्रारंभ से ही पूर्व-परिभाषित आदेश लगाया जा सकता है।
 * सिंक्रोनस: सभी इकाइयाँ एक ही समय में अपडेट की जाती हैं। सिंक्रोनाइज़ेशन बनाए रखने के लिए प्रणाली में केंद्रीय घड़ी की आवश्यकता होती है। इस पद्धति को कुछ लोगों द्वारा कम यथार्थवादी माना जाता है, जो रुचि के अनुरूप जैविक या भौतिक प्रणालियों को प्रभावित करने वाली देखी गई वैश्विक घड़ी की अनुपस्थिति पर आधारित है।

न्यूरॉन्स का एक स्थान में दूसरे स्थान में आकर्षित या प्रतिकर्षित करना:
दो इकाइयों के मध्य का भार न्यूरॉन्स के मानों पर शक्तिशाली प्रभाव डालता है। कनेक्शन भार $$w_{ij}$$ पर विचार करें। दो न्यूरॉन्स i और J के मध्य यदि $$w_{ij} > 0 $$, अद्यतन नियम का तात्पर्य यह है कि: इस प्रकार, यदि उनके मध्य का भार सकारात्मक है तो न्यूरॉन्स i और j के मान परिवर्तित हो जाएंगे। इसी प्रकार, यदि वजन नकारात्मक है तो वे भिन्न हो जाएंगे।
 * जब $$s_j = 1$$, भारित योग में j का योगदान सकारात्मक है। इस प्रकार, $$s_{i}$$ को j द्वारा इस मान $$s_{i} = 1$$ के निकट लाया जाता है।
 * जब $$s_j = -1$$, भारित योग में j का योगदान ऋणात्मक है। इस प्रकार, $$s_i$$ को j द्वारा इस मान $$s_i = -1$$ के निकट लाया जाता है।

असतत और सतत हॉपफील्ड नेटवर्क के कार्य सिद्धांत
ब्रुक ने 1990 में अपने पेपर में अभिसरण सिद्ध करते समय असतत हॉपफील्ड नेटवर्क में न्यूरॉन के व्यवहार पर प्रकाश डाला।  पश्चात के पेपर ने असतत-समय और निरंतर-समय हॉपफील्ड नेटवर्क दोनों में किसी भी न्यूरॉन के व्यवहार का परिक्षण किया जाता है, जब अनुकूलन प्रक्रिया के समय संबंधित ऊर्जा फलन को कम किया जाता है। ब्रुक दिखाता है कि वह न्यूरॉन j अपनी स्थिति परिवर्तित करता है यदि केवल तभी जब यह निम्नलिखित पक्षपाती छद्म कट को और कम कर देता है। असतत हॉपफ़ील्ड नेटवर्क, हॉपफ़ील्ड नेट के सिनैप्टिक भार मैट्रिक्स के लिए निम्नलिखित पक्षपाती छद्म-कट को न्यूनतम करता है।

$$ J_{pseudo-cut}(k) = \sum_{i \in C_1(k)} \sum_{j \in C_2(k)} w_{ij} + \sum_{j \in C_1(k)} {\theta_j} $$

जहाँ $$ C_1(k) $$ और $$ C_2(k) $$ न्यूरॉन्स के सेट का प्रतिनिधित्व करता है जो समय पर क्रमशः -1 और +1$$ k $$ हैं। अधिक जानकारी के लिए रीसेंट पेपर देखें।

असतत-समय हॉपफील्ड नेटवर्क सदैव निम्नलिखित छद्म-कट को न्यूनतम करता है:


 * $$ U(k) = \sum_{i=1}^N \sum_{j=1}^{N} w_{ij} ( s_i(k) - s_j(k) )^2 + 2 \sum_{j=1}^N \theta_j s_j(k) $$

निरंतर-समय हॉपफ़ील्ड नेटवर्क सदैव निम्न भारित अल्पता के लिए ऊपरी सीमा को न्यूनतम करता है:


 * $$ V(t) = \sum_{i=1}^N \sum_{j=1}^N w_{ij} ( f(s_i(t)) - f(s_j(t) )^2 + 2 \sum_{j=1}^N \theta_j f(s_j(t)) $$

जहाँ $$ f(\cdot) $$ शून्य-केंद्रित सिग्मॉइड फलन है।

दूसरी ओर, जटिल हॉपफ़ील्ड नेटवर्क सामान्यतः नेट के जटिल भार मैट्रिक्स के तथाकथित छाया-कट को कम करता है।

ऊर्जा
हॉपफ़ील्ड नेट में नेटवर्क की प्रत्येक स्थिति से जुड़ा अदिश मान होता है, जिसे नेटवर्क की ऊर्जा, E कहा जाता है, जहां:
 * $$E = -\frac12\sum_{i,j} w_{ij} s_i s_j -\sum_i \theta_i s_i$$

इस मात्रा को ऊर्जा कहा जाता है क्योंकि नेटवर्क इकाइयों के अद्यतन होने पर यह या तो कम हो जाती है या समान रहती है। इसके अतिरिक्त, बार-बार अपडेट करने पर नेटवर्क अंततः ऐसी स्थिति में परिवर्तित हो जाएगा जो ऊर्जा फलन में स्थानीय न्यूनतम है (जिसे ल्यपुनोव फलन माना जाता है)। इस प्रकार, यदि कोई अवस्था ऊर्जा फलन में स्थानीय न्यूनतम है तो यह नेटवर्क के लिए स्थिर स्थिति है। ध्यान दें कि यह ऊर्जा फलन भौतिकी में आइसिंग मॉडल के नाम से मॉडलों के सामान्य वर्ग से संबंधित है; इसके विपरीत में मार्कोव नेटवर्क की विशेष स्तिथि है, क्योंकि संबंधित संभाव्यता माप, गिब्स माप में मार्कोव संपत्ति है।

अनुकूलन में हॉपफ़ील्ड नेटवर्क
हॉपफील्ड और टैंक ने 1985 में क्लासिकल ट्रैवलिंग-सेल्समैन समस्या का समाधान करने के लिए हॉपफील्ड नेटवर्क एप्लिकेशन प्रस्तुत किया। तब से, अनुकूलन के लिए हॉपफील्ड नेटवर्क का व्यापक रूप से उपयोग किया गया है। अनुकूलन समस्याओं में हॉपफील्ड नेटवर्क का उपयोग करने का विचार सरल है: यदि विवश/अप्रतिबंधित व्यय फलन को हॉपफील्ड ऊर्जा फलन E के रूप में लिखा जा सकता है, तो हॉपफील्ड नेटवर्क उपस्तिथ है जिसके संतुलन बिंदु बाधित/अप्रतिबंधित अनुकूलन के समाधान का प्रतिनिधित्व करते हैं। हॉपफील्ड ऊर्जा फलन को न्यूनतम करने से उद्देश्य फलन कम हो जाता है और बाधाएं भी संतुष्ट हो जाती हैं क्योंकि बाधाएं नेटवर्क के सिनैप्टिक भार में "एम्बेडेड" होती हैं। यद्यपि सर्वोत्तम संभव विधि से सिनैप्टिक भार में अनुकूलन बाधाओं को सम्मिलित करना आह्वानपूर्ण कार्य है, विभिन्न विषयों में बाधाओं के साथ कई कठिन अनुकूलन समस्याओं को हॉपफील्ड ऊर्जा फलन में परिवर्तित कर दिया गया है: एसोसिएटिव मेमोरी प्रणाली, एनालॉग-टू-डिजिटल रूपांतरण, जॉब-शॉप शेड्यूलिंग समस्या, द्विघात असाइनमेंट और अन्य संबंधित एनपी-पूर्ण समस्याएं, वायरलेस नेटवर्क में चैनल आवंटन समस्या, मोबाइल एड-हॉक नेटवर्क रूटिंग समस्या, छवि पुनर्नियुक्ति, प्रणाली पहचान, कॉम्बिनेटोरियल ऑप्टिमाइज़ेशन, आदि, बस कुछ के नाम बताने के लिए अधिक विवरण उदाहरण में पाया जा सकता है।

आरंभीकरण और चलाना
हॉपफ़ील्ड नेटवर्क का आरंभीकरण इकाइयों के मानों को वांछित प्रारंभ पैटर्न पर सेट करके किया जाता है। तब तक बार-बार अपडेट किया जाता है जब तक कि नेटवर्क आकर्षक पैटर्न में परिवर्तित न हो जाए। सामान्यतः अभिसरण का आश्वासन दिया जाता है, क्योंकि हॉपफील्ड ने सिद्ध कर दिया है कि इस गैर-रेखीय गतिशील प्रणाली के आकर्षण स्थिर हैं, कुछ अन्य प्रणालियों कर जैसे आवधिक या अराजक नहीं हैं. इसलिए, हॉपफील्ड नेटवर्क के संदर्भ में, आकर्षित करने वाला पैटर्न अंतिम स्थिर स्थिति है, पैटर्न जो अद्यतन के अंतर्गत इसके भीतर कोई भी मान नहीं बदल सकता है।

प्रशिक्षण
हॉपफ़ील्ड नेट के प्रशिक्षण में उन अवस्था की ऊर्जा को कम करना सम्मिलित है जिन्हें नेट को "याद रखना" चाहिए। यह नेट को कंटेंट एड्रेसेबल मेमोरी प्रणाली के रूप में कार्य करने की अनुमति देता है, अर्थात, यदि नेटवर्क को अवस्था का केवल भाग दिया जाता है, तो यह "याद की गई" स्थिति में परिवर्तित हो जाएगा। नेट का उपयोग किसी विकृत इनपुट से उस प्रशिक्षित स्थिति में पुनर्प्राप्त करने के लिए किया जा सकता है जो उस इनपुट के सबसे समान है। इसे साहचर्यात्मक मेमोरी कहा जाता है क्योंकि यह समानता के आधार पर मेमोरी को पुनः प्राप्त करती है। उदाहरण के लिए, यदि हम हॉपफील्ड नेट को पांच इकाइयों के साथ प्रशिक्षित करते हैं जिससे अवस्था (1, −1, 1, −1, 1) न्यूनतम ऊर्जा हो, और हम नेटवर्क की अवस्था (1, −1, −1,) या −1, 1) यह (1, −1, 1, −1, 1) में परिवर्तित हो जाएगा। इस प्रकार, नेटवर्क को ठीक से प्रशिक्षित किया जाता है जब अवस्था की ऊर्जा जिसे नेटवर्क को याद रखना चाहिए वह स्थानीय न्यूनतम होती है। ध्यान दें कि, परसेप्ट्रॉन प्रशिक्षण के विपरीत, न्यूरॉन्स की सीमाएँ कभी भी अद्यतन नहीं होती हैं।

सीखने के नियम
सीखने के कई भिन्न-भिन्न नियम हैं जिनका उपयोग हॉपफील्ड नेटवर्क की मेमोरी में जानकारी संग्रहीत करने के लिए किया जा सकता है। किसी सीखने के नियम के लिए निम्नलिखित दो गुणों का होना वांछनीय है:
 * स्थानीय: सीखने का नियम स्थानीय होता है यदि प्रत्येक भार को उस विशेष भार से जुड़े कनेक्शन के दोनों ओर न्यूरॉन्स के लिए उपलब्ध जानकारी का उपयोग करके अद्यतन किया जाता है।
 * वृद्धिशील: प्राचीन पैटर्न की जानकारी का उपयोग किए बिना नए पैटर्न सीखे जा सकते हैं जिनका उपयोग प्रशिक्षण के लिए भी किया गया है। अर्थात्, जब प्रशिक्षण के लिए नए पैटर्न का उपयोग किया जाता है, तो भार के लिए नए मान केवल प्राचीन मानों और नए पैटर्न पर निर्भर करते हैं।

ये गुण वांछनीय हैं, क्योंकि इन्हें संतुष्ट करने वाला सीखने का नियम जैविक रूप से अधिक प्रशंसनीय है। उदाहरण के लिए, चूँकि मानव मस्तिष्क सदैव नई अवधारणाएँ सीखता रहता है, कोई यह तर्क दे सकता है कि मानव सीखना वृद्धिशील है। शिक्षण प्रणाली जो वृद्धिशील नहीं थी, उसे सामान्यतः प्रशिक्षण डेटा के विशाल बैच के साथ केवल एक बार प्रशिक्षित किया जाएगा।

होपफील्ड नेटवर्क के लिए हेब्बियन सीखने का नियम
हेब्बियन सिद्धांत को डोनाल्ड हेब्ब ने 1949 में सहयोगी शिक्षा को अध्ययन करने के लिए प्रस्तुत किया गया था, जिसमें न्यूरॉन कोशिकाओं के साथ सक्रिय होने से उन कोशिकाओं के मध्य सिनैप्टिक ताकत में स्पष्ट वृद्धि होती है। इसे प्रायः इस प्रकार संक्षेपित किया जाता है "न्यूरॉन्स जो एक साथ सक्रिय होते हैं, और जुड़े होते हैं। न्यूरॉन्स जो सिंक से बाहर सक्रिय होते हैं, जुड़ने में विफल होते हैं"।

हेब्बियन नियम स्थानीय और वृद्धिशील दोनों है। हॉपफ़ील्ड नेटवर्क के लिए, सीखते समय इसे निम्नलिखित विधि से कार्यान्वित किया जाता है।

$$n$$ बाइनरी पैटर्न है:

$$ w_{ij}=\frac{1}{n}\sum_{\mu=1}^{n}\epsilon_{i}^\mu \epsilon_{j}^\mu $$

जहाँ $$\epsilon_i^\mu$$ पैटर्न से बिट i का प्रतिनिधित्व $$\mu$$ करता है।

यदि न्यूरॉन्स i और j के अनुरूप बिट्स पैटर्न में समान हैं $$\mu$$, फिर उत्पाद $$ \epsilon_{i}^\mu \epsilon_{j}^\mu $$ सकारात्मक होगा, इससे भार $$w_{ij} $$ पर सकारात्मक प्रभाव पड़ेगा और i और j के मान समान हो जायेंगे। यदि न्यूरॉन्स i और j के अनुरूप बिट्स भिन्न हैं तो विपरीत होता है।

स्टॉर्क सीखने का नियम
यह नियम 1997 में अमोस स्टॉर्की द्वारा प्रस्तुत किया गया था और यह स्थानीय और वृद्धिशील दोनों है। स्टॉर्की ने यह भी दिखाया कि इस नियम का उपयोग करके प्रशिक्षित हॉपफील्ड नेटवर्क की क्षमता हेब्बियन नियम का उपयोग करके प्रशिक्षित संबंधित नेटवर्क की तुलना में अधिक है। आकर्षितकर्ता न्यूरल नेटवर्क का भार मैट्रिक्स को स्टॉर्की सीखने के नियम का पालन करने के लिए कहा जाता है यदि वह इसका पालन करता है:

$$ w_{ij}^{\nu} = w_{ij}^{\nu-1} +\frac{1}{n}\epsilon_{i}^{\nu} \epsilon_{j}^{\nu} -\frac{1}{n}\epsilon_{i}^{\nu} h_{ji}^{\nu} -\frac{1}{n}\epsilon_{j}^{\nu} h_{ij}^{\nu} $$ कहाँ $$ h_{ij}^{\nu} = \sum_{k=1~:~i\neq k\neq j}^{n} w_{ik}^{\nu-1}\epsilon_{k}^{\nu} $$ स्थानीय क्षेत्र का रूप है न्यूरॉन I पर

यह सीखने का नियम स्थानीय है, क्योंकि सिनैप्स केवल अपने पक्षों के न्यूरॉन्स को ध्यान में रखते हैं। स्थानीय क्षेत्र के प्रभाव के कारण, नियम सामान्यीकृत हेब्बियन नियम की तुलना में पैटर्न और वजन से अधिक जानकारी का उपयोग करता है।

नकली पैटर्न
पैटर्न जो नेटवर्क प्रशिक्षण के लिए उपयोग करता है (पुनर्प्राप्ति स्थिति कहा जाता है) प्रणाली के आकर्षण बन जाते हैं। बार-बार अद्यतन करने से अंततः पुनर्प्राप्ति स्थितियों में से में अभिसरण हो जाएगा। चूँकि, कभी-कभी नेटवर्क नकली पैटर्न (प्रशिक्षण पैटर्न से भिन्न) में परिवर्तित हो जाएगा। इन नकली पैटर्नों में ऊर्जा भी स्थानीय न्यूनतम है। प्रत्येक संग्रहीत पैटर्न x के लिए, निषेध -x भी  नकली पैटर्न है।

नकली अवस्था विषम संख्या में पुनर्प्राप्ति अवस्थाओं का रैखिक संयोजन भी हो सकती है। उदाहरण के लिए, 3 पैटर्न का उपयोग करते समय $$ \mu_1, \mu_2, \mu_3$$, कोई निम्नलिखित नकली स्थिति प्राप्त कर सकता है:

$$ \epsilon_{i}^{\rm{mix}} = \pm \sgn(\pm \epsilon_{i}^{\mu_{1}} 			        \pm \epsilon_{i}^{\mu_{2}}			         \pm \epsilon_{i}^{\mu_{3}}) $$ ऐसे नकली पैटर्न जिनमें राज्यों की संख्या सम है, उपस्तिथ नहीं हो सकते, क्योंकि उनका योग शून्य तक हो सकता है

क्षमता
हॉपफील्ड नेटवर्क मॉडल की नेटवर्क क्षमता किसी दिए गए नेटवर्क के भीतर न्यूरॉन मात्रा और कनेक्शन द्वारा निर्धारित की जाती है। इसलिए, संग्रहीत की जा सकने वाली यादों की संख्या न्यूरॉन्स और कनेक्शन पर निर्भर करती है। इसके अतिरिक्त, यह दिखाया गया कि वैक्टर और नोड्स के मध्य रिकॉल सटीकता 0.138 थी (प्रत्येक 1000 नोड्स के लिए लगभग 138 वैक्टर को स्टोरेज से रिकॉल किया जा सकता है) (हर्ट्ज़ एट अल।, 1991)। इसलिए, यह स्पष्ट है कि यदि कोई बड़ी संख्या में वैक्टर संग्रहीत करने का प्रयास करेगा तो कई गलतियाँ होंगी। जब हॉपफील्ड मॉडल सही पैटर्न को याद नहीं करता है, तो यह संभव है कि घुसपैठ हुई है, क्योंकि शब्दार्थ से संबंधित आइटम व्यक्ति को भ्रमित करते हैं, और गलत पैटर्न की याद आती है। इसलिए, हॉपफील्ड नेटवर्क मॉडल को पुनर्प्राप्ति पर  संग्रहीत आइटम को दूसरे के साथ भ्रमित करने के लिए दिखाया गया है। परफेक्ट रिकॉल और उच्च क्षमता, >0.14, को स्टॉर्की लर्निंग विधि द्वारा नेटवर्क में लोड किया जा सकता है; एताम,  ETAM प्रयोगों में भी. होपफील्ड नेटवर्क से प्रेरित पूर्ववर्ती मॉडलों को पश्चात में भंडारण सीमा बढ़ाने और पुनर्प्राप्ति त्रुटि दर को कम करने के लिए तैयार किया गया था, जिनमें से कुछ वन-शॉट लर्निंग (कंप्यूटर विज़न) | वन-शॉट लर्निंग में सक्षम थे। भण्डारण क्षमता इस प्रकार दी जा सकती है $$C \cong \frac{n}{2\log_2n}$$ कहाँ $$n$$ नेट में न्यूरॉन्स की संख्या है.

मानव स्मृति
होपफील्ड मॉडल याद  वैक्टर के समावेश के माध्यम से एसोसिएशन (मनोविज्ञान) मेमोरी का हिसाब लगाता है। मेमोरी वैक्टर का थोड़ा उपयोग किया जा सकता है, और यह नेटवर्क में सबसे समान वेक्टर की पुनर्प्राप्ति को बढ़ावा देगा। चूँकि, हम ज्ञात लगाएंगे कि इस प्रक्रिया के कारण घुसपैठ हो सकती है। हॉपफील्ड नेटवर्क के लिए एसोसिएटिव मेमोरी में, दो प्रकार के ऑपरेशन होते हैं: ऑटो-एसोसिएशन और हेटेरो-एसोसिएशन। पहला तब होता है जब  वेक्टर स्वयं से जुड़ा होता है, और दूसरा तब होता है जब दो भिन्न-भिन्न वेक्टर स्टोरेज में जुड़े होते हैं। इसके अतिरिक्त, दोनों प्रकार के ऑपरेशनों को  ही मेमोरी मैट्रिक्स में संग्रहीत करना संभव है, किन्तु केवल तभी जब दिया गया प्रतिनिधित्व मैट्रिक्स  या दूसरे ऑपरेशन नहीं है, अन्यथा दोनों का संयोजन (ऑटो-एसोसिएटिव और हेटेरो-एसोसिएटिव) है। यह ध्यान रखना महत्वपूर्ण है कि हॉपफील्ड का नेटवर्क मॉडल हेब्बियन सिद्धांत | हेब्ब (1949) के सीखने के नियम के समान सीखने के नियम का उपयोग करता है, जो मूल रूप से यह दिखाने की कोशिश करता है कि गतिविधि होने पर वजन के मजबूत होने के परिणामस्वरूप सीखना होता है।

रिज़ुटो और कहाना (2001) यह दिखाने में सक्षम थे कि न्यूरल नेटवर्क मॉडल संभाव्य-शिक्षण एल्गोरिदम को सम्मिलित करके रिकॉल सटीकता पर पुनरावृत्ति के लिए जिम्मेदार हो सकता है। पुनर्प्राप्ति प्रक्रिया के समय, कोई सीख नहीं होती है। परिणामस्वरूप, नेटवर्क का भार स्थिर रहता है, जिससे ज्ञात चलता है कि मॉडल सीखने के चरण से रिकॉल चरण में स्विच करने में सक्षम है। प्रासंगिक बहाव को जोड़कर वे तेजी से भूलने को दिखाने में सक्षम थे जो कि होपफील्ड मॉडल में  उद्धृत-रिकॉल कार्य के समय होता है। संपूर्ण नेटवर्क किसी  नोड के सक्रियण में परिवर्तन में योगदान देता है।

मैककुलोच और पिट्स का (1943) गतिशील नियम, जो न्यूरॉन्स के व्यवहार का वर्णन करता है, ऐसा इस तरह से करता है जिससे ज्ञात चलता है कि कैसे कई न्यूरॉन्स की सक्रियता नए न्यूरॉन की फायरिंग दर की सक्रियता पर मैप करती है, और न्यूरॉन्स का वजन कैसे मजबूत होता है नए सक्रिय न्यूरॉन (और इसे सक्रिय करने वालों) के मध्य सिनैप्टिक कनेक्शन। हॉपफील्ड नेटवर्क में पुनर्प्राप्ति कैसे संभव है यह दिखाने के लिए हॉपफील्ड मैककुलोच-पिट्स के गतिशील नियम का उपयोग करेगा। चूँकि, यह ध्यान रखना महत्वपूर्ण है कि होपफ़ील्ड ऐसा दोहराव वाले तरीके से करेगा। हॉपफ़ील्ड  रैखिक फलन का उपयोग करने के बजाय  गैर-रेखीय सक्रियण फलन का उपयोग करेगा। इसलिए यह हॉपफील्ड गतिशील नियम बनाएगा और इसके साथ, हॉपफील्ड यह दिखाने में सक्षम था कि गैर-रेखीय सक्रियण फलन के साथ, गतिशील नियम सदैव संग्रहीत पैटर्न में से  की दिशा में राज्य वेक्टर के मूल्यों को संशोधित करेगा।

सघन साहचर्य स्मृति या आधुनिक हॉपफील्ड नेटवर्क
हॉपफील्ड नेटवर्क गतिशील प्रक्षेपवक्र के साथ आवर्ती न्यूरल नेटवर्क हैं जो निश्चित बिंदु आकर्षित करने वाले राज्यों में परिवर्तित होते हैं और ऊर्जा फलन द्वारा वर्णित होते हैं। प्रत्येक मॉडल न्यूरॉन की स्थिति $i $  समय-निर्भर चर द्वारा परिभाषित किया गया है $$V_i$$, जिसे या तो असतत या निरंतर चुना जा सकता है।  संपूर्ण मॉडल इस गणित का वर्णन करता है कि प्रत्येक न्यूरॉन की गतिविधि की भविष्य की स्थिति सभी न्यूरॉन्स की ज्ञात वर्तमान या पिछली गतिविधि पर कैसे निर्भर करती है।

साहचर्य स्मृति के मूल हॉपफ़ील्ड मॉडल में, चर द्विआधारी थे, और गतिशीलता का वर्णन न्यूरॉन्स की स्थिति के --समय के अद्यतन द्वारा किया गया था। में ऊर्जा फलन द्विघात है $$V_i$$ परिभाषित किया गया था, और गतिशीलता में प्रत्येक ल न्यूरॉन की गतिविधि को बदलना सम्मिलित था $$i$$ केवल तभी जब ऐसा करने से प्रणाली की कुल ऊर्जा कम हो जाएगी। इसी विचार को के मामले में भी विस्तारित किया गया था $$V_i$$ न्यूरॉन के आउटपुट का प्रतिनिधित्व करने वाला  सतत चर होना $$i$$, और $$V_i$$ इनपुट करंट का  मोनोटोनिक फलन होना। गतिशीलता को प्रथम-क्रम विभेदक समीकरणों के  सेट के रूप में व्यक्त किया गया जिसके लिए प्रणाली की ऊर्जा सदैव कम हो गई।   निरंतर स्थिति में ऊर्जा का  पद होता है जो कि द्विघात होता है $$V_i$$ (जैसा कि बाइनरी मॉडल में है), और  दूसरा पद जो लाभ फलन (न्यूरॉन के सक्रियण फलन) पर निर्भर करता है। साहचर्य स्मृति के कई वांछनीय गुण होने के बावजूद, ये दोनों शास्त्रीय प्रणालियाँ  छोटी मेमोरी भंडारण क्षमता से ग्रस्त हैं, जो इनपुट सुविधाओं की संख्या के साथ रैखिक रूप से बढ़ती है।

सघन साहचर्य स्मृतियाँ (आधुनिक हॉपफ़ील्ड नेटवर्क के रूप में भी जाना जाता है ) शास्त्रीय हॉपफील्ड नेटवर्क के सामान्यीकरण हैं जो इनपुट सुविधाओं की संख्या और संग्रहीत यादों की संख्या के मध्य रैखिक स्केलिंग संबंध को तोड़ते हैं। यह मजबूत गैर-रैखिकता (या तो ऊर्जा कार्य या न्यूरॉन्स के सक्रियण कार्यों में) को प्रस्तुत करके प्राप्त किया जाता है, जिससे सुपर-रैखिक होता है (यहां तक ​​कि घातीय भी ) फीचर न्यूरॉन्स की संख्या के  फलन के रूप में मेमोरी स्टोरेज क्षमता। नेटवर्क को अभी भी पर्याप्त संख्या में छिपे हुए न्यूरॉन्स की आवश्यकता है। आधुनिक हॉपफील्ड नेटवर्क के पीछे मुख्य सैद्धांतिक विचार ऊर्जा फलन और  अद्यतन नियम का उपयोग करना है जो शास्त्रीय हॉपफील्ड नेटवर्क की तुलना में न्यूरॉन के कॉन्फ़िगरेशन के स्थान में संग्रहीत यादों के आसपास अधिक तेजी से चरम पर है।

असतत चर

सरल उदाहरण आधुनिक हॉपफ़ील्ड नेटवर्क को बाइनरी डेटा के रूप में लिखा जा सकता है $$V_i$$ जो सक्रिय का प्रतिनिधित्व करता है $$V_i=+1$$ और निष्क्रिय $$V_i=-1$$ मॉडल न्यूरॉन की स्थिति $$i$$। xi_{\mu i} V_i\Big) इस सूत्र में भार $\xi_{\mu i}$ मेमोरी वैक्टर के मैट्रिक्स का प्रतिनिधित्व करें (सूचकांक)। $$\mu = 1...N_\text{mem}$$ विभिन्न यादों और अनुक्रमणिका की गणना करता है $$i=1...N_f$$ के अनुरूप प्रत्येक मेमोरी की सामग्री की गणना करता है $$i$$-वें फीचर न्यूरॉन), और फलन $$F(x)$$  तेजी से बढ़ने वाला गैर-रैखिक कार्य है। व्यक्तिगत न्यूरॉन्स के लिए अद्यतन नियम (अतुल्यकालिक मामले में) निम्नलिखित रूप में लिखा जा सकता है <गणित प्रदर्शन = ब्लॉक आईडी = DAM_update_rule >V^{(t+1)}_i = साइन\bigg[ \sum\limits_{\mu =1}^{N_\text{mem}} \bigg(F\Big(\xi_{\mu i} + \sum\limits_{j\neq i}\xi_{\mu j} V^{(t) }_j\बिग) - F\बिग(-\xi_{\mu i} + \sum\limits_{j\neq i}\xi_{\mu j} V^{(t)}_j\Big) \bigg) \bigg] जो बताता है कि अद्यतन स्थिति की गणना करने के लिए $i$ -वें न्यूरॉन नेटवर्क दो ऊर्जाओं की तुलना करता है: नेटवर्क की ऊर्जा के साथ $$i$$-वें न्यूरॉन चालू अवस्था में और नेटवर्क की ऊर्जा के साथ $$i$$-वां न्यूरॉन ऑफ अवस्था में, शेष न्यूरॉन की स्थिति को देखते हुए। की अद्यतन स्थिति $$i$$-वें न्यूरॉन उस अवस्था का चयन करता है जिसमें दोनों ऊर्जाओं में से सबसे कम ऊर्जा होती है।

सीमित मामले में जब गैर-रैखिक ऊर्जा फलन द्विघात होता है $$F(x) = x^2$$ ये समीकरण परिचित ऊर्जा फलन और शास्त्रीय बाइनरी हॉपफील्ड नेटवर्क के लिए अद्यतन नियम को कम करते हैं।

इन नेटवर्कों की मेमोरी स्टोरेज क्षमता की गणना यादृच्छिक बाइनरी पैटर्न के लिए की जा सकती है। विद्युत ऊर्जा फलन के लिए $$F(x)=x^n$$ त्रुटियों के बिना इस नेटवर्क से संग्रहीत और पुनर्प्राप्त की जा सकने वाली स्मृतियों की अधिकतम संख्या निम्न द्वारा दी गई है $$N^{max}_{\text{mem}}\approx \frac{1}{2 (2n-3)!!} \frac{N_f^{n-1}}{\ln(N_f)}$$घातांकीय ऊर्जा फलन के लिए $F(x)=e^x$ मेमोरी भंडारण क्षमता फ़ीचर न्यूरॉन्स की संख्या में घातीय है $$N^{max}_{\text{mem}}\approx 2^{N_f/2}$$

सतत चर
आधुनिक हॉपफ़ील्ड नेटवर्क या सघन साहचर्य स्मृतियों को निरंतर चर और निरंतर समय में सबसे अच्छी तरह समझा जा सकता है। चित्र 1 में दिखाए गए नेटवर्क आर्किटेक्चर और न्यूरॉन की स्थिति के विकास के समीकरणों पर विचार करें जहां फ़ीचर न्यूरॉन्स की धाराओं को निरूपित किया जाता है $x_i$, और मेमोरी न्यूरॉन्स की धाराओं को इसके द्वारा निरूपित किया जाता है $$h_\mu$$ ($$h$$ छिपे हुए न्यूरॉन्स के लिए खड़ा है)। फ़ीचर न्यूरॉन्स या मेमोरी न्यूरॉन्स के मध्य कोई सिनैप्टिक कनेक्शन नहीं हैं।  मैट्रिक्स $$\xi_{\mu i}$$  फीचर न्यूरॉन से सिनैप्स की ताकत को दर्शाता है $$i$$ मेमोरी न्यूरॉन को $$\mu$$. सिनैप्स को सममित माना जाता है, जिससे समान मान मेमोरी न्यूरॉन से भिन्न भौतिक सिनैप्स की विशेषता बता सके। $$\mu$$ फ़ीचर न्यूरॉन के लिए $$i$$. मेमोरी न्यूरॉन्स और फ़ीचर न्यूरॉन्स के आउटपुट को इसके द्वारा निरूपित किया जाता है $$f_\mu$$ और $$g_i$$, जो संबंधित धाराओं के गैर-रैखिक कार्य हैं। सामान्य तौर पर ये आउटपुट उस परत के सभी न्यूरॉन्स की धाराओं पर निर्भर हो सकते हैं $$f_\mu = f(\{h_\mu\})$$ और $g_i = g(\{x_i\})$. इन सक्रियण कार्यों को न्यूरॉन्स के दो समूहों के लिए लैग्रेंजियन कार्यों के व्युत्पन्न के रूप में परिभाषित करना सुविधाजनक हैइस तरह लैग्रेंजियन फलन निर्दिष्ट होने के पश्चात न्यूरॉन की स्थितियों के लिए समीकरणों का विशिष्ट रूप पूरी तरह से परिभाषित हो जाता है। अंत में, न्यूरॉन्स के दो समूहों के लिए समय स्थिरांक को निरूपित किया जाता है $$\tau_f$$ और $$\tau_h$$, $$I_i$$ नेटवर्क का इनपुट करंट है जिसे प्रस्तुत डेटा द्वारा संचालित किया जा सकता है। गैर-रेखीय विभेदक समीकरणों की सामान्य प्रणालियों में कई जटिल व्यवहार हो सकते हैं जो गैर-रैखिकता और प्रारंभिक स्थितियों की पसंद पर निर्भर हो सकते हैं। चूँकि, हॉपफ़ील्ड नेटवर्क के लिए, यह मामला नहीं है - गतिशील प्रक्षेपवक्र सदैव निश्चित बिंदु आकर्षित करने वाली स्थिति में परिवर्तित होते हैं। यह गुण इसलिए हासिल किया गया है क्योंकि इन समीकरणों को विशेष रूप से इंजीनियर किया गया है जिससे उनमें  अंतर्निहित ऊर्जा कार्य हो वर्गाकार कोष्ठकों में समूहीकृत शब्द न्यूरॉन्स की अवस्थाओं के संबंध में लैग्रेंजियन फलन के  लेजेंडरी परिवर्तन का प्रतिनिधित्व करते हैं। यदि लैग्रेंजियन फ़ंक्शंस के हेसियन मैट्रिक्स सकारात्मक अर्ध-निश्चित हैं, तो गतिशील प्रक्षेपवक्र पर ऊर्जा फलन में कमी की गारंटी है  यह संपत्ति यह सिद्ध करना संभव बनाती है कि न्यूरॉन्स की गतिविधियों के अस्थायी विकास का वर्णन करने वाले गतिशील समीकरणों की प्रणाली अंततः  निश्चित बिंदु आकर्षण स्थिति तक पहुंच जाएगी।

कुछ स्थितियों में कोई यह मान सकता है कि छिपे हुए न्यूरॉन्स की गतिशीलता फीचर न्यूरॉन्स की तुलना में बहुत तेज समय के पैमाने पर संतुलित होती है, $\tau_h\ll\tau_f$. इस मामले में प्रणाली में दूसरे समीकरण का स्थिर अवस्था समाधान ($$) का उपयोग फीचर न्यूरॉन्स के आउटपुट के माध्यम से छिपी हुई इकाइयों की धाराओं को व्यक्त करने के लिए किया जा सकता है। इससे सामान्य सिद्धांत को कम करना संभव हो जाता है ($$) केवल फीचर न्यूरॉन्स के लिए प्रभावी सिद्धांत के लिए। परिणामी प्रभावी अद्यतन नियम और लैग्रेंजियन फ़ंक्शंस के विभिन्न सामान्य विकल्पों के लिए ऊर्जाएँ चित्र 2 में दिखाई गई हैं। लॉग-सम-्सपोनेंशियल लैग्रेंजियन फलन के मामले में फीचर न्यूरॉन्स की स्थिति के लिए अद्यतन नियम (यदि  बार लागू किया जाता है) ध्यान तंत्र है सामान्यतः कई आधुनिक एआई प्रणाली में उपयोग किया जाता है (संदर्भ देखें)। निरंतर समय निरूपण से इस परिणाम की व्युत्पत्ति के लिए)।

सतत चर के साथ शास्त्रीय हॉपफील्ड नेटवर्क से संबंध
सतत हॉपफील्ड नेटवर्क का शास्त्रीय सूत्रीकरण समझा जा सकता है छिपी हुई परत के साथ आधुनिक हॉपफ़ील्ड नेटवर्क के विशेष सीमित मामले के रूप में। श्रेणीबद्ध प्रतिक्रिया वाले न्यूरॉन्स के लिए सतत हॉपफील्ड नेटवर्क सामान्यतः वर्णित हैं गतिशील समीकरणों द्वारा  और ऊर्जा कार्य  कहाँ $V_i = g(x_i)$, और $$g^{-1}(z)$$ सक्रियण फलन का व्युत्क्रम है $$g(x)$$. यह मॉडल मॉडलों के वर्ग की विशेष सीमा है जिसे मॉडल ए कहा जाता है, लैग्रेंजियन फ़ंक्शंस के निम्नलिखित विकल्प के साथ  वह, परिभाषा के अनुसार ($$), सक्रियण कार्यों की ओर ले जाता है  यदि हम छिपे हुए न्यूरॉन्स को समीकरणों की प्रणाली से ीकृत करते हैं ($$) फीचर न्यूरॉन्स पर समीकरणों को कम करता है ($$) साथ $$T_{ij} = \sum\limits_{\mu=1}^{N_h} \xi_{\mu i }\xi_{\mu j}$$, और ऊर्जा के लिए सामान्य अभिव्यक्ति ($$) प्रभावी ऊर्जा को कम कर देता है  जबकि समीकरण में पहले दो पद ($$) समीकरण के समान हैं ($$), तीसरे पद सतही तौर पर भिन्न दिखते हैं। समीकरण में ($$) यह फ़ीचर न्यूरॉन्स के लिए लैग्रेन्जियन का  पौराणिक रूपांतरण है, जबकि ($$) तीसरा पद व्युत्क्रम सक्रियण फलन का अभिन्न अंग है। फिर भी, ये दो अभिव्यक्तियाँ वास्तव में समतुल्य हैं, क्योंकि किसी फलन के व्युत्पन्न और उसके लेजेंड्रे परिवर्तन  दूसरे के व्युत्क्रम फलन हैं। यह देखने का सबसे आसान तरीका है कि ये दोनों शब्द स्पष्ट रूप से समान हैं, प्रत्येक के संबंध में अंतर करना है $$x_i$$. दोनों अभिव्यक्तियों के लिए इन विभेदों के परिणाम समान हैं $$x_i g(x_i)'$$. इस प्रकार, दोनों अभिव्यक्तियाँ योगात्मक स्थिरांक तक बराबर हैं। इससे प्रमाण पूर्ण हो जाता है वह शास्त्रीय हॉपफ़ील्ड नेटवर्क निरंतर अवस्थाओं के साथ आधुनिक हॉपफ़ील्ड नेटवर्क का  विशेष सीमित मामला है ($$) ऊर्जा के साथ ($$).

आधुनिक हॉपफील्ड नेटवर्क का सामान्य सूत्रीकरण
जैविक न्यूरल नेटवर्क में विभिन्न कोशिका प्रकारों के संदर्भ में काफी हद तक विविधता होती है। यह खंड विविधता की चरम डिग्री को मानते हुए पूरी तरह से जुड़े आधुनिक हॉपफील्ड नेटवर्क के गणितीय मॉडल का वर्णन करता है: हर न्यूरॉन भिन्न है। विशेष रूप से,  ऊर्जा फलन और संबंधित गतिशील समीकरणों का वर्णन यह मानते हुए किया गया है कि प्रत्येक न्यूरॉन का अपना सक्रियण फलन और गतिज समय पैमाना है। यह माना जाता है कि नेटवर्क पूरी तरह से जुड़ा हुआ है, जिससे प्रत्येक न्यूरॉन वजन के सममित मैट्रिक्स का उपयोग करके हर दूसरे न्यूरॉन से जुड़ा हो $$W_{IJ}$$, सूचकांक $$I$$ और $$J$$ नेटवर्क में विभिन्न न्यूरॉन्स की गणना करें, चित्र 3 देखें। इस समस्या को गणितीय रूप से तैयार करने का सबसे आसान तरीका लैग्रेंजियन फलन के माध्यम से आर्किटेक्चर को परिभाषित करना है $$L(\{x_I\})$$ यह नेटवर्क में सभी न्यूरॉन्स की गतिविधियों पर निर्भर करता है। प्रत्येक न्यूरॉन के लिए सक्रियण फलन को उस न्यूरॉन की गतिविधि के संबंध में लैग्रेंजियन के आंशिक व्युत्पन्न के रूप में परिभाषित किया गया है जैविक दृष्टिकोण से कोई भी विचार कर सकता है $$g_I$$ न्यूरॉन के ्सोनल आउटपुट के रूप में $$I$$. सबसे सरल मामले में, जब लैग्रेन्जियन विभिन्न न्यूरॉन्स के लिए योगात्मक होता है, तो इस परिभाषा के परिणामस्वरूप सक्रियण होता है जो उस न्यूरॉन की गतिविधि का गैर-रेखीय कार्य है। गैर-एडिटिव लैग्रेन्जियंस के लिए यह सक्रियण फलन न्यूरॉन्स के समूह की गतिविधियों पर निर्भर हो सकता है। उदाहरण के लिए, इसमें विरोधाभासी (सॉफ्टमैक्स) या विभाजनकारी सामान्यीकरण हो सकता है। किसी दिए गए न्यूरॉन के अस्थायी विकास का वर्णन करने वाले गतिशील समीकरण दिए गए हैं  यह समीकरण न्यूरल विज्ञान में फायरिंग रेट मॉडल नामक मॉडल के वर्ग से संबंधित है। प्रत्येक न्यूरॉन $$I$$ ्सोनल आउटपुट त्र करता है $$g_J$$ सभी न्यूरॉन्स से, उन्हें सिनैप्टिक गुणांक के साथ भारित करता है $$W_{IJ}$$ और अपनी स्वयं की समय-निर्भर गतिविधि उत्पन्न करता है $$x_I$$. लौकिक विकास में समय स्थिरांक होता है $$\tau_I$$, जो सामान्यतः प्रत्येक न्यूरॉन के लिए भिन्न हो सकता है। इस नेटवर्क का वैश्विक ऊर्जा कार्य है  जहां पहले दो शब्द न्यूरॉन्स की धाराओं के संबंध में लैग्रेंजियन फलन के लीजेंड्रे परिवर्तन का प्रतिनिधित्व करते हैं $$x_I$$. इस ऊर्जा फलन के अस्थायी व्युत्पन्न की गणना गतिशील प्रक्षेपवक्र पर की जा सकती है (देखें)। जानकारी के लिए) अंतिम असमानता चिह्न धारण करता है बशर्ते कि मैट्रिक्स $$M_{IK}$$ (या इसका सममित भाग) धनात्मक अर्ध-निश्चित है। यदि, इसके अतिरिक्त, ऊर्जा फलन को नीचे से सीमित किया जाता है, तो गैर-रेखीय गतिशील समीकरणों को निश्चित बिंदु आकर्षित करने वाले राज्य में परिवर्तित होने की गारंटी दी जाती है। इस नेटवर्क को लैग्रेंजियन फ़ंक्शंस के संदर्भ में तैयार करने का लाभ यह है कि यह सक्रियण फ़ंक्शंस के विभिन्न विकल्पों और न्यूरॉन्स की विभिन्न वास्तुशिल्प व्यवस्थाओं के साथ आसानी से प्रयोग करना संभव बनाता है। उन सभी लचीले विकल्पों के लिए अभिसरण की शर्तें मैट्रिक्स के गुणों द्वारा निर्धारित की जाती हैं $$M_{IJ}$$ और ऊर्जा कार्य पर निचली सीमा का अस्तित्व।

पदानुक्रमित साहचर्य स्मृति नेटवर्क
न्यूरॉन्स को परतों में व्यवस्थित किया जा सकता है जिससे किसी दिए गए परत के प्रत्येक न्यूरॉन में समान सक्रियण कार्य और समान गतिशील समय स्केल हो। यदि हम मानते हैं कि परत के भीतर न्यूरॉन्स के मध्य कोई क्षैतिज कनेक्शन नहीं है (पार्श्व कनेक्शन) और कोई स्किप-लेयर कनेक्शन नहीं है, तो सामान्य पूरी तरह से जुड़ा हुआ नेटवर्क ($$), ($$) चित्र 4 में दिखाए गए आर्किटेक्चर में कम हो जाता है। यह है $$N_\text{layer}$$ निरंतर चर द्वारा वर्णित अवस्थाओं के साथ आवर्ती रूप से जुड़े न्यूरॉन्स की परतें $$x_i^{A}$$ और सक्रियण कार्य $$g_i^{A}$$, अनुक्रमणिका $$A$$ नेटवर्क और सूचकांक की परतों की गणना करता है $$i$$ उस परत में भिन्न-भिन्न न्यूरॉन्स की गणना करता है। सक्रियण कार्य परत के सभी न्यूरॉन्स की गतिविधियों पर निर्भर हो सकते हैं। प्रत्येक परत में भिन्न-भिन्न संख्या में न्यूरॉन्स हो सकते हैं $$N_A$$. ये न्यूरॉन पिछली और पश्चात की परतों के न्यूरॉन से बार-बार जुड़े रहते हैं। भार के मैट्रिक्स जो न्यूरॉन्स को परतों में जोड़ते हैं $$A$$ और $$B$$ द्वारा निरूपित किये जाते हैं $$\xi^{(A,B)}_{ij}$$ (भार के लिए ऊपरी सूचकांकों का क्रम निचले सूचकांकों के क्रम के समान है, ऊपर के उदाहरण में इसका मतलब है कि सूचकांक $$i$$ परत में न्यूरॉन्स की गणना करता है $$A$$, और सूचकांक $$j$$ परत में न्यूरॉन्स की गणना करता है $$B$$). फीडफॉरवर्ड वेट और फीडबैक वेट बराबर हैं। न्यूरॉन्स की अवस्थाओं के लिए गतिशील समीकरणों को इस प्रकार लिखा जा सकता है सीमा शर्तों के साथ इन समीकरणों और पारंपरिक फीडफॉरवर्ड नेटवर्क के मध्य मुख्य अंतर दूसरे पद की उपस्थिति है, जो उच्च परतों से फीडबैक के लिए जिम्मेदार है। ये ऊपर से नीचे के संकेत निचली परतों में न्यूरॉन्स को प्रस्तुत उत्तेजनाओं के प्रति उनकी प्रतिक्रिया पर निर्णय लेने में मदद करते हैं। सामान्य नुस्खा का पालन करते हुए लैग्रेंजियन फलन को प्रस्तुत करना सुविधाजनक है $$L^A(\{x^A_i\})$$ के लिए $$A$$-वीं छिपी हुई परत, जो उस परत के सभी न्यूरॉन्स की गतिविधियों पर निर्भर करती है। उस परत में सक्रियण कार्यों को लैग्रेंजियन के आंशिक व्युत्पन्न के रूप में परिभाषित किया जा सकता है  इन परिभाषाओं के साथ ऊर्जा (ल्यपुनोव) फलन दिया गया है  यदि लैग्रेंजियन फ़ंक्शंस, या समकक्ष सक्रियण फ़ंक्शंस, इस तरह से चुने जाते हैं कि प्रत्येक परत के लिए हेसियन सकारात्मक अर्ध-निश्चित हैं और समग्र ऊर्जा नीचे से बंधी हुई है, तो इस प्रणाली को  निश्चित बिंदु आकर्षित करने वाले राज्य में परिवर्तित होने की गारंटी है. इस ऊर्जा फलन का अस्थायी व्युत्पन्न इस प्रकार दिया गया है इस प्रकार, पदानुक्रमित स्तरित नेटवर्क वास्तव में वैश्विक ऊर्जा फलन के साथ  आकर्षक नेटवर्क है। इस नेटवर्क को सिनैप्टिक भार के  पदानुक्रमित सेट द्वारा वर्णित किया गया है जिसे प्रत्येक विशिष्ट समस्या के लिए सीखा जा सकता है।

यह भी देखें

 * साहचर्य स्मृति (बहुविकल्पी)
 * ऑटोएसोसिएटिव मेमोरी
 * बोल्ट्ज़मान मशीन - हॉपफील्ड नेट की तरह किन्तु ग्रेडिएंट डिसेंट के बजाय एनील्ड गिब्स सैंपलिंग का उपयोग करती है
 * संज्ञानात्मक मॉडल#सहयोगी स्मृति
 * आइसिंग मॉडल
 * हेब्बियन सिद्धांत

बाहरी संबंध

 * Hopfield Network Javascript
 * The Travelling Salesman Problem – Hopfield Neural Network JAVA Applet
 * Neural Lab Graphical Interface – Hopfield Neural Network graphical interface (Python & gtk)
 * Neural Lab Graphical Interface – Hopfield Neural Network graphical interface (Python & gtk)
 * Neural Lab Graphical Interface – Hopfield Neural Network graphical interface (Python & gtk)
 * Neural Lab Graphical Interface – Hopfield Neural Network graphical interface (Python & gtk)