लॉन्ग शॉर्ट टर्म मेमोरी: Difference between revisions

From Vigyanwiki
No edit summary
Line 9: Line 9:


== प्रेरणा ==
== प्रेरणा ==
सिद्धांत रूप में क्लासिक (या वेनिला) आवर्तक तंत्रिका नेटवर्क इनपुट अनुक्रमों में मनमाने ढंग से दीर्घकालिक निर्भरता का ट्रैक रख सकता है। वेनिला आरएनएन के साथ समस्या प्रकृति में कम्प्यूटेशनल (या व्यावहारिक) है: बैक-प्रचार का उपयोग करते हुए एक वैनिला आरएनएन को प्रशिक्षित करते समय लंबी अवधि के ग्रेडियेंट जो बैक-प्रचारित होते हैं, ग्रेडिएंट समस्या को गायब कर सकते हैं। लुप्त हो जाना (अर्थात वे शून्य की ओर प्रवृत्त हो सकते हैं) या विस्फोट (अर्थात, वे अनंत की ओर प्रवृत्त हो सकते हैं)<ref name="hochreiter1991" />प्रक्रिया में सम्मिलित  संगणनाओं के कारण जो [[राउंड-ऑफ त्रुटि]] | परिमित-सटीक संख्याओं का उपयोग करती हैं।लंबी अल्पकालिक स्मृति (LSTM) इकाइयों का उपयोग करने वालेआरएनएन आंशिक रूप से लुप्त हो रही ढाल समस्या को हल करते हैं, क्योंकिलंबी अल्पकालिक स्मृति (LSTM) इकाइयाँ ढालों को भी अपरिवर्तित प्रवाहित करने की अनुमति देती हैं। हालाँकि,लंबी अल्पकालिक स्मृति (LSTM) नेटवर्क अभी भी विस्फोट की समस्या से पीड़ित हो सकता है।<ref name="calin2020">{{cite book |last1=Calin |first1=Ovidiu |title=डीप लर्निंग आर्किटेक्चर|date=14 February 2020 |publisher=Springer Nature |location=Cham, Switzerland |isbn=978-3-030-36720-6 |page=555}}</ref>
सिद्धांत रूप में क्लासिक (या वेनिला) आवर्तक तंत्रिका नेटवर्क इनपुट अनुक्रमों में मनमाने ढंग से दीर्घकालिक निर्भरता का ट्रैक रख सकता है। वेनिला आरएनएन के साथ समस्या प्रकृति में कम्प्यूटेशनल (या व्यावहारिक) है: बैक-प्रचार का उपयोग करते हुए एक वैनिला आरएनएन को प्रशिक्षित करते समय लंबी अवधि के ग्रेडियेंट जो बैक-प्रचारित होते हैं और ग्रेडिएंट समस्या को लुप्त कर सकते हैं। लुप्त हो जाना (अर्थात वे शून्य की ओर प्रवृत्त हो सकते हैं) या विस्फोट (अर्थात वे अनंत की ओर प्रवृत्त हो सकते हैं)<ref name="hochreiter1991" />प्रक्रिया में सम्मिलित  संगणनाओं के कारण जो [[राउंड-ऑफ त्रुटि]] | परिमित-सटीक संख्याओं का उपयोग करती हैं।लंबी अल्पकालिक स्मृति (LSTM) इकाइयों का उपयोग करने वालेआरएनएन आंशिक रूप से लुप्त हो रही ढाल समस्या को हल करते हैं, क्योंकिलंबी अल्पकालिक स्मृति (LSTM) इकाइयाँ ढालों को भी अपरिवर्तित प्रवाहित करने की अनुमति देती हैं। हालाँकि,लंबी अल्पकालिक स्मृति (LSTM) नेटवर्क अभी भी विस्फोट की समस्या से पीड़ित हो सकता है।<ref name="calin2020">{{cite book |last1=Calin |first1=Ovidiu |title=डीप लर्निंग आर्किटेक्चर|date=14 February 2020 |publisher=Springer Nature |location=Cham, Switzerland |isbn=978-3-030-36720-6 |page=555}}</ref>


LSTM आर्किटेक्चर के पीछे का अंतर्ज्ञान एक तंत्रिका नेटवर्क में एक अतिरिक्त मॉड्यूल बनाना है जो सीखता है कि कब याद रखना है और कब प्रासंगिक जानकारी को भूलना है।<ref name="lstm2000" />दूसरे शब्दों में, नेटवर्क प्रभावी ढंग से सीखता है कि किस क्रम में बाद में किस जानकारी की आवश्यकता हो सकती है और जब उस जानकारी की आवश्यकता नहीं रह जाती है। उदाहरण के लिए, [[प्राकृतिक भाषा प्रसंस्करण]] के संदर्भ में, नेटवर्क व्याकरणिक निर्भरता सीख सकता है।<ref name="LakretzKruszewskiDesbordes2019">{{citation | last1 = Lakretz | first1 = Yair | last2 = Kruszewski | first2 = German | last3 = Desbordes | first3 = Theo | last4 = Hupkes | first4 = Dieuwke | last5 = Dehaene | first5 = Stanislas | last6 = Baroni | first6 = Marco | title = The emergence of number and syntax units | chapter = The emergence of number and syntax units in | date = 2019 | pages = 11–20 | publisher = Association for Computational Linguistics | doi = 10.18653/v1/N19-1002 | hdl = 11245.1/16cb6800-e10d-4166-8e0b-fed61ca6ebb4 | s2cid = 81978369 | chapter-url = https://aclanthology.org/N19-1002/}}</ref> एकलंबी अल्पकालिक स्मृति (LSTM) वाक्य <u>डेव</u> को संसाधित कर सकता है, <u>उनके</u> विवादास्पद दावों के परिणामस्वरूप, (सांख्यिकीय रूप से संभावित) व्याकरणिक लिंग को याद करके <u>है</u> अब अछूत है और विषय डेव की संख्या, ध्यान दें कि यह जानकारी सर्वनाम के लिए प्रासंगिक है और ध्यान दें कि क्रिया के बाद यह जानकारी अब महत्वपूर्ण नहीं है।
LSTM आर्किटेक्चर के पीछे का अंतर्ज्ञान एक तंत्रिका नेटवर्क में एक अतिरिक्त मॉड्यूल बनाना है जो सीखता है कि कब याद रखना है और कब प्रासंगिक जानकारी को भूलना है।<ref name="lstm2000" />दूसरे शब्दों में नेटवर्क प्रभावी ढंग से सीखता है कि किस क्रम में बाद में किस जानकारी की आवश्यकता हो सकती है और जब उस जानकारी की आवश्यकता नहीं रह जाती है। उदाहरण के लिए [[प्राकृतिक भाषा प्रसंस्करण]] के संदर्भ में नेटवर्क व्याकरणिक निर्भरता सीख सकता है।<ref name="LakretzKruszewskiDesbordes2019">{{citation | last1 = Lakretz | first1 = Yair | last2 = Kruszewski | first2 = German | last3 = Desbordes | first3 = Theo | last4 = Hupkes | first4 = Dieuwke | last5 = Dehaene | first5 = Stanislas | last6 = Baroni | first6 = Marco | title = The emergence of number and syntax units | chapter = The emergence of number and syntax units in | date = 2019 | pages = 11–20 | publisher = Association for Computational Linguistics | doi = 10.18653/v1/N19-1002 | hdl = 11245.1/16cb6800-e10d-4166-8e0b-fed61ca6ebb4 | s2cid = 81978369 | chapter-url = https://aclanthology.org/N19-1002/}}</ref> एकलंबी अल्पकालिक स्मृति (LSTM) वाक्य <u>डेव</u> को संसाधित कर सकता है, <u>उनके</u> विवादास्पद दावों के परिणामस्वरूप, (सांख्यिकीय रूप से संभावित) व्याकरणिक लिंग को याद करके <u>है</u> अब अछूत है और विषय डेव की संख्या, ध्यान दें कि यह जानकारी सर्वनाम के लिए प्रासंगिक है और ध्यान दें कि क्रिया के बाद यह जानकारी अब महत्वपूर्ण नहीं है।


== वेरिएंट ==
== वेरिएंट ==
Line 57: Line 57:


==== सक्रियण कार्य ====
==== सक्रियण कार्य ====
* <math>\sigma_g</math>: [[सिग्मॉइड फ़ंक्शन]]।
* <math>\sigma_g</math>: [[सिग्मॉइड फ़ंक्शन|सिग्मॉइड कार्य]] ।
* <math>\sigma_c</math>: [[अतिशयोक्तिपूर्ण स्पर्शरेखा]] समारोह।
* <math>\sigma_c</math>: [[अतिशयोक्तिपूर्ण स्पर्शरेखा]]कार्य ।
* <math>\sigma_h</math>: अतिशयोक्तिपूर्ण स्पर्शरेखा समारोह या, पीपहोललंबी अल्पकालिक स्मृति (LSTM) पेपर के रूप में<ref name="peepholeLSTM"/><ref name="peephole2002"/>सुझाव देता है, <math>\sigma_h(x) = x</math>.
* <math>\sigma_h</math>: अतिशयोक्तिपूर्ण स्पर्शरेखाकार्य  या, पीपहोललंबी अल्पकालिक स्मृति (LSTM) पेपर के रूप में<ref name="peepholeLSTM"/><ref name="peephole2002"/>सुझाव देता है, <math>\sigma_h(x) = x</math>.


=== पीपहोल एलएसटीएम ===
=== पीपहोल एलएसटीएम ===
[[File:Peephole_Long_Short-Term_Memory.svg|300px|thumbnail|इनपुट के साथ एक #Peephole_LSTM इकाई (अर्थात <math>i</math>), आउटपुट (यानी <math>o</math>), और भूल जाओ (यानी <math>f</math>) द्वार]]दाईं ओर का आंकड़ा पीपहोल कनेक्शन (यानी एक पीपहोल एलएसटीएम) के साथ एक एलएसटीएम इकाई का चित्रमय प्रतिनिधित्व है।<ref name="peepholeLSTM"/><ref name="peephole2002"/>पीपहोल कनेक्शन फाटकों को निरंतर त्रुटि कैरोसेल (सीईसी) तक पहुंचने की अनुमति देता है, जिसका सक्रियण सेल स्थिति है।<ref name="peepholeLSTM"/> <math>h_{t-1}</math> उपयोग नहीं होता है, <math>c_{t-1}</math> के स्थान पर अधिकांश स्थानों पर प्रयोग किया जाता है।
[[File:Peephole_Long_Short-Term_Memory.svg|300px|thumbnail|इनपुट के साथ एक #Peephole_LSTM इकाई (अर्थात <math>i</math>), आउटपुट (यानी <math>o</math>), और भूल जाओ (यानी <math>f</math>) द्वार]]दाईं ओर का आंकड़ा पीपहोल कनेक्शन (यानी एक पीपहोल एलएसटीएम) के साथ एक एलएसटीएम इकाई का चित्रमय प्रतिनिधित्व है।<ref name="peepholeLSTM"/><ref name="peephole2002"/>पीपहोल कनेक्शन फाटकों को निरंतर त्रुटि कैरोसेल (सीईसी) तक पहुंचने की अनुमति देता है जिसका सक्रियण सेल स्थिति है।<ref name="peepholeLSTM"/> <math>h_{t-1}</math> उपयोग नहीं होता है, <math>c_{t-1}</math> के स्थान पर अधिकांश स्थानों पर प्रयोग किया जाता है।
:<math>
:<math>
\begin{align}
\begin{align}
Line 72: Line 72:
\end{align}
\end{align}
</math>
</math>
प्रत्येक द्वार को फीड-फॉरवर्ड (या बहु-परत) तंत्रिका नेटवर्क में एक मानक न्यूरॉन के रूप में माना जा सकता है: अर्थात, वे एक भारित राशि के सक्रियण (सक्रियण फ़ंक्शन का उपयोग करके) की गणना करते हैं। <math>i_t,  o_t</math> और <math>f_t</math> समय कदम पर क्रमशः इनपुट, आउटपुट और भूल गेट्स की सक्रियता का प्रतिनिधित्व करते हैं <math>t</math>.
प्रत्येक द्वार को फीड-फॉरवर्ड (या बहु-परत) तंत्रिका नेटवर्क में एक मानक न्यूरॉन के रूप में माना जा सकता है: अर्थात, वे एक भारित राशि के सक्रियण (सक्रियण कार्य  का उपयोग करके) की गणना करते हैं। <math>i_t,  o_t</math> और <math>f_t</math> समय कदम पर क्रमशः इनपुट, आउटपुट और भूल गेट्स की सक्रियता का प्रतिनिधित्व करते हैं <math>t</math>.


मेमोरी सेल से 3 निकास तीर <math>c</math> 3 द्वारों के लिए <math>i,  o</math> और <math>f</math> पीपहोल कनेक्शन का प्रतिनिधित्व करते हैं। ये पीपहोल कनेक्शन वास्तव में मेमोरी सेल के सक्रियण के योगदान को दर्शाते हैं <math>c</math> समय कदम पर <math>t-1</math>, यानी का योगदान <math>c_{t-1}</math> (और नहीं <math>c_{t}</math>, जैसा चित्र सुझा सकता है)। दूसरे शब्दों में, द्वार <math>i,  o</math> और <math>f</math> समय कदम पर उनकी सक्रियता की गणना करें <math>t</math> (यानी, क्रमशः, <math>i_t,  o_t</math> और <math>f_t</math>) मेमोरी सेल की सक्रियता पर भी विचार कर रहा है <math>c</math> समय कदम पर <math>t - 1</math>, अर्थात। <math>c_{t-1}</math>.
मेमोरी सेल से 3 निकास तीर <math>c</math> 3 द्वारों के लिए <math>i,  o</math> और <math>f</math> पीपहोल कनेक्शन का प्रतिनिधित्व करते हैं। ये पीपहोल कनेक्शन वास्तव में मेमोरी सेल के सक्रियण के योगदान को दर्शाते हैं <math>c</math> समय कदम पर <math>t-1</math>, यानी का योगदान <math>c_{t-1}</math> (और नहीं <math>c_{t}</math>, जैसा चित्र सुझा सकता है)। दूसरे शब्दों में, द्वार <math>i,  o</math> और <math>f</math> समय कदम पर उनकी सक्रियता की गणना करें <math>t</math> (यानी, क्रमशः, <math>i_t,  o_t</math> और <math>f_t</math>) मेमोरी सेल की सक्रियता पर भी विचार कर रहा है <math>c</math> समय कदम पर <math>t - 1</math>, अर्थात। <math>c_{t-1}</math>.
Line 78: Line 78:
मेमोरी सेल से बाहर निकलने वाला एकल बाएँ से दाएँ तीर एक पीपहोल कनेक्शन नहीं है और यह दर्शाता है <math>c_{t}</math>.
मेमोरी सेल से बाहर निकलने वाला एकल बाएँ से दाएँ तीर एक पीपहोल कनेक्शन नहीं है और यह दर्शाता है <math>c_{t}</math>.


a युक्त छोटे वृत्त <math>\times</math> प्रतीक इसके इनपुट के बीच एक तत्व-वार गुणन का प्रतिनिधित्व करता है। एस-जैसे वक्र वाले बड़े वृत्त एक भारित योग के लिए एक अलग-अलग फ़ंक्शन (जैसे सिग्मॉइड फ़ंक्शन) के अनुप्रयोग का प्रतिनिधित्व करते हैं।
a युक्त छोटे वृत्त <math>\times</math> प्रतीक इसके इनपुट के बीच एक तत्व-वार गुणन का प्रतिनिधित्व करता है। एस-जैसे वक्र वाले बड़े वृत्त एक भारित योग के लिए एक अलग-अलग कार्य  (जैसे सिग्मॉइड कार्य ) के अनुप्रयोग का प्रतिनिधित्व करते हैं।


=== पीपहोल दृढ़लंबी अल्पकालिक स्मृति (LSTM) ===
=== पीपहोल दृढ़ लंबी अल्पकालिक स्मृति (LSTM) ===
पीपहोल [[संवादात्मक तंत्रिका नेटवर्क]]लंबी अल्पकालिक स्मृति (LSTM)।<ref name="shi2015">{{Cite journal  
पीपहोल [[संवादात्मक तंत्रिका नेटवर्क]] लंबी अल्पकालिक स्मृति (LSTM)।<ref name="shi2015">{{Cite journal  
  | author = Xingjian Shi
  | author = Xingjian Shi
  | author2 = Zhourong Chen
  | author2 = Zhourong Chen
Line 95: Line 95:
  | bibcode = 2015arXiv150604214S
  | bibcode = 2015arXiv150604214S
  }}</ref>  <math>*</math> h> [[कनवल्शन]] ऑपरेटर को दर्शाता है।
  }}</ref>  <math>*</math> h> [[कनवल्शन]] ऑपरेटर को दर्शाता है।
:<गणित आईडी = पृष्ठ 4, [33] संदर्भ में सूत्र 4 (ओटी की गणना सी (टी) के बजाय सी (टी) के लिए की जाती है - 1)): https://arxiv.org/abs/1506.04214v2 >
:<गणित आईडी = पृष्ठ 4, [33] संदर्भ में सूत्र 4 (ओटी की गणना सी (टी) केअतिरिक्त  सी (टी) के लिए की जाती है - 1)): https://arxiv.org/abs/1506.04214v2 >
\प्रारम्भ  {संरेखित करें}
\प्रारम्भ  {संरेखित करें}
f_t &= \sigma_g(W_{f} * x_t + U_{f} * h_{t-1} + V_{f} \odot c_{t-1} + b_f) \\
f_t &= \sigma_g(W_{f} * x_t + U_{f} * h_{t-1} + V_{f} \odot c_{t-1} + b_f) \\
i_t &= \sigma_g(W_{i} * x_t + U_{i} * h_{t-1} + V_{i} \odot c_{t-1} + b_i) \\
i_t &= \sigma_g(W_{i} * x_t + U_{i} * h_{t-1} + V_{i} \odot c_{t-1} + b_i) \\
c_t &= f_t \odot c_{t-1} + i_t \odot \sigma_c(W_{c} * x_t + U_{c} * h_{t-1} + b_c) \\
c_t &= f_t \odot c_{t-1} + i_t \odot \sigma_c(W_{c} * x_t + U_{c} * h_{t-1} + b_c) \\
o_t &= \sigma_g(W_{o} * x_t + U_{o} * h_{t-1} + V_{o} \odot c_{t} + b_o) \\
o_t &= \sigma_g(W_{o} * x_t + U_{o} * h_{t-1} + V_{o} \odot c_{t} + b_o) \\
h_t &= o_t \odot \sigma_h(c_t)
h_t &= o_t \odot \sigma_h(c_t)
\ अंत {संरेखित करें}
\ अंत {संरेखित करें}
</ गणित>
</ गणित>


== प्रशिक्षण ==
== प्रशिक्षण ==
LSTM इकाइयों का उपयोग करने वाले एक आरएनएन को प्रशिक्षण अनुक्रमों के एक सेट पर पर्यवेक्षित तरीके से प्रशिक्षित किया जा सकता है,लंबी अल्पकालिक स्मृति (LSTM) के प्रत्येक वजन को बदलने के लिए अनुकूलन प्रक्रिया के दौरान आवश्यक ग्रेडिएंट की गणना करने के लिए समय के माध्यम से बैकप्रोपैजेशन के साथ संयुक्त [[ ढतला हुआ वंश ]] जैसे अनुकूलन एल्गोरिदम का उपयोग किया जाता है। संबंधित भार के संबंध में त्रुटि के व्युत्पन्न (LSTM नेटवर्क की आउटपुट परत पर) के अनुपात में नेटवर्क।
LSTM इकाइयों का उपयोग करने वाले एक आरएनएन को प्रशिक्षण अनुक्रमों के एक सेट पर पर्यवेक्षित तरीके से प्रशिक्षित किया जा सकता है और लंबी अल्पकालिक स्मृति (LSTM) के प्रत्येक वजन को बदलने के लिए अनुकूलन प्रक्रिया के दौरान आवश्यक ग्रेडिएंट की गणना करने के लिए समय के माध्यम से बैकप्रोपैजेशन के साथ संयुक्त [[ ढतला हुआ वंश |ढतला हुआ वंश]] जैसे अनुकूलन एल्गोरिदम का उपयोग किया जाता है। संबंधित भार के संबंध में त्रुटि के व्युत्पन्न (LSTM नेटवर्क की आउटपुट परत पर) के अनुपात में नेटवर्क।


मानक आरएनएन के लिए ग्रेडिएंट डिसेंट का उपयोग करने में एक समस्या यह है कि महत्वपूर्ण घटनाओं के बीच समय अंतराल के आकार के साथ त्रुटि ग्रेडिएंट ग्रेडिएंट समस्या तेजी से गायब हो जाती है। इसकी वजह है <math>\lim_{n \to \infty}W^n = 0</math> यदि [[वर्णक्रमीय त्रिज्या]] <math>W</math> 1 से छोटा है।<ref name="hochreiter1991" /><ref name=gradf>{{Cite book|chapter-url=https://www.researchgate.net/publication/2839938|chapter=Gradient Flow in Recurrent Nets: the Difficulty of Learning Long-Term Dependencies (PDF Download Available)|last1=Hochreiter|first1=S.|first2=Y. |last2=Bengio|first3=P. |last3=Frasconi |first4=J. |last4=Schmidhuber|editor-first1=S. C. |editor-last1=Kremer and |editor-first2=J. F. |editor-last2=Kolen |title=गतिशील आवर्तक तंत्रिका नेटवर्क के लिए एक फील्ड गाइड।|date=2001|publisher=IEEE Press}}</ref>
मानक आरएनएन के लिए ग्रेडिएंट डिसेंट का उपयोग करने में एक समस्या यह है कि महत्वपूर्ण घटनाओं के बीच समय अंतराल के आकार के साथ त्रुटि ग्रेडिएंट ग्रेडिएंट समस्या तेजी से लुप्त हो जाती है। इसकी वजह है <math>\lim_{n \to \infty}W^n = 0</math> यदि [[वर्णक्रमीय त्रिज्या]] <math>W</math> 1 से छोटा है।<ref name="hochreiter1991" /><ref name=gradf>{{Cite book|chapter-url=https://www.researchgate.net/publication/2839938|chapter=Gradient Flow in Recurrent Nets: the Difficulty of Learning Long-Term Dependencies (PDF Download Available)|last1=Hochreiter|first1=S.|first2=Y. |last2=Bengio|first3=P. |last3=Frasconi |first4=J. |last4=Schmidhuber|editor-first1=S. C. |editor-last1=Kremer and |editor-first2=J. F. |editor-last2=Kolen |title=गतिशील आवर्तक तंत्रिका नेटवर्क के लिए एक फील्ड गाइड।|date=2001|publisher=IEEE Press}}</ref>
हालाँकि,लंबी अल्पकालिक स्मृति (LSTM) इकाइयों के साथ, जब त्रुटि मान आउटपुट परत से वापस प्रचारित होते हैं, तोलंबी अल्पकालिक स्मृति (LSTM) इकाई के सेल में त्रुटि बनी रहती है। यह त्रुटि हिंडोला लगातारलंबी अल्पकालिक स्मृति (LSTM) इकाई के प्रत्येक गेट पर त्रुटि को वापस फीड करता है, जब तक कि वे मूल्य को काटना नहीं सीखते।
हालाँकि,लंबी अल्पकालिक स्मृति (LSTM) इकाइयों के साथ, जब त्रुटि मान आउटपुट परत से वापस प्रचारित होते हैं, तोलंबी अल्पकालिक स्मृति (LSTM) इकाई के सेल में त्रुटि बनी रहती है। यह त्रुटि हिंडोला लगातारलंबी अल्पकालिक स्मृति (LSTM) इकाई के प्रत्येक गेट पर त्रुटि को वापस फीड करता है, जब तक कि वे मूल्य को काटना नहीं सीखते।


=== सीटीसी स्कोर समारोह ===
=== सीटीसी स्कोर कार्य ===
कई एप्लिकेशनलंबी अल्पकालिक स्मृति (LSTM) आरएनएन के ढेर का उपयोग करते हैं<ref name="fernandez2007ijcai">{{Cite journal |last1=Fernández |first1=Santiago |last2=Graves |first2=Alex |last3=Schmidhuber |first3=Jürgen |date=2007 |title=पदानुक्रमित आवर्तक तंत्रिका नेटवर्क के साथ संरचित डोमेन में अनुक्रम लेबलिंग|citeseerx=10.1.1.79.1887 |journal=Proc. 20th Int. Joint Conf. On Artificial Intelligence, Ijcai 2007 |pages=774–779}}</ref> और कनेक्शनिस्ट टेम्पोरल वर्गीकरण (CTC) द्वारा उन्हें प्रशिक्षित करें<ref name="graves2006">{{Cite journal |last1=Graves |first1=Alex |last2=Fernández |first2=Santiago |last3=Gomez |first3=Faustino |last4=Schmidhuber |first4=Jürgen | date=2006 |title=Connectionist temporal classification: Labelling unsegmented sequence data with recurrent neural networks |citeseerx=10.1.1.75.6306 |journal=In Proceedings of the International Conference on Machine Learning, ICML 2006 |pages=369–376}}</ref> एक आरएनएन वजन मैट्रिक्स खोजने के लिए जो संबंधित इनपुट अनुक्रमों को देखते हुए प्रशिक्षण सेट में लेबल अनुक्रमों की संभावना को अधिकतम करता है। सीटीसी संरेखण और मान्यता दोनों प्राप्त करता है।
कई एप्लिकेशन लंबी अल्पकालिक स्मृति (LSTM) आरएनएन के ढेर का उपयोग करते हैं<ref name="fernandez2007ijcai">{{Cite journal |last1=Fernández |first1=Santiago |last2=Graves |first2=Alex |last3=Schmidhuber |first3=Jürgen |date=2007 |title=पदानुक्रमित आवर्तक तंत्रिका नेटवर्क के साथ संरचित डोमेन में अनुक्रम लेबलिंग|citeseerx=10.1.1.79.1887 |journal=Proc. 20th Int. Joint Conf. On Artificial Intelligence, Ijcai 2007 |pages=774–779}}</ref> और कनेक्शनिस्ट टेम्पोरल वर्गीकरण (CTC) द्वारा उन्हें प्रशिक्षित करें<ref name="graves2006">{{Cite journal |last1=Graves |first1=Alex |last2=Fernández |first2=Santiago |last3=Gomez |first3=Faustino |last4=Schmidhuber |first4=Jürgen | date=2006 |title=Connectionist temporal classification: Labelling unsegmented sequence data with recurrent neural networks |citeseerx=10.1.1.75.6306 |journal=In Proceedings of the International Conference on Machine Learning, ICML 2006 |pages=369–376}}</ref> एक आरएनएन वजन मैट्रिक्स खोजने के लिए जो संबंधित इनपुट अनुक्रमों को देखते हुए प्रशिक्षण सेट में लेबल अनुक्रमों की संभावना को अधिकतम करता है। सीटीसी संरेखण और मान्यता दोनों प्राप्त करता है।


=== विकल्प ===
=== विकल्प ===
कभी-कभी, [[तंत्रिका विकास]] द्वारालंबी अल्पकालिक स्मृति (LSTM) को प्रशिक्षित (भागों) करना फायदेमंद हो सकता है<ref name="wierstra2005" />या नीतिगत ढाल विधियों द्वारा, विशेषकर जब कोई शिक्षक नहीं है (अर्थात, प्रशिक्षण लेबल)।
कभी-कभी [[तंत्रिका विकास]] द्वारा लंबी अल्पकालिक स्मृति (LSTM) को प्रशिक्षित (भागों) करना फायदेमंद हो सकता है<ref name="wierstra2005" />या नीतिगत ढाल विधियों द्वारा, विशेषकर जब कोई शिक्षक नहीं है (अर्थात, प्रशिक्षण लेबल)।


==== सफलता ====
==== सफलता ====


गैर-पर्यवेक्षित फैशन में,लंबी अल्पकालिक स्मृति (LSTM) इकाइयों के साथ आरएनएन के प्रशिक्षण की कई सफल कहानियाँ रही हैं।
गैर-पर्यवेक्षित फैशन में लंबी अल्पकालिक स्मृति (LSTM) इकाइयों के साथ आरएनएन के प्रशिक्षण की कई सफल कहानियाँ रही हैं।


2018 में, [[बिल गेट्स]] ने इसे कृत्रिम बुद्धिमत्ता को आगे बढ़ाने में एक बहुत बड़ा मील का पत्थर बताया, जब [[OpenAI]] द्वारा विकसित बॉट्स Dota 2 के खेल में मनुष्यों को मात देने में सक्षम थे।<ref name="OpenAIfive">{{Cite news|url=https://towardsdatascience.com/the-science-behind-openai-five-that-just-produced-one-of-the-greatest-breakthrough-in-the-history-b045bcdc2b69|title=ओपनएआई फाइव के पीछे का विज्ञान जिसने एआई के इतिहास में सबसे बड़ी सफलताओं में से एक का निर्माण किया|last=Rodriguez|first=Jesus|date=July 2, 2018|archive-url=https://web.archive.org/web/20191226222000/https://towardsdatascience.com/the-science-behind-openai-five-that-just-produced-one-of-the-greatest-breakthrough-in-the-history-b045bcdc2b69?gi=24b20ef8ca3f|archive-date=2019-12-26|url-status=dead|work=Towards Data Science|access-date=2019-01-15}}</ref> OpenAI Five में पाँच स्वतंत्र लेकिन समन्वित तंत्रिका नेटवर्क होते हैं। प्रत्येक नेटवर्क को शिक्षक की निगरानी के बिना एक नीतिगत ढाल विधि द्वारा प्रशिक्षित किया जाता है और इसमें एक एकल-परत, 1024-इकाई लंबी-लघु-अवधि-मेमोरी होती है जो वर्तमान खेल स्थिति को देखती है और कई संभावित क्रिया प्रमुखों के माध्यम से क्रियाओं का उत्सर्जन करती है।<ref name="OpenAIfive" />
2018 में, [[बिल गेट्स]] ने इसे कृत्रिम बुद्धिमत्ता को आगे बढ़ाने में एक बहुत बड़ा मील का पत्थर बताया, जब [[OpenAI]] द्वारा विकसित बॉट्स Dota 2 के खेल में मनुष्यों को मात देने में सक्षम थे।<ref name="OpenAIfive">{{Cite news|url=https://towardsdatascience.com/the-science-behind-openai-five-that-just-produced-one-of-the-greatest-breakthrough-in-the-history-b045bcdc2b69|title=ओपनएआई फाइव के पीछे का विज्ञान जिसने एआई के इतिहास में सबसे बड़ी सफलताओं में से एक का निर्माण किया|last=Rodriguez|first=Jesus|date=July 2, 2018|archive-url=https://web.archive.org/web/20191226222000/https://towardsdatascience.com/the-science-behind-openai-five-that-just-produced-one-of-the-greatest-breakthrough-in-the-history-b045bcdc2b69?gi=24b20ef8ca3f|archive-date=2019-12-26|url-status=dead|work=Towards Data Science|access-date=2019-01-15}}</ref> OpenAI Five में पाँच स्वतंत्र लेकिन समन्वित तंत्रिका नेटवर्क होते हैं। प्रत्येक नेटवर्क को शिक्षक की निगरानी के बिना एक नीतिगत ढाल विधि द्वारा प्रशिक्षित किया जाता है और इसमें एक एकल-परत, 1024-इकाई लंबी-लघु-अवधि-मेमोरी होती है जो वर्तमान खेल स्थिति को देखती है और कई संभावित क्रिया प्रमुखों के माध्यम से क्रियाओं का उत्सर्जन करती है।<ref name="OpenAIfive" />


2018 में, OpenAI ने मानव जैसे रोबोट हाथ को नियंत्रित करने के लिए पॉलिसी ग्रेडिएंट्स द्वारा समानलंबी अल्पकालिक स्मृति (LSTM) को भी प्रशिक्षित किया, जो अभूतपूर्व निपुणता के साथ भौतिक वस्तुओं में हेरफेर करता है।<ref name="OpenAIhand">{{Cite news|url=https://blog.openai.com/learning-dexterity/|title=सीखने की निपुणता|date=July 30, 2018|work=OpenAI Blog|access-date=2019-01-15}}</ref>
2018 में, OpenAI ने मानव जैसे रोबोट हाथ को नियंत्रित करने के लिए पॉलिसी ग्रेडिएंट्स द्वारा समान लंबी अल्पकालिक स्मृति (LSTM) को भी प्रशिक्षित किया, जो अभूतपूर्व निपुणता के साथ भौतिक वस्तुओं में हेरफेर करता है।<ref name="OpenAIhand">{{Cite news|url=https://blog.openai.com/learning-dexterity/|title=सीखने की निपुणता|date=July 30, 2018|work=OpenAI Blog|access-date=2019-01-15}}</ref>
2019 में, [[डीपमाइंड]] के कार्यक्रम [[अल्फास्टार (सॉफ्टवेयर)]] ने जटिल वीडियो गेम [[स्टारक्राफ्ट II]] में उत्कृष्टता प्राप्त करने के लिए एक गहनलंबी अल्पकालिक स्मृति (LSTM) कोर का उपयोग किया।<ref name="alphastar">{{Cite news|url=https://medium.com/mlmemoirs/deepminds-ai-alphastar-showcases-significant-progress-towards-agi-93810c94fbe9|title=डीपमाइंड का एआई, अल्फास्टार एजीआई की दिशा में महत्वपूर्ण प्रगति दिखाता है|last=Stanford|first=Stacy|date=January 25, 2019|work=Medium ML Memoirs|access-date=2019-01-15}}</ref> इसे आर्टिफिशियल जनरल इंटेलिजेंस की दिशा में महत्वपूर्ण प्रगति के रूप में देखा गया।<ref name="alphastar" />
2019 में, [[डीपमाइंड]] के कार्यक्रम [[अल्फास्टार (सॉफ्टवेयर)]] ने जटिल वीडियो गेम [[स्टारक्राफ्ट II]] में उत्कृष्टता प्राप्त करने के लिए एक गहन लंबी अल्पकालिक स्मृति (LSTM) कोर का उपयोग किया।<ref name="alphastar">{{Cite news|url=https://medium.com/mlmemoirs/deepminds-ai-alphastar-showcases-significant-progress-towards-agi-93810c94fbe9|title=डीपमाइंड का एआई, अल्फास्टार एजीआई की दिशा में महत्वपूर्ण प्रगति दिखाता है|last=Stanford|first=Stacy|date=January 25, 2019|work=Medium ML Memoirs|access-date=2019-01-15}}</ref> इसे आर्टिफिशियल जनरल इंटेलिजेंस की दिशा में महत्वपूर्ण प्रगति के रूप में देखा गया।<ref name="alphastar" />




Line 180: Line 187:
1995: लंबी अल्पकालिक स्मृति (LSTM) को सेप होचराइटर और जुरगेन श्मिटुबर की एक तकनीकी रिपोर्ट में प्रकाशित किया गया है।<ref>{{Cite Q | Q98967430 }}</ref>
1995: लंबी अल्पकालिक स्मृति (LSTM) को सेप होचराइटर और जुरगेन श्मिटुबर की एक तकनीकी रिपोर्ट में प्रकाशित किया गया है।<ref>{{Cite Q | Q98967430 }}</ref>


1996:लंबी अल्पकालिक स्मृति (LSTM) NIPS'1996, एक सहकर्मी-समीक्षित सम्मेलन में प्रकाशित हुआ।<ref name="hochreiter1996" />
1996: लंबी अल्पकालिक स्मृति (LSTM) NIPS'1996, एक सहकर्मी-समीक्षित सम्मेलन में प्रकाशित हुआ।<ref name="hochreiter1996" />


1997: मुख्यलंबी अल्पकालिक स्मृति (LSTM) पेपर [[ तंत्रिका संगणना (जर्नल) | तंत्रिका संगणना (जर्नल)]] जर्नल में प्रकाशित हुआ है।<ref name="lstm1997">{{Cite journal  
1997: मुख्य लंबी अल्पकालिक स्मृति (LSTM) पेपर [[ तंत्रिका संगणना (जर्नल) | तंत्रिका संगणना (जर्नल)]] जर्नल में प्रकाशित हुआ है।<ref name="lstm1997">{{Cite journal  
  | author = Sepp Hochreiter
  | author = Sepp Hochreiter
  | author2 = Jürgen Schmidhuber
  | author2 = Jürgen Schmidhuber
Line 197: Line 204:
  | author2-link = Jürgen Schmidhuber
  | author2-link = Jürgen Schmidhuber
  | author-link = Sepp Hochreiter
  | author-link = Sepp Hochreiter
  }}</ref> लगातार त्रुटि हिंडोला (CEC) इकाइयों की शुरुआत करके,लंबी अल्पकालिक स्मृति (LSTM) गायब होने वाली ढाल समस्या से निपटता है।लंबी अल्पकालिक स्मृति (LSTM) ब्लॉक के प्रारंभिक संस्करण में सेल, इनपुट और आउटपुट गेट सम्मिलित  थे।<ref name="ASearchSpaceOdyssey">{{Cite journal|author1=Klaus Greff |author2=Rupesh Kumar Srivastava |author3=Jan Koutník |author4=Bas R. Steunebrink |author5=Jürgen Schmidhuber |arxiv=1503.04069 |title=LSTM: A Search Space Odyssey |journal=IEEE Transactions on Neural Networks and Learning Systems |volume=28 |issue=10 |pages=2222–2232 |date=2015 |doi=10.1109/TNNLS.2016.2582924 |pmid=27411231 |bibcode=2015arXiv150304069G |s2cid=3356463 }}</ref>
  }}</ref> लगातार त्रुटि हिंडोला (CEC) इकाइयों की प्रारम्भ करके लंबी अल्पकालिक स्मृति (LSTM) लुप्त होने वाली ढाल समस्या से निपटता है। लंबी अल्पकालिक स्मृति (LSTM) ब्लॉक के प्रारंभिक संस्करण में सेल, इनपुट और आउटपुट गेट सम्मिलित  थे।<ref name="ASearchSpaceOdyssey">{{Cite journal|author1=Klaus Greff |author2=Rupesh Kumar Srivastava |author3=Jan Koutník |author4=Bas R. Steunebrink |author5=Jürgen Schmidhuber |arxiv=1503.04069 |title=LSTM: A Search Space Odyssey |journal=IEEE Transactions on Neural Networks and Learning Systems |volume=28 |issue=10 |pages=2222–2232 |date=2015 |doi=10.1109/TNNLS.2016.2582924 |pmid=27411231 |bibcode=2015arXiv150304069G |s2cid=3356463 }}</ref>


1999: [[फेलिक्स गेर्स]] और उनके सलाहकार जुरगेन श्मिटहुबर और फ्रेड कमिंस ने एलएसटीएम आर्किटेक्चर में भूल गेट (जिसे कीप गेट भी कहा जाता है)प्रस्तुत किया।<ref name="lstm1999">{{Cite book |doi = 10.1049/cp:19991218|chapter = Learning to forget: Continual prediction with LSTM|title = 9th International Conference on Artificial Neural Networks: ICANN '99|volume = 1999|pages = 850–855|year = 1999|last1 = Gers|first1 = Felix| last2 = Schmidhuber|first2 = Jürgen| last3 = Cummins|first3 = Fred| isbn = 0-85296-721-7}}</ref>लंबी अल्पकालिक स्मृति (LSTM) को अपना राज्य रीसेट करने में सक्षम बनाता है।<ref name="ASearchSpaceOdyssey" />
1999: [[फेलिक्स गेर्स]] और उनके सलाहकार जुरगेन श्मिटहुबर और फ्रेड कमिंस ने एलएसटीएम आर्किटेक्चर में भूल गेट (जिसे कीप गेट भी कहा जाता है)प्रस्तुत किया।<ref name="lstm1999">{{Cite book |doi = 10.1049/cp:19991218|chapter = Learning to forget: Continual prediction with LSTM|title = 9th International Conference on Artificial Neural Networks: ICANN '99|volume = 1999|pages = 850–855|year = 1999|last1 = Gers|first1 = Felix| last2 = Schmidhuber|first2 = Jürgen| last3 = Cummins|first3 = Fred| isbn = 0-85296-721-7}}</ref>लंबी अल्पकालिक स्मृति (LSTM) को अपना राज्य रीसेट करने में सक्षम बनाता है।<ref name="ASearchSpaceOdyssey" />


2000: गेर्स एंड श्मिटहुबर एंड कमिंस ने आर्किटेक्चर में पीपहोल कनेक्शन (सेल से गेट्स तक कनेक्शन) जोड़े।<ref name="peepholeLSTM" /><ref name="peephole2002" />इसके अतिरिक्त आउटपुट सक्रियण फ़ंक्शन छोड़ा गया था।<ref name="ASearchSpaceOdyssey" />
2000: गेर्स एंड श्मिटहुबर एंड कमिंस ने आर्किटेक्चर में पीपहोल कनेक्शन (सेल से गेट्स तक कनेक्शन) जोड़े।<ref name="peepholeLSTM" /><ref name="peephole2002" />इसके अतिरिक्त आउटपुट सक्रियण कार्य छोड़ा गया था।<ref name="ASearchSpaceOdyssey" />


2001: गेर्स और श्मिटहुबर नेलंबी अल्पकालिक स्मृति (LSTM) को हिडन मार्कोव मॉडल जैसे पारंपरिक मॉडल द्वारा न सीखी जाने वाली भाषाओं को सीखने के लिए प्रशिक्षित किया।<ref name="peepholeLSTM" /><ref name="miraculous2021" />
2001: गेर्स और श्मिटहुबर ने लंबी अल्पकालिक स्मृति (LSTM) को हिडन मार्कोव मॉडल जैसे पारंपरिक मॉडल द्वारा न सीखी जाने वाली भाषाओं को सीखने के लिए प्रशिक्षित किया।<ref name="peepholeLSTM" /><ref name="miraculous2021" />


होच्रेइटर एट अल। [[ मेटा-लर्निंग (कंप्यूटर विज्ञान) | मेटा-लर्निंग (कंप्यूटर विज्ञान)]] के लिएलंबी अल्पकालिक स्मृति (LSTM) का इस्तेमाल किया | मेटा-लर्निंग (यानी लर्निंग एल्गोरिथम सीखना)।<ref>{{cite book|last1=Hochreiter|first1=S.|last2=Younger|first2=A. S.|last3=Conwell|first3=P. R.|title=ग्रेडिएंट डिसेंट का उपयोग करके सीखना सीखना| journal = Lecture Notes in Computer Science - ICANN 2001|volume=2130|year=2001|pages=87–94|issn=0302-9743|doi=10.1007/3-540-44668-0_13|url=http://www.bioinf.jku.at/publications/older/1504.pdf|series=Lecture Notes in Computer Science|isbn=978-3-540-42486-4|citeseerx=10.1.1.5.323}}</ref>
होच्रेइटर एट अल। [[ मेटा-लर्निंग (कंप्यूटर विज्ञान) | मेटा-लर्निंग (कंप्यूटर विज्ञान)]] के लिए लंबी अल्पकालिक स्मृति (LSTM) का उपयोग  किया | मेटा-लर्निंग (यानी लर्निंग एल्गोरिथम सीखना)।<ref>{{cite book|last1=Hochreiter|first1=S.|last2=Younger|first2=A. S.|last3=Conwell|first3=P. R.|title=ग्रेडिएंट डिसेंट का उपयोग करके सीखना सीखना| journal = Lecture Notes in Computer Science - ICANN 2001|volume=2130|year=2001|pages=87–94|issn=0302-9743|doi=10.1007/3-540-44668-0_13|url=http://www.bioinf.jku.at/publications/older/1504.pdf|series=Lecture Notes in Computer Science|isbn=978-3-540-42486-4|citeseerx=10.1.1.5.323}}</ref>


2004: श्मिटहुबर के छात्र एलेक्स ग्रेव्स (कंप्यूटर वैज्ञानिक) और अन्य द्वारा भाषण के लिएलंबी अल्पकालिक स्मृति (LSTM) का पहला सफल अनुप्रयोग।<ref name="graves2004">{{cite conference |last1=Graves |first1=Alex | last2=Beringer |first2=Nicole | last3=Eck |first3=Douglas  |last4=Schmidhuber |first4=Juergen |title=LSTM न्यूरल नेट्स के साथ जैविक रूप से प्रशंसनीय वाक् पहचान।|conference=Workshop on Biologically Inspired Approaches to Advanced Information Technology, Bio-ADIT 2004, Lausanne, Switzerland |pages=175–184 |year=2004 }}</ref><ref name="miraculous2021">{{cite arXiv |author=Schmidhuber, Juergen | title=Deep Learning: Our Miraculous Year 1990-1991 |date=10 May 2021 |eprint=2005.05744 |class=cs.NE}}</ref>
2004: श्मिटहुबर के छात्र एलेक्स ग्रेव्स (कंप्यूटर वैज्ञानिक) और अन्य द्वारा भाषण के लिए लंबी अल्पकालिक स्मृति (LSTM) का पहला सफल अनुप्रयोग।<ref name="graves2004">{{cite conference |last1=Graves |first1=Alex | last2=Beringer |first2=Nicole | last3=Eck |first3=Douglas  |last4=Schmidhuber |first4=Juergen |title=LSTM न्यूरल नेट्स के साथ जैविक रूप से प्रशंसनीय वाक् पहचान।|conference=Workshop on Biologically Inspired Approaches to Advanced Information Technology, Bio-ADIT 2004, Lausanne, Switzerland |pages=175–184 |year=2004 }}</ref><ref name="miraculous2021">{{cite arXiv |author=Schmidhuber, Juergen | title=Deep Learning: Our Miraculous Year 1990-1991 |date=10 May 2021 |eprint=2005.05744 |class=cs.NE}}</ref>


2005:लंबी अल्पकालिक स्मृति (LSTM) का पहला प्रकाशन (ग्रेव्स और श्मिटहुबर) समय के माध्यम से और द्वि-दिशात्मकलंबी अल्पकालिक स्मृति (LSTM) के पूर्ण बैकप्रोपैगेशन के साथ।<ref name="graves2005" /><ref name="miraculous2021" />
2005: लंबी अल्पकालिक स्मृति (LSTM) का पहला प्रकाशन (ग्रेव्स और श्मिटहुबर) समय के माध्यम से और द्वि-दिशात्मक लंबी अल्पकालिक स्मृति (LSTM) के पूर्ण बैकप्रोपैगेशन के साथ।<ref name="graves2005" /><ref name="miraculous2021" />


2005: डैन विएरस्ट्रा, फॉस्टिनो गोमेज़ और श्मिटहुबर ने बिना शिक्षक के न्यूरोएवोल्यूशन द्वारालंबी अल्पकालिक स्मृति (LSTM) को प्रशिक्षित किया।<ref name="wierstra2005" />
2005: डैन विएरस्ट्रा, फॉस्टिनो गोमेज़ और श्मिटहुबर ने बिना शिक्षक के न्यूरोएवोल्यूशन द्वारा लंबी अल्पकालिक स्मृति (LSTM) को प्रशिक्षित किया।<ref name="wierstra2005" />


2006: ग्रेव्स, फर्नांडीज, गोमेज़ और श्मिटहुबर नेलंबी अल्पकालिक स्मृति (LSTM) के लिए एक नया त्रुटि फंक्शन प्रस्तुत  किया: एक साथ संरेखण और अनुक्रमों की पहचान के लिए [[ कनेक्शनिस्ट टेम्पोरल वर्गीकरण | कनेक्शनिस्ट टेम्पोरल वर्गीकरण]] (CTC)।<ref name="graves2006" />सीटीसी-प्रशिक्षित एलएसटीएम ने वाक् पहचान में सफलता हासिल की।<ref name="fernandez2007icann" /><ref name="Beau15" /><ref name="GoogleVoiceSearch" /><ref name="microsoft2017" />
2006: ग्रेव्स, फर्नांडीज, गोमेज़ और श्मिटहुबर ने लंबी अल्पकालिक स्मृति (LSTM) के लिए एक नया त्रुटि फंक्शन प्रस्तुत  किया: एक साथ संरेखण और अनुक्रमों की पहचान के लिए [[ कनेक्शनिस्ट टेम्पोरल वर्गीकरण | कनेक्शनिस्ट टेम्पोरल वर्गीकरण]] (CTC)।<ref name="graves2006" />सीटीसी-प्रशिक्षित एलएसटीएम ने वाक् पहचान में सफलता हासिल की।<ref name="fernandez2007icann" /><ref name="Beau15" /><ref name="GoogleVoiceSearch" /><ref name="microsoft2017" />


मेयर एट अल। [[रोबोट]] को नियंत्रित करने के लिए प्रशिक्षितलंबी अल्पकालिक स्मृति (LSTM)।<ref name="mayer2006" />
मेयर एट अल। [[रोबोट]] को नियंत्रित करने के लिए प्रशिक्षित लंबी अल्पकालिक स्मृति (LSTM)।<ref name="mayer2006" />


2007: Wierstra, Foerster, Peters और Schmidhuber नेलंबी अल्पकालिक स्मृति (LSTM) को बिना शिक्षक के सुदृढीकरण सीखने के लिए नीतिगत ढाल द्वारा प्रशिक्षित किया।<ref name="wierstra2007">{{Cite journal|last1=Wierstra|first1=Daan|last2=Foerster|first2=Alexander|last4=Schmidhuber|first4=Juergen|last3=Peters|first3=Jan|date=2005|title=आवर्तक नीति ग्रेडियेंट के साथ डीप मेमोरी पीओएमडीपी को हल करना|url=https://people.idsia.ch/~juergen/lstm-policy-gradient-2010.html|journal=International Conference on Artificial Neural Networks ICANN'07}}</ref>
2007: Wierstra, Foerster, Peters और Schmidhuber ने लंबी अल्पकालिक स्मृति (LSTM) को बिना शिक्षक के सुदृढीकरण सीखने के लिए नीतिगत ढाल द्वारा प्रशिक्षित किया।<ref name="wierstra2007">{{Cite journal|last1=Wierstra|first1=Daan|last2=Foerster|first2=Alexander|last4=Schmidhuber|first4=Juergen|last3=Peters|first3=Jan|date=2005|title=आवर्तक नीति ग्रेडियेंट के साथ डीप मेमोरी पीओएमडीपी को हल करना|url=https://people.idsia.ch/~juergen/lstm-policy-gradient-2010.html|journal=International Conference on Artificial Neural Networks ICANN'07}}</ref>


Hochreiter, Heuesel, और Obermayr नेलंबी अल्पकालिक स्मृति (LSTM) को जीव विज्ञान के क्षेत्र में प्रोटीन समरूपता का पता लगाने के लिए लागू किया।<ref name="hochreiter2007" />
Hochreiter, Heuesel, और Obermayr ने लंबी अल्पकालिक स्मृति (LSTM) को जीव विज्ञान के क्षेत्र में प्रोटीन समरूपता का पता लगाने के लिए लागू किया।<ref name="hochreiter2007" />


2009: CTC द्वारा प्रशिक्षित एकलंबी अल्पकालिक स्मृति (LSTM) ने [[ICDAR]] से जुड़ी लिखावट पहचान प्रतियोगिता जीती। ऐसे तीन मॉडल एलेक्स ग्रेव्स (कंप्यूटर वैज्ञानिक) के नेतृत्व वाली टीम द्वारा प्रस्तुत किए गए थे।<ref name="graves2009">{{Cite journal|last1=Graves|first1=A.|last2=Liwicki|first2=M.|last3=Fernández|first3=S.|last4=Bertolami|first4=R.|last5=Bunke|first5=H.|last6=Schmidhuber|first6=J.|date=May 2009|title=अप्रतिबंधित लिखावट पहचान के लिए एक उपन्यास संबंधक प्रणाली|journal=IEEE Transactions on Pattern Analysis and Machine Intelligence|volume=31|issue=5|pages=855–868|citeseerx=10.1.1.139.4502|doi=10.1109/tpami.2008.137|issn=0162-8828|pmid=19299860|s2cid=14635907}}</ref> एक प्रतियोगिता में सबसे सटीक मॉडल था और दूसरा सबसे तेज था।<ref name="maergner2009">{{Cite journal|last1=Märgner|first1=Volker|last2=Abed|first2=Haikal El|date=July 2009|title=ICDAR 2009 Arabic Handwriting Recognition Competition|journal=2009 10th International Conference on Document Analysis and Recognition|pages=1383–1387|doi=10.1109/ICDAR.2009.256|isbn=978-1-4244-4500-4|s2cid=52851337}}</ref> यह पहली बार था जब किसी आरएनएन ने अंतर्राष्ट्रीय प्रतियोगिताओं में जीत हासिल की।<ref name="miraculous2021" />
2009: CTC द्वारा प्रशिक्षित एक लंबी अल्पकालिक स्मृति (LSTM) ने [[ICDAR]] से जुड़ी लिखावट पहचान प्रतियोगिता जीती। ऐसे तीन मॉडल एलेक्स ग्रेव्स (कंप्यूटर वैज्ञानिक) के नेतृत्व वाली टीम द्वारा प्रस्तुत किए गए थे।<ref name="graves2009">{{Cite journal|last1=Graves|first1=A.|last2=Liwicki|first2=M.|last3=Fernández|first3=S.|last4=Bertolami|first4=R.|last5=Bunke|first5=H.|last6=Schmidhuber|first6=J.|date=May 2009|title=अप्रतिबंधित लिखावट पहचान के लिए एक उपन्यास संबंधक प्रणाली|journal=IEEE Transactions on Pattern Analysis and Machine Intelligence|volume=31|issue=5|pages=855–868|citeseerx=10.1.1.139.4502|doi=10.1109/tpami.2008.137|issn=0162-8828|pmid=19299860|s2cid=14635907}}</ref> एक प्रतियोगिता में सबसे सटीक मॉडल था और दूसरा सबसे तेज था।<ref name="maergner2009">{{Cite journal|last1=Märgner|first1=Volker|last2=Abed|first2=Haikal El|date=July 2009|title=ICDAR 2009 Arabic Handwriting Recognition Competition|journal=2009 10th International Conference on Document Analysis and Recognition|pages=1383–1387|doi=10.1109/ICDAR.2009.256|isbn=978-1-4244-4500-4|s2cid=52851337}}</ref> यह पहली बार था जब किसी आरएनएन ने अंतर्राष्ट्रीय प्रतियोगिताओं में जीत हासिल की।<ref name="miraculous2021" />


2009: जस्टिन बायर एट अल।लंबी अल्पकालिक स्मृति (LSTM) के लिए [[ तंत्रिका वास्तुकला खोज | तंत्रिका वास्तुकला खोज]] प्रारम्भ  किया।<ref name="bayer2009">{{Cite journal|last1=Bayer|first1=Justin|last2=Wierstra|first2=Daan|last4=Schmidhuber|first4=Juergen|last3=Togelius|first3=Julian|date=2009|title=अनुक्रम सीखने के लिए मेमोरी सेल संरचनाओं का विकास|journal=International Conference on Artificial Neural Networks ICANN'09, Cyprus}}</ref><ref name="miraculous2021" />
2009: जस्टिन बायर एट अल। लंबी अल्पकालिक स्मृति (LSTM) के लिए [[ तंत्रिका वास्तुकला खोज | तंत्रिका वास्तुकला खोज]] प्रारम्भ  किया।<ref name="bayer2009">{{Cite journal|last1=Bayer|first1=Justin|last2=Wierstra|first2=Daan|last4=Schmidhuber|first4=Juergen|last3=Togelius|first3=Julian|date=2009|title=अनुक्रम सीखने के लिए मेमोरी सेल संरचनाओं का विकास|journal=International Conference on Artificial Neural Networks ICANN'09, Cyprus}}</ref><ref name="miraculous2021" />


2013: एलेक्स ग्रेव्स, अब्देल-रहमान मोहम्मद और जेफ्री हिंटन नेलंबी अल्पकालिक स्मृति (LSTM) नेटवर्क का उपयोग नेटवर्क के एक प्रमुख घटक के रूप में किया जिसने क्लासिक [[TIMIT]] प्राकृतिक भाषण डेटासेट पर रिकॉर्ड 17.7% [[स्वनिम]] त्रुटि दर हासिल की।<ref name="graves2013" />
2013: एलेक्स ग्रेव्स, अब्देल-रहमान मोहम्मद और जेफ्री हिंटन ने लंबी अल्पकालिक स्मृति (LSTM) नेटवर्क का उपयोग नेटवर्क के एक प्रमुख घटक के रूप में किया जिसने क्लासिक [[TIMIT]] प्राकृतिक भाषण डेटासेट पर रिकॉर्ड 17.7% [[स्वनिम]] त्रुटि दर हासिल की।<ref name="graves2013" />


2014: क्युनघ्युन चो एट अल। भूल गेटलंबी अल्पकालिक स्मृति (LSTM) का एक सरलीकृत संस्करण सामने रखें<ref name="lstm1999" />[[गेटेड आवर्तक इकाई]] (जीआरयू) कहा जाता है।<ref name="cho2014">{{cite arXiv |last1=Cho |first1=Kyunghyun|last2=van Merrienboer|first2=Bart|last3=Gulcehre|first3=Caglar|last4=Bahdanau|first4=Dzmitry|last5=Bougares|first5=Fethi|last6=Schwenk|first6=Holger|last7=Bengio|first7=Yoshua|date=2014 |title=सांख्यिकीय मशीन अनुवाद के लिए आरएनएन एनकोडर-डिकोडर का उपयोग करते हुए लर्निंग वाक्यांश प्रतिनिधित्व|eprint=1406.1078|class=cs.CL}}</ref>
2014: क्युनघ्युन चो एट अल। भूल गेट लंबी अल्पकालिक स्मृति (LSTM) का एक सरलीकृत संस्करण सामने रखें<ref name="lstm1999" />[[गेटेड आवर्तक इकाई]] (जीआरयू) कहा जाता है।<ref name="cho2014">{{cite arXiv |last1=Cho |first1=Kyunghyun|last2=van Merrienboer|first2=Bart|last3=Gulcehre|first3=Caglar|last4=Bahdanau|first4=Dzmitry|last5=Bougares|first5=Fethi|last6=Schwenk|first6=Holger|last7=Bengio|first7=Yoshua|date=2014 |title=सांख्यिकीय मशीन अनुवाद के लिए आरएनएन एनकोडर-डिकोडर का उपयोग करते हुए लर्निंग वाक्यांश प्रतिनिधित्व|eprint=1406.1078|class=cs.CL}}</ref>


2015: Google ने Google Voice पर वाक् पहचान के लिए CTC द्वारा प्रशिक्षितलंबी अल्पकालिक स्मृति (LSTM) का उपयोग करना प्रारम्भ  किया।<ref name="Beau15">{{Cite news|last=Beaufays|first=Françoise|url=http://googleresearch.blogspot.co.at/2015/08/the-neural-networks-behind-google-voice.html|title=Google Voice ट्रांसक्रिप्शन के पीछे तंत्रिका नेटवर्क|date=August 11, 2015|work=Research Blog|access-date=2017-06-27}}</ref><ref name="GoogleVoiceSearch">{{Cite news|last1=Sak|first1=Haşim|url=http://googleresearch.blogspot.co.uk/2015/09/google-voice-search-faster-and-more.html|title=Google voice search: faster and more accurate|date=September 24, 2015|work=Research Blog|access-date=2017-06-27|last2=Senior|first2=Andrew|language=en-US|last3=Rao|first3=Kanishka|last4=Beaufays|first4=Françoise|last5=Schalkwyk|first5=Johan}}</ref> आधिकारिक ब्लॉग पोस्ट के अनुसार, नया मॉडल ट्रांसक्रिप्शन त्रुटियों में 49% की कटौती करता है।<ref name="googleblog2015">{{Cite web|url=https://googleblog.blogspot.com/2015/07/neon-prescription-or-rather-new.html|title=नियॉन प्रिस्क्रिप्शन... या यूँ कहें, Google Voice के लिए नया ट्रांसक्रिप्शन|website=Official Google Blog|date=23 July 2015|language=en|access-date=2020-04-25}}</ref>
2015: Google ने Google Voice पर वाक् पहचान के लिए CTC द्वारा प्रशिक्षित लंबी अल्पकालिक स्मृति (LSTM) का उपयोग करना प्रारम्भ  किया।<ref name="Beau15">{{Cite news|last=Beaufays|first=Françoise|url=http://googleresearch.blogspot.co.at/2015/08/the-neural-networks-behind-google-voice.html|title=Google Voice ट्रांसक्रिप्शन के पीछे तंत्रिका नेटवर्क|date=August 11, 2015|work=Research Blog|access-date=2017-06-27}}</ref><ref name="GoogleVoiceSearch">{{Cite news|last1=Sak|first1=Haşim|url=http://googleresearch.blogspot.co.uk/2015/09/google-voice-search-faster-and-more.html|title=Google voice search: faster and more accurate|date=September 24, 2015|work=Research Blog|access-date=2017-06-27|last2=Senior|first2=Andrew|language=en-US|last3=Rao|first3=Kanishka|last4=Beaufays|first4=Françoise|last5=Schalkwyk|first5=Johan}}</ref> आधिकारिक ब्लॉग पोस्ट के अनुसार, नया मॉडल ट्रांसक्रिप्शन त्रुटियों में 49% की कटौती करता है।<ref name="googleblog2015">{{Cite web|url=https://googleblog.blogspot.com/2015/07/neon-prescription-or-rather-new.html|title=नियॉन प्रिस्क्रिप्शन... या यूँ कहें, Google Voice के लिए नया ट्रांसक्रिप्शन|website=Official Google Blog|date=23 July 2015|language=en|access-date=2020-04-25}}</ref>


2015: रूपेश कुमार श्रीवास्तव, क्लॉस ग्रीफ और श्मिधुबर ने एलएसटीएम सिद्धांतों का इस्तेमाल किया<ref name="lstm1999" />[[ राजमार्ग नेटवर्क | राजमार्ग नेटवर्क]] बनाने के लिए, सैकड़ों परतों वाला एक फीडफॉरवर्ड न्यूरल नेटवर्क, जो पिछले नेटवर्क की तुलना में बहुत गहरा है।<ref name="highway2015">{{cite arXiv|last1=Srivastava|first1=Rupesh Kumar|last2=Greff|first2=Klaus|last3=Schmidhuber|first3=Jürgen|title=राजमार्ग नेटवर्क|eprint=1505.00387|date=2 May 2015|class=cs.LG}}</ref><ref name="highway2015neurips">{{cite journal|last1=Srivastava|first1=Rupesh K|last2=Greff|first2=Klaus|last3=Schmidhuber|first3=Juergen|title=प्रशिक्षण बहुत गहरा नेटवर्क|journal=Advances in Neural Information Processing Systems |date=2015|volume=28|pages=2377–2385|url=http://papers.nips.cc/paper/5850-training-very-deep-networks|publisher=Curran Associates, Inc.}}</ref><ref name="mostcited2021">{{Cite news| last=Schmidhuber |first=Jürgen |url=https://people.idsia.ch/~juergen/most-cited-neural-nets.html|title=सबसे उद्धृत तंत्रिका नेटवर्क सभी मेरी प्रयोगशालाओं में किए गए काम पर बनते हैं|date=2021|work=AI Blog| location=IDSIA, Switzerland | access-date=2022-04-30}}</ref> 7 महीने बाद, कैमिंग हे, जियानग्यू झांग; शाओकिंग रेन, और जियान सन ने इमेजनेट 2015 प्रतियोगिता को ओपन-गेटेड या गेटलेस हाईवे नेटवर्क संस्करण के साथ [[ अवशिष्ट तंत्रिका नेटवर्क | अवशिष्ट तंत्रिका नेटवर्क]] कहा जाता है।<ref name="resnet2015">{{Cite conference|last1=He|first1=Kaiming|last2=Zhang|first2=Xiangyu|last3=Ren|first3=Shaoqing|last4=Sun|first4=Jian|date=2016|title=इमेज रिकग्निशन के लिए डीप रेजिडुअल लर्निंग|url=https://ieeexplore.ieee.org/document/7780459|journal=2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)|location=Las Vegas, NV, USA|publisher=IEEE|pages=770–778|arxiv=1512.03385|doi=10.1109/CVPR.2016.90|isbn=978-1-4673-8851-1}}</ref> यह 21वीं सदी का सबसे उद्धृत तंत्रिका नेटवर्क बन गया है।<ref name="mostcited2021" />
2015: रूपेश कुमार श्रीवास्तव, क्लॉस ग्रीफ और श्मिधुबर ने एलएसटीएम सिद्धांतों का उपयोग किया<ref name="lstm1999" />[[ राजमार्ग नेटवर्क | राजमार्ग नेटवर्क]] बनाने के लिए, सैकड़ों परतों वाला एक फीडफॉरवर्ड न्यूरल नेटवर्क, जो पिछले नेटवर्क की तुलना में बहुत गहरा है।<ref name="highway2015">{{cite arXiv|last1=Srivastava|first1=Rupesh Kumar|last2=Greff|first2=Klaus|last3=Schmidhuber|first3=Jürgen|title=राजमार्ग नेटवर्क|eprint=1505.00387|date=2 May 2015|class=cs.LG}}</ref><ref name="highway2015neurips">{{cite journal|last1=Srivastava|first1=Rupesh K|last2=Greff|first2=Klaus|last3=Schmidhuber|first3=Juergen|title=प्रशिक्षण बहुत गहरा नेटवर्क|journal=Advances in Neural Information Processing Systems |date=2015|volume=28|pages=2377–2385|url=http://papers.nips.cc/paper/5850-training-very-deep-networks|publisher=Curran Associates, Inc.}}</ref><ref name="mostcited2021">{{Cite news| last=Schmidhuber |first=Jürgen |url=https://people.idsia.ch/~juergen/most-cited-neural-nets.html|title=सबसे उद्धृत तंत्रिका नेटवर्क सभी मेरी प्रयोगशालाओं में किए गए काम पर बनते हैं|date=2021|work=AI Blog| location=IDSIA, Switzerland | access-date=2022-04-30}}</ref> 7 महीने बाद कैमिंग हे, जियानग्यू झांग; शाओकिंग रेन और जियान सन ने इमेजनेट 2015 प्रतियोगिता को ओपन-गेटेड या गेटलेस हाईवे नेटवर्क संस्करण के साथ [[ अवशिष्ट तंत्रिका नेटवर्क |अवशिष्ट तंत्रिका नेटवर्क]] कहा जाता है।<ref name="resnet2015">{{Cite conference|last1=He|first1=Kaiming|last2=Zhang|first2=Xiangyu|last3=Ren|first3=Shaoqing|last4=Sun|first4=Jian|date=2016|title=इमेज रिकग्निशन के लिए डीप रेजिडुअल लर्निंग|url=https://ieeexplore.ieee.org/document/7780459|journal=2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)|location=Las Vegas, NV, USA|publisher=IEEE|pages=770–778|arxiv=1512.03385|doi=10.1109/CVPR.2016.90|isbn=978-1-4673-8851-1}}</ref> यह 21वीं सदी का सबसे उद्धृत तंत्रिका नेटवर्क बन गया है।<ref name="mostcited2021" />


2016: Google ने Allo वार्तालाप ऐप में संदेशों का सुझाव देने के लिएलंबी अल्पकालिक स्मृति (LSTM) का उपयोग करना प्रारम्भ  किया।<ref name="GoogleAllo">{{Cite news|last=Khaitan|first=Pranav|url=http://googleresearch.blogspot.co.at/2016/05/chat-smarter-with-allo.html|title=Allo के साथ स्मार्ट चैट करें|date=May 18, 2016|work=Research Blog|access-date=2017-06-27}}</ref> उसी वर्ष Google ने Google अनुवाद के लिए [[Google तंत्रिका मशीन अनुवाद]] प्रणाली जारी की, जिसनेलंबी अल्पकालिक स्मृति (LSTM) का उपयोग करके अनुवाद त्रुटियों को 60% तक कम कर दिया।<ref name="GoogleTranslate">{{cite arXiv|eprint=1609.08144|class=cs.CL|first1=Yonghui|last1=Wu|first2=Mike|last2=Schuster|title=Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation|date=2016-09-26|last7=Krikun|last4=Le|first4=Quoc V.|last5=Norouzi|first5=Mohammad|last6=Macherey|last9=Gao|first3=Zhifeng|first7=Maxim|first8=Yuan|first9=Qin|last8=Cao|last3=Chen|first6=Wolfgang}}</ref><ref name="WiredGoogleTranslate">{{Cite magazine|last=Metz|first=Cade|date=September 27, 2016|title=An Infusion of AI Makes Google Translate More Powerful Than Ever {{!}} WIRED|url=https://www.wired.com/2016/09/google-claims-ai-breakthrough-machine-translation/|magazine=Wired|access-date=2017-06-27}}</ref><ref name="googleblog2016">{{Cite web|url=http://ai.googleblog.com/2016/09/a-neural-network-for-machine.html|title=उत्पादन पैमाने पर मशीनी अनुवाद के लिए एक तंत्रिका नेटवर्क|website=Google AI Blog|language=en|access-date=2020-04-25}}</ref>
2016: Google ने Allo वार्तालाप ऐप में संदेशों का सुझाव देने के लिए लंबी अल्पकालिक स्मृति (LSTM) का उपयोग करना प्रारम्भ  किया।<ref name="GoogleAllo">{{Cite news|last=Khaitan|first=Pranav|url=http://googleresearch.blogspot.co.at/2016/05/chat-smarter-with-allo.html|title=Allo के साथ स्मार्ट चैट करें|date=May 18, 2016|work=Research Blog|access-date=2017-06-27}}</ref> उसी वर्ष Google ने Google अनुवाद के लिए [[Google तंत्रिका मशीन अनुवाद]] प्रणाली प्रारम्भ की जिसने लंबी अल्पकालिक स्मृति (LSTM) का उपयोग करके अनुवाद त्रुटियों को 60% तक कम कर दिया।<ref name="GoogleTranslate">{{cite arXiv|eprint=1609.08144|class=cs.CL|first1=Yonghui|last1=Wu|first2=Mike|last2=Schuster|title=Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation|date=2016-09-26|last7=Krikun|last4=Le|first4=Quoc V.|last5=Norouzi|first5=Mohammad|last6=Macherey|last9=Gao|first3=Zhifeng|first7=Maxim|first8=Yuan|first9=Qin|last8=Cao|last3=Chen|first6=Wolfgang}}</ref><ref name="WiredGoogleTranslate">{{Cite magazine|last=Metz|first=Cade|date=September 27, 2016|title=An Infusion of AI Makes Google Translate More Powerful Than Ever {{!}} WIRED|url=https://www.wired.com/2016/09/google-claims-ai-breakthrough-machine-translation/|magazine=Wired|access-date=2017-06-27}}</ref><ref name="googleblog2016">{{Cite web|url=http://ai.googleblog.com/2016/09/a-neural-network-for-machine.html|title=उत्पादन पैमाने पर मशीनी अनुवाद के लिए एक तंत्रिका नेटवर्क|website=Google AI Blog|language=en|access-date=2020-04-25}}</ref>


Apple ने अपने [[Apple वर्ल्डवाइड डेवलपर्स कॉन्फ्रेंस]] में घोषणा की कि वह क्विकटाइप के लिएलंबी अल्पकालिक स्मृति (LSTM) का उपयोग करना प्रारम्भ कर देगा<ref name="AppleQuicktype">{{Cite web|title=Apple की मशीनें भी सीख सकती हैं|url=https://www.theinformation.com/apples-machines-can-learn-too|last=Efrati|first=Amir|date=June 13, 2016|website=The Information|access-date=2017-06-27}}</ref><ref name="AppleQuicktype2">{{Cite news|last=Ranger|first=Steve|date=June 14, 2016|title=iPhone, AI and big data: Here's how Apple plans to protect your privacy {{!}} ZDNet|work=ZDNet|url=http://www.zdnet.com/article/ai-big-data-and-the-iphone-heres-how-apple-plans-to-protect-your-privacy|access-date=2017-06-27}}</ref><ref>{{Cite web|title=Can Global Semantic Context Improve Neural Language Models? – Apple|url=https://machinelearning.apple.com/2018/09/27/can-global-semantic-context-improve-neural-language-models.html|website=Apple Machine Learning Journal|language=en-US|access-date=2020-04-30}}</ref> iPhone में और सिरी के लिए।<ref name="AppleSiri">{{Cite web|title=iOS 10: Siri now works in third-party apps, comes with extra AI features|url=http://bgr.com/2016/06/13/ios-10-siri-third-party-apps/|last=Smith|first=Chris|date=2016-06-13|website=BGR|access-date=2017-06-27}}</ref><ref name="capes2017">{{Cite journal|last1=Capes|first1=Tim|last2=Coles|first2=Paul|last3=Conkie|first3=Alistair|last4=Golipour|first4=Ladan|last5=Hadjitarkhani|first5=Abie|last6=Hu|first6=Qiong|last7=Huddleston|first7=Nancy|last8=Hunt|first8=Melvyn|last9=Li|first9=Jiangchuan|last10=Neeracher|first10=Matthias|last11=Prahallad|first11=Kishore|date=2017-08-20|title=सिरी ऑन-डिवाइस डीप लर्निंग-गाइडेड यूनिट सेलेक्शन टेक्स्ट-टू-स्पीच सिस्टम|url=http://www.isca-speech.org/archive/Interspeech_2017/abstracts/1798.html|journal=Interspeech 2017|language=en|publisher=ISCA|pages=4011–4015|doi=10.21437/Interspeech.2017-1798}}</ref>
Apple ने अपने [[Apple वर्ल्डवाइड डेवलपर्स कॉन्फ्रेंस]] में घोषणा की कि वह क्विकटाइप के लिए लंबी अल्पकालिक स्मृति (LSTM) का उपयोग करना प्रारम्भ कर देगा<ref name="AppleQuicktype">{{Cite web|title=Apple की मशीनें भी सीख सकती हैं|url=https://www.theinformation.com/apples-machines-can-learn-too|last=Efrati|first=Amir|date=June 13, 2016|website=The Information|access-date=2017-06-27}}</ref><ref name="AppleQuicktype2">{{Cite news|last=Ranger|first=Steve|date=June 14, 2016|title=iPhone, AI and big data: Here's how Apple plans to protect your privacy {{!}} ZDNet|work=ZDNet|url=http://www.zdnet.com/article/ai-big-data-and-the-iphone-heres-how-apple-plans-to-protect-your-privacy|access-date=2017-06-27}}</ref><ref>{{Cite web|title=Can Global Semantic Context Improve Neural Language Models? – Apple|url=https://machinelearning.apple.com/2018/09/27/can-global-semantic-context-improve-neural-language-models.html|website=Apple Machine Learning Journal|language=en-US|access-date=2020-04-30}}</ref> iPhone में और सिरी के लिए।<ref name="AppleSiri">{{Cite web|title=iOS 10: Siri now works in third-party apps, comes with extra AI features|url=http://bgr.com/2016/06/13/ios-10-siri-third-party-apps/|last=Smith|first=Chris|date=2016-06-13|website=BGR|access-date=2017-06-27}}</ref><ref name="capes2017">{{Cite journal|last1=Capes|first1=Tim|last2=Coles|first2=Paul|last3=Conkie|first3=Alistair|last4=Golipour|first4=Ladan|last5=Hadjitarkhani|first5=Abie|last6=Hu|first6=Qiong|last7=Huddleston|first7=Nancy|last8=Hunt|first8=Melvyn|last9=Li|first9=Jiangchuan|last10=Neeracher|first10=Matthias|last11=Prahallad|first11=Kishore|date=2017-08-20|title=सिरी ऑन-डिवाइस डीप लर्निंग-गाइडेड यूनिट सेलेक्शन टेक्स्ट-टू-स्पीच सिस्टम|url=http://www.isca-speech.org/archive/Interspeech_2017/abstracts/1798.html|journal=Interspeech 2017|language=en|publisher=ISCA|pages=4011–4015|doi=10.21437/Interspeech.2017-1798}}</ref>


अमेज़ॅन ने [[अमेज़न पोली]] जारी किया, जो टेक्स्ट-टू-स्पीच तकनीक के लिए द्विदिश एलएसटीएम का उपयोग करके एलेक्सा के पीछे आवाज उत्पन्न करता है।<ref name="AmazonAlexa">{{Cite web|title=Bringing the Magic of Amazon AI and Alexa to Apps on AWS. – All Things Distributed|url=http://www.allthingsdistributed.com/2016/11/amazon-ai-and-alexa-for-all-aws-apps.html|last=Vogels|first=Werner|date=30 November 2016|website=www.allthingsdistributed.com|access-date=2017-06-27}}</ref>
अमेज़ॅन ने [[अमेज़न पोली]] प्रारम्भ की जो भाषण के पाठ तकनीक के लिए द्विदिश एलएसटीएम का उपयोग करके एलेक्सा के पीछे आवाज उत्पन्न करता है।<ref name="AmazonAlexa">{{Cite web|title=Bringing the Magic of Amazon AI and Alexa to Apps on AWS. – All Things Distributed|url=http://www.allthingsdistributed.com/2016/11/amazon-ai-and-alexa-for-all-aws-apps.html|last=Vogels|first=Werner|date=30 November 2016|website=www.allthingsdistributed.com|access-date=2017-06-27}}</ref>


2017: फेसबुक ने लंबी अल्पकालिक स्मृति नेटवर्क का उपयोग करते हुए हर दिन लगभग 4.5 बिलियन स्वचालित अनुवाद किए।<ref name="FacebookTranslate">{{Cite web|url=https://www.theverge.com/2017/8/4/16093872/facebook-ai-translations-artificial-intelligence|title=फेसबुक के अनुवाद अब पूरी तरह से एआई द्वारा संचालित हैं|last=Ong|first=Thuy|date=4 August 2017|website=www.allthingsdistributed.com|access-date=2019-02-15}}</ref>
2017: फेसबुक ने लंबी अल्पकालिक स्मृति नेटवर्क का उपयोग करते हुए हर दिन लगभग 4.5 बिलियन स्वचालित अनुवाद किए।<ref name="FacebookTranslate">{{Cite web|url=https://www.theverge.com/2017/8/4/16093872/facebook-ai-translations-artificial-intelligence|title=फेसबुक के अनुवाद अब पूरी तरह से एआई द्वारा संचालित हैं|last=Ong|first=Thuy|date=4 August 2017|website=www.allthingsdistributed.com|access-date=2019-02-15}}</ref>


[[ मिशिगन स्टेट विश्वविद्यालय |मिशिगन स्टेट विश्वविद्यालय]] , [[आईबीएम रिसर्च]] और [[ कॉर्नेल विश्वविद्यालय | कॉर्नेल विश्वविद्यालय]] के शोधकर्ताओं ने नॉलेज डिस्कवरी एंड डाटा माइनिंग (केडीडी) सम्मेलन में एक अध्ययन प्रकाशित किया।<ref>{{cite web|url=http://biometrics.cse.msu.edu/Publications/MachineLearning/Baytasetal_PatientSubtypingViaTimeAwareLSTMNetworks.pdf | title= Time-Aware LSTM नेटवर्क के माध्यम से रोगी सबटाइपिंग|website= msu.edu |access-date= 21 Nov 2018}}</ref><ref>{{cite web |url= http://www.kdd.org/kdd2017/papers/view/patient-subtyping-via-time-aware-lstm-networks |title= Time-Aware LSTM नेटवर्क के माध्यम से रोगी सबटाइपिंग|website= Kdd.org |access-date= 24 May 2018}}</ref><ref>{{cite web |url= http://www.kdd.org |title=SIGKDD|website= Kdd.org |access-date= 24 May 2018}}</ref> उनका टाइम-अवेयरलंबी अल्पकालिक स्मृति (LSTM) (T-LSTM) मानकलंबी अल्पकालिक स्मृति (LSTM) की तुलना में कुछ डेटा सेटों पर बेहतर प्रदर्शन करता है।
[[ मिशिगन स्टेट विश्वविद्यालय |मिशिगन स्टेट विश्वविद्यालय]],[[आईबीएम रिसर्च]] और [[ कॉर्नेल विश्वविद्यालय |कॉर्नेल विश्वविद्यालय]] के शोधकर्ताओं ने नॉलेज डिस्कवरी एंड डाटा माइनिंग (केडीडी) सम्मेलन में एक अध्ययन प्रकाशित किया।<ref>{{cite web|url=http://biometrics.cse.msu.edu/Publications/MachineLearning/Baytasetal_PatientSubtypingViaTimeAwareLSTMNetworks.pdf | title= Time-Aware LSTM नेटवर्क के माध्यम से रोगी सबटाइपिंग|website= msu.edu |access-date= 21 Nov 2018}}</ref><ref>{{cite web |url= http://www.kdd.org/kdd2017/papers/view/patient-subtyping-via-time-aware-lstm-networks |title= Time-Aware LSTM नेटवर्क के माध्यम से रोगी सबटाइपिंग|website= Kdd.org |access-date= 24 May 2018}}</ref><ref>{{cite web |url= http://www.kdd.org |title=SIGKDD|website= Kdd.org |access-date= 24 May 2018}}</ref> उनका टाइम-अवेयरलंबी अल्पकालिक स्मृति (LSTM) (T-LSTM) मानक लंबी अल्पकालिक स्मृति (LSTM) की तुलना में कुछ डेटा सेटों पर बेहतर प्रदर्शन करता है।


Microsoft ने 165,000 शब्दों की शब्दावली को सम्मिलित करते हुए [[स्विचबोर्ड कॉर्पस]] पर 94.9% पहचान सटीकता तक पहुंचने की सूचना दी। दृष्टिकोण ने संवाद सत्र-आधारित दीर्घकालिक अल्पकालिक स्मृति का उपयोग किया।<ref name="microsoft2017">{{Cite web|url=http://newatlas.com/microsoft-speech-recognition-equals-humans/50999|title=Microsoft की वाक् पहचान प्रणाली अब मानव जितनी अच्छी है|last=Haridy|first=Rich|date=August 21, 2017|website=newatlas.com|access-date=2017-08-27}}</ref>
Microsoft ने 165,000 शब्दों की शब्दावली को सम्मिलित करते हुए [[स्विचबोर्ड कॉर्पस]] पर 94.9% पहचान सटीकता तक पहुंचने की सूचना दी और दृष्टिकोण ने संवाद सत्र-आधारित दीर्घकालिक अल्पकालिक स्मृति का उपयोग किया।<ref name="microsoft2017">{{Cite web|url=http://newatlas.com/microsoft-speech-recognition-equals-humans/50999|title=Microsoft की वाक् पहचान प्रणाली अब मानव जितनी अच्छी है|last=Haridy|first=Rich|date=August 21, 2017|website=newatlas.com|access-date=2017-08-27}}</ref>


2018: OpenAI ने Dota 2 के जटिल वीडियो गेम में इंसानों को मात देने के लिए पॉलिसी ग्रेडिएंट्स द्वारा प्रशिक्षितलंबी अल्पकालिक स्मृति (LSTM) का इस्तेमाल किया।<ref name="OpenAIfive" />और एक मानव-जैसे रोबोट हाथ को नियंत्रित करने के लिए जो अभूतपूर्व निपुणता के साथ भौतिक वस्तुओं में हेरफेर करता है।<ref name="OpenAIhand" /><ref name="miraculous2021" />
2018: OpenAI ने Dota 2 के जटिल वीडियो गेम में इंसानों को मात देने के लिए पॉलिसी ग्रेडिएंट्स द्वारा प्रशिक्षितलंबी अल्पकालिक स्मृति (LSTM) का उपयोग किया<ref name="OpenAIfive" />और एक मानव-जैसे रोबोट हाथ को नियंत्रित करने के लिए जो अभूतपूर्व निपुणता के साथ भौतिक वस्तुओं में हेरफेर करता है।<ref name="OpenAIhand" /><ref name="miraculous2021" />


2019: डीपमाइंड ने स्टारक्राफ्ट II के जटिल वीडियो गेम में उत्कृष्टता प्राप्त करने के लिए पॉलिसी ग्रेडिएंट्स द्वारा प्रशिक्षितलंबी अल्पकालिक स्मृति (LSTM) का उपयोग किया।<ref name="alphastar" /><ref name="miraculous2021" />
2019: डीपमाइंड ने स्टारक्राफ्ट II के जटिल वीडियो गेम में उत्कृष्टता प्राप्त करने के लिए पॉलिसी ग्रेडिएंट्स द्वारा प्रशिक्षितलंबी अल्पकालिक स्मृति (LSTM) का उपयोग किया।<ref name="alphastar" /><ref name="miraculous2021" />


2021: Google विद्वान के अनुसार, 2021 में,लंबी अल्पकालिक स्मृति (LSTM) को एक वर्ष के भीतर 16,000 से अधिक बार उद्धृत किया गया था। यह स्वास्थ्य सेवा सहित कई अलग-अलग क्षेत्रों मेंलंबी अल्पकालिक स्मृति (LSTM) के अनुप्रयोगों को दर्शाता है।<ref name="decade2022">{{Cite news| last=Schmidhuber |first=Jürgen |url=https://people.idsia.ch/~juergen/2010s-our-decade-of-deep-learning.html|title=The 2010s: Our Decade of Deep Learning / Outlook on the 2020s|date=2021|work=AI Blog| location=IDSIA, Switzerland | access-date=2022-04-30}}</ref>
2021: Google विद्वान के अनुसार 2021 में लंबी अल्पकालिक स्मृति (LSTM) को एक वर्ष के भीतर 16,000 से अधिक बार उद्धृत किया गया था। यह स्वास्थ्य सेवा सहित कई अलग-अलग क्षेत्रों में लंबी अल्पकालिक स्मृति (LSTM) के अनुप्रयोगों को दर्शाता है।<ref name="decade2022">{{Cite news| last=Schmidhuber |first=Jürgen |url=https://people.idsia.ch/~juergen/2010s-our-decade-of-deep-learning.html|title=The 2010s: Our Decade of Deep Learning / Outlook on the 2020s|date=2021|work=AI Blog| location=IDSIA, Switzerland | access-date=2022-04-30}}</ref>




Revision as of 22:18, 5 May 2023

Part of a series on
Machine learning
and data mining
Scatterplot featuring a linear support vector machine's decision boundary (dashed line)
Problems
Clustering
Dimensionality reduction
Structured prediction
Anomaly detection
Artificial neural network
Reinforcement learning
Learning with humans
Model diagnostics
Theory
Machine-learning venues
Related articles
लंबी अल्पकालिक स्मृति (LSTM) सेल डेटा को क्रमिक रूप से प्रोसेस कर सकता है और समय के माध्यम से इसकी छिपी हुई स्थिति को बनाए रख सकता है।

लंबी अल्पकालिक स्मृति (LSTM)[1]एक कृत्रिम तंत्रिका नेटवर्क है जिसका उपयोग कृत्रिम बुद्धिमत्ता और गहन शिक्षा के क्षेत्र में किया जाता है। मानक फीडफॉरवर्ड न्यूरल नेटवर्क के विपरीत लंबी अल्पकालिक स्मृति (LSTM) में फीडबैक कनेक्शन होता है। ऐसा आवर्तक तंत्रिका नेटवर्क (RNN) न केवल एकल डेटा बिंदुओं (जैसे चित्र) को संसाधित कर सकता है बल्कि डेटा के संपूर्ण अनुक्रम (जैसे भाषण या वीडियो) को भी संसाधित कर सकता है। यह विशेषता डेटा को संसाधित करने और भविष्यवाणी करने के लिए लंबी अल्पकालिक स्मृति (LSTM) नेटवर्क को आदर्श बनाती है। उदाहरण के लिए लंबी अल्पकालिक स्मृति (LSTM) अचयनित, कनेक्टेड हस्तलिपि अभिज्ञान जैसे कार्यों पर लागू होता है।[2]वाक् पहचान,[3][4] मशीन अनुवाद,[5][6]भाषण गतिविधि का पता लगाने,[7] रोबोट नियंत्रण,[8][9]वीडियो गेम,[10][11]और स्वास्थ्य सेवा मे।[12]

लंबी अल्पकालिक स्मृति (LSTM) का नाम सादृश्य को संदर्भित करता है कि एक मानक आरएनएन में दीर्घकालिक स्मृति और अल्पकालिक स्मृति दोनों होती हैं। नेटवर्क में कनेक्शन वजन और पूर्वाग्रह प्रशिक्षण के प्रति एपिसोड में एक बार बदलते हैं और सिनैप्टिक ताकत में शारीरिक परिवर्तन कैसे दीर्घकालिक यादों को संग्रहीत करते हैं; नेटवर्क में सक्रियण पैटर्न प्रति समय-चरण में एक बार बदलते हैं और मस्तिष्क में अल्पकालिक यादों को संग्रहीत करने वाले इलेक्ट्रिक फायरिंग पैटर्न में पल-पल कैसे बदलाव होता है।[13]लंबी अल्पकालिक स्मृति (LSTM) आर्किटेक्चर का उद्देश्य आरएनएन के लिए एक अल्पकालिक मेमोरी प्रदान करना है जो हजारों टाइमस्टेप तक चल सकती है, इस प्रकार लंबी अवधि की मेमोरी होती है।[1]

एक सामान्य लंबी अल्पकालिक स्मृति (LSTM) इकाई एक सेल, एक इनपुट गेट, एक आउटपुट गेट से बनी होती है[14]।[15]सेल मनमाना समय अंतराल पर मूल्यों को याद रखता है और तीन द्वार सेल में और बाहर सूचना के प्रवाह को नियंत्रित करते हैं। भूल जाओ गेट्स तय करते हैं कि पिछली स्थिति को वर्तमान इनपुट की तुलना में 0 और 1 के बीच एक मान निर्दिष्ट करके पिछली स्थिति से किस सूचना को छोड़ना है। इसे रद्द करें। इनपुट गेट तय करते हैं कि वर्तमान स्थिति में कौन सी नई जानकारी स्टोर की जाए उसी प्रणाली का उपयोग करते हुए गेट्स को भूल जाते हैं। पिछली और वर्तमान अवस्थाओं को ध्यान में रखते हुए आउटपुट गेट्स 0 से 1 तक के मान को निर्दिष्ट करके वर्तमान स्थिति में सूचना के किन हिस्सों को नियंत्रित करते हैं। वर्तमान स्थिति से प्रासंगिक जानकारी का चयन करने से लंबी अल्पकालिक स्मृति (LSTM) नेटवर्क को वर्तमान और भविष्य के समय-चरणों में भविष्यवाणियां करने के लिए उपयोगी दीर्घकालिक निर्भरता बनाए रखने की अनुमति मिलती है।

लंबी अल्पकालिक स्मृति (LSTM) नेटवर्क मशीन लर्निंग, कंप्यूटर डाटा प्रोसेसिंग और समय श्रृंखला डेटा के आधार पर भविष्यवाणी करने के लिए अच्छी तरह से अनुकूल हैं क्योंकि समय श्रृंखला में महत्वपूर्ण घटनाओं के बीच अज्ञात अवधि हो सकती है। लुप्त हो रही ढाल की समस्या से निपटने के लिए लंबी अल्पकालिक स्मृति (LSTM) विकसित की गई थी।[16]पारंपरिक आरएनएन को प्रशिक्षित करते समय इसका सामना किया जा सकता है। अंतराल की लंबाई के प्रति सापेक्ष असंवेदनशीलता आरएनएन, छिपे हुए मार्कोव मॉडल और कई अनुप्रयोगों में अन्य अनुक्रम सीखने के तरीकों पर लंबी अल्पकालिक स्मृति (LSTM) का लाभ है।[citation needed]

प्रेरणा

सिद्धांत रूप में क्लासिक (या वेनिला) आवर्तक तंत्रिका नेटवर्क इनपुट अनुक्रमों में मनमाने ढंग से दीर्घकालिक निर्भरता का ट्रैक रख सकता है। वेनिला आरएनएन के साथ समस्या प्रकृति में कम्प्यूटेशनल (या व्यावहारिक) है: बैक-प्रचार का उपयोग करते हुए एक वैनिला आरएनएन को प्रशिक्षित करते समय लंबी अवधि के ग्रेडियेंट जो बैक-प्रचारित होते हैं और ग्रेडिएंट समस्या को लुप्त कर सकते हैं। लुप्त हो जाना (अर्थात वे शून्य की ओर प्रवृत्त हो सकते हैं) या विस्फोट (अर्थात वे अनंत की ओर प्रवृत्त हो सकते हैं)[16]प्रक्रिया में सम्मिलित संगणनाओं के कारण जो राउंड-ऑफ त्रुटि | परिमित-सटीक संख्याओं का उपयोग करती हैं।लंबी अल्पकालिक स्मृति (LSTM) इकाइयों का उपयोग करने वालेआरएनएन आंशिक रूप से लुप्त हो रही ढाल समस्या को हल करते हैं, क्योंकिलंबी अल्पकालिक स्मृति (LSTM) इकाइयाँ ढालों को भी अपरिवर्तित प्रवाहित करने की अनुमति देती हैं। हालाँकि,लंबी अल्पकालिक स्मृति (LSTM) नेटवर्क अभी भी विस्फोट की समस्या से पीड़ित हो सकता है।[17]

LSTM आर्किटेक्चर के पीछे का अंतर्ज्ञान एक तंत्रिका नेटवर्क में एक अतिरिक्त मॉड्यूल बनाना है जो सीखता है कि कब याद रखना है और कब प्रासंगिक जानकारी को भूलना है।[15]दूसरे शब्दों में नेटवर्क प्रभावी ढंग से सीखता है कि किस क्रम में बाद में किस जानकारी की आवश्यकता हो सकती है और जब उस जानकारी की आवश्यकता नहीं रह जाती है। उदाहरण के लिए प्राकृतिक भाषा प्रसंस्करण के संदर्भ में नेटवर्क व्याकरणिक निर्भरता सीख सकता है।[18] एकलंबी अल्पकालिक स्मृति (LSTM) वाक्य डेव को संसाधित कर सकता है, उनके विवादास्पद दावों के परिणामस्वरूप, (सांख्यिकीय रूप से संभावित) व्याकरणिक लिंग को याद करके है अब अछूत है और विषय डेव की संख्या, ध्यान दें कि यह जानकारी सर्वनाम के लिए प्रासंगिक है और ध्यान दें कि क्रिया के बाद यह जानकारी अब महत्वपूर्ण नहीं है।

वेरिएंट

नीचे दिए गए समीकरणों में, लोअरकेस चर सदिशों का प्रतिनिधित्व करते हैं। मैट्रिसेस और क्रमशः, इनपुट और आवर्तक कनेक्शन का भार होता है, जहां सबस्क्रिप्ट या तो इनपुट गेट हो सकता है , आउटपुट गेट , भूल जाओ गेट या मेमोरी सेल , गणना की जा रही सक्रियता के आधार पर। इस खंड में, हम इस प्रकार एक सदिश संकेतन का उपयोग कर रहे हैं। तो, उदाहरण के लिए, एकलंबी अल्पकालिक स्मृति (LSTM) सेल की केवल एक इकाई नहीं है, बल्कि इसमें सम्मिलित है लंबी अल्पकालिक स्मृति (LSTM) सेल की इकाइयाँ।

भूल गेट के साथलंबी अल्पकालिक स्मृति (LSTM)

एक भूल गेट के साथ एकलंबी अल्पकालिक स्मृति (LSTM) सेल के फॉरवर्ड पास के लिए समीकरणों के संक्षिप्त रूप हैं:[1][15]

जहां प्रारंभिक मान हैं और और संचालिका हैडमार्ड उत्पाद (मैट्रिसेस) (तत्व-वार उत्पाद) को दर्शाता है। सबस्क्रिप्ट समय चरण को अनुक्रमित करता है।

चर

  • :लंबी अल्पकालिक स्मृति (LSTM) इकाई के लिए इनपुट वेक्टर
  • : गेट के सक्रियण वेक्टर को भूल जाइए
  • : इनपुट/अपडेट गेट का सक्रियण वेक्टर
  • : आउटपुट गेट का सक्रियण वेक्टर
  • : छिपे हुए राज्य वेक्टर कोलंबी अल्पकालिक स्मृति (LSTM) इकाई के आउटपुट वेक्टर के रूप में भी जाना जाता है
  • : सेल इनपुट सक्रियण वेक्टर
  • : सेल राज्य वेक्टर
  • , और : वजन मैट्रिक्स और पूर्वाग्रह वेक्टर पैरामीटर जिन्हें प्रशिक्षण के दौरान सीखने की जरूरत है

जहां सुपरस्क्रिप्ट और क्रमशः इनपुट सुविधाओं की संख्या और छिपी हुई इकाइयों की संख्या का संदर्भ लें।

सक्रियण कार्य

पीपहोल एलएसटीएम

इनपुट के साथ एक #Peephole_LSTM इकाई (अर्थात ), आउटपुट (यानी ), और भूल जाओ (यानी ) द्वार

दाईं ओर का आंकड़ा पीपहोल कनेक्शन (यानी एक पीपहोल एलएसटीएम) के साथ एक एलएसटीएम इकाई का चित्रमय प्रतिनिधित्व है।[19][20]पीपहोल कनेक्शन फाटकों को निरंतर त्रुटि कैरोसेल (सीईसी) तक पहुंचने की अनुमति देता है जिसका सक्रियण सेल स्थिति है।[19] उपयोग नहीं होता है, के स्थान पर अधिकांश स्थानों पर प्रयोग किया जाता है।

प्रत्येक द्वार को फीड-फॉरवर्ड (या बहु-परत) तंत्रिका नेटवर्क में एक मानक न्यूरॉन के रूप में माना जा सकता है: अर्थात, वे एक भारित राशि के सक्रियण (सक्रियण कार्य का उपयोग करके) की गणना करते हैं। और समय कदम पर क्रमशः इनपुट, आउटपुट और भूल गेट्स की सक्रियता का प्रतिनिधित्व करते हैं .

मेमोरी सेल से 3 निकास तीर 3 द्वारों के लिए और पीपहोल कनेक्शन का प्रतिनिधित्व करते हैं। ये पीपहोल कनेक्शन वास्तव में मेमोरी सेल के सक्रियण के योगदान को दर्शाते हैं समय कदम पर , यानी का योगदान (और नहीं , जैसा चित्र सुझा सकता है)। दूसरे शब्दों में, द्वार और समय कदम पर उनकी सक्रियता की गणना करें (यानी, क्रमशः, और ) मेमोरी सेल की सक्रियता पर भी विचार कर रहा है समय कदम पर , अर्थात। .

मेमोरी सेल से बाहर निकलने वाला एकल बाएँ से दाएँ तीर एक पीपहोल कनेक्शन नहीं है और यह दर्शाता है .

a युक्त छोटे वृत्त प्रतीक इसके इनपुट के बीच एक तत्व-वार गुणन का प्रतिनिधित्व करता है। एस-जैसे वक्र वाले बड़े वृत्त एक भारित योग के लिए एक अलग-अलग कार्य (जैसे सिग्मॉइड कार्य ) के अनुप्रयोग का प्रतिनिधित्व करते हैं।

पीपहोल दृढ़ लंबी अल्पकालिक स्मृति (LSTM)

पीपहोल संवादात्मक तंत्रिका नेटवर्क लंबी अल्पकालिक स्मृति (LSTM)।[21] h> कनवल्शन ऑपरेटर को दर्शाता है।

<गणित आईडी = पृष्ठ 4, [33] संदर्भ में सूत्र 4 (ओटी की गणना सी (टी) केअतिरिक्त सी (टी) के लिए की जाती है - 1)): https://arxiv.org/abs/1506.04214v2 >

\प्रारम्भ {संरेखित करें}

f_t &= \sigma_g(W_{f} * x_t + U_{f} * h_{t-1} + V_{f} \odot c_{t-1} + b_f) \\

i_t &= \sigma_g(W_{i} * x_t + U_{i} * h_{t-1} + V_{i} \odot c_{t-1} + b_i) \\

c_t &= f_t \odot c_{t-1} + i_t \odot \sigma_c(W_{c} * x_t + U_{c} * h_{t-1} + b_c) \\

o_t &= \sigma_g(W_{o} * x_t + U_{o} * h_{t-1} + V_{o} \odot c_{t} + b_o) \\

h_t &= o_t \odot \sigma_h(c_t)

\ अंत {संरेखित करें}

</ गणित>

प्रशिक्षण

LSTM इकाइयों का उपयोग करने वाले एक आरएनएन को प्रशिक्षण अनुक्रमों के एक सेट पर पर्यवेक्षित तरीके से प्रशिक्षित किया जा सकता है और लंबी अल्पकालिक स्मृति (LSTM) के प्रत्येक वजन को बदलने के लिए अनुकूलन प्रक्रिया के दौरान आवश्यक ग्रेडिएंट की गणना करने के लिए समय के माध्यम से बैकप्रोपैजेशन के साथ संयुक्त ढतला हुआ वंश जैसे अनुकूलन एल्गोरिदम का उपयोग किया जाता है। संबंधित भार के संबंध में त्रुटि के व्युत्पन्न (LSTM नेटवर्क की आउटपुट परत पर) के अनुपात में नेटवर्क।

मानक आरएनएन के लिए ग्रेडिएंट डिसेंट का उपयोग करने में एक समस्या यह है कि महत्वपूर्ण घटनाओं के बीच समय अंतराल के आकार के साथ त्रुटि ग्रेडिएंट ग्रेडिएंट समस्या तेजी से लुप्त हो जाती है। इसकी वजह है यदि वर्णक्रमीय त्रिज्या 1 से छोटा है।[16][22] हालाँकि,लंबी अल्पकालिक स्मृति (LSTM) इकाइयों के साथ, जब त्रुटि मान आउटपुट परत से वापस प्रचारित होते हैं, तोलंबी अल्पकालिक स्मृति (LSTM) इकाई के सेल में त्रुटि बनी रहती है। यह त्रुटि हिंडोला लगातारलंबी अल्पकालिक स्मृति (LSTM) इकाई के प्रत्येक गेट पर त्रुटि को वापस फीड करता है, जब तक कि वे मूल्य को काटना नहीं सीखते।

सीटीसी स्कोर कार्य

कई एप्लिकेशन लंबी अल्पकालिक स्मृति (LSTM) आरएनएन के ढेर का उपयोग करते हैं[23] और कनेक्शनिस्ट टेम्पोरल वर्गीकरण (CTC) द्वारा उन्हें प्रशिक्षित करें[24] एक आरएनएन वजन मैट्रिक्स खोजने के लिए जो संबंधित इनपुट अनुक्रमों को देखते हुए प्रशिक्षण सेट में लेबल अनुक्रमों की संभावना को अधिकतम करता है। सीटीसी संरेखण और मान्यता दोनों प्राप्त करता है।

विकल्प

कभी-कभी तंत्रिका विकास द्वारा लंबी अल्पकालिक स्मृति (LSTM) को प्रशिक्षित (भागों) करना फायदेमंद हो सकता है[25]या नीतिगत ढाल विधियों द्वारा, विशेषकर जब कोई शिक्षक नहीं है (अर्थात, प्रशिक्षण लेबल)।

सफलता

गैर-पर्यवेक्षित फैशन में लंबी अल्पकालिक स्मृति (LSTM) इकाइयों के साथ आरएनएन के प्रशिक्षण की कई सफल कहानियाँ रही हैं।

2018 में, बिल गेट्स ने इसे कृत्रिम बुद्धिमत्ता को आगे बढ़ाने में एक बहुत बड़ा मील का पत्थर बताया, जब OpenAI द्वारा विकसित बॉट्स Dota 2 के खेल में मनुष्यों को मात देने में सक्षम थे।[10] OpenAI Five में पाँच स्वतंत्र लेकिन समन्वित तंत्रिका नेटवर्क होते हैं। प्रत्येक नेटवर्क को शिक्षक की निगरानी के बिना एक नीतिगत ढाल विधि द्वारा प्रशिक्षित किया जाता है और इसमें एक एकल-परत, 1024-इकाई लंबी-लघु-अवधि-मेमोरी होती है जो वर्तमान खेल स्थिति को देखती है और कई संभावित क्रिया प्रमुखों के माध्यम से क्रियाओं का उत्सर्जन करती है।[10]

2018 में, OpenAI ने मानव जैसे रोबोट हाथ को नियंत्रित करने के लिए पॉलिसी ग्रेडिएंट्स द्वारा समान लंबी अल्पकालिक स्मृति (LSTM) को भी प्रशिक्षित किया, जो अभूतपूर्व निपुणता के साथ भौतिक वस्तुओं में हेरफेर करता है।[9] 2019 में, डीपमाइंड के कार्यक्रम अल्फास्टार (सॉफ्टवेयर) ने जटिल वीडियो गेम स्टारक्राफ्ट II में उत्कृष्टता प्राप्त करने के लिए एक गहन लंबी अल्पकालिक स्मृति (LSTM) कोर का उपयोग किया।[11] इसे आर्टिफिशियल जनरल इंटेलिजेंस की दिशा में महत्वपूर्ण प्रगति के रूप में देखा गया।[11]


अनुप्रयोग

LSTM के अनुप्रयोगों में सम्मिलित हैं:

विकास की समयरेखा

1991: सेप होचराइटर ने लुप्त होती ढाल समस्या का विश्लेषण किया और अपने जर्मन डिप्लोमा थीसिस में पद्धति के सिद्धांतों को विकसित किया[16]

जुरगेन श्मिटहुबर द्वारा सलाह दी गई।

1995: लंबी अल्पकालिक स्मृति (LSTM) को सेप होचराइटर और जुरगेन श्मिटुबर की एक तकनीकी रिपोर्ट में प्रकाशित किया गया है।[48]

1996: लंबी अल्पकालिक स्मृति (LSTM) NIPS'1996, एक सहकर्मी-समीक्षित सम्मेलन में प्रकाशित हुआ।[14]

1997: मुख्य लंबी अल्पकालिक स्मृति (LSTM) पेपर तंत्रिका संगणना (जर्नल) जर्नल में प्रकाशित हुआ है।[1] लगातार त्रुटि हिंडोला (CEC) इकाइयों की प्रारम्भ करके लंबी अल्पकालिक स्मृति (LSTM) लुप्त होने वाली ढाल समस्या से निपटता है। लंबी अल्पकालिक स्मृति (LSTM) ब्लॉक के प्रारंभिक संस्करण में सेल, इनपुट और आउटपुट गेट सम्मिलित थे।[49]

1999: फेलिक्स गेर्स और उनके सलाहकार जुरगेन श्मिटहुबर और फ्रेड कमिंस ने एलएसटीएम आर्किटेक्चर में भूल गेट (जिसे कीप गेट भी कहा जाता है)प्रस्तुत किया।[50]लंबी अल्पकालिक स्मृति (LSTM) को अपना राज्य रीसेट करने में सक्षम बनाता है।[49]

2000: गेर्स एंड श्मिटहुबर एंड कमिंस ने आर्किटेक्चर में पीपहोल कनेक्शन (सेल से गेट्स तक कनेक्शन) जोड़े।[19][20]इसके अतिरिक्त आउटपुट सक्रियण कार्य छोड़ा गया था।[49]

2001: गेर्स और श्मिटहुबर ने लंबी अल्पकालिक स्मृति (LSTM) को हिडन मार्कोव मॉडल जैसे पारंपरिक मॉडल द्वारा न सीखी जाने वाली भाषाओं को सीखने के लिए प्रशिक्षित किया।[19][51]

होच्रेइटर एट अल। मेटा-लर्निंग (कंप्यूटर विज्ञान) के लिए लंबी अल्पकालिक स्मृति (LSTM) का उपयोग किया | मेटा-लर्निंग (यानी लर्निंग एल्गोरिथम सीखना)।[52]

2004: श्मिटहुबर के छात्र एलेक्स ग्रेव्स (कंप्यूटर वैज्ञानिक) और अन्य द्वारा भाषण के लिए लंबी अल्पकालिक स्मृति (LSTM) का पहला सफल अनुप्रयोग।[53][51]

2005: लंबी अल्पकालिक स्मृति (LSTM) का पहला प्रकाशन (ग्रेव्स और श्मिटहुबर) समय के माध्यम से और द्वि-दिशात्मक लंबी अल्पकालिक स्मृति (LSTM) के पूर्ण बैकप्रोपैगेशन के साथ।[26][51]

2005: डैन विएरस्ट्रा, फॉस्टिनो गोमेज़ और श्मिटहुबर ने बिना शिक्षक के न्यूरोएवोल्यूशन द्वारा लंबी अल्पकालिक स्मृति (LSTM) को प्रशिक्षित किया।[25]

2006: ग्रेव्स, फर्नांडीज, गोमेज़ और श्मिटहुबर ने लंबी अल्पकालिक स्मृति (LSTM) के लिए एक नया त्रुटि फंक्शन प्रस्तुत किया: एक साथ संरेखण और अनुक्रमों की पहचान के लिए कनेक्शनिस्ट टेम्पोरल वर्गीकरण (CTC)।[24]सीटीसी-प्रशिक्षित एलएसटीएम ने वाक् पहचान में सफलता हासिल की।[27][54][55][56]

मेयर एट अल। रोबोट को नियंत्रित करने के लिए प्रशिक्षित लंबी अल्पकालिक स्मृति (LSTM)।[8]

2007: Wierstra, Foerster, Peters और Schmidhuber ने लंबी अल्पकालिक स्मृति (LSTM) को बिना शिक्षक के सुदृढीकरण सीखने के लिए नीतिगत ढाल द्वारा प्रशिक्षित किया।[57]

Hochreiter, Heuesel, और Obermayr ने लंबी अल्पकालिक स्मृति (LSTM) को जीव विज्ञान के क्षेत्र में प्रोटीन समरूपता का पता लगाने के लिए लागू किया।[36]

2009: CTC द्वारा प्रशिक्षित एक लंबी अल्पकालिक स्मृति (LSTM) ने ICDAR से जुड़ी लिखावट पहचान प्रतियोगिता जीती। ऐसे तीन मॉडल एलेक्स ग्रेव्स (कंप्यूटर वैज्ञानिक) के नेतृत्व वाली टीम द्वारा प्रस्तुत किए गए थे।[2] एक प्रतियोगिता में सबसे सटीक मॉडल था और दूसरा सबसे तेज था।[58] यह पहली बार था जब किसी आरएनएन ने अंतर्राष्ट्रीय प्रतियोगिताओं में जीत हासिल की।[51]

2009: जस्टिन बायर एट अल। लंबी अल्पकालिक स्मृति (LSTM) के लिए तंत्रिका वास्तुकला खोज प्रारम्भ किया।[59][51]

2013: एलेक्स ग्रेव्स, अब्देल-रहमान मोहम्मद और जेफ्री हिंटन ने लंबी अल्पकालिक स्मृति (LSTM) नेटवर्क का उपयोग नेटवर्क के एक प्रमुख घटक के रूप में किया जिसने क्लासिक TIMIT प्राकृतिक भाषण डेटासेट पर रिकॉर्ड 17.7% स्वनिम त्रुटि दर हासिल की।[28]

2014: क्युनघ्युन चो एट अल। भूल गेट लंबी अल्पकालिक स्मृति (LSTM) का एक सरलीकृत संस्करण सामने रखें[50]गेटेड आवर्तक इकाई (जीआरयू) कहा जाता है।[60]

2015: Google ने Google Voice पर वाक् पहचान के लिए CTC द्वारा प्रशिक्षित लंबी अल्पकालिक स्मृति (LSTM) का उपयोग करना प्रारम्भ किया।[54][55] आधिकारिक ब्लॉग पोस्ट के अनुसार, नया मॉडल ट्रांसक्रिप्शन त्रुटियों में 49% की कटौती करता है।[61]

2015: रूपेश कुमार श्रीवास्तव, क्लॉस ग्रीफ और श्मिधुबर ने एलएसटीएम सिद्धांतों का उपयोग किया[50] राजमार्ग नेटवर्क बनाने के लिए, सैकड़ों परतों वाला एक फीडफॉरवर्ड न्यूरल नेटवर्क, जो पिछले नेटवर्क की तुलना में बहुत गहरा है।[62][63][64] 7 महीने बाद कैमिंग हे, जियानग्यू झांग; शाओकिंग रेन और जियान सन ने इमेजनेट 2015 प्रतियोगिता को ओपन-गेटेड या गेटलेस हाईवे नेटवर्क संस्करण के साथ अवशिष्ट तंत्रिका नेटवर्क कहा जाता है।[65] यह 21वीं सदी का सबसे उद्धृत तंत्रिका नेटवर्क बन गया है।[64]

2016: Google ने Allo वार्तालाप ऐप में संदेशों का सुझाव देने के लिए लंबी अल्पकालिक स्मृति (LSTM) का उपयोग करना प्रारम्भ किया।[66] उसी वर्ष Google ने Google अनुवाद के लिए Google तंत्रिका मशीन अनुवाद प्रणाली प्रारम्भ की जिसने लंबी अल्पकालिक स्मृति (LSTM) का उपयोग करके अनुवाद त्रुटियों को 60% तक कम कर दिया।[5][67][68]

Apple ने अपने Apple वर्ल्डवाइड डेवलपर्स कॉन्फ्रेंस में घोषणा की कि वह क्विकटाइप के लिए लंबी अल्पकालिक स्मृति (LSTM) का उपयोग करना प्रारम्भ कर देगा[69][70][71] iPhone में और सिरी के लिए।[72][73]

अमेज़ॅन ने अमेज़न पोली प्रारम्भ की जो भाषण के पाठ तकनीक के लिए द्विदिश एलएसटीएम का उपयोग करके एलेक्सा के पीछे आवाज उत्पन्न करता है।[74]

2017: फेसबुक ने लंबी अल्पकालिक स्मृति नेटवर्क का उपयोग करते हुए हर दिन लगभग 4.5 बिलियन स्वचालित अनुवाद किए।[6]

मिशिगन स्टेट विश्वविद्यालय,आईबीएम रिसर्च और कॉर्नेल विश्वविद्यालय के शोधकर्ताओं ने नॉलेज डिस्कवरी एंड डाटा माइनिंग (केडीडी) सम्मेलन में एक अध्ययन प्रकाशित किया।[75][76][77] उनका टाइम-अवेयरलंबी अल्पकालिक स्मृति (LSTM) (T-LSTM) मानक लंबी अल्पकालिक स्मृति (LSTM) की तुलना में कुछ डेटा सेटों पर बेहतर प्रदर्शन करता है।

Microsoft ने 165,000 शब्दों की शब्दावली को सम्मिलित करते हुए स्विचबोर्ड कॉर्पस पर 94.9% पहचान सटीकता तक पहुंचने की सूचना दी और दृष्टिकोण ने संवाद सत्र-आधारित दीर्घकालिक अल्पकालिक स्मृति का उपयोग किया।[56]

2018: OpenAI ने Dota 2 के जटिल वीडियो गेम में इंसानों को मात देने के लिए पॉलिसी ग्रेडिएंट्स द्वारा प्रशिक्षितलंबी अल्पकालिक स्मृति (LSTM) का उपयोग किया[10]और एक मानव-जैसे रोबोट हाथ को नियंत्रित करने के लिए जो अभूतपूर्व निपुणता के साथ भौतिक वस्तुओं में हेरफेर करता है।[9][51]

2019: डीपमाइंड ने स्टारक्राफ्ट II के जटिल वीडियो गेम में उत्कृष्टता प्राप्त करने के लिए पॉलिसी ग्रेडिएंट्स द्वारा प्रशिक्षितलंबी अल्पकालिक स्मृति (LSTM) का उपयोग किया।[11][51]

2021: Google विद्वान के अनुसार 2021 में लंबी अल्पकालिक स्मृति (LSTM) को एक वर्ष के भीतर 16,000 से अधिक बार उद्धृत किया गया था। यह स्वास्थ्य सेवा सहित कई अलग-अलग क्षेत्रों में लंबी अल्पकालिक स्मृति (LSTM) के अनुप्रयोगों को दर्शाता है।[12]


यह भी देखें

संदर्भ

  1. ↑ 1.0 1.1 1.2 1.3 Sepp Hochreiter; Jürgen Schmidhuber (1997). "Long short-term memory". Neural Computation. 9 (8): 1735–1780. doi:10.1162/neco.1997.9.8.1735. PMID 9377276. S2CID 1915014.
  2. ↑ 2.0 2.1 Graves, A.; Liwicki, M.; Fernández, S.; Bertolami, R.; Bunke, H.; Schmidhuber, J. (May 2009). "अप्रतिबंधित लिखावट पहचान के लिए एक उपन्यास संबंधक प्रणाली". IEEE Transactions on Pattern Analysis and Machine Intelligence. 31 (5): 855–868. CiteSeerX 10.1.1.139.4502. doi:10.1109/tpami.2008.137. ISSN 0162-8828. PMID 19299860. S2CID 14635907.
  3. ↑ Sak, Hasim; Senior, Andrew; Beaufays, Francoise (2014). "बड़े पैमाने पर ध्वनिक मॉडलिंग के लिए दीर्घकालिक अल्पकालिक मेमोरी आवर्तक तंत्रिका नेटवर्क आर्किटेक्चर" (PDF). Archived from the original (PDF) on 2018-04-24.
  4. ↑ Li, Xiangang; Wu, Xihong (2014-10-15). "बड़ी शब्दावली भाषण मान्यता के लिए लंबी अल्पकालिक स्मृति आधारित गहन आवर्तक तंत्रिका नेटवर्क का निर्माण". arXiv:1410.4281 [cs.CL].
  5. ↑ 5.0 5.1 Wu, Yonghui; Schuster, Mike; Chen, Zhifeng; Le, Quoc V.; Norouzi, Mohammad; Macherey, Wolfgang; Krikun, Maxim; Cao, Yuan; Gao, Qin (2016-09-26). "Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation". arXiv:1609.08144 [cs.CL].
  6. ↑ 6.0 6.1 Ong, Thuy (4 August 2017). "फेसबुक के अनुवाद अब पूरी तरह से एआई द्वारा संचालित हैं". www.allthingsdistributed.com. Retrieved 2019-02-15.
  7. ↑ Sahidullah, Md; Patino, Jose; Cornell, Samuele; Yin, Ruiking; Sivasankaran, Sunit; Bredin, Herve; Korshunov, Pavel; Brutti, Alessio; Serizel, Romain; Vincent, Emmanuel; Evans, Nicholas; Marcel, Sebastien; Squartini, Stefano; Barras, Claude (2019-11-06). "The Speed Submission to DIHARD II: Contributions & Lessons Learned". arXiv:1911.02388 [eess.AS].
  8. ↑ 8.0 8.1 8.2 Mayer, H.; Gomez, F.; Wierstra, D.; Nagy, I.; Knoll, A.; Schmidhuber, J. (October 2006). रोबोटिक हार्ट सर्जरी के लिए एक प्रणाली जो आवर्तक तंत्रिका नेटवर्क का उपयोग करके गांठ बांधना सीखती है. pp. 543–548. CiteSeerX 10.1.1.218.3399. doi:10.1109/IROS.2006.282190. ISBN 978-1-4244-0258-8. S2CID 12284900. {{cite book}}: |journal= ignored (help)
  9. ↑ 9.0 9.1 9.2 "सीखने की निपुणता". OpenAI Blog. July 30, 2018. Retrieved 2019-01-15.
  10. ↑ 10.0 10.1 10.2 10.3 Rodriguez, Jesus (July 2, 2018). "ओपनएआई फाइव के पीछे का विज्ञान जिसने एआई के इतिहास में सबसे बड़ी सफलताओं में से एक का निर्माण किया". Towards Data Science. Archived from the original on 2019-12-26. Retrieved 2019-01-15.
  11. ↑ 11.0 11.1 11.2 11.3 Stanford, Stacy (January 25, 2019). "डीपमाइंड का एआई, अल्फास्टार एजीआई की दिशा में महत्वपूर्ण प्रगति दिखाता है". Medium ML Memoirs. Retrieved 2019-01-15.
  12. ↑ 12.0 12.1 Schmidhuber, Jürgen (2021). "The 2010s: Our Decade of Deep Learning / Outlook on the 2020s". AI Blog. IDSIA, Switzerland. Retrieved 2022-04-30.
  13. ↑ Elman, Jeffrey L. (March 1990). "समय में संरचना ढूँढना". Cognitive Science (in English). 14 (2): 179–211. doi:10.1207/s15516709cog1402_1. S2CID 2763403.
  14. ↑ 14.0 14.1 Hochreiter, Sepp; Schmidhuber, Juergen (1996). LSTM लंबे समय तक चलने वाली कठिन समस्याओं को हल कर सकता है. Advances in Neural Information Processing Systems.
  15. ↑ 15.0 15.1 15.2 Felix A. Gers; Jürgen Schmidhuber; Fred Cummins (2000). "Learning to Forget: Continual Prediction with LSTM". Neural Computation. 12 (10): 2451–2471. CiteSeerX 10.1.1.55.5709. doi:10.1162/089976600300015015. PMID 11032042. S2CID 11598600.
  16. ↑ 16.0 16.1 16.2 16.3 Hochreiter, Sepp (1991). Untersuchungen zu dynamischen neuronalen Netzen (PDF) (diploma thesis). Technical University Munich, Institute of Computer Science, advisor: J. Schmidhuber.
  17. ↑ Calin, Ovidiu (14 February 2020). डीप लर्निंग आर्किटेक्चर. Cham, Switzerland: Springer Nature. p. 555. ISBN 978-3-030-36720-6.
  18. ↑ Lakretz, Yair; Kruszewski, German; Desbordes, Theo; Hupkes, Dieuwke; Dehaene, Stanislas; Baroni, Marco (2019), "The emergence of number and syntax units in", The emergence of number and syntax units, Association for Computational Linguistics, pp. 11–20, doi:10.18653/v1/N19-1002, hdl:11245.1/16cb6800-e10d-4166-8e0b-fed61ca6ebb4, S2CID 81978369
  19. ↑ 19.0 19.1 19.2 19.3 19.4 19.5 Gers, F. A.; Schmidhuber, J. (2001). "LSTM आवर्तक नेटवर्क सरल संदर्भ मुक्त और संदर्भ संवेदनशील भाषाएँ सीखें" (PDF). IEEE Transactions on Neural Networks. 12 (6): 1333–1340. doi:10.1109/72.963769. PMID 18249962.
  20. ↑ 20.0 20.1 20.2 20.3 Gers, F.; Schraudolph, N.; Schmidhuber, J. (2002). "LSTM आवर्तक नेटवर्क के साथ सटीक समय सीखना" (PDF). Journal of Machine Learning Research. 3: 115–143.
  21. ↑ Xingjian Shi; Zhourong Chen; Hao Wang; Dit-Yan Yeung; Wai-kin Wong; Wang-chun Woo (2015). "Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting". Proceedings of the 28th International Conference on Neural Information Processing Systems: 802–810. arXiv:1506.04214. Bibcode:2015arXiv150604214S.
  22. ↑ Hochreiter, S.; Bengio, Y.; Frasconi, P.; Schmidhuber, J. (2001). "Gradient Flow in Recurrent Nets: the Difficulty of Learning Long-Term Dependencies (PDF Download Available)". In Kremer and, S. C.; Kolen, J. F. (eds.). गतिशील आवर्तक तंत्रिका नेटवर्क के लिए एक फील्ड गाइड।. IEEE Press.
  23. ↑ Fernández, Santiago; Graves, Alex; Schmidhuber, Jürgen (2007). "पदानुक्रमित आवर्तक तंत्रिका नेटवर्क के साथ संरचित डोमेन में अनुक्रम लेबलिंग". Proc. 20th Int. Joint Conf. On Artificial Intelligence, Ijcai 2007: 774–779. CiteSeerX 10.1.1.79.1887.
  24. ↑ 24.0 24.1 Graves, Alex; Fernández, Santiago; Gomez, Faustino; Schmidhuber, Jürgen (2006). "Connectionist temporal classification: Labelling unsegmented sequence data with recurrent neural networks". In Proceedings of the International Conference on Machine Learning, ICML 2006: 369–376. CiteSeerX 10.1.1.75.6306.
  25. ↑ 25.0 25.1 25.2 Wierstra, Daan; Schmidhuber, J.; Gomez, F. J. (2005). "Evolino: Hybrid Neuroevolution/Optimal Linear Search for Sequence Learning". Proceedings of the 19th International Joint Conference on Artificial Intelligence (IJCAI), Edinburgh: 853–858.
  26. ↑ 26.0 26.1 Graves, A.; Schmidhuber, J. (2005). "द्विदिश LSTM और अन्य तंत्रिका नेटवर्क आर्किटेक्चर के साथ फ्रेमवाइज फोनेम वर्गीकरण". Neural Networks. 18 (5–6): 602–610. CiteSeerX 10.1.1.331.5800. doi:10.1016/j.neunet.2005.06.042. PMID 16112549.
  27. ↑ 27.0 27.1 Fernández, Santiago; Graves, Alex; Schmidhuber, Jürgen (2007). भेदभावपूर्ण कीवर्ड स्पॉटिंग के लिए आवर्तक तंत्रिका नेटवर्क का अनुप्रयोग. pp. 220–229. ISBN 978-3540746935. {{cite book}}: |journal= ignored (help)
  28. ↑ 28.0 28.1 Graves, Alex; Mohamed, Abdel-rahman; Hinton, Geoffrey (2013). "डीप रिकरंट न्यूरल नेटवर्क्स के साथ स्पीच रिकग्निशन". Acoustics, Speech and Signal Processing (ICASSP), 2013 IEEE International Conference on: 6645–6649. arXiv:1303.5778. doi:10.1109/ICASSP.2013.6638947. ISBN 978-1-4799-0356-6. S2CID 206741496.
  29. ↑ Eck, Douglas; Schmidhuber, Jürgen (2002-08-28). ब्लूज़ की दीर्घकालिक संरचना सीखना. pp. 284–289. CiteSeerX 10.1.1.116.3620. doi:10.1007/3-540-46084-5_47. ISBN 978-3540460848. {{cite book}}: |journal= ignored (help)
  30. ↑ Schmidhuber, J.; Gers, F.; Eck, D.; Schmidhuber, J.; Gers, F. (2002). "Learning nonregular languages: A comparison of simple recurrent networks and LSTM". Neural Computation. 14 (9): 2039–2041. CiteSeerX 10.1.1.11.7369. doi:10.1162/089976602320263980. PMID 12184841. S2CID 30459046.
  31. ↑ Perez-Ortiz, J. A.; Gers, F. A.; Eck, D.; Schmidhuber, J. (2003). "Kalman फ़िल्टर LSTM नेटवर्क के प्रदर्शन को उन समस्याओं में सुधारता है जो पारंपरिक आवर्तक जालों द्वारा हल नहीं की जा सकती हैं". Neural Networks. 16 (2): 241–250. CiteSeerX 10.1.1.381.1992. doi:10.1016/s0893-6080(02)00219-8. PMID 12628609.
  32. ↑ A. Graves, J. Schmidhuber. Offline Handwriting Recognition with Multidimensional Recurrent Neural Networks. Advances in Neural Information Processing Systems 22, NIPS'22, pp 545–552, Vancouver, MIT Press, 2009.
  33. ↑ Graves, Alex; Fernández, Santiago; Liwicki, Marcus; Bunke, Horst; Schmidhuber, Jürgen (2007). आवर्तक तंत्रिका नेटवर्क के साथ अप्रतिबंधित ऑनलाइन हस्तलेखन पहचान. pp. 577–584. ISBN 9781605603520. {{cite book}}: |journal= ignored (help)
  34. ↑ Baccouche, M.; Mamalet, F.; Wolf, C.; Garcia, C.; Baskurt, A. (2011). "Sequential Deep Learning for Human Action Recognition". In Salah, A. A.; Lepri, B. (eds.). 2nd International Workshop on Human Behavior Understanding (HBU). Lecture Notes in Computer Science. Vol. 7065. Amsterdam, Netherlands: Springer. pp. 29–39. doi:10.1007/978-3-642-25446-8_4. ISBN 978-3-642-25445-1.
  35. ↑ Huang, Jie; Zhou, Wengang; Zhang, Qilin; Li, Houqiang; Li, Weiping (2018-01-30). "टेम्पोरल सेगमेंटेशन के बिना वीडियो-आधारित सांकेतिक भाषा की पहचान". arXiv:1801.10111 [cs.CV].
  36. ↑ 36.0 36.1 Hochreiter, S.; Heusel, M.; Obermayer, K. (2007). "Fast model-based protein homology detection without alignment". Bioinformatics. 23 (14): 1728–1736. doi:10.1093/bioinformatics/btm247. PMID 17488755.
  37. ↑ Thireou, T.; Reczko, M. (2007). "यूकेरियोटिक प्रोटीन के उप-कोशिकीय स्थानीयकरण की भविष्यवाणी के लिए द्विदिश दीर्घकालिक अल्पकालिक मेमोरी नेटवर्क". IEEE/ACM Transactions on Computational Biology and Bioinformatics. 4 (3): 441–446. doi:10.1109/tcbb.2007.1015. PMID 17666763. S2CID 11787259.
  38. ↑ Malhotra, Pankaj; Vig, Lovekesh; Shroff, Gautam; Agarwal, Puneet (April 2015). "टाइम सीरीज़ में विसंगति का पता लगाने के लिए लॉन्ग शॉर्ट टर्म मेमोरी नेटवर्क" (PDF). European Symposium on Artificial Neural Networks, Computational Intelligence and Machine Learning — ESANN 2015. Archived from the original (PDF) on 2020-10-30. Retrieved 2018-02-21.
  39. ↑ Tax, N.; Verenich, I.; La Rosa, M.; Dumas, M. (2017). LSTM तंत्रिका नेटवर्क के साथ भविष्य कहनेवाला व्यवसाय प्रक्रिया निगरानी. pp. 477–492. arXiv:1612.02130. doi:10.1007/978-3-319-59536-8_30. ISBN 978-3-319-59535-1. S2CID 2192354. {{cite book}}: |journal= ignored (help)
  40. ↑ Choi, E.; Bahadori, M.T.; Schuetz, E.; Stewart, W.; Sun, J. (2016). "Doctor AI: Predicting Clinical Events via Recurrent Neural Networks". Proceedings of the 1st Machine Learning for Healthcare Conference. 56: 301–318. arXiv:1511.05942. Bibcode:2015arXiv151105942C. PMC 5341604. PMID 28286600.
  41. ↑ Jia, Robin; Liang, Percy (2016). "न्यूरल सिमेंटिक पार्सिंग के लिए डेटा पुनर्संयोजन". arXiv:1606.03622 [cs.CL].
  42. ↑ Wang, Le; Duan, Xuhuan; Zhang, Qilin; Niu, Zhenxing; Hua, Gang; Zheng, Nanning (2018-05-22). "Segment-Tube: Spatio-Temporal Action Localization in Untrimmed Videos with Per-Frame Segmentation" (PDF). Sensors. 18 (5): 1657. Bibcode:2018Senso..18.1657W. doi:10.3390/s18051657. ISSN 1424-8220. PMC 5982167. PMID 29789447.
  43. ↑ Duan, Xuhuan; Wang, Le; Zhai, Changbo; Zheng, Nanning; Zhang, Qilin; Niu, Zhenxing; Hua, Gang (2018). "Joint Spatio-Temporal Action Localization in Untrimmed Videos with Per-Frame Segmentation". 2018 25th IEEE International Conference on Image Processing (ICIP). 25th IEEE International Conference on Image Processing (ICIP). pp. 918–922. doi:10.1109/icip.2018.8451692. ISBN 978-1-4799-7061-2.
  44. ↑ Orsini, F.; Gastaldi, M.; Mantecchini, L.; Rossi, R. (2019). हवाई अड्डे के यात्री व्यवहार की भविष्यवाणी करने के लिए तंत्रिका नेटवर्क को वाईफाई निशान के साथ प्रशिक्षित किया गया. 6th International Conference on Models and Technologies for Intelligent Transportation Systems. Krakow: IEEE. arXiv:1910.14026. doi:10.1109/MTITS.2019.8883365. 8883365.
  45. ↑ Zhao, Z.; Chen, W.; Wu, X.; Chen, P.C.Y.; Liu, J. (2017). "LSTM network: A deep learning approach for Short-term traffic forecast". IET Intelligent Transport Systems. 11 (2): 68–75. doi:10.1049/iet-its.2016.0208. S2CID 114567527.
  46. ↑ Gupta A, Müller AT, Huisman BJH, Fuchs JA, Schneider P, Schneider G (2018). "डे नोवो ड्रग डिज़ाइन के लिए जनरेटिव रिकरंट नेटवर्क।". Mol Inform. 37 (1–2). doi:10.1002/minf.201700111. PMC 5836943. PMID 29095571.{{cite journal}}: CS1 maint: multiple names: authors list (link)
  47. ↑ Saiful Islam, Md.; Hossain, Emam (2020-10-26). "GRU-LSTM हाइब्रिड नेटवर्क का उपयोग करके विदेशी मुद्रा मुद्रा दर भविष्यवाणी". Soft Computing Letters (in English). 3: 100009. doi:10.1016/j.socl.2020.100009. ISSN 2666-2221.
  48. ↑ No label or title -- debug: Q98967430, Wikidata Q98967430
  49. ↑ 49.0 49.1 49.2 Klaus Greff; Rupesh Kumar Srivastava; Jan Koutník; Bas R. Steunebrink; Jürgen Schmidhuber (2015). "LSTM: A Search Space Odyssey". IEEE Transactions on Neural Networks and Learning Systems. 28 (10): 2222–2232. arXiv:1503.04069. Bibcode:2015arXiv150304069G. doi:10.1109/TNNLS.2016.2582924. PMID 27411231. S2CID 3356463.
  50. ↑ 50.0 50.1 50.2 Gers, Felix; Schmidhuber, Jürgen; Cummins, Fred (1999). "Learning to forget: Continual prediction with LSTM". 9th International Conference on Artificial Neural Networks: ICANN '99. Vol. 1999. pp. 850–855. doi:10.1049/cp:19991218. ISBN 0-85296-721-7.
  51. ↑ 51.0 51.1 51.2 51.3 51.4 51.5 51.6 Schmidhuber, Juergen (10 May 2021). "Deep Learning: Our Miraculous Year 1990-1991". arXiv:2005.05744 [cs.NE].
  52. ↑ Hochreiter, S.; Younger, A. S.; Conwell, P. R. (2001). ग्रेडिएंट डिसेंट का उपयोग करके सीखना सीखना (PDF). pp. 87–94. CiteSeerX 10.1.1.5.323. doi:10.1007/3-540-44668-0_13. ISBN 978-3-540-42486-4. ISSN 0302-9743. {{cite book}}: |journal= ignored (help)
  53. ↑ Graves, Alex; Beringer, Nicole; Eck, Douglas; Schmidhuber, Juergen (2004). LSTM न्यूरल नेट्स के साथ जैविक रूप से प्रशंसनीय वाक् पहचान।. Workshop on Biologically Inspired Approaches to Advanced Information Technology, Bio-ADIT 2004, Lausanne, Switzerland. pp. 175–184.
  54. ↑ 54.0 54.1 Beaufays, Françoise (August 11, 2015). "Google Voice ट्रांसक्रिप्शन के पीछे तंत्रिका नेटवर्क". Research Blog. Retrieved 2017-06-27.
  55. ↑ 55.0 55.1 Sak, Haşim; Senior, Andrew; Rao, Kanishka; Beaufays, Françoise; Schalkwyk, Johan (September 24, 2015). "Google voice search: faster and more accurate". Research Blog (in English). Retrieved 2017-06-27.
  56. ↑ 56.0 56.1 Haridy, Rich (August 21, 2017). "Microsoft की वाक् पहचान प्रणाली अब मानव जितनी अच्छी है". newatlas.com. Retrieved 2017-08-27.
  57. ↑ Wierstra, Daan; Foerster, Alexander; Peters, Jan; Schmidhuber, Juergen (2005). "आवर्तक नीति ग्रेडियेंट के साथ डीप मेमोरी पीओएमडीपी को हल करना". International Conference on Artificial Neural Networks ICANN'07.
  58. ↑ Märgner, Volker; Abed, Haikal El (July 2009). "ICDAR 2009 Arabic Handwriting Recognition Competition". 2009 10th International Conference on Document Analysis and Recognition: 1383–1387. doi:10.1109/ICDAR.2009.256. ISBN 978-1-4244-4500-4. S2CID 52851337.
  59. ↑ Bayer, Justin; Wierstra, Daan; Togelius, Julian; Schmidhuber, Juergen (2009). "अनुक्रम सीखने के लिए मेमोरी सेल संरचनाओं का विकास". International Conference on Artificial Neural Networks ICANN'09, Cyprus.
  60. ↑ Cho, Kyunghyun; van Merrienboer, Bart; Gulcehre, Caglar; Bahdanau, Dzmitry; Bougares, Fethi; Schwenk, Holger; Bengio, Yoshua (2014). "सांख्यिकीय मशीन अनुवाद के लिए आरएनएन एनकोडर-डिकोडर का उपयोग करते हुए लर्निंग वाक्यांश प्रतिनिधित्व". arXiv:1406.1078 [cs.CL].
  61. ↑ "नियॉन प्रिस्क्रिप्शन... या यूँ कहें, Google Voice के लिए नया ट्रांसक्रिप्शन". Official Google Blog (in English). 23 July 2015. Retrieved 2020-04-25.
  62. ↑ Srivastava, Rupesh Kumar; Greff, Klaus; Schmidhuber, Jürgen (2 May 2015). "राजमार्ग नेटवर्क". arXiv:1505.00387 [cs.LG].
  63. ↑ Srivastava, Rupesh K; Greff, Klaus; Schmidhuber, Juergen (2015). "प्रशिक्षण बहुत गहरा नेटवर्क". Advances in Neural Information Processing Systems. Curran Associates, Inc. 28: 2377–2385.
  64. ↑ 64.0 64.1 Schmidhuber, Jürgen (2021). "सबसे उद्धृत तंत्रिका नेटवर्क सभी मेरी प्रयोगशालाओं में किए गए काम पर बनते हैं". AI Blog. IDSIA, Switzerland. Retrieved 2022-04-30.
  65. ↑ He, Kaiming; Zhang, Xiangyu; Ren, Shaoqing; Sun, Jian (2016). इमेज रिकग्निशन के लिए डीप रेजिडुअल लर्निंग. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, NV, USA: IEEE. pp. 770–778. arXiv:1512.03385. doi:10.1109/CVPR.2016.90. ISBN 978-1-4673-8851-1.
  66. ↑ Khaitan, Pranav (May 18, 2016). "Allo के साथ स्मार्ट चैट करें". Research Blog. Retrieved 2017-06-27.
  67. ↑ Metz, Cade (September 27, 2016). "An Infusion of AI Makes Google Translate More Powerful Than Ever | WIRED". Wired. Retrieved 2017-06-27.
  68. ↑ "उत्पादन पैमाने पर मशीनी अनुवाद के लिए एक तंत्रिका नेटवर्क". Google AI Blog (in English). Retrieved 2020-04-25.
  69. ↑ Efrati, Amir (June 13, 2016). "Apple की मशीनें भी सीख सकती हैं". The Information. Retrieved 2017-06-27.
  70. ↑ Ranger, Steve (June 14, 2016). "iPhone, AI and big data: Here's how Apple plans to protect your privacy | ZDNet". ZDNet. Retrieved 2017-06-27.
  71. ↑ "Can Global Semantic Context Improve Neural Language Models? – Apple". Apple Machine Learning Journal (in English). Retrieved 2020-04-30.
  72. ↑ Smith, Chris (2016-06-13). "iOS 10: Siri now works in third-party apps, comes with extra AI features". BGR. Retrieved 2017-06-27.
  73. ↑ Capes, Tim; Coles, Paul; Conkie, Alistair; Golipour, Ladan; Hadjitarkhani, Abie; Hu, Qiong; Huddleston, Nancy; Hunt, Melvyn; Li, Jiangchuan; Neeracher, Matthias; Prahallad, Kishore (2017-08-20). "सिरी ऑन-डिवाइस डीप लर्निंग-गाइडेड यूनिट सेलेक्शन टेक्स्ट-टू-स्पीच सिस्टम". Interspeech 2017 (in English). ISCA: 4011–4015. doi:10.21437/Interspeech.2017-1798.
  74. ↑ Vogels, Werner (30 November 2016). "Bringing the Magic of Amazon AI and Alexa to Apps on AWS. – All Things Distributed". www.allthingsdistributed.com. Retrieved 2017-06-27.
  75. ↑ "Time-Aware LSTM नेटवर्क के माध्यम से रोगी सबटाइपिंग" (PDF). msu.edu. Retrieved 21 Nov 2018.
  76. ↑ "Time-Aware LSTM नेटवर्क के माध्यम से रोगी सबटाइपिंग". Kdd.org. Retrieved 24 May 2018.
  77. ↑ "SIGKDD". Kdd.org. Retrieved 24 May 2018.


बाहरी संबंध

Retrieved from ‘https://www.vigyanwiki.in/index.php?title=लॉन्ग_शॉर्ट_टर्म_मेमोरी&oldid=186251’