पश्चप्रचार: Difference between revisions
From Vigyanwiki
No edit summary |
No edit summary |
||
| Line 4: | Line 4: | ||
[[ यंत्र अधिगम | यंत्र अधिगम]] में, पश्चप्रचार व्यापक रूप से उपयोग किया जाने वाला [[ कलन विधि | कलन विधि]] है, जो [[फीडफॉरवर्ड न्यूरल नेटवर्क]] या अलग-अलग नोड्स के साथ अन्य पैरामीटरयुक्त नेटवर्क को प्रशिक्षित करता है।<ref>{{harvnb|Goodfellow|Bengio|Courville|2016|p=[https://www.deeplearningbook.org/contents/mlp.html#pf25 200]}}, "Furthermore, back-propagation is often misunderstood as being specific to multi-layer neural networks, but in principle it can compute derivatives of any function"</ref><ref name="arxiv">{{cite arXiv |eprint=1410.5401|title= तंत्रिका ट्यूरिंग मशीनें|last1= Graves |first1= Alex |last2= Wayne |first2= Greg |last3= Danihelka |first3= Ivo |class= cs.NE |year= 2014 }}</ref> यह ऐसे नेटवर्क के लिए [[गॉटफ्रीड विल्हेम लीबनिज]] [[श्रृंखला नियम]] (1673)<ref name="leibniz1676" /> का कुशल अनुप्रयोग है।<ref name="DLhistory" /> [[सेप्पो लिनैनमा]] (1970) के कारण स्वत: विभेदन या रिवर्स संचयन के रिवर्स मोड के रूप में भी जाना जाता है।<ref name="lin1970" /><ref name="lin1976" /><ref name="grie2012" /><ref name="grie2008" /><ref name="schmidhuber2015" /><ref name="scholarpedia2015" /><ref name="DL-reverse-mode">{{harvtxt|Goodfellow|Bengio|Courville|2016|p=[https://www.deeplearningbook.org/contents/mlp.html#pf36 217]–218}}, "The back-propagation algorithm described here is only one approach to automatic differentiation. It is a special case of a broader class of techniques called ''reverse mode accumulation''."</ref> | [[ यंत्र अधिगम | यंत्र अधिगम]] में, पश्चप्रचार व्यापक रूप से उपयोग किया जाने वाला [[ कलन विधि | कलन विधि]] है, जो [[फीडफॉरवर्ड न्यूरल नेटवर्क]] या अलग-अलग नोड्स के साथ अन्य पैरामीटरयुक्त नेटवर्क को प्रशिक्षित करता है।<ref>{{harvnb|Goodfellow|Bengio|Courville|2016|p=[https://www.deeplearningbook.org/contents/mlp.html#pf25 200]}}, "Furthermore, back-propagation is often misunderstood as being specific to multi-layer neural networks, but in principle it can compute derivatives of any function"</ref><ref name="arxiv">{{cite arXiv |eprint=1410.5401|title= तंत्रिका ट्यूरिंग मशीनें|last1= Graves |first1= Alex |last2= Wayne |first2= Greg |last3= Danihelka |first3= Ivo |class= cs.NE |year= 2014 }}</ref> यह ऐसे नेटवर्क के लिए [[गॉटफ्रीड विल्हेम लीबनिज]] [[श्रृंखला नियम]] (1673)<ref name="leibniz1676">{{Cite book|last=Leibniz|first=Gottfried Wilhelm Freiherr von|url=https://books.google.com/books?id=bOIGAAAAYAAJ&q=leibniz+altered+manuscripts&pg=PA90|title=The Early Mathematical Manuscripts of Leibniz: Translated from the Latin Texts Published by Carl Immanuel Gerhardt with Critical and Historical Notes (Leibniz published the chain rule in a 1676 memoir)|date=1920|publisher=Open court publishing Company|language=en}}</ref> का कुशल अनुप्रयोग है।<ref name="DLhistory">{{cite arXiv|last=Schmidhuber|first=Juergen|author-link=Juergen Schmidhuber|date=2022|title=आधुनिक एआई और डीप लर्निंग का एनोटेट इतिहास|class=cs.NE|eprint=2212.11279}}</ref> [[सेप्पो लिनैनमा]] (1970) के कारण स्वत: विभेदन या रिवर्स संचयन के रिवर्स मोड के रूप में भी जाना जाता है।<ref name="lin1970" /><ref name="lin1976" /><ref name="grie2012" /><ref name="grie2008" /><ref name="schmidhuber2015" /><ref name="scholarpedia2015" /><ref name="DL-reverse-mode">{{harvtxt|Goodfellow|Bengio|Courville|2016|p=[https://www.deeplearningbook.org/contents/mlp.html#pf36 217]–218}}, "The back-propagation algorithm described here is only one approach to automatic differentiation. It is a special case of a broader class of techniques called ''reverse mode accumulation''."</ref> | ||
[[फ्रैंक रोसेनब्लैट]] द्वारा 1962 में बैक-प्रोपेगेटिंग एरर करेक्शन शब्द प्रस्तुत किया गया था।<ref>{{cite book |last=Rosenblatt |first=Frank |title=Principles of Neurodynamics: Perceptrons and the Theory of Brain Mechanisms Cornell Aeronautical Laboratory. Report no. VG-1196-G-8 Report (Cornell Aeronautical Laboratory) |publisher=Spartan |year=1962 |pages=Page XIII Table of contents, Page 292 "13.3 Back-Propagating Error Correction Procedures" , Page 301 "figure 39 BACK-PROPAGATING ERROR-CORRECTION EXPERIMENTS" |author-link=Frank Rosenblatt}}</ref><ref name="DLhistory" /> किन्तु उन्हें यह नहीं पता था कि इसे कैसे प्रायुक्त किया जाए, चूंकि हेनरी जे. केली के पास [[नियंत्रण सिद्धांत]] के संदर्भ में 1960 में पहले से ही पश्चप्रचार का निरंतर अग्रदूत था<ref name="kelley1960" /><ref name="DLhistory" /> | [[फ्रैंक रोसेनब्लैट]] द्वारा 1962 में बैक-प्रोपेगेटिंग एरर करेक्शन शब्द प्रस्तुत किया गया था।<ref>{{cite book |last=Rosenblatt |first=Frank |title=Principles of Neurodynamics: Perceptrons and the Theory of Brain Mechanisms Cornell Aeronautical Laboratory. Report no. VG-1196-G-8 Report (Cornell Aeronautical Laboratory) |publisher=Spartan |year=1962 |pages=Page XIII Table of contents, Page 292 "13.3 Back-Propagating Error Correction Procedures" , Page 301 "figure 39 BACK-PROPAGATING ERROR-CORRECTION EXPERIMENTS" |author-link=Frank Rosenblatt}}</ref><ref name="DLhistory" /> किन्तु उन्हें यह नहीं पता था कि इसे कैसे प्रायुक्त किया जाए, चूंकि हेनरी जे. केली के पास [[नियंत्रण सिद्धांत]] के संदर्भ में 1960 में पहले से ही पश्चप्रचार का निरंतर अग्रदूत था<ref name="kelley1960">{{cite journal|last1=Kelley|first1=Henry J.|author-link=Henry J. Kelley|year=1960|title=इष्टतम उड़ान पथों का क्रमिक सिद्धांत|journal=ARS Journal|volume=30|issue=10|pages=947–954|doi=10.2514/8.5282}}</ref><ref name="DLhistory" /> | ||
पश्चप्रचार एकल इनपुट-आउटपुट उदाहरण के लिए नेटवर्क के भार के संबंध में एक लॉस फलन के ग्रेडिएंट की गणना करता है, और इतनी कुशलता ([[एल्गोरिथम दक्षता]]) से करता है, कि एक समय में ग्रेडिएंट की एक परत की गणना करता है, जो मध्यवर्ती शब्दों की अनावश्यक गणनाओं से बचने के लिए पिछली परत से पीछे की ओर जाता है। श्रृंखला नियम में; यह [[गतिशील प्रोग्रामिंग]] के माध्यम से प्राप्त किया जा सकता है।<ref name="kelley1960" /><ref name="bryson1961" />{{sfn|Goodfellow|Bengio|Courville|2016|p=[https://www.deeplearningbook.org/contents/mlp.html#pf33 214]|ps=, "This table-filling strategy is sometimes called ''dynamic programming''."}} [[ ढतला हुआ वंश | ग्रेडिएंट डिसेंट]] , या वैरिएंट जैसे [[स्टोकेस्टिक ग्रेडिएंट डिसेंट]]<ref name="robbins1951" /> सामान्यतः उपयोग किए जाते हैं। | पश्चप्रचार एकल इनपुट-आउटपुट उदाहरण के लिए नेटवर्क के भार के संबंध में एक लॉस फलन के ग्रेडिएंट की गणना करता है, और इतनी कुशलता ([[एल्गोरिथम दक्षता]]) से करता है, कि एक समय में ग्रेडिएंट की एक परत की गणना करता है, जो मध्यवर्ती शब्दों की अनावश्यक गणनाओं से बचने के लिए पिछली परत से पीछे की ओर जाता है। श्रृंखला नियम में; यह [[गतिशील प्रोग्रामिंग]] के माध्यम से प्राप्त किया जा सकता है।<ref name="kelley1960" /><ref name="bryson1961" />{{sfn|Goodfellow|Bengio|Courville|2016|p=[https://www.deeplearningbook.org/contents/mlp.html#pf33 214]|ps=, "This table-filling strategy is sometimes called ''dynamic programming''."}} [[ ढतला हुआ वंश | ग्रेडिएंट डिसेंट]] , या वैरिएंट जैसे [[स्टोकेस्टिक ग्रेडिएंट डिसेंट]]<ref name="robbins1951" /> सामान्यतः उपयोग किए जाते हैं। | ||
| Line 39: | Line 39: | ||
== आव्यूह गुणन == | == आव्यूह गुणन == | ||
फीडफॉरवर्ड नेटवर्क के मूल स्थिति के लिए, जहां प्रत्येक परत में नोड्स केवल तत्काल अगली परत (बिना किसी परत को छोड़े) में नोड्स से जुड़े होते हैं, और लॉस फलन होता है जो अंतिम आउटपुट के लिए स्केलर लॉस की गणना करता है, पश्चप्रचार हो सकता है आव्यूह गुणन द्वारा आसानी से समझा जा सकता है।{{efn|This section largely follows and summarizes {{harvtxt|Nielsen|2015}}.}} अनिवार्य रूप से, पश्चप्रचार प्रत्येक परत के बीच डेरिवेटिव के उत्पाद के रूप में लागत | फीडफॉरवर्ड नेटवर्क के मूल स्थिति के लिए, जहां प्रत्येक परत में नोड्स केवल तत्काल अगली परत (बिना किसी परत को छोड़े) में नोड्स से जुड़े होते हैं, और लॉस फलन होता है जो अंतिम आउटपुट के लिए स्केलर लॉस की गणना करता है, पश्चप्रचार हो सकता है आव्यूह गुणन द्वारा आसानी से समझा जा सकता है।{{efn|This section largely follows and summarizes {{harvtxt|Nielsen|2015}}.}} अनिवार्य रूप से, पश्चप्रचार प्रत्येक परत के बीच डेरिवेटिव के उत्पाद के रूप में लागत फलन के व्युत्पन्न के लिए अभिव्यक्ति का मूल्यांकन करता है, प्रत्येक परत के बीच भार के प्रवणता के साथ दाएं से बाएं "पीछे की ओर" आंशिक उत्पादों ("पीछे की ओर प्रचारित" गलती") का एक साधारण संशोधन होता है। | ||
इनपुट-आउटपुट जोड़ी <math>(x, y)</math> दी गई है, लॉस है: | इनपुट-आउटपुट जोड़ी <math>(x, y)</math> दी गई है, लॉस है: | ||
| Line 97: | Line 97: | ||
:<math>L(t, y)= (t-y)^2 = E, </math> | :<math>L(t, y)= (t-y)^2 = E, </math> | ||
जहाँ {{mvar|E}} विसंगति या त्रुटि है। | जहाँ {{mvar|E}} विसंगति या त्रुटि है। | ||
एकल प्रशिक्षण स्थिति: <math>(1, 1, 0)</math> पर नेटवर्क पर विचार करें। इस प्रकार, इनपुट <math>x_1</math> और <math>x_2</math> क्रमशः 1 और 1 हैं और सही आउटपुट, {{mvar|t}} 0 है। अब यदि नेटवर्क के आउटपुट के बीच संबंध प्लॉट किया जाता है {{mvar|y}} क्षैतिज अक्ष और त्रुटि पर {{mvar|E}} ऊर्ध्वाधर अक्ष पर, परिणाम [[परवलय]] है। पैराबोला का [[मैक्सिमा और मिनिमा]] आउटपुट {{mvar|y}} से मेल खाता है जो त्रुटि {{mvar|E}} को कम करता है. एकल प्रशिक्षण स्थिति के लिए, न्यूनतम भी क्षैतिज अक्ष को छूता है, जिसका अर्थ है कि त्रुटि शून्य होगी और नेटवर्क आउटपुट {{mvar|y}} उत्पन्न कर सकता है जो लक्ष्य आउटपुट {{mvar|t}} से बिल्कुल मेल खाता है। इसलिए, आउटपुट को मैपिंग इनपुट की समस्या को [[अनुकूलन समस्या]] में कम किया जा सकता है एक ऐसा | एकल प्रशिक्षण स्थिति: <math>(1, 1, 0)</math> पर नेटवर्क पर विचार करें। इस प्रकार, इनपुट <math>x_1</math> और <math>x_2</math> क्रमशः 1 और 1 हैं और सही आउटपुट, {{mvar|t}} 0 है। अब यदि नेटवर्क के आउटपुट के बीच संबंध प्लॉट किया जाता है {{mvar|y}} क्षैतिज अक्ष और त्रुटि पर {{mvar|E}} ऊर्ध्वाधर अक्ष पर, परिणाम [[परवलय]] है। पैराबोला का [[मैक्सिमा और मिनिमा]] आउटपुट {{mvar|y}} से मेल खाता है जो त्रुटि {{mvar|E}} को कम करता है. एकल प्रशिक्षण स्थिति के लिए, न्यूनतम भी क्षैतिज अक्ष को छूता है, जिसका अर्थ है कि त्रुटि शून्य होगी और नेटवर्क आउटपुट {{mvar|y}} उत्पन्न कर सकता है जो लक्ष्य आउटपुट {{mvar|t}} से बिल्कुल मेल खाता है। इसलिए, आउटपुट को मैपिंग इनपुट की समस्या को [[अनुकूलन समस्या]] में कम किया जा सकता है एक ऐसा फलन ढूंढना जो न्यूनतम त्रुटि उत्पन्न करेगा। [[File:Error surface of a linear neuron for a single training case.png|right|thumb|250px|एकल प्रशिक्षण स्थिति के लिए रेखीय न्यूरॉन की त्रुटि सतह]]चूँकि, न्यूरॉन का आउटपुट उसके सभी इनपुट के भारित योग पर निर्भर करता है: | ||
:<math>y=x_1w_1 + x_2w_2,</math> | :<math>y=x_1w_1 + x_2w_2,</math> | ||
| Line 205: | Line 205: | ||
=== उदाहरण लॉस फलन === | === उदाहरण लॉस फलन === | ||
मान लीजिये <math>y,y'</math> में वैक्टर <math>\mathbb{R}^n</math> हो। | |||
त्रुटि फलन | त्रुटि फलन <math>E(y,y')</math> का चयन करें दो आउटपुट के बीच अंतर को मापना। मानक विकल्प सदिशों <math>y</math> और <math>y'</math> के बीच [[यूक्लिडियन दूरी]] का वर्ग है:<math display="block">E(y,y') = \tfrac{1}{2} \lVert y-y'\rVert^2</math><math display="inline">n</math> प्रशिक्षण उदाहरणों पर त्रुटि फलन तब व्यक्तिगत उदाहरणों पर नुकसान के औसत के रूप में लिखा जा सकता है:<math display="block">E=\frac{1}{2n}\sum_x\lVert (y(x)-y'(x)) \rVert^2</math> | ||
== सीमाएं == | == सीमाएं == | ||
[[File:Extrema example.svg|thumb|250px|ग्रेडियेंट डिसेंट वैश्विक न्यूनतम के अतिरिक्त स्थानीय न्यूनतम पा सकता है।]]* त्रुटि फलन | [[File:Extrema example.svg|thumb|250px|ग्रेडियेंट डिसेंट वैश्विक न्यूनतम के अतिरिक्त स्थानीय न्यूनतम पा सकता है।]] | ||
* वैश्विक न्यूनतम त्रुटि फलन को खोजने के लिए पश्चप्रचार के साथ ग्रेडिएंट डिसेंट की गारंटी नहीं है, किन्तु केवल एक स्थानीय न्यूनतम है; साथ ही, त्रुटि फलन परिदृश्य में [[पठार (गणित)|पठारों (गणित)]] को पार करने में परेशानी होती है। तंत्रिका नेटवर्क में त्रुटि कार्यों की गैर-उत्तलता के कारण होने वाली इस समस्या को लंबे समय से एक बड़ी कमी माना जाता था, लेकिन [[ वाई एन एल ईसीयू के अंदर |वाई एन एल ईसीयू के अंदर]] एट अल तर्क देते हैं कि कई व्यावहारिक समस्याओं में, यह नहीं है।<ref>{{cite journal |first1=Yann |last1=LeCun |first2=Yoshua |last2=Bengio |first3=Geoffrey |last3=Hinton |title=ध्यान लगा के पढ़ना या सीखना|journal=Nature |volume=521 |issue=7553 |year=2015 |pages=436–444 |doi=10.1038/nature14539 |pmid=26017442|bibcode=2015Natur.521..436L |s2cid=3074096 }}</ref> | |||
* पश्चप्रचार सीखने के लिए इनपुट वैक्टर के सामान्यीकरण की आवश्यकता नहीं होती है; चूँकि, सामान्यीकरण प्रदर्शन में सुधार कर सकता है।<ref>{{Cite book|title=गेम प्रोग्रामिंग के लिए एआई तकनीक|last1=Buckland|first1=Matt|last2=Collins|first2=Mark |location=Boston |publisher=Premier Press |year=2002 |isbn=1-931841-08-X }}</ref> | * पश्चप्रचार सीखने के लिए इनपुट वैक्टर के सामान्यीकरण की आवश्यकता नहीं होती है; चूँकि, सामान्यीकरण प्रदर्शन में सुधार कर सकता है।<ref>{{Cite book|title=गेम प्रोग्रामिंग के लिए एआई तकनीक|last1=Buckland|first1=Matt|last2=Collins|first2=Mark |location=Boston |publisher=Premier Press |year=2002 |isbn=1-931841-08-X }}</ref> | ||
* पश्चप्रचार के लिए आवश्यक है कि सक्रियण फलनों के डेरिवेटिव को नेटवर्क डिज़ाइन समय पर जाना जाए। | * पश्चप्रचार के लिए आवश्यक है कि सक्रियण फलनों के डेरिवेटिव को नेटवर्क डिज़ाइन समय पर जाना जाए। | ||
== इतिहास == | == इतिहास == | ||
{{See also| | {{See also|परसेप्ट्रॉन # इतिहास|label 1=परसेप्ट्रॉन का इतिहास}} | ||
नेस्टेड डिफरेंशियल फंक्शन फंक्शन के असतत कनेक्टेड नेटवर्क के लिए आधुनिक पश्चप्रचार सेप्पो लिन्नैनमा का रिवर्स मोड ऑफ ऑटोमैटिक डिफरेंशियल (1970) है।<ref name="lin1970">{{cite thesis|first=Seppo|last=Linnainmaa|author-link=Seppo Linnainmaa|year=1970|type=Masters|title=स्थानीय राउंडिंग त्रुटियों के टेलर विस्तार के रूप में एल्गोरिथम की संचयी राउंडिंग त्रुटि का प्रतिनिधित्व|language=fi|publisher=University of Helsinki|pages=6–7}}</ref><ref name="lin1976">{{cite journal|last1=Linnainmaa|first1=Seppo|author-link=Seppo Linnainmaa|year=1976|title=संचित गोलाई त्रुटि का टेलर विस्तार|journal=BIT Numerical Mathematics|volume=16|issue=2|pages=146–160|doi=10.1007/bf01931367|s2cid=122357351}}</ref><ref name="schmidhuber2015" /><ref name="scholarpedia2015" /><ref name="grie2012">{{cite book |last=Griewank |first=Andreas |year=2012 |chapter=Who Invented the Reverse Mode of Differentiation? |title=अनुकूलन कहानियां|series=Documenta Matematica, Extra Volume ISMP |pages=389–400 |s2cid=15568746 }}</ref><ref name="grie2008">{{cite book|url={{google books |plainurl=y |id=xoiiLaRxcbEC}}|title=Evaluating Derivatives: Principles and Techniques of Algorithmic Differentiation, Second Edition|last1=Griewank|first1=Andreas|last2=Walther|first2=Andrea|author2-link=Andrea Walther|publisher=SIAM|year=2008|isbn=978-0-89871-776-1}}</ref> यह इस तरह के नेटवर्क के लिए श्रृंखला नियम (1673<ref name="leibniz1676" /><ref>{{cite journal|url= https://scholarworks.umt.edu/tme/vol7/iss2/10/ |title=श्रृंखला नियम के उपदेशों पर एक लाक्षणिक प्रतिबिंब|journal=The Mathematics Enthusiast |year=2010 |volume=7 |pages=321–332 |issue=2 |first1=Omar Hernández |last1=Rodríguez |first2=Jorge M. |last2=López Fernández |doi=10.54870/1551-3440.1191 |s2cid=29739148 |access-date=2019-08-04|doi-access=free }}</ref> में गॉटफ्रीड विल्हेम लीबनिज द्वारा व्युत्पन्न) का एक कुशल अनुप्रयोग है।<ref name="DLhistory" /> शब्दावली पश्च-प्रसार त्रुटि सुधार 1962 में फ्रैंक रोसेनब्लैट द्वारा प्रस्तुत किया गया था,<ref>{{cite book|last=Rosenblatt|first=Frank|author-link=Frank Rosenblatt|title=न्यूरोडायनामिक्स के सिद्धांत|year=1962|publisher=Spartan, New York}}</ref><ref name="DLhistory" /> किन्तु वह यह नहीं जानता था कि इसे कैसे प्रायुक्त किया जाए, चूंकि हेनरी जे. केली के पास नियंत्रण सिद्धांत के संदर्भ में<ref name="DLhistory" /> 1960 में पहले से ही बैकप्रॉपैगेशन का एक निरंतर अग्रदूत था।<ref name="kelley1960" /> स्टोचैस्टिक ग्रेडिएंट डिसेंट द्वारा प्रशिक्षित पहला [[ध्यान लगा के पढ़ना या सीखना|डीप लर्निंग मल्टीलेयर परसेप्ट्रॉन]] (एमएलपी)<ref name="robbins1951">{{Cite journal | last1 = Robbins | first1 = H. | author-link = Herbert Robbins| last2 = Monro | first2 = S. | doi = 10.1214/aoms/1177729586 | title = एक स्टोकेस्टिक सन्निकटन विधि| journal = The Annals of Mathematical Statistics | volume = 22 | issue = 3 | pages = 400 | year = 1951 | doi-access = free }}</ref> 1967 में शुनिची अमारी द्वारा प्रकाशित किया गया था।<ref name="Amari1967">{{cite journal |last1=Amari |first1=Shun'ichi |author-link=Shun'ichi Amari|title=अनुकूली पैटर्न वर्गीकारक का एक सिद्धांत|journal= IEEE Transactions |date=1967 |volume=EC |issue=16 |pages=279–307}}</ref><ref name="DLhistory" /> कंप्यूटर प्रयोगों में, दो परिवर्तनीय परतों के साथ उनके पांच परत एमएलपी ने गैर-रैखिक रूप से अलग-अलग प्रारूप वर्गों को वर्गीकृत करने के लिए आवश्यक ज्ञान प्रतिनिधित्व सीखा था।<ref name="DLhistory" />1982 में, [[पॉल वर्बोस]] ने एमएलपी के लिए उस तरह से पश्चप्रचार प्रायुक्त किया जो मानक बन गया है।<ref name="werbos1982">{{Cite book|title=सिस्टम मॉडलिंग और अनुकूलन|last=Werbos|first=Paul|publisher=Springer|year=1982|pages=762–770|chapter=Applications of advances in nonlinear sensitivity analysis|author-link=Paul Werbos|chapter-url=http://werbos.com/Neural/SensitivityIFIPSeptember1981.pdf|access-date=2 July 2017|archive-date=14 April 2016|archive-url=https://web.archive.org/web/20160414055503/http://werbos.com/Neural/SensitivityIFIPSeptember1981.pdf|url-status=live}}</ref><ref name="werbos1974">{{cite book |last=Werbos |first=Paul J. |title=The Roots of Backpropagation : From Ordered Derivatives to Neural Networks and Political Forecasting |location=New York |publisher=John Wiley & Sons |year=1994 |isbn=0-471-59897-6 }}</ref><ref name="DLhistory" /> | |||
1985 में, डेविड ई. रुमेलहार्ट एट अल। विधि का प्रायोगिक विश्लेषण प्रकाशित किया।<ref name="learning-representations">{{cite journal | last1 = Rumelhart | last2 = Hinton | last3 = Williams | title=बैक-प्रोपेगेटिंग एरर द्वारा अभ्यावेदन सीखना| journal = Nature | volume = 323 | issue = 6088 | pages = 533–536 | url = http://www.cs.toronto.edu/~hinton/absps/naturebp.pdf| doi = 10.1038/323533a0 | year = 1986 | bibcode = 1986Natur.323..533R | s2cid = 205001834 }}</ref> इसने पश्चप्रचार को लोकप्रिय बनाने में योगदान दिया और बहुपरत परसेप्ट्रॉन में अनुसंधान की सक्रिय अवधि प्रारंभ करने में सहायता की थी।<ref name="RumelhartHintonWilliams1986a" /><ref name="RumelhartHintonWilliams1986b">{{cite book |editor1-last=Rumelhart |editor1-first=David E. |editor1-link=David E. Rumelhart |editor2-first=James L. |editor2-last=McClelland |editor2-link=James McClelland (psychologist) |title=Parallel Distributed Processing : Explorations in the Microstructure of Cognition |volume=1 : Foundations |last1=Rumelhart |first1=David E. |author-link1=David E. Rumelhart |last2=Hinton |first2=Geoffrey E. |author-link2=Geoffrey E. Hinton |first3=Ronald J. |last3=Williams |author-link3=Ronald J. Williams |chapter=8. Learning Internal Representations by Error Propagation |location=Cambridge |publisher=MIT Press |year=1986b |isbn=0-262-18120-7 |chapter-url-access=registration |chapter-url=https://archive.org/details/paralleldistribu00rume }}</ref><ref>{{cite book|url={{google books |plainurl=y |id=4j9GAQAAIAAJ}}|title=मशीन लर्निंग का परिचय|last=Alpaydin|first=Ethem|publisher=MIT Press|year=2010|isbn=978-0-262-01243-0}}</ref> | |||
केली (1960)<ref name="kelley1960" />और आर्थर ई. ब्रायसन (1961)<ref name="bryson1961">{{cite book |first=Arthur E. |last=Bryson |year=1962 |chapter=A gradient method for optimizing multi-stage allocation processes |title=Proceedings of the Harvard Univ. Symposium on digital computers and their applications, 3–6 April 1961 |location=Cambridge |publisher=Harvard University Press |oclc=498866871 }}</ref> विधि के उपर्युक्त निरंतर अग्रदूत को प्राप्त करने के लिए गतिशील प्रोग्रामिंग के सिद्धांतों का उपयोग किया। 1962 में, [[स्टुअर्ट ड्रेफस]] ने केवल श्रृंखला नियम पर आधारित सरल व्युत्पत्ति प्रकाशित की।<ref>{{Cite journal|last=Dreyfus|first=Stuart|title=परिवर्तनशील समस्याओं का संख्यात्मक समाधान|journal=Journal of Mathematical Analysis and Applications|volume=5|issue=1|pages=30–45|doi=10.1016/0022-247x(62)90004-5|year=1962|doi-access=free}}</ref><ref name="dreyfus1990">{{Cite journal|last=Dreyfus |first=Stuart E.|author-link=Stuart Dreyfus|date=1990|title=कृत्रिम तंत्रिका नेटवर्क, पश्च प्रसार, और केली-ब्रायसन ग्रेडिएंट प्रक्रिया|journal=Journal of Guidance, Control, and Dynamics|volume=13|issue=5|pages=926–928|doi=10.2514/3.25422|bibcode=1990JGCD...13..926D}}</ref><ref>{{Cite web|url=https://coeieor.wpengine.com/wp-content/uploads/2019/03/ijcnn2k.pdf|title=केली-ब्रायसन ऑप्टिमल-कंट्रोल ग्रेडिएंट फॉर्मूला और उसके अनुप्रयोग से एमएलपी बैकप्रॉपैगेशन की व्युत्पत्ति पर|last1=Mizutani|first1=Eiji|last2=Dreyfus|first2=Stuart|date=July 2000|publisher=Proceedings of the IEEE International Joint Conference on Neural Networks|last3=Nishio|first3=Kenichi}}</ref><ref name="schmidhuber2015">{{cite journal | last = Schmidhuber | first = Jürgen | author-link = Jürgen Schmidhuber | year = 2015 | title = Deep learning in neural networks: An overview | journal = Neural Networks | volume = 61 | pages = 85–117 | doi=10.1016/j.neunet.2014.09.003| pmid = 25462637 | arxiv = 1404.7828 | s2cid = 11715509 }}</ref><ref name="scholarpedia2015">{{cite journal | last = Schmidhuber | first = Jürgen | author-link = Jürgen Schmidhuber | year = 2015 | title = ध्यान लगा के पढ़ना या सीखना| journal = Scholarpedia | volume = 10 | issue = 11| page = 32832 | doi=10.4249/scholarpedia.32832| bibcode = 2015SchpJ..1032832S | doi-access = free }}</ref> 1973 में, उन्होंने त्रुटि ग्रेडिएंट्स के अनुपात में नियंत्रकों के मापदंडों को अनुकूलित किया।<ref name="dreyfus1973">{{cite journal | last = Dreyfus | first = Stuart | author-link = Stuart Dreyfus | year = 1973 | title = समय अंतराल के साथ इष्टतम नियंत्रण समस्याओं का कम्प्यूटेशनल समाधान| journal = IEEE Transactions on Automatic Control | volume = 18 | issue = 4| pages = 383–385 | doi=10.1109/tac.1973.1100330}}</ref> लिनेनमा 1970 विधि के विपरीत,<ref name="lin1970" /><ref name="grie2012" /> इन अग्रदूतों ने मानक जैकबियन आव्यूह गणनाओं को चरण से पिछले तक उपयोग किया, न तो कई चरणों में सीधे लिंक को संबोधित किया और न ही नेटवर्क दुर्लभता के कारण संभावित अतिरिक्त दक्षता लाभ।<ref name="DLhistory" /> | |||
1985 में, पार्कर द्वारा विधि का भी वर्णन किया गया था।<ref>{{Cite journal|last=Parker|first=D.B.|date=1985|title=तर्क सीखना|department=Center for Computational Research in Economics and Management Science|publisher=Massachusetts Institute of Technology|location=Cambridge MA}}</ref><ref name=":0">{{Cite book|last=Hertz |first=John |title=तंत्रिका संगणना के सिद्धांत का परिचय|date=1991|publisher=Addison-Wesley |others=Krogh, Anders., Palmer, Richard G.|isbn=0-201-50395-6|location=Redwood City, Calif.|pages=8|oclc=21522159}}</ref> यान लेकन ने 1987 में अपनी पीएचडी थीसिस में तंत्रिका नेटवर्क के लिए पश्चप्रचार का वैकल्पिक रूप प्रस्तावित किया। 1993 में, एरिक वान ने पश्चप्रचार के माध्यम से अंतरराष्ट्रीय प्रारूप मान्यता प्रतियोगिता जीती थी।<ref name="schmidhuber2015" /><ref>{{cite book |first=Eric A. |last=Wan |s2cid=12652643 |chapter=Time Series Prediction by Using a Connectionist Network with Internal Delay Lines |title=Time Series Prediction : Forecasting the Future and Understanding the Past |editor-first=Andreas S. |editor-last=Weigend |editor-link=Andreas Weigend |editor2-first=Neil A. |editor2-last=Gershenfeld |editor2-link=Neil Gershenfeld |series=Proceedings of the NATO Advanced Research Workshop on Comparative Time Series Analysis |volume=15 |location=Reading |publisher=Addison-Wesley |year=1994 |isbn=0-201-62601-2 |pages=195–217 }}</ref> | |||
2000 के दशक के समय यह पक्ष से बाहर हो गया{{citation needed|date=February 2022}}, किन्तु 2010 के दशक में लौटा, सस्ते, शक्तिशाली [[जीपीयू]]-आधारित कंप्यूटिंग सिस्टम से लाभान्वित हुआ। यह विशेष रूप से [[वाक् पहचान]], [[मशीन दृष्टि]], [[प्राकृतिक भाषा प्रसंस्करण]], और भाषा संरचना सीखने के अनुसंधान में ऐसा रहा है (जिसमें पहली<ref>{{Cite journal|last1=Chang|first1=Franklin|last2=Dell|first2=Gary S.|last3=Bock|first3=Kathryn|date=2006|title=वाक्यात्मक बनना।|journal=Psychological Review|volume=113|issue=2|pages=234–272|doi=10.1037/0033-295x.113.2.234|pmid=16637761}}</ref> और दूसरी भाषा सीखने से संबंधित विभिन्न घटनाओं की व्याख्या करने के लिए इसका इस्तेमाल किया गया है।<ref>{{Cite journal|last1=Janciauskas|first1=Marius|last2=Chang|first2=Franklin|title=Input and Age-Dependent Variation in Second Language Learning: A Connectionist Account|journal=Cognitive Science|volume=42|pages=519–554|doi=10.1111/cogs.12519|pmid=28744901|pmc=6001481|year=2018|issue=Suppl Suppl 2 }}</ref>). | |||
2000 के दशक के समय यह पक्ष से बाहर हो गया{{citation needed|date=February 2022}}, किन्तु 2010 के दशक में लौटा, सस्ते, शक्तिशाली [[जीपीयू]]-आधारित कंप्यूटिंग सिस्टम से लाभान्वित हुआ। यह विशेष रूप से [[वाक् पहचान]], [[मशीन दृष्टि]], [[प्राकृतिक भाषा प्रसंस्करण]], और भाषा संरचना सीखने के अनुसंधान में ऐसा रहा है (जिसमें | |||
मानव मस्तिष्क घटना से संबंधित संभावित घटकों जैसे N400 (न्यूरोसाइंस) और P600 (न्यूरोसाइंस) की व्याख्या करने के लिए त्रुटि पश्चप्रचार का सुझाव दिया गया है।<ref>{{Cite journal|last1=Fitz|first1=Hartmut|last2=Chang|first2=Franklin|date=2019|title=भाषा ईआरपी भविष्यवाणी त्रुटि प्रसार के माध्यम से सीखने को दर्शाता है|journal=Cognitive Psychology|language=en|volume=111|pages=15–52|doi=10.1016/j.cogpsych.2019.03.002|pmid=30921626|hdl=21.11116/0000-0003-474D-8|s2cid=85501792|hdl-access=free}}</ref> | मानव मस्तिष्क घटना से संबंधित संभावित घटकों जैसे N400 (न्यूरोसाइंस) और P600 (न्यूरोसाइंस) की व्याख्या करने के लिए त्रुटि पश्चप्रचार का सुझाव दिया गया है।<ref>{{Cite journal|last1=Fitz|first1=Hartmut|last2=Chang|first2=Franklin|date=2019|title=भाषा ईआरपी भविष्यवाणी त्रुटि प्रसार के माध्यम से सीखने को दर्शाता है|journal=Cognitive Psychology|language=en|volume=111|pages=15–52|doi=10.1016/j.cogpsych.2019.03.002|pmid=30921626|hdl=21.11116/0000-0003-474D-8|s2cid=85501792|hdl-access=free}}</ref> | ||
