डीप लर्निंग: Difference between revisions

From Vigyanwiki
(text)
(text)
Line 44: Line 44:
कुछ स्रोत बताते हैं कि [[फ्रैंक रोसेनब्लैट]] ने आज की गहन शिक्षण प्रणालियों के सभी बुनियादी अवयवों का विकास और अन्वेषण किया है। <रेफरी नाम = पश्च विद्वता का जनक कौन है? >{{cite book |chapter-url=https://ieeexplore.ieee.org/document/9070967 |chapter=पश्च विद्वता के जनक कौन हैं ? |publisher=IEEE |doi=10.1109/CSCI49370.2019.00067 |accessdate=31 May 2021|title=कम्प्यूटेशनल साइंस एंड कम्प्यूटेशनल इंटेलिजेंस (CSCI) पर 2019 अंतर्राष्ट्रीय सम्मेलन|year=2019 |last1=टैपर्ट |first1=चार्ल्स सी. |pages=343–348 |isbn=978-1-7281-5584-5 |s2cid=216043128 }}<nowiki></ref></nowiki> उन्होंने 1962 में कॉर्नेल एरोनॉटिकल लेबोरेटरी, इंक, कॉर्नेल विश्वविद्यालय द्वारा प्रकाशित अपनी पुस्तक प्रिंसिपल्स ऑफ़ न्यूरोडायनामिक्स: परसेप्ट्रॉन्स एंड द थ्योरी ऑफ़ ब्रेन मैकेनिज़्म में इसका वर्णन किया।
कुछ स्रोत बताते हैं कि [[फ्रैंक रोसेनब्लैट]] ने आज की गहन शिक्षण प्रणालियों के सभी बुनियादी अवयवों का विकास और अन्वेषण किया है। <रेफरी नाम = पश्च विद्वता का जनक कौन है? >{{cite book |chapter-url=https://ieeexplore.ieee.org/document/9070967 |chapter=पश्च विद्वता के जनक कौन हैं ? |publisher=IEEE |doi=10.1109/CSCI49370.2019.00067 |accessdate=31 May 2021|title=कम्प्यूटेशनल साइंस एंड कम्प्यूटेशनल इंटेलिजेंस (CSCI) पर 2019 अंतर्राष्ट्रीय सम्मेलन|year=2019 |last1=टैपर्ट |first1=चार्ल्स सी. |pages=343–348 |isbn=978-1-7281-5584-5 |s2cid=216043128 }}<nowiki></ref></nowiki> उन्होंने 1962 में कॉर्नेल एरोनॉटिकल लेबोरेटरी, इंक, कॉर्नेल विश्वविद्यालय द्वारा प्रकाशित अपनी पुस्तक प्रिंसिपल्स ऑफ़ न्यूरोडायनामिक्स: परसेप्ट्रॉन्स एंड द थ्योरी ऑफ़ ब्रेन मैकेनिज़्म में इसका वर्णन किया।


1967 में [[एलेक्सी इवाखेंको]] और लैपा द्वारा पर्यवेक्षित, पश्च, फीडफॉरवर्ड, मल्टीलेयर परसेप्ट्रॉन के लिए पहला सामान्य, वर्किंग विद्वता कलन विधि प्रकाशित किया गया था। रेफरी नाम = ivak1965 >{{cite book|first1=A. G. |last1=Ivakhnenko |first2=V. G. |last2=Lapa |title=साइबरनेटिक्स और पूर्वानुमान तकनीक|url={{google books |plainurl=y |id=rGFgAAAAMAAJ}}|year=1967|publisher=American Elsevier Publishing Co.|isbn=978-0-444-00020-0}}</ref> 1971 के एक पेपर में [[डेटा प्रबंधन की समूह विधि]] द्वारा प्रशिक्षित आठ परतों के साथ एक गहरे संजाल का वर्णन किया गया था। रेफरी नाम = ivak1971 >{{Cite journal|last=Ivakhnenko|first=Alexey|date=1971|title=जटिल प्रणालियों का बहुपद सिद्धांत|url=http://gmdh.net/articles/history/polynomial.pdf|journal=IEEE Transactions on Systems, Man and Cybernetics|pages=364–378|doi=10.1109/TSMC.1971.4308320|volume=SMC-1|issue=4|access-date=2019-11-05|archive-date=2017-08-29|archive-url=https://web.archive.org/web/20170829230621/http://www.gmdh.net/articles/history/polynomial.pdf|url-status=live}}<nowiki></ref></nowiki> अन्य पश्च विद्वता वर्किंग संरचना, विशेष रूप से परिकलक विजन के लिए बनाए गए, 1980 में [[कुनिहिको फुकुशिमा]] द्वारा पेश किए गए [[नियोकॉग्निट्रोन]] के साथ शुरू हुए। रेफरी नाम = फुकु1980 >{{cite journal | last1 = Fukushima | first1 = K. | year = 1980 | title = Neocognitron: स्थिति में बदलाव से अप्रभावित पैटर्न पहचान के तंत्र के लिए एक स्व-संगठित तंत्रिका नेटवर्क मॉडल| journal = Biol. Cybern. | volume = 36 | issue = 4| pages = 193–202 | doi=10.1007/bf00344251 | pmid=7370364| s2cid = 206775608 }}</रेफरी>
1967 में [[एलेक्सी इवाखेंको]] और लैपा द्वारा पर्यवेक्षित, पश्च, फीडफॉरवर्ड, मल्टीलेयर परसेप्ट्रॉन के लिए पहला सामान्य, कार्यरत विद्वता कलन विधि प्रकाशित किया गया था। रेफरी नाम = ivak1965 >{{cite book|first1=. जी. |last1=इवाखेंको |first2=वी. जी. |last2=लापा |title=साइबरनेटिक्स और पूर्वानुमान तकनीक|url={{google books |plainurl=y |id=rGFgAAAAMAAJ}}|year=1967|publisher=अमरीकी एल्सेवियर प्रकाशन कम्पनी|isbn=978-0-444-00020-0}}</ref> 1971 के एक पेपर में [[डेटा प्रबंधन की समूह विधि]] द्वारा प्रशिक्षित आठ परतों के साथ एक गहरे संजाल का वर्णन किया गया था। रेफरी नाम = ivak1971 >{{Cite journal|last=इवाखेंको|first=Alexey|date=1971|title=जटिल प्रणालियों का बहुपद सिद्धांत|url=http://gmdh.net/articles/history/polynomial.pdf|journal=सिस्टम पर IEEE लेनदेन, आदमी और साइबरनेटिक्स|pages=364–378|doi=10.1109/TSMC.1971.4308320|volume=SMC-1|issue=4|access-date=2019-11-05|archive-date=2017-08-29|archive-url=https://web.archive.org/web/20170829230621/http://www.gmdh.net/articles/history/polynomial.pdf|url-status=live}}<nowiki></ref></nowiki> अन्य पश्च विद्वता कार्यरत संरचना, विशेष रूप से परिकलक दूरदर्शिता के लिए बनाए गए, 1980 में [[कुनिहिको फुकुशिमा]] द्वारा पेश किए गए [[नियोकॉग्निट्रोन]] के साथ शुरू हुए। रेफरी नाम = फुकु1980 >{{cite journal | last1 = फुकुशिमा | first1 = के. | year = 1980 | title = नियोकॉग्निट्रोन: स्थिति में बदलाव से अप्रभावित अभिरचना पहचान के तंत्र के लिए एक स्व-संगठित तंत्रिका नेटवर्क नमूना| journal = बायोल. साइबरन. | volume = 36 | issue = 4| pages = 193–202 | doi=10.1007/bf00344251 | pmid=7370364| s2cid = 206775608 }}</रेफरी>


1986 में [[रीना डेक्टर]] द्वारा यंत्र विद्वता समुदाय के लिए पश्च विद्वता शब्द पेश किया गया था।
पश्च विद्वता शब्द को 1986 में रीना डेक्टर द्वारा मशीन विद्वता समुदाय के लिए पेश किया गया था, [29] और बूलियन थ्रेशोल्ड न्यूरॉन्स के संदर्भ में इगोर एज़ेनबर्ग और उनके सहयोगियों द्वारा कृत्रिम तंत्रिका नेटवर्क के लिए 2000 में पेश किया गया था।।  ऐज़ेनबर्ग, नाउम एन. एज़ेनबर्ग, जोस पी.एल. (2000)। बहु-मूल्यवान और सार्वभौमिक बाइनरी न्यूरॉन्स: सिद्धांत, सीखना और अनुप्रयोग। स्प्रिंगर साइंस एंड बिजनेस मीडिया।<nowiki></ref></nowiki><ref>Co-evolving recurrent neurons learn deep memory POMDPs. Proc. GECCO, Washington, D. C., pp. 1795-1802, ACM Press, New York, NY, USA, 2005.</ref>
रेफरी नाम = dechter1986> रीना Dechter (1986)। बाधा-संतुष्टि समस्याओं में खोज करते हुए सीखना। कैलिफोर्निया विश्वविद्यालय, परिकलक विज्ञान विभाग, संज्ञानात्मक प्रणाली प्रयोगशाला। {{Webarchive|url=https://web.archive.org/web/20160419054654/https://www.researchgate.net/publication/221605378_Learning_While_Searching_in_Constraint-Satisfaction-Problems |date=2016-04-19 }}</ref> और 2000 में [[बूलियन नेटवर्क|बूलियन संजाल]] थ्रेशोल्ड न्यूरॉन्स के संदर्भ में इगोर एज़ेनबर्ग और उनके सहयोगियों द्वारा कृत्रिम तंत्रिका संजाल के लिए। संदर्भ नाम = aizenberg2000 >इगोर Aizenberg, Naum N. Aizenberg, Joos P.L. वंदेवाले (2000)। बहु-मूल्यवान और सार्वभौमिक बाइनरी न्यूरॉन्स: सिद्धांत, सीखना और अनुप्रयोग। स्प्रिंगर साइंस एंड बिजनेस मीडिया।<nowiki></ref></nowiki><ref>Co-evolving recurrent neurons learn deep memory POMDPs. Proc. GECCO, Washington, D. C., pp. 1795-1802, ACM Press, New York, NY, USA, 2005.</ref>
1989 में, [[वाई एन एल ईसीयू के अंदर]] एट अल। मानक पश्चप्रचार कलन विधि लागू किया, जो 1970 के बाद से स्वत: विभेदीकरण के रिवर्स मोड के रूप में था,<ref name="lin1970">[[Seppo Linnainmaa]] (1970). The representation of the cumulative rounding error of an algorithm as a Taylor expansion of the local rounding errors. Master's Thesis (in Finnish), Univ. Helsinki, 6-7.</ref><ref name="grie2012">{{Cite journal|last=Griewank|first=Andreas|date=2012|title=विभेदीकरण के रिवर्स मोड का आविष्कार किसने किया?|url=http://www.math.uiuc.edu/documenta/vol-ismp/52_griewank-andreas-b.pdf|journal=Documenta Mathematica|issue=Extra Volume ISMP|pages=389–400|access-date=11 June 2017|archive-url=https://web.archive.org/web/20170721211929/http://www.math.uiuc.edu/documenta/vol-ismp/52_griewank-andreas-b.pdf|archive-date=21 July 2017|url-status=dead}}</ref><ref name="WERBOS1974">{{Cite journal|last=Werbos|first=P.|date=1974|title=प्रतिगमन से परे: व्यवहार विज्ञान में भविष्यवाणी और विश्लेषण के लिए नए उपकरण|url=https://www.researchgate.net/publication/35657389 |journal=Harvard University |access-date=12 June 2017}}</ref><ref name="werbos1982">{{Cite book|chapter-url=ftp://ftp.idsia.ch/pub/juergen/habilitation.pdf|title=सिस्टम मॉडलिंग और अनुकूलन|last=Werbos|first=Paul|publisher=Springer|year=1982|pages=762–770|chapter=Applications of advances in nonlinear sensitivity analysis}}</ref> मेल पर लिखावट की पहचान के उद्देश्य से एक गहरे तंत्रिका संजाल के लिए। जबकि एल्गोरिथ्म ने काम किया, प्रशिक्षण के लिए 3 दिनों की आवश्यकता थी।<ref name="LECUN1989">LeCun ''et al.'', "Backpropagation Applied to Handwritten Zip Code Recognition," ''Neural Computation'', 1, pp. 541–551, 1989.</ref> 1988 में स्वतंत्र रूप से, वी झांग एट अल। अक्षरों की पहचान के लिए कनवल्शनल न्यूरल संजाल (इमेज फीचर लेयर्स और अंतिम पूरी तरह से कनेक्टेड लेयर के बीच केवल कनवल्शनल इंटरकनेक्शन को ध्यान में रखते हुए एक सरलीकृत नियोकोग्निट्रॉन) के लिए बैकप्रॉपैगेशन कलन विधि लागू किया और ऑप्टिकल कंप्यूटिंग सिस्टम के साथ CNN के कार्यान्वयन का भी प्रस्ताव दिया।<ref name="wz1988">{{cite journal |last=Zhang |first=Wei |date=1988 |title=शिफ्ट-इनवेरिएंट पैटर्न रिकग्निशन न्यूरल नेटवर्क और इसकी ऑप्टिकल आर्किटेक्चर|url=https://drive.google.com/file/d/1nN_5odSG_QVae54EsQN_qSz-0ZsX6wA0/view?usp=sharing |journal=Proceedings of Annual Conference of the Japan Society of Applied Physics}}</ref><ref name="wz1990">{{cite journal |last=Zhang |first=Wei |date=1990 |title=स्थानीय अंतरिक्ष-अपरिवर्तनीय इंटरकनेक्शन और इसके ऑप्टिकल आर्किटेक्चर के साथ समानांतर वितरित प्रसंस्करण मॉडल|url=https://drive.google.com/file/d/0B65v6Wo67Tk5ODRzZmhSR29VeDg/view?usp=sharing |journal=Applied Optics |volume=29 |issue=32 |pages=4790–7 |doi=10.1364/AO.29.004790 |pmid=20577468 |bibcode=1990ApOpt..29.4790Z}}</ref> इसके बाद, वी झांग, एट अल। अंतिम पूरी तरह से जुड़ी हुई परत को हटाकर प्रतिरूप को संशोधित किया और 1991 में इसे मेडिकल इमेज ऑब्जेक्ट सेगमेंटेशन के लिए लागू किया<ref>{{cite journal |last=Zhang |first=Wei |date=1991 |title=लर्निंग नेटवर्क के आधार पर मानव कॉर्नियल एंडोथेलियम की इमेज प्रोसेसिंग|url=https://drive.google.com/file/d/0B65v6Wo67Tk5cm5DTlNGd0NPUmM/view?usp=sharing |journal=Applied Optics |volume=30 |issue=29 |pages=4211–7 |doi=10.1364/AO.30.004211 |pmid=20706526 |bibcode=1991ApOpt..30.4211Z}}</ref> और 1994 में मैमोग्राम में स्तन कैंसर का पता लगाना।<ref>{{cite journal |last=Zhang |first=Wei |date=1994 |title=शिफ्ट-इनवेरिएंट आर्टिफिशियल न्यूरल नेटवर्क का उपयोग करके डिजिटल मैमोग्राम में क्लस्टर्ड माइक्रोकलिफिकेशन का कम्प्यूटरीकृत पता लगाना|url=https://drive.google.com/file/d/0B65v6Wo67Tk5Ml9qeW5nQ3poVTQ/view?usp=sharing |journal=Medical Physics |volume=21 |issue=4 |pages=517–24 |doi=10.1118/1.597177 |pmid=8058017 |bibcode=1994MedPh..21..517Z}}</ref>
1989 में, [[वाई एन एल ईसीयू के अंदर]] एट अल। मानक पश्चप्रचार कलन विधि लागू किया, जो 1970 के बाद से स्वत: विभेदीकरण के रिवर्स मोड के रूप में था,<ref name="lin1970">[[Seppo Linnainmaa]] (1970). The representation of the cumulative rounding error of an algorithm as a Taylor expansion of the local rounding errors. Master's Thesis (in Finnish), Univ. Helsinki, 6-7.</ref><ref name="grie2012">{{Cite journal|last=Griewank|first=Andreas|date=2012|title=विभेदीकरण के रिवर्स मोड का आविष्कार किसने किया?|url=http://www.math.uiuc.edu/documenta/vol-ismp/52_griewank-andreas-b.pdf|journal=Documenta Mathematica|issue=Extra Volume ISMP|pages=389–400|access-date=11 June 2017|archive-url=https://web.archive.org/web/20170721211929/http://www.math.uiuc.edu/documenta/vol-ismp/52_griewank-andreas-b.pdf|archive-date=21 July 2017|url-status=dead}}</ref><ref name="WERBOS1974">{{Cite journal|last=Werbos|first=P.|date=1974|title=प्रतिगमन से परे: व्यवहार विज्ञान में भविष्यवाणी और विश्लेषण के लिए नए उपकरण|url=https://www.researchgate.net/publication/35657389 |journal=Harvard University |access-date=12 June 2017}}</ref><ref name="werbos1982">{{Cite book|chapter-url=ftp://ftp.idsia.ch/pub/juergen/habilitation.pdf|title=सिस्टम मॉडलिंग और अनुकूलन|last=Werbos|first=Paul|publisher=Springer|year=1982|pages=762–770|chapter=Applications of advances in nonlinear sensitivity analysis}}</ref> मेल पर लिखावट की पहचान के उद्देश्य से एक गहरे तंत्रिका संजाल के लिए। जबकि एल्गोरिथ्म ने काम किया, प्रशिक्षण के लिए 3 दिनों की आवश्यकता थी।<ref name="LECUN1989">LeCun ''et al.'', "Backpropagation Applied to Handwritten Zip Code Recognition," ''Neural Computation'', 1, pp. 541–551, 1989.</ref> 1988 में स्वतंत्र रूप से, वी झांग एट अल। अक्षरों की पहचान के लिए कनवल्शनल न्यूरल संजाल (इमेज फीचर लेयर्स और अंतिम पूरी तरह से कनेक्टेड लेयर के बीच केवल कनवल्शनल इंटरकनेक्शन को ध्यान में रखते हुए एक सरलीकृत नियोकोग्निट्रॉन) के लिए बैकप्रॉपैगेशन कलन विधि लागू किया और ऑप्टिकल कंप्यूटिंग सिस्टम के साथ CNN के कार्यान्वयन का भी प्रस्ताव दिया।<ref name="wz1988">{{cite journal |last=Zhang |first=Wei |date=1988 |title=शिफ्ट-इनवेरिएंट पैटर्न रिकग्निशन न्यूरल नेटवर्क और इसकी ऑप्टिकल आर्किटेक्चर|url=https://drive.google.com/file/d/1nN_5odSG_QVae54EsQN_qSz-0ZsX6wA0/view?usp=sharing |journal=Proceedings of Annual Conference of the Japan Society of Applied Physics}}</ref><ref name="wz1990">{{cite journal |last=Zhang |first=Wei |date=1990 |title=स्थानीय अंतरिक्ष-अपरिवर्तनीय इंटरकनेक्शन और इसके ऑप्टिकल आर्किटेक्चर के साथ समानांतर वितरित प्रसंस्करण मॉडल|url=https://drive.google.com/file/d/0B65v6Wo67Tk5ODRzZmhSR29VeDg/view?usp=sharing |journal=Applied Optics |volume=29 |issue=32 |pages=4790–7 |doi=10.1364/AO.29.004790 |pmid=20577468 |bibcode=1990ApOpt..29.4790Z}}</ref> इसके बाद, वी झांग, एट अल। अंतिम पूरी तरह से जुड़ी हुई परत को हटाकर प्रतिरूप को संशोधित किया और 1991 में इसे मेडिकल इमेज ऑब्जेक्ट सेगमेंटेशन के लिए लागू किया<ref>{{cite journal |last=Zhang |first=Wei |date=1991 |title=लर्निंग नेटवर्क के आधार पर मानव कॉर्नियल एंडोथेलियम की इमेज प्रोसेसिंग|url=https://drive.google.com/file/d/0B65v6Wo67Tk5cm5DTlNGd0NPUmM/view?usp=sharing |journal=Applied Optics |volume=30 |issue=29 |pages=4211–7 |doi=10.1364/AO.30.004211 |pmid=20706526 |bibcode=1991ApOpt..30.4211Z}}</ref> और 1994 में मैमोग्राम में स्तन कैंसर का पता लगाना।<ref>{{cite journal |last=Zhang |first=Wei |date=1994 |title=शिफ्ट-इनवेरिएंट आर्टिफिशियल न्यूरल नेटवर्क का उपयोग करके डिजिटल मैमोग्राम में क्लस्टर्ड माइक्रोकलिफिकेशन का कम्प्यूटरीकृत पता लगाना|url=https://drive.google.com/file/d/0B65v6Wo67Tk5Ml9qeW5nQ3poVTQ/view?usp=sharing |journal=Medical Physics |volume=21 |issue=4 |pages=517–24 |doi=10.1118/1.597177 |pmid=8058017 |bibcode=1994MedPh..21..517Z}}</ref>
1994 में, आंद्रे डी कार्वाल्हो ने, माइक फेयरहर्स्ट और डेविड बिसेट के साथ, एक बहु-परत बूलियन तंत्रिका संजाल के प्रायोगिक परिणाम प्रकाशित किए, जिसे एक भारहीन तंत्रिका संजाल के रूप में भी जाना जाता है, जो 3-परतों के स्व-आयोजन सुविधा निष्कर्षण तंत्रिका संजाल मॉड्यूल से बना है ( SOFT) के बाद एक बहु-परत वर्गीकरण तंत्रिका संजाल मॉड्यूल (GSN), जो स्वतंत्र रूप से प्रशिक्षित थे। सुविधा निष्कर्षण मॉड्यूल में प्रत्येक परत पिछली परत के संबंध में बढ़ती जटिलता के साथ सुविधाओं को निकालती है।<ref>{{Cite journal |title=पैटर्न वर्गीकरण के लिए एक एकीकृत बूलियन तंत्रिका नेटवर्क|journal=Pattern Recognition Letters |date=8 August 1994 |pages=807–813 |volume=15 |issue=8 |doi=10.1016/0167-8655(94)90009-4 |first=Andre C. L. F. |last1=de Carvalho |first2 = Mike C. |last2=Fairhurst |first3=David |last3 = Bisset|bibcode=1994PaReL..15..807D }}</ref>
1994 में, आंद्रे डी कार्वाल्हो ने, माइक फेयरहर्स्ट और डेविड बिसेट के साथ, एक बहु-परत बूलियन तंत्रिका संजाल के प्रायोगिक परिणाम प्रकाशित किए, जिसे एक भारहीन तंत्रिका संजाल के रूप में भी जाना जाता है, जो 3-परतों के स्व-आयोजन सुविधा निष्कर्षण तंत्रिका संजाल मॉड्यूल से बना है ( SOFT) के बाद एक बहु-परत वर्गीकरण तंत्रिका संजाल मॉड्यूल (GSN), जो स्वतंत्र रूप से प्रशिक्षित थे। सुविधा निष्कर्षण मॉड्यूल में प्रत्येक परत पिछली परत के संबंध में बढ़ती जटिलता के साथ सुविधाओं को निकालती है।<ref>{{Cite journal |title=पैटर्न वर्गीकरण के लिए एक एकीकृत बूलियन तंत्रिका नेटवर्क|journal=Pattern Recognition Letters |date=8 August 1994 |pages=807–813 |volume=15 |issue=8 |doi=10.1016/0167-8655(94)90009-4 |first=Andre C. L. F. |last1=de Carvalho |first2 = Mike C. |last2=Fairhurst |first3=David |last3 = Bisset|bibcode=1994PaReL..15..807D }}</ref>

Revision as of 16:44, 14 December 2022

Representing images on multiple layers of abstraction in deep learning
गहन शिक्षा में अमूर्तता की कई परतों पर छवियों का प्रतिनिधित्व करना[1]

पश्च विद्वता (पश्च संरचित विद्वता के रूप में भी जाना जाता है) कृत्रिम तंत्रिका संजाल पर आधारित यंत्र विद्वता विधियों के एक व्यापक परिवार का हिस्सा है, जिसमें सीखने का प्रतिनिधित्व होता है। विद्वता पर्यवेक्षित अध्ययन, अर्ध-पर्यवेक्षित शिक्षा| अर्ध-पर्यवेक्षित या अनियंत्रित शिक्षा हो सकती है।[2]

पश्च-विद्वता संरचना जैसे गहरा तंत्रिकीय संजाल, गहन सुदृढीकरण सीखना, आवर्तक तंत्रिका संजाल, दृढ़ तंत्रिका संजाल और परिवर्तक (यंत्र विद्वता प्रतिरूप) को परिकलक दृष्टी, वाक् पहचान, प्राकृतिक भाषा प्रसंस्करण, यंत्र अनुवाद सहित क्षेत्रों में लागू किया गया है। जैव सूचना विज्ञान, दवा अभिकल्पना, चिकित्सा छवि विश्लेषण, जलवायु विज्ञान, सामग्री निरीक्षण और विशेष प्रकार के पटल या पट्टे के खेल जैसे शतरंज, साँप सीढ़ी आदि कार्यक्रम, जहां उन्होंने मानव विशेषज्ञ के प्रदर्शन के बराबर और कुछ मामलों में बेहतर परिणाम दिए हैं।[3][4][5] कृत्रिम तंत्रिका संजाल (ANNs) जैविक प्रणालियों में सूचना प्रसंस्करण और वितरित संचार पर्णग्रंथि से प्रेरित थे। ANN में जैविक दिमाग से विभिन्न अंतर हैं। विशेष रूप से, कृत्रिम तंत्रिका संजाल स्थिर और प्रतीकात्मक होते हैं, जबकि अधिकांश जीवित जीवों का जैविक मस्तिष्क गतिशील (लोचक) और तुल्यरूप होता है।[6][7]

पश्च विद्वता में विशेषण संजाल में कई परतों के उपयोग को संदर्भित करता है। प्रारंभिक कार्य से पता चला है कि एक रेखीय अवधारणा एक सार्वभौमिक वर्गीकारक नहीं हो सकता है, लेकिन यह कि एक गैर-बहुपद सक्रियण कार्य वाला संजाल असीमित चौड़ाई की एक छिपी हुई परत के साथ हो सकता है। पश्च विद्वता एक आधुनिक भिन्नता है जो सीमित आकार की असीमित संख्या में परतों से संबंधित है, जो हल्के परिस्थितियों में सैद्धांतिक सार्वभौमिकता को बनाए रखते हुए व्यावहारिक अनुप्रयोग और अनुकूलित कार्यान्वयन की अनुमति देती है। पश्च विद्वता में परतों को भी विषम होने की अनुमति दी जाती है और दक्षता, प्रशिक्षण और समझ के लिए जैविक रूप से सूचित संबंध प्रतिरूप से व्यापक रूप से विचलित होने की अनुमति दी जाती है, अतः संरचित भाग।


परिभाषा

पश्च विद्वता यंत्र विद्वता कलन विधि का एक वर्ग है[8]: 199–200  अपरिष्कृत इनपुट से उच्च-स्तरीय सुविधाओं को उत्तरोत्तर निकालने के लिए कई परतों का उपयोग करता है। उदाहरण के लिए, छवि प्रसंस्करण में, निचली परतें किनारों की पहचान कर सकती हैं, जबकि उच्च परतें मानव से संबंधित अवधारणाओं की पहचान कर सकती हैं जैसे अंक या अक्षर या चेहरे।

समीक्षा

अधिकांश आधुनिक गहन शिक्षण प्रतिरूप कृत्रिम तंत्रिका संजाल, विशेष रूप से दृढ़ तंत्रिका संजाल (CNN) पर आधारित होते हैं, हालांकि वे गहन उत्पादक प्रतिरूप में प्रस्तावित सूत्र या अव्यक्त चर भी सम्मिलित कर सकते हैं, जैसे गहन विश्वास संजाल और गहरे बोल्ट्जमैन यंत्र पर्णग्रंथि हैं।[9]

पश्च विद्वता में, प्रत्येक स्तर अपने इनपुट डेटा को थोड़ा अधिक अमूर्त और समग्र प्रतिनिधित्व में बदलना सीखता है। एक छवि पहचान अनुप्रयोग में, अपरिष्कृत इनपुट चित्रांश का एक मैट्रिक्स (गणित) हो सकता है; पहली प्रतिनिधित्वात्मक परत चित्रांश को अमूर्त कर सकती है और किनारों को सांकेतिक शब्दों में बदल सकती है; दूसरी परत किनारों की रचना और सांकेतिक शब्दों में बदलना कर सकती है; तीसरी परत नाक और आंखों को कूटबद्ध कर सकती है; और चौथी परत पहचान सकती है कि छवि में एक चेहरा है। महत्वपूर्ण रूप से, पश्च विद्वता की प्रक्रिया सीख सकती है कि कौन सी विशेषताएँ किस स्तर पर अपने आप में इष्टतम स्थान पर हैं। यह हैंड-ट्यूनिंग की आवश्यकता को समाप्त नहीं करता है; उदाहरण के लिए, परतों की अलग-अलग संख्या और परत आकार अमूर्तता की अलग-अलग श्रेणी प्रदान कर सकते हैं।[10][11]

'पश्च विद्वता' में 'पश्च' शब्द उन परतों की संख्या को संदर्भित करता है जिनके माध्यम से डेटा को रूपांतरित किया जाता है। अधिक सटीक रूप से, पश्च विद्वता प्रणाली में पर्याप्त क्रेडिट समनुदेशन पथ (CAP) गहराई होती है। CAP इनपुट से आउटपुट में परिवर्तन की श्रृंखला है। CAP की इनपुट और आउटपुट के बीच संभावित कारण संयोजन का वर्णन करते हैं। एक अग्रभरण तंत्रिक संजाल के लिए, CAPs की गहराई संजाल की होती है और छिपी हुई परतों की संख्या एक से अधिक होती है (क्योंकि आउटपुट लेयर भी पैरामिट्रीकृत होती है)। आवर्ती तंत्रिका संजाल के लिए, CAP की गहराई संभावित रूप से असीमित है जिसमें एक से अधिक बार एक परत के माध्यम से एक संकेत प्रसारित हो सकता है।[12]गहराई की कोई सार्वभौमिक रूप से स्वीकृत सीमा पश्च विद्वता से सतही ज्ञान को विभाजित नहीं करती है, लेकिन अधिकांश शोधकर्ता इस बात से सहमत हैं कि पश्च विद्वता में CAP की गहराई 2 से अधिक होती है। .[13] इसके अलावा, अधिक परतें संजाल की प्रकार्य अनुमानित क्षमता में नहीं जोड़ती हैं। पश्च प्रतिरूप (CAP > 2) सतही प्रतिरूप की तुलना में बेहतर विशेषता निकालने में सक्षम होते हैं और इसलिए, अतिरिक्त परतें सुविधाओं को प्रभावी ढंग से सीखने में मदद करती हैं।

पश्च विद्वता संरचना का निर्माण एक लुब्ध परत-दर-परत विधि से किया जा सकता है।[14] पश्च विद्वता इन अमूर्तताओं को दूर करने में मदद करता है और प्रदर्शन को बेहतर बनाने वाली विशेषताओं को चुनता है।[10]

पर्यवेक्षित शिक्षण कार्यों के लिए, गहन शिक्षण विधियाँ प्रमुख घटक विश्लेषण के समान सघन मध्यवर्ती अभ्यावेदन में डेटा का अनुवाद करके, और प्रतिनिधित्व में अतिरेक को दूर करने वाली स्तरित संरचनाओं को प्राप्त करके, वैशिष्ट्य अभियांत्रिकी को समाप्त करती हैं।

पश्च विद्वता कलन विधि को अनिरीक्षित विद्वता कृत्य पर लागू किया जा सकता है। यह एक महत्वपूर्ण लाभ है क्योंकि बिना सूचक वाला डेटा सूचक किए गए डेटा की तुलना में अधिक प्रचुर मात्रा में होता है। गहरी मान्यताओं के उदाहरण गहरे विश्वास संजाल हैं जिन्हें बिना पर्यवेक्षण के तरीके से प्रशिक्षित किया जा सकता है।[10][15]


व्याख्या

गहरे तंत्रिका संजाल की व्याख्या सामान्यतः सार्वभौमिक सन्निकटन प्रमेय या बायेसियन निष्कर्ष के संदर्भ में की जाती है[16][17][18][19][20][21][8][10][12][22]

पारम्परिक सार्वभौमिक सन्निकटन प्रमेय निरंतर कार्यों को अनुमानित करने के लिए परिमित आकार की एक छिपी हुई परत के साथ अग्रभरण तंत्रिका संजाल की क्षमता से संबंधित है।[16][17][18][19]1989 में, अवग्रहरूपी प्रकार्य सक्रियण कार्यों के लिए जॉर्ज साइबेंको द्वारा पहला प्रमाण प्रकाशित किया गया था[16]और कर्ट हॉर्निक द्वारा 1991 में अग्रभरण बहु-परत संरचना के लिए सामान्यीकृत किया गया था।[17] हाल के काम से यह भी पता चला है कि सार्वभौमिक सन्निकटन गैर-बाध्य सक्रियण कार्यों जैसे कि संशोधित रैखिक इकाई के लिए भी लागू होता है।[23]

गहरे तंत्रिका संजाल के लिए सार्वभौमिक सन्निकटन प्रमेय सीमित चौड़ाई वाले संजाल की क्षमता से संबंधित है लेकिन गहराई को बढ़ने की अनुमति है। लू एट अल [20] ने साबित कर दिया कि यदि ReLU सक्रियण के साथ एक गहरे तंत्रिका संजाल की चौड़ाई इनपुट आयाम से दृढता से बड़ी है, तो संजाल किसी भी लेबेसग्यु एकीकरण का अनुमान लगा सकता है; यदि चौड़ाई छोटी या इनपुट आयाम के बराबर है, तो एक गहरा तंत्रिका संजाल एक सार्वभौमिक सन्निकटन नहीं है।

संभाव्य व्याख्या [22] यंत्र सीखने के क्षेत्र से प्राप्त होता है। यह अनुमान की विशेषता है,[8][9][10][12][15][22] क्रमशः समंजन और सामान्यीकरण से संबंधित प्रशिक्षण और परीक्षण (मूल्यांकन) की अनुकूलन अवधारणाएं। अधिक विशेष रूप से, संभाव्य व्याख्या सक्रियण गैर-रैखिकता को संचयी वितरण प्रकार्य के रूप में मानती है।[22] संभाव्य व्याख्या ने तंत्रिका संजाल में नियमितीकरण (गणित) के रूप में उन्मोचक (तंत्रिका संजाल) की शुरुआत की। संभाव्य व्याख्या जॉन हॉपफील्ड, बर्नार्ड विड्रो और कुम्पती एस नरेंद्र सहित शोधकर्ताओं द्वारा पेश की गई थी और क्रिस्टोफर बिशप जैसे सर्वेक्षणों में लोकप्रिय हुई थी।[24]


इतिहास

कुछ स्रोत बताते हैं कि फ्रैंक रोसेनब्लैट ने आज की गहन शिक्षण प्रणालियों के सभी बुनियादी अवयवों का विकास और अन्वेषण किया है। <रेफरी नाम = पश्च विद्वता का जनक कौन है? >टैपर्ट, चार्ल्स सी. (2019). "पश्च विद्वता के जनक कौन हैं ?". कम्प्यूटेशनल साइंस एंड कम्प्यूटेशनल इंटेलिजेंस (CSCI) पर 2019 अंतर्राष्ट्रीय सम्मेलन. IEEE. pp. 343–348. doi:10.1109/CSCI49370.2019.00067. ISBN 978-1-7281-5584-5. S2CID 216043128. Retrieved 31 May 2021.</ref> उन्होंने 1962 में कॉर्नेल एरोनॉटिकल लेबोरेटरी, इंक, कॉर्नेल विश्वविद्यालय द्वारा प्रकाशित अपनी पुस्तक प्रिंसिपल्स ऑफ़ न्यूरोडायनामिक्स: परसेप्ट्रॉन्स एंड द थ्योरी ऑफ़ ब्रेन मैकेनिज़्म में इसका वर्णन किया।

1967 में एलेक्सी इवाखेंको और लैपा द्वारा पर्यवेक्षित, पश्च, फीडफॉरवर्ड, मल्टीलेयर परसेप्ट्रॉन के लिए पहला सामान्य, कार्यरत विद्वता कलन विधि प्रकाशित किया गया था। रेफरी नाम = ivak1965 >इवाखेंको, ए. जी.; लापा, वी. जी. (1967). साइबरनेटिक्स और पूर्वानुमान तकनीक. अमरीकी एल्सेवियर प्रकाशन कम्पनी. ISBN 978-0-444-00020-0.</ref> 1971 के एक पेपर में डेटा प्रबंधन की समूह विधि द्वारा प्रशिक्षित आठ परतों के साथ एक गहरे संजाल का वर्णन किया गया था। रेफरी नाम = ivak1971 >इवाखेंको, Alexey (1971). "जटिल प्रणालियों का बहुपद सिद्धांत" (PDF). सिस्टम पर IEEE लेनदेन, आदमी और साइबरनेटिक्स. SMC-1 (4): 364–378. doi:10.1109/TSMC.1971.4308320. Archived (PDF) from the original on 2017-08-29. Retrieved 2019-11-05.</ref> अन्य पश्च विद्वता कार्यरत संरचना, विशेष रूप से परिकलक दूरदर्शिता के लिए बनाए गए, 1980 में कुनिहिको फुकुशिमा द्वारा पेश किए गए नियोकॉग्निट्रोन के साथ शुरू हुए। रेफरी नाम = फुकु1980 >फुकुशिमा, के. (1980). "नियोकॉग्निट्रोन: स्थिति में बदलाव से अप्रभावित अभिरचना पहचान के तंत्र के लिए एक स्व-संगठित तंत्रिका नेटवर्क नमूना". बायोल. साइबरन. 36 (4): 193–202. doi:10.1007/bf00344251. PMID 7370364. S2CID 206775608.</रेफरी>

पश्च विद्वता शब्द को 1986 में रीना डेक्टर द्वारा मशीन विद्वता समुदाय के लिए पेश किया गया था, [29] और बूलियन थ्रेशोल्ड न्यूरॉन्स के संदर्भ में इगोर एज़ेनबर्ग और उनके सहयोगियों द्वारा कृत्रिम तंत्रिका नेटवर्क के लिए 2000 में पेश किया गया था।। ऐज़ेनबर्ग, नाउम एन. एज़ेनबर्ग, जोस पी.एल. (2000)। बहु-मूल्यवान और सार्वभौमिक बाइनरी न्यूरॉन्स: सिद्धांत, सीखना और अनुप्रयोग। स्प्रिंगर साइंस एंड बिजनेस मीडिया।</ref>[25] 1989 में, वाई एन एल ईसीयू के अंदर एट अल। मानक पश्चप्रचार कलन विधि लागू किया, जो 1970 के बाद से स्वत: विभेदीकरण के रिवर्स मोड के रूप में था,[26][27][28][29] मेल पर लिखावट की पहचान के उद्देश्य से एक गहरे तंत्रिका संजाल के लिए। जबकि एल्गोरिथ्म ने काम किया, प्रशिक्षण के लिए 3 दिनों की आवश्यकता थी।[30] 1988 में स्वतंत्र रूप से, वी झांग एट अल। अक्षरों की पहचान के लिए कनवल्शनल न्यूरल संजाल (इमेज फीचर लेयर्स और अंतिम पूरी तरह से कनेक्टेड लेयर के बीच केवल कनवल्शनल इंटरकनेक्शन को ध्यान में रखते हुए एक सरलीकृत नियोकोग्निट्रॉन) के लिए बैकप्रॉपैगेशन कलन विधि लागू किया और ऑप्टिकल कंप्यूटिंग सिस्टम के साथ CNN के कार्यान्वयन का भी प्रस्ताव दिया।[31][32] इसके बाद, वी झांग, एट अल। अंतिम पूरी तरह से जुड़ी हुई परत को हटाकर प्रतिरूप को संशोधित किया और 1991 में इसे मेडिकल इमेज ऑब्जेक्ट सेगमेंटेशन के लिए लागू किया[33] और 1994 में मैमोग्राम में स्तन कैंसर का पता लगाना।[34] 1994 में, आंद्रे डी कार्वाल्हो ने, माइक फेयरहर्स्ट और डेविड बिसेट के साथ, एक बहु-परत बूलियन तंत्रिका संजाल के प्रायोगिक परिणाम प्रकाशित किए, जिसे एक भारहीन तंत्रिका संजाल के रूप में भी जाना जाता है, जो 3-परतों के स्व-आयोजन सुविधा निष्कर्षण तंत्रिका संजाल मॉड्यूल से बना है ( SOFT) के बाद एक बहु-परत वर्गीकरण तंत्रिका संजाल मॉड्यूल (GSN), जो स्वतंत्र रूप से प्रशिक्षित थे। सुविधा निष्कर्षण मॉड्यूल में प्रत्येक परत पिछली परत के संबंध में बढ़ती जटिलता के साथ सुविधाओं को निकालती है।[35] 1995 में, ब्रेंडन फ्रे ने प्रदर्शित किया कि पीटर डायन और जेफ्री हिंटन के साथ सह-विकसित वेक-स्लीप कलन विधि का उपयोग करके छह पूरी तरह से जुड़ी हुई परतों और कई सौ छिपी हुई इकाइयों वाले संजाल को प्रशिक्षित करना (दो दिनों में) संभव था।[36] कई कारक धीमी गति में योगदान करते हैं, जिसमें 1991 में सेप होचराइटर द्वारा विश्लेषण की गई गायब होने वाली ढाल समस्या भी सम्मिलित है।[37][38] 1997 के बाद से, स्वेन बेन्के ने न्यूरल एब्स्ट्रक्शन पिरामिड में फीड-फॉरवर्ड पदानुक्रमित दृढ़ दृष्टिकोण का विस्तार किया[39] निर्णयों में लचीले ढंग से संदर्भ को सम्मिलित करने और स्थानीय अस्पष्टताओं को पुनरावृत्त रूप से हल करने के लिए पार्श्व और पिछड़े कनेक्शन द्वारा।

1990 और 2000 के दशक में गैबर फिल्टर और समर्थन वेक्टर यंत्र (एसवीएम) जैसे कार्य-विशिष्ट दस्तकारी सुविधाओं का उपयोग करने वाले सरल प्रतिरूप कृत्रिम तंत्रिका संजाल (एएनएन) की कम्प्यूटेशनल लागत और मस्तिष्क के तारों को समझने की कमी के कारण एक लोकप्रिय विकल्प थे। इसके जैविक संजाल।

एएनएन के सतही और गहन शिक्षण (जैसे, आवर्तक जाल) दोनों का कई वर्षों से पता लगाया गया है।[40][41][42] भेदभावपूर्ण ढंग से प्रशिक्षित भाषण के जनरेटिव प्रतिरूप के आधार पर इन विधियों ने कभी भी गैर-समान आंतरिक-हैंडक्राफ्टिंग गॉसियन मिश्रण प्रतिरूप / छिपा हुआ मार्कोव प्रतिरूप (जीएमएम-एचएमएम) तकनीक से बेहतर प्रदर्शन नहीं किया।[43] प्रमुख कठिनाइयों का विश्लेषण किया गया है, जिसमें ग्रेडिएंट ह्रासमान भी सम्मिलित है[37]और तंत्रिका भविष्यवाणी प्रतिरूप में कमजोर अस्थायी सहसंबंध संरचना।[44][45] अतिरिक्त कठिनाइयों में प्रशिक्षण डेटा और सीमित कंप्यूटिंग शक्ति की कमी थी।

जनरेटिव प्रतिरूपिंग को आगे बढ़ाने के लिए अधिकांश भाषण मान्यता शोधकर्ता तंत्रिका जाल से दूर चले गए। 1990 के दशक के अंत में श्री इंटरनेशनल में एक अपवाद था। अमेरिकी सरकार की राष्ट्रीय सुरक्षा एजेंसी और DARPA द्वारा वित्त पोषित, SRI ने भाषण और वक्ता पहचान में गहरे तंत्रिका संजाल का अध्ययन किया। लैरी हेक के नेतृत्व में स्पीकर रिकग्निशन टीम ने 1998 के मानक और प्रौद्योगिकी का राष्ट्रीय संस्थान वक्ता मान्यता इवैल्यूएशन में स्पीच प्रोसेसिंग में पश्च न्यूरल संजाल के साथ महत्वपूर्ण सफलता की सूचना दी।[46] SRI पश्च न्यूरल संजाल को तब Nuance Verifier में तैनात किया गया था, जो पश्च विद्वता के पहले प्रमुख औद्योगिक अनुप्रयोग का प्रतिनिधित्व करता है।[47] 1990 के दशक के अंत में कच्चे स्पेक्ट्रोग्राम या रैखिक फिल्टर-बैंक सुविधाओं पर गहरे ऑटोएन्कोडर की वास्तुकला में पहली बार हाथ से तैयार किए गए अनुकूलन पर कच्चे सुविधाओं को ऊपर उठाने का सिद्धांत सफलतापूर्वक खोजा गया था।[47]मेल-सेप्स्ट्रल सुविधाओं पर अपनी श्रेष्ठता दिखा रहा है जिसमें स्पेक्ट्रोग्राम से निश्चित परिवर्तन के चरण सम्मिलित हैं। वाक्, तरंगों की कच्ची विशेषताएं, बाद में बड़े पैमाने पर उत्कृष्ट परिणाम उत्पन्न करती हैं।[48] वाक् पहचान के कई पहलुओं को 1997 में होच्रेइटर और जुरगेन श्मिटुबर द्वारा प्रकाशित एक आवर्तक तंत्रिका संजाल, लंबी अवधि की स्मृति (LSTM) नामक एक गहन शिक्षण पद्धति द्वारा लिया गया था।[49] LSTM आवर्तक तंत्रिका संजाल लुप्त हो रही ढाल की समस्या से बचते हैं और बहुत गहन शिक्षण कार्य सीख सकते हैं[12]इसके लिए उन घटनाओं की यादों की आवश्यकता होती है जो हजारों असतत समय पहले घटित हुई थीं, जो भाषण के लिए महत्वपूर्ण है। 2003 में, LSTM ने कुछ कार्यों में पारंपरिक भाषण पहचानकर्ताओं के साथ प्रतिस्पर्धा करना शुरू कर दिया।[50] बाद में इसे कनेक्शनिस्ट टेम्पोरल क्लासिफिकेशन (CTC) के साथ जोड़ दिया गया[51] LSTM RNN के ढेर में।[52] 2015 में, Google की वाक् पहचान ने कथित तौर पर CTC-प्रशिक्षित LSTM के माध्यम से 49% की एक नाटकीय प्रदर्शन छलांग का अनुभव किया, जिसे उन्होंने Google Voice Search के माध्यम से उपलब्ध कराया।[53] 2006 में, जेफ्री हिंटन, रस सलखतदिनोव, ओसिन्देरो और यी व्हाई चाय द्वारा प्रकाशन[54][55][56] ने दिखाया कि कैसे एक बहु-स्तरित फीडफॉरवर्ड न्यूरल संजाल को एक समय में एक परत को प्रभावी ढंग से पूर्व-प्रशिक्षित किया जा सकता है, प्रत्येक परत को एक अनियंत्रित प्रतिबंधित बोल्ट्जमैन यंत्र के रूप में माना जाता है, फिर पर्यवेक्षित बैकप्रॉपेगेशन का उपयोग करके इसे ठीक किया जाता है।[57] गहन विश्वास जाल के लिए सीखने के लिए संदर्भित कागजात।

पश्च विद्वता विभिन्न विषयों, विशेष रूप से परिकलक दृष्टि और स्वचालित वाक् पहचान (एएसआर) में अत्याधुनिक प्रणालियों का हिस्सा है। आमतौर पर उपयोग किए जाने वाले मूल्यांकन सेट जैसे TIMIT (ASR) और MNIST डेटाबेस (छवि वर्गीकरण), साथ ही साथ बड़े-शब्दावली वाक् पहचान कार्यों की एक श्रृंखला के परिणामों में लगातार सुधार हुआ है।[58][59] CTC द्वारा ASR के लिए संवेदी तंत्रिका संजाल (CNNs) को हटा दिया गया[51]एलएसटीएम के लिए।[49][53][60][61][62] लेकिन परिकलक दृष्टि में अधिक सफल होते हैं।

उद्योग में गहन शिक्षा का प्रभाव 2000 के दशक की शुरुआत में शुरू हुआ, जब यान लेकन के अनुसार, सीएनएन ने पहले ही यूएस में लिखे गए सभी चेकों का अनुमानित 10% से 20% संसाधित कर दिया था।[63] बड़े पैमाने पर वाक् पहचान के लिए गहन शिक्षण का औद्योगिक अनुप्रयोग 2010 के आसपास शुरू हुआ।

वाक् पहचान के लिए पश्च विद्वता पर 2009 की एनआईपीएस कार्यशाला भाषण के गहन जनरेटिव प्रतिरूप की सीमाओं से प्रेरित थी, और संभावना है कि अधिक सक्षम हार्डवेयर और बड़े पैमाने पर डेटा सेट दिए गए हैं जो पश्च न्यूरल नेट (डीएनएन) व्यावहारिक हो सकते हैं। यह माना जाता था कि गहन विश्वास जाल (DBN) के जनरेटिव प्रतिरूप का उपयोग करके DNN का पूर्व-प्रशिक्षण तंत्रिका जाल की मुख्य कठिनाइयों को दूर करेगा। हालांकि, यह पता चला कि बड़े, संदर्भ-निर्भर आउटपुट परतों के साथ DNNs का उपयोग करते समय सीधे बैकप्रोपैजेशन के लिए बड़ी मात्रा में प्रशिक्षण डेटा के साथ पूर्व-प्रशिक्षण को प्रतिस्थापित करने से तत्कालीन अत्याधुनिक गॉसियन मिश्रण प्रतिरूप (GMM) की तुलना में नाटकीय रूप से कम त्रुटि दर उत्पन्न हुई। )/हिडन मार्कोव प्रतिरूप (एचएमएम) और अधिक उन्नत जनरेटिव प्रतिरूप-आधारित सिस्टम भी।[58] दो प्रकार की प्रणालियों द्वारा उत्पन्न पहचान त्रुटियों की प्रकृति विशिष्ट रूप से भिन्न थी,[64]सभी प्रमुख भाषण पहचान प्रणालियों द्वारा तैनात मौजूदा अत्यधिक कुशल, रन-टाइम भाषण डिकोडिंग प्रणाली में पश्च विद्वता को एकीकृत करने के तरीके में तकनीकी अंतर्दृष्टि प्रदान करना।[8][65][66] 2009-2010 के आसपास विश्लेषण, GMM (और अन्य जनरेटिव स्पीच प्रतिरूप) बनाम DNN प्रतिरूप के विपरीत, वाक् पहचान के लिए गहन शिक्षण में प्रारंभिक औद्योगिक निवेश को प्रेरित किया,[64]अंततः उस उद्योग में व्यापक और प्रभावी उपयोग के लिए अग्रणी। यह विश्लेषण भेदभावपूर्ण DNN और जनरेटिव प्रतिरूप के बीच तुलनीय प्रदर्शन (त्रुटि दर में 1.5% से कम) के साथ किया गया था।[58][64][67] 2010 में, शोधकर्ताओं ने निर्णय पेड़ों द्वारा निर्मित संदर्भ-निर्भर एचएमएम राज्यों के आधार पर डीएनएन की बड़ी आउटपुट परतों को अपनाकर टीआईएमआईटी से बड़ी शब्दावली भाषण मान्यता तक गहन शिक्षा का विस्तार किया।[68][69][70][65]

हार्डवेयर में प्रगति ने गहन शिक्षा में नए सिरे से रुचि पैदा की है। 2009 में, NVIDIA पश्च विद्वता के "बिग बैंग" में सम्मिलित था, "पश्च-विद्वता न्यूरल संजाल को एनवीडिया ग्राफ़िक्स प्रोसेसिंग युनिट (जीपीयू) के साथ प्रशिक्षित किया गया था।"[71] उस वर्ष, एंड्रयू एनजी ने निर्धारित किया कि जीपीयू पश्च-विद्वता सिस्टम की गति को लगभग 100 गुना बढ़ा सकता है।[72] विशेष रूप से, जीपीयू यंत्र सीखने में सम्मिलित मैट्रिक्स/वेक्टर कंप्यूटेशंस के लिए उपयुक्त हैं।[73][74][75] जीपीयू प्रशिक्षण कलन विधि को परिमाण के क्रम में गति देते हैं, सप्ताहों से दिनों तक चलने वाले समय को कम करते हैं।[76][77] इसके अलावा, विशेष हार्डवेयर और कलन विधि अनुकूलन का उपयोग गहन शिक्षण प्रतिरूप के कुशल प्रसंस्करण के लिए किया जा सकता है।[78]


गहरी सीखने की क्रांति

पश्च विद्वता यंत्र विद्वता का सबसेट है और यंत्र विद्वता आर्टिफिशियल इंटेलिजेंस (AI) का सबसेट कैसे है

2012 में, जॉर्ज ई. डहल के नेतृत्व में एक टीम ने एक दवा के जैव-आणविक लक्ष्य की भविष्यवाणी करने के लिए मल्टी-टास्क पश्च न्यूरल संजाल का उपयोग करके मर्क मॉलिक्यूलर एक्टिविटी चैलेंज जीता।[79][80] 2014 में, Hochreiter के समूह ने पोषक तत्वों, घरेलू उत्पादों और दवाओं में पर्यावरणीय रसायनों के ऑफ-टारगेट और विषाक्त प्रभावों का पता लगाने के लिए पश्च विद्वता का उपयोग किया और NIH, FDA और नेशनल सेंटर फॉर एडवांसिंग ट्रांसलेशनल साइंसेज का Tox21 डेटा चैलेंज जीता।[81][82][83]

छवि या वस्तु पहचान में महत्वपूर्ण अतिरिक्त प्रभाव 2011 से 2012 तक महसूस किए गए थे। हालांकि बैकप्रोपैजेशन द्वारा प्रशिक्षित सीएनएन दशकों से मौजूद थे, और सीएनएन सहित वर्षों से एनएन के जीपीयू कार्यान्वयन, परिकलक दृष्टि पर प्रगति के लिए जीपीयू पर सीएनएन के तेजी से कार्यान्वयन की आवश्यकता थी। .[73][75][30][84][12]2011 में, इस दृष्टिकोण ने पहली बार दृश्य पैटर्न मान्यता प्रतियोगिता में अलौकिक प्रदर्शन हासिल किया। इसके अलावा 2011 में, इसने ICDAR चीनी लिखावट प्रतियोगिता जीती, और मई 2012 में, इसने ISBI छवि विभाजन प्रतियोगिता जीती।[85] 2011 तक, CNNs ने परिकलक विज़न सम्मेलनों में एक प्रमुख भूमिका नहीं निभाई, लेकिन जून 2012 में, Ciresan et al द्वारा एक पेपर। अग्रणी सम्मेलन सीवीपीआर में[3]दिखाया गया है कि कैसे GPU पर अधिकतम-पूलिंग CNNs नाटकीय रूप से कई विज़न बेंचमार्क रिकॉर्ड में सुधार कर सकते हैं। अक्टूबर 2012 में, क्रिज़ेव्स्की एट अल द्वारा एक समान प्रणाली।[4]सतही यंत्र सीखने के तरीकों पर एक महत्वपूर्ण अंतर से बड़े पैमाने पर इमेजनेट प्रतियोगिता जीती। नवंबर 2012 में, Ciresan et al. के सिस्टम ने कैंसर का पता लगाने के लिए बड़ी चिकित्सा छवियों के विश्लेषण पर ICPR प्रतियोगिता भी जीती, और अगले वर्ष भी इसी विषय पर MICCAI ग्रैंड चैलेंज भी जीता।[86] 2013 और 2014 में, बड़े पैमाने पर वाक् पहचान में समान प्रवृत्ति के बाद, गहन शिक्षा का उपयोग करके इमेजनेट कार्य पर त्रुटि दर को और कम कर दिया गया था।

छवि वर्गीकरण तब छवियों के लिए स्वचालित छवि एनोटेशन (कैप्शन) के अधिक चुनौतीपूर्ण कार्य तक बढ़ा दिया गया था, अक्सर सीएनएन और एलएसटीएम के संयोजन के रूप में।[87][88][89] कुछ शोधकर्ताओं का कहना है कि अक्टूबर 2012 इमेजनेट की जीत ने गहन शिक्षण क्रांति की शुरुआत की जिसने एआई उद्योग को बदल दिया है।[90] मार्च 2019 में, जोशुआ बेंगियो, जेफ्री हिंटन और यान लेकन को वैचारिक और अभियांत्रिकी सफलताओं के लिए ट्यूरिंग अवार्ड से सम्मानित किया गया, जिसने गहरे तंत्रिका संजाल को कंप्यूटिंग का एक महत्वपूर्ण घटक बना दिया है।

तंत्रिका संजाल

कृत्रिम तंत्रिका संजाल

कृत्रिम तंत्रिका संजाल (एएनएन) या कनेक्शनिज्म सिस्टम जैविक तंत्रिका संजाल से प्रेरित कंप्यूटिंग सिस्टम हैं जो पशु मस्तिष्क का गठन करते हैं। ऐसी प्रणालियाँ उदाहरणों पर विचार करके कार्य करने के लिए सीखती हैं (उत्तरोत्तर अपनी क्षमता में सुधार करती हैं), आमतौर पर कार्य-विशिष्ट प्रोग्रामिंग के बिना। उदाहरण के लिए, छवि पहचान में, वे उदाहरण छवियों का विश्लेषण करके उन छवियों की पहचान करना सीख सकते हैं जिनमें बिल्ली या बिल्ली नहीं के रूप में डेटा को मैन्युअल रूप से सूचक किया गया है और अन्य छवियों में बिल्लियों की पहचान करने के लिए विश्लेषणात्मक परिणामों का उपयोग किया गया है। उन्होंने नियम-आधारित प्रोग्रामिंग का उपयोग करते हुए एक पारंपरिक परिकलक एल्गोरिथ्म के साथ व्यक्त करने में कठिन अनुप्रयोगों में सबसे अधिक उपयोग पाया है।

एएनएन कृत्रिम न्यूरॉन्स नामक जुड़ी इकाइयों के संग्रह पर आधारित है, (मस्तिष्क में जैविक न्यूरॉन्स के अनुरूप)। न्यूरॉन्स के बीच प्रत्येक कनेक्शन (सिनेप्स) दूसरे न्यूरॉन को एक संकेत भेज सकता है। प्राप्त करने वाला (पोस्टसिनेप्टिक) न्यूरॉन सिग्नल को प्रोसेस कर सकता है और फिर उससे जुड़े डाउनस्ट्रीम न्यूरॉन्स को सिग्नल कर सकता है। आमतौर पर 0 और 1 के बीच, न्यूरॉन्स में वास्तविक संख्या द्वारा दर्शाए गए राज्य हो सकते हैं। न्यूरॉन्स और निष्कर्ष का वजन भी हो सकता है जो सीखने की प्रक्रिया के रूप में बदलता रहता है, जो सिग्नल की ताकत को बढ़ा या घटा सकता है जो इसे नीचे की ओर भेजता है।

आमतौर पर, न्यूरॉन्स परतों में व्यवस्थित होते हैं। विभिन्न परतें अपने इनपुट पर विभिन्न प्रकार के परिवर्तन कर सकती हैं। सिग्नल पहली (इनपुट) से अंतिम (आउटपुट) परत तक यात्रा करते हैं, संभवतः कई बार परतों को पार करने के बाद।

तंत्रिका संजाल दृष्टिकोण का मूल लक्ष्य समस्याओं को उसी तरह हल करना था जिस तरह से एक मानव मस्तिष्क करेगा। समय के साथ, विशिष्ट मानसिक क्षमताओं के मिलान पर ध्यान केंद्रित किया गया, जिससे जीव विज्ञान से विचलन जैसे बैकप्रोपैगेशन, या विपरीत दिशा में जानकारी पास करना और उस जानकारी को प्रतिबिंबित करने के लिए संजाल को समायोजित करना।

न्यूरल संजाल का उपयोग परिकलक दृष्टि, वाक् पहचान, यंत्र अनुवाद, सामाजिक जाल फ़िल्टरिंग, सामान्य गेम खेलने और चिकित्सा निदान सहित विभिन्न कार्यों पर किया गया है।

2017 तक, तंत्रिका संजाल में आमतौर पर कुछ हज़ार से लेकर कुछ मिलियन यूनिट और लाखों कनेक्शन होते हैं। इस संख्या के मानव मस्तिष्क पर न्यूरॉन्स की संख्या से कम परिमाण के कई क्रम होने के बावजूद, ये संजाल मनुष्यों से परे एक स्तर पर कई कार्य कर सकते हैं (जैसे, चेहरे को पहचानना, या गो खेलना[91] ).

गहरे तंत्रिका संजाल

एक गहरा तंत्रिका संजाल (DNN) एक कृत्रिम तंत्रिका संजाल (ANN) है जिसमें इनपुट और आउटपुट परतों के बीच कई परतें होती हैं।[9][12]विभिन्न प्रकार के तंत्रिका संजाल हैं लेकिन उनमें हमेशा समान घटक होते हैं: न्यूरॉन्स, सिनैप्स, वज़न, पूर्वाग्रह और कार्य।[92] ये घटक संपूर्ण रूप से मानव मस्तिष्क के समान कार्य करते हैं, और इन्हें किसी भी अन्य एमएल कलन विधि की तरह प्रशिक्षित किया जा सकता है।[citation needed] उदाहरण के लिए, एक डीएनएन जिसे कुत्तों की नस्लों को पहचानने के लिए प्रशिक्षित किया गया है, दी गई छवि पर जाएगा और संभावना की गणना करेगा कि छवि में कुत्ता एक निश्चित नस्ल है। उपयोगकर्ता परिणामों की समीक्षा कर सकता है और चयन कर सकता है कि संजाल को कौन सी संभावनाओं को प्रदर्शित करना चाहिए (एक निश्चित सीमा से ऊपर, आदि) और प्रस्तावित सूचक वापस करें। प्रत्येक गणितीय हेरफेर को एक परत माना जाता है,[citation needed] और जटिल DNN में कई परतें होती हैं, इसलिए इसे पश्च संजाल कहा जाता है।

DNN जटिल गैर-रैखिक संबंधों को प्रतिरूप कर सकते हैं। DNN संरचना संरचनागत प्रतिरूप उत्पन्न करते हैं जहाँ वस्तु को आदिम डेटा प्रकार की स्तरित रचना के रूप में व्यक्त किया जाता है।[93] अतिरिक्त परतें निचली परतों से सुविधाओं की संरचना को सक्षम करती हैं, समान रूप से प्रदर्शन करने वाले सतही संजाल की तुलना में कम इकाइयों के साथ संभावित प्रतिरूपिंग जटिल डेटा।[9]उदाहरण के लिए, यह साबित हो गया था कि विरल बहुभिन्नरूपी बहुपद डीएनएन के साथ सतही संजाल की तुलना में अनुमानित रूप से आसान हैं।[94] पश्च संरचना में कुछ बुनियादी दृष्टिकोणों के कई रूप सम्मिलित हैं। प्रत्येक संरचना को विशिष्ट डोमेन में सफलता मिली है। एकाधिक संरचना के प्रदर्शन की तुलना करना हमेशा संभव नहीं होता है, जब तक कि उनका मूल्यांकन एक ही डेटा सेट पर नहीं किया गया हो।

DNN आमतौर पर फीडफॉरवर्ड संजाल होते हैं जिसमें डेटा इनपुट लेयर से आउटपुट लेयर तक बिना लूपिंग के प्रवाहित होता है। सबसे पहले, DNN आभासी न्यूरॉन्स का एक नक्शा बनाता है और उनके बीच के कनेक्शन के लिए यादृच्छिक संख्यात्मक मान, या भार प्रदान करता है। वज़न और इनपुट को गुणा किया जाता है और 0 और 1 के बीच एक आउटपुट देता है। यदि संजाल किसी विशेष पैटर्न को सटीक रूप से नहीं पहचानता है, तो एक एल्गोरिथ्म वजन को समायोजित करेगा।[95] इस तरह एल्गोरिथ्म कुछ मापदंडों को अधिक प्रभावशाली बना सकता है, जब तक कि यह डेटा को पूरी तरह से संसाधित करने के लिए सही गणितीय हेरफेर निर्धारित नहीं करता है।

आवर्ती तंत्रिका संजाल (आरएनएन), जिसमें डेटा किसी भी दिशा में प्रवाहित हो सकता है, भाषा प्रतिरूपिंग जैसे अनुप्रयोगों के लिए उपयोग किया जाता है।[96][97][98][99][100] इस उपयोग के लिए लंबी अवधि की स्मृति विशेष रूप से प्रभावी है।[49][101] कन्वर्सेशनल न्यूरल संजाल | कन्वर्सेशनल पश्च न्यूरल संजाल (CNNs) का उपयोग परिकलक विज़न में किया जाता है।[102] सीएनएन को स्वचालित वाक् पहचान (एएसआर) के लिए ध्वनिक प्रतिरूपिंग पर भी लागू किया गया है।[103]


चुनौतियां

जैसा कि एएनएन के साथ होता है, भोले-भाले प्रशिक्षित डीएनएन के साथ कई मुद्दे उत्पन्न हो सकते हैं। overfitting और गणना समय दो सामान्य मुद्दे हैं।

अमूर्तता की अतिरिक्त परतों के कारण DNN ओवरफिटिंग के लिए प्रवण हैं, जो उन्हें प्रशिक्षण डेटा में दुर्लभ निर्भरता को प्रतिरूप करने की अनुमति देता है। नियमितीकरण (गणित) विधियाँ जैसे कि इवाखेंको की इकाई छंटाई[104]या वजन क्षय (-नियमन) या विरल मैट्रिक्स (-नियमन) ओवरफिटिंग से निपटने के लिए प्रशिक्षण के दौरान लागू किया जा सकता है।[105] वैकल्पिक रूप से ड्रॉपआउट नियमितकरण प्रशिक्षण के दौरान छिपी हुई परतों से इकाइयों को बेतरतीब ढंग से छोड़ देता है। यह दुर्लभ निर्भरताओं को बाहर करने में मदद करता है।[106] अंत में, डेटा को क्रॉपिंग और रोटेटिंग जैसे तरीकों के माध्यम से संवर्धित किया जा सकता है ताकि ओवरफिटिंग की संभावना को कम करने के लिए छोटे प्रशिक्षण सेटों को आकार में बढ़ाया जा सके।[107] DNN को कई प्रशिक्षण मापदंडों पर विचार करना चाहिए, जैसे कि आकार (परतों की संख्या और प्रति परत इकाइयों की संख्या), सीखने की दर और प्रारंभिक भार। हाइपरपरमीटर ऑप्टिमाइज़ेशन# समय और कम्प्यूटेशनल संसाधनों में लागत के कारण इष्टतम पैरामीटर के लिए ग्रिड खोज संभव नहीं है। विभिन्न तरकीबें, जैसे बैचिंग (व्यक्तिगत उदाहरणों के बजाय एक बार में कई प्रशिक्षण उदाहरणों पर ग्रेडिएंट की गणना करना)[108] गणना तेज करें। मैट्रिक्स और वेक्टर संगणनाओं के लिए ऐसे प्रसंस्करण संरचना की उपयुक्तता के कारण, कई-कोर संरचना (जैसे जीपीयू या इंटेल झियोन फी) की बड़ी प्रसंस्करण क्षमताओं ने प्रशिक्षण में महत्वपूर्ण स्पीडअप का उत्पादन किया है।[109][110] वैकल्पिक रूप से, इंजीनियर अधिक सरल और अभिसरण प्रशिक्षण कलन विधि के साथ अन्य प्रकार के तंत्रिका संजाल की तलाश कर सकते हैं। CMAC (अनुमस्तिष्क प्रतिरूप अभिव्यक्ति नियंत्रक) एक ऐसा तंत्रिका संजाल है। इसके लिए सीएमएसी के लिए सीखने की दर या यादृच्छिक प्रारंभिक भार की आवश्यकता नहीं है। प्रशिक्षण प्रक्रिया को डेटा के एक नए बैच के साथ एक चरण में अभिसरण करने की गारंटी दी जा सकती है, और प्रशिक्षण कलन विधि की कम्प्यूटेशनल जटिलता सम्मिलित न्यूरॉन्स की संख्या के संबंध में रैखिक है।[111][112]


हार्डवेयर

2010 के बाद से, यंत्र विद्वता कलन विधि और संगणक धातु सामग्री दोनों में प्रगति ने गहरे तंत्रिका संजाल को प्रशिक्षित करने के लिए अधिक कुशल तरीकों का नेतृत्व किया है जिसमें गैर-रैखिक छिपी इकाइयों की कई परतें और एक बहुत बड़ी आउटपुट परत होती है।[113] 2019 तक, ग्राफिक प्रोसेसिंग यूनिट्स (जीपीयू), अक्सर एआई-विशिष्ट संवर्द्धन के साथ, बड़े पैमाने पर वाणिज्यिक क्लाउड एआई के प्रशिक्षण के प्रमुख तरीके के रूप में सीपीयू को विस्थापित कर दिया था।[114] OpenAI ने अनुमान लगाया कि एलेक्सनेट (2012) से लेकर अल्फ़ाज़ेरो (2017) तक की सबसे बड़ी गहन शिक्षण परियोजनाओं में उपयोग की जाने वाली हार्डवेयर संगणना, और 3.4 महीने की दोहरीकरण-समय की प्रवृत्ति के साथ आवश्यक संगणना की मात्रा में 300,000 गुना वृद्धि पाई गई।[115][116] पश्च विद्वता प्रोसेसर नामक विशेष विद्युत सर्किट को पश्च विद्वता कलन विधि को गति देने के लिए डिज़ाइन किया गया था। पश्च विद्वता प्रोसेसर में हुवाई सेलफोन में न्यूरल प्रोसेसिंग यूनिट (एनपीयू) सम्मिलित हैं[117] और Google क्लाउड प्लेटफ़ॉर्म में क्लाउड कम्प्यूटिंग सर्वर जैसे टेंसर प्रसंस्करण इकाई (TPU)।[118] दिमाग ने उद्योग में सबसे बड़े प्रोसेसर, दूसरी पीढ़ी के वेफर स्केल इंजन (WSE-2) पर आधारित बड़े पश्च विद्वता प्रतिरूप, CS-2 को संभालने के लिए एक समर्पित प्रणाली भी बनाई है।[119][120] परमाणु रूप से पतले अर्धचालकों को ऊर्जा-कुशल पश्च विद्वता हार्डवेयर के लिए आशाजनक माना जाता है, जहाँ तार्किक संचालन और डेटा भंडारण दोनों के लिए समान मूल उपकरण संरचना का उपयोग किया जाता है। 2020 में, मरेगा एट अल। चल-गेट फील्ड इफ़ेक्ट ट्रांजिस्टर (एफजीएफईटी) के आधार पर लॉजिक-इन-मेमोरी डिवाइस और सर्किट विकसित करने के लिए एक बड़े क्षेत्र सक्रिय चैनल सामग्री के साथ प्रकाशित प्रयोग।[121] 2021 में, जे. फेल्डमैन एट अल। समांतर दृढ़ प्रसंस्करण के लिए एक एकीकृत फोटोनिक हार्डवेयर त्वरक प्रस्तावित किया।[122] लेखक अपने इलेक्ट्रॉनिक समकक्षों पर एकीकृत फोटोनिक्स के दो प्रमुख लाभों की पहचान करते हैं: (1) तरंगदैर्घ्य डिवीजन बहुसंकेतन के माध्यम से आवृत्ति कॉम्ब्स के संयोजन के माध्यम से बड़े पैमाने पर समानांतर डेटा स्थानांतरण, और (2) अत्यंत उच्च डेटा मॉडुलन गति।[122]उनकी प्रणाली प्रति सेकंड खरबों गुणा-संचय के संचालन को निष्पादित कर सकती है, जो डेटा-भारी एआई अनुप्रयोगों में फोटोनिक एकीकृत सर्किट फोटोनिक्स की क्षमता का संकेत देती है।[122]


अनुप्रयोग

स्वचालित भाषण पहचान

बड़े पैमाने पर स्वचालित वाक् पहचान पश्च विद्वता का पहला और सबसे ठोस सफल मामला है। LSTM RNN बहुत गहन शिक्षण कार्य सीख सकते हैं[12]जिसमें हजारों अलग-अलग समय चरणों से अलग भाषण घटनाओं वाले बहु-सेकंड अंतराल सम्मिलित होते हैं, जहां एक बार कदम लगभग 10 एमएस से मेल खाता है। भूल गेट्स के साथ LSTM[101]कुछ कार्यों पर पारंपरिक भाषण पहचानकर्ताओं के साथ प्रतिस्पर्धी है।[50]

वाक् पहचान में प्रारंभिक सफलता TIMIT पर आधारित लघु-स्तरीय पहचान कार्यों पर आधारित थी। डेटा सेट में अमेरिकी अंग्रेजी की आठ प्रमुख बोलियों के 630 वक्ता हैं, जहां प्रत्येक वक्ता 10 वाक्य पढ़ता है।[123] इसका छोटा आकार कई कॉन्फ़िगरेशन को आज़माने देता है। इससे भी महत्वपूर्ण बात यह है कि TIMIT कार्य फ़ोन-अनुक्रम पहचान से संबंधित है, जो शब्द-अनुक्रम पहचान के विपरीत, कमजोर फ़ोन बाइग्राम भाषा प्रतिरूप की अनुमति देता है। यह भाषण मान्यता के ध्वनिक प्रतिरूपिंग पहलुओं की ताकत का अधिक आसानी से विश्लेषण करने देता है। नीचे सूचीबद्ध त्रुटि दर, इन शुरुआती परिणामों सहित और प्रतिशत फ़ोन त्रुटि दर (प्रति) के रूप में मापी गई, को 1991 से सारांशित किया गया है।

Method Percent phone
error rate (PER) (%)
Randomly Initialized RNN[124] 26.1
Bayesian Triphone GMM-HMM 25.6
Hidden Trajectory (Generative) Model 24.8
Monophone Randomly Initialized DNN 23.4
Monophone DBN-DNN 22.4
Triphone GMM-HMM with BMMI Training 21.7
Monophone DBN-DNN on fbank 20.7
Convolutional DNN[125] 20.0
Convolutional DNN w. Heterogeneous Pooling 18.7
Ensemble DNN/CNN/RNN[126] 18.3
Bidirectional LSTM 17.8
Hierarchical Convolutional Deep Maxout Network[127] 16.5

1990 के दशक के अंत में स्पीकर पहचान के लिए DNN की शुरुआत और 2009-2011 के आसपास भाषण मान्यता और 2003-2007 के आसपास LSTM, आठ प्रमुख क्षेत्रों में त्वरित प्रगति:[8][67][65]

  • स्केल-अप/आउट और त्वरित DNN प्रशिक्षण और डिकोडिंग
  • अनुक्रम भेदभावपूर्ण प्रशिक्षण
  • अंतर्निहित तंत्र की ठोस समझ के साथ गहरे प्रतिरूप द्वारा फ़ीचर प्रोसेसिंग
  • डीएनएन और संबंधित गहरे प्रतिरूप का अनुकूलन
  • बहु-कार्य सीखना| डीएनएन और संबंधित पश्च प्रतिरूप्स द्वारा मल्टी-टास्क और सीखने को स्थानांतरित करें
  • संवादात्मक तंत्रिका संजाल और भाषण के डोमेन ज्ञान का सर्वोत्तम उपयोग करने के लिए उन्हें कैसे डिज़ाइन किया जाए
  • आवर्तक तंत्रिका संजाल और इसके समृद्ध LSTM संस्करण
  • अन्य प्रकार के गहरे प्रतिरूप जिनमें टेंसर-आधारित प्रतिरूप और एकीकृत गहन जनरेटिव/विभेदक प्रतिरूप सम्मिलित हैं।

सभी प्रमुख व्यावसायिक वाक् पहचान प्रणालियाँ (जैसे, Microsoft Cortana (सॉफ़्टवेयर), Xbox, Skype Translator, Amazon Alexa, Google Now, महोदय मै, Baidu और IFlytek ध्वनि खोज, और Nuance Communications वाक् उत्पादों की एक श्रृंखला, आदि) गहरे पर आधारित हैं सीख रहा हूँ।[8][128][129]


छवि पहचान

छवि वर्गीकरण के लिए एक सामान्य मूल्यांकन सेट MNIST डेटाबेस डेटा सेट है। MNIST हस्तलिखित अंकों से बना है और इसमें 60,000 प्रशिक्षण उदाहरण और 10,000 परीक्षण उदाहरण सम्मिलित हैं। TIMIT की तरह, इसका छोटा आकार उपयोगकर्ताओं को कई कॉन्फ़िगरेशन का परीक्षण करने देता है। इस सेट पर परिणामों की एक व्यापक सूची उपलब्ध है।[130] पश्च विद्वता-आधारित छवि पहचान मानव प्रतियोगियों की तुलना में अधिक सटीक परिणाम उत्पन्न करते हुए अलौकिक बन गई है। यह पहली बार 2011 में यातायात संकेतों की पहचान और 2014 में मानव चेहरों की पहचान के साथ हुआ था।[131][132] पश्च विद्वता-प्रशिक्षित वाहन अब 360° कैमरा दृश्यों की व्याख्या करते हैं।[133] एक अन्य उदाहरण फेशियल डिस्मॉर्फोलॉजी नॉवेल एनालिसिस (एफडीएनए) है जिसका उपयोग आनुवंशिक सिंड्रोम के एक बड़े डेटाबेस से जुड़े मानव विकृति के मामलों का विश्लेषण करने के लिए किया जाता है।

विजुअल आर्ट प्रोसेसिंग

छवि पहचान में की गई प्रगति से निकटता से संबंधित विभिन्न दृश्य कला कार्यों के लिए गहन शिक्षण तकनीकों का बढ़ता अनुप्रयोग है। डीएनएन ने खुद को सक्षम साबित कर दिया है, उदाहरण के लिए

  • किसी दिए गए पेंटिंग की शैली अवधि की पहचान करना[134][135]* तंत्रिका शैली स्थानांतरण – किसी दिए गए आर्टवर्क की शैली को कैप्चर करना और इसे मनमाना फोटोग्राफ या वीडियो के लिए दृष्टि से सुखद तरीके से लागू करना[134][135]* यादृच्छिक दृश्य इनपुट फ़ील्ड के आधार पर आकर्षक इमेजरी उत्पन्न करना।[134][135]


प्राकृतिक भाषा प्रसंस्करण

2000 के दशक की शुरुआत से भाषा प्रतिरूप को लागू करने के लिए तंत्रिका संजाल का उपयोग किया गया है।[96]LSTM ने यंत्री अनुवाद और भाषा प्रतिरूपिंग को बेहतर बनाने में मदद की।[97][98][99]

इस क्षेत्र की अन्य प्रमुख तकनीकें नकारात्मक नमूनाकरण हैं[136] और शब्द एम्बेडिंग। वर्ड एम्बेडिंग, जैसे कि word2vec, को एक गहन शिक्षण वास्तुकला में एक प्रतिनिधित्वात्मक परत के रूप में माना जा सकता है जो एक परमाणु शब्द को डेटासेट में अन्य शब्दों के सापेक्ष शब्द के एक स्थितीय प्रतिनिधित्व में बदल देता है; स्थिति को वेक्टर अंतरिक्ष में एक बिंदु के रूप में दर्शाया गया है। आरएनएन इनपुट परत के रूप में शब्द एम्बेडिंग का उपयोग करने से संजाल को एक प्रभावी रचनात्मक सदिश व्याकरण का उपयोग करके वाक्यों और वाक्यांशों को पार्स करने की अनुमति मिलती है। एक रचनात्मक सदिश व्याकरण को RNN द्वारा कार्यान्वित संभाव्य संदर्भ मुक्त व्याकरण (PCFG) के रूप में माना जा सकता है।[137] शब्द एम्बेडिंग के ऊपर निर्मित पुनरावर्ती ऑटो-एनकोडर वाक्य समानता का आकलन कर सकते हैं और व्याख्या का पता लगा सकते हैं।[137]पश्च न्यूरल संरचना सांख्यिकीय विश्लेषण के लिए सर्वोत्तम परिणाम प्रदान करते हैं,[138] भावनाओं का विश्लेषण,[139] सूचना की पुनर्प्राप्ति,[140][141] बोली जाने वाली भाषा समझ,[142] यंत्र अनुवाद,[97][143] प्रासंगिक इकाई लिंकिंग,[143]लेखन शैली की पहचान,[144] पाठ वर्गीकरण और अन्य।[145] हाल के विकास शब्द एम्बेडिंग को वाक्य एम्बेडिंग में सामान्यीकृत करते हैं।

Google Translate (GT) एक बड़े एंड-टू-एंड लॉन्ग शॉर्ट-टर्म मेमोरी (LSTM) संजाल का उपयोग करता है।Cite error: Closing </ref> missing for <ref> tag[146] Google Google तंत्रिका यंत्र अनुवाद| Google न्यूरल यंत्र ट्रांसलेशन (GNMT) एक उदाहरण-आधारित यंत्र अनुवाद पद्धति का उपयोग करता है जिसमें सिस्टम लाखों उदाहरणों से सीखता है।[147]यह टुकड़ों के बजाय पूरे वाक्यों का एक बार में अनुवाद करता है। Google अनुवाद एक सौ से अधिक भाषाओं का समर्थन करता है।[147]संजाल केवल वाक्यांश-से-वाक्यांश अनुवादों को याद करने के बजाय वाक्य के शब्दार्थ को कूटबद्ध करता है।[147][148] जीटी अधिकांश भाषा युग्मों के बीच एक मध्यवर्ती के रूप में अंग्रेजी का उपयोग करता है।[148]


दवा की खोज और विष विज्ञान

उम्मीदवार दवाओं का एक बड़ा प्रतिशत विनियामक अनुमोदन प्राप्त करने में विफल रहता है। ये विफलताएं अपर्याप्त प्रभावकारिता (ऑन-टारगेट इफेक्ट), अवांछित इंटरैक्शन (ऑफ-टारगेट इफेक्ट), या अप्रत्याशित विषाक्तता के कारण होती हैं।[149][150] अनुसंधान ने जैव-आणविक लक्ष्यों की भविष्यवाणी करने के लिए गहन शिक्षा के उपयोग का पता लगाया है,[79][80]लक्ष्य से दूर, और पोषक तत्वों, घरेलू उत्पादों और दवाओं में पर्यावरणीय रसायनों की विषाक्तता।[81][82][83]

AtomNet संरचना-आधारित ड्रग डिज़ाइन के लिए एक गहन शिक्षण प्रणाली है।[151] एटमनेट का उपयोग इबोला वायरस जैसे रोग लक्ष्यों के लिए उपन्यास उम्मीदवार बायोमोलेक्यूल्स की भविष्यवाणी करने के लिए किया गया था[152] और मल्टीपल स्क्लेरोसिस[153][154] 2017 में एक बड़े विष विज्ञान डेटा सेट में अणुओं के विभिन्न गुणों की भविष्यवाणी करने के लिए पहली बार ग्राफ तंत्रिका संजाल का उपयोग किया गया था।[155] 2019 में, जनरेटिव न्यूरल संजाल का उपयोग अणुओं का उत्पादन करने के लिए किया गया था जो चूहों में प्रयोगात्मक रूप से मान्य थे।[156][157]


ग्राहक संबंध प्रबंधन

RFM (ग्राहक मूल्य) चर के संदर्भ में परिभाषित संभावित प्रत्यक्ष विपणन क्रियाओं के मूल्य का अनुमान लगाने के लिए गहन सुदृढीकरण सीखने का उपयोग किया गया है। अनुमानित मूल्य प्रकार्य को ग्राहक आजीवन मूल्य के रूप में प्राकृतिक व्याख्या के रूप में दिखाया गया था।[158]


अनुशंसा प्रणाली

अनुशंसा प्रणाली ने सामग्री-आधारित संगीत और जर्नल अनुशंसाओं के लिए एक अव्यक्त कारक प्रतिरूप के लिए सार्थक विशेषताओं को निकालने के लिए गहन शिक्षण का उपयोग किया है।[159][160] मल्टी-व्यू पश्च विद्वता को कई डोमेन से उपयोगकर्ता की प्राथमिकताओं को सीखने के लिए लागू किया गया है।[161] प्रतिरूप एक मिश्रित सहयोगी और सामग्री-आधारित दृष्टिकोण का उपयोग करता है और कई कार्यों में अनुशंसाओं को बढ़ाता है।

जैव सूचना विज्ञान

जीन ओन्टोलॉजी एनोटेशन और जीन-प्रकार्य संबंधों की भविष्यवाणी करने के लिए जैव सूचना विज्ञान में एक autoencoder एएनएन का उपयोग किया गया था।[162] चिकित्सा सूचना विज्ञान में, पहनने योग्य डेटा के आधार पर नींद की गुणवत्ता की भविष्यवाणी करने के लिए गहन शिक्षा का उपयोग किया गया था[163] और इलेक्ट्रॉनिक स्वास्थ्य रिकॉर्ड डेटा से स्वास्थ्य जटिलताओं की भविष्यवाणी।[164]


चिकित्सा छवि विश्लेषण

पश्च विद्वता को मेडिकल एप्लिकेशन जैसे कि कैंसर सेल वर्गीकरण, घाव का पता लगाने, अंग विभाजन और छवि वृद्धि में प्रतिस्पर्धी परिणाम उत्पन्न करने के लिए दिखाया गया है।[165][166] आधुनिक गहन शिक्षण उपकरण विभिन्न रोगों का पता लगाने की उच्च सटीकता और निदान दक्षता में सुधार के लिए विशेषज्ञों द्वारा उनके उपयोग की सहायता को प्रदर्शित करते हैं।[167][168]


मोबाइल विज्ञापन

मोबाइल विज्ञापन के लिए उपयुक्त मोबाइल ऑडियंस खोजना हमेशा चुनौतीपूर्ण होता है, क्योंकि किसी भी विज्ञापन सर्वर द्वारा लक्षित सेगमेंट बनाने और विज्ञापन प्रस्तुति में उपयोग करने से पहले कई डेटा बिंदुओं पर विचार और विश्लेषण किया जाना चाहिए।[169] बड़े, कई-आयामी विज्ञापन डेटासेट की व्याख्या करने के लिए पश्च विद्वता का उपयोग किया गया है। अनुरोध/सेवा/क्लिक इंटरनेट विज्ञापन चक्र के दौरान कई डेटा बिंदु एकत्र किए जाते हैं। यह जानकारी विज्ञापन चयन को बेहतर बनाने के लिए यंत्र विद्वता का आधार बन सकती है।

छवि बहाली

डीनोइज़िंग, सुपर संकल्प, inpainting और फिल्म का रंगीकरण जैसी उलटी समस्याओं के लिए पश्च विद्वता को सफलतापूर्वक लागू किया गया है।[170] इन अनुप्रयोगों में प्रभावी छवि बहाली के लिए श्रिंकेज फील्ड्स जैसे सीखने के तरीके सम्मिलित हैं[171] जो इमेज डेटासेट पर ट्रेन करता है, और पश्च इमेज प्रायर, जो उस इमेज पर ट्रेन करता है जिसे रिस्टोर करने की जरूरत होती है।

वित्तीय धोखाधड़ी का पता लगाना

वित्तीय धोखाधड़ी का पता लगाने, कर चोरी का पता लगाने के लिए पश्च विद्वता को सफलतापूर्वक लागू किया जा रहा है।[172] और एंटी-मनी लॉन्ड्रिंग।[173] प्रशिक्षण डेटा का उत्पादन करने के लिए वित्तीय अपराध के अभियोजन के रूप में अप्रशिक्षित शिक्षा का एक संभावित प्रभावशाली प्रदर्शन आवश्यक है।

यह भी ध्यान देने योग्य बात है कि हालांकि स्वचालित वित्तीय अपराध का पता लगाने में कला प्रतिरूप की स्थिति कुछ समय के लिए अस्तित्व में है, यहाँ पर संदर्भित पश्च विद्वता के लिए आवेदन बहुत सरल सैद्धांतिक प्रतिरूप के तहत नाटकीय रूप से प्रदर्शन करते हैं। ऐसा ही एक, अभी तक लागू किया जाने वाला प्रतिरूप, वित्तीय अपराधों के लिए सेंसर लोकेशन ह्यूरिस्टिक एंड सिंपल एनी ह्यूमन डिटेक्शन (SLHSAHDFC), एक उदाहरण है।

प्रतिरूप यह चुनने के सरल अनुमान के साथ काम करता है कि उसे अपना इनपुट डेटा कहाँ मिलता है। धन और शक्ति के बड़े संकेंद्रण वाले स्थानों पर सेंसर लगाकर और फिर किसी भी जीवित इंसान की पहचान करके, यह पता चलता है कि वित्तीय अपराध का स्वचालित पता लगाना बहुत उच्च सटीकता और बहुत उच्च आत्मविश्वास के स्तर पर पूरा किया जाता है। इससे भी बेहतर, यह प्रतिरूप न केवल अपराध बल्कि बड़े, बहुत विनाशकारी और गंभीर अपराध की पहचान करने में बेहद प्रभावी साबित हुआ है। इस तरह के प्रतिरूपों की प्रभावशीलता के कारण यह अत्यधिक संभावना है कि गहन शिक्षा द्वारा वित्तीय अपराध का पता लगाने के लिए आवेदन कभी भी प्रतिस्पर्धा करने में सक्षम नहीं होंगे।

छवि निर्माण

एआई इमेज जनरेटर कल्पनाओं को कला में बदल सकता है। एक शक्तिशाली एआई के साथ संचालित, यह सरल निर्देशों और ग्रंथों के आधार पर कला और चित्र बनाता है।[174] 2022 में स्थिर प्रसार नामक पश्च विद्वता द्वारा समर्थित एक प्रतिरूप के रूप में वायरल हुआ, आर्ट इमेज जनरेटिंग तकनीक ने डिजिटल इमेज प्रेमियों की बढ़ती संख्या को आकर्षित किया है। उसी समय, कई इमेज जेनरेटर टूल्स का जन्म हुआ। एआई आधारित इमेज जेनरेटर आमतौर पर जीपीटी-3 तकनीक के तहत काम करते हैं। आश्चर्यजनक कार्टून प्रभाव और अपेक्षित विवरण के साथ स्वचालित ड्राइंग बनाना काफी आसान है।[175]


सैन्य

संयुक्त राज्य अमेरिका के रक्षा विभाग ने अवलोकन के माध्यम से रोबोटों को नए कार्यों में प्रशिक्षित करने के लिए गहन शिक्षा लागू की।[176]


आंशिक अंतर समीकरण

भौतिकी से अवगत तंत्रिका संजाल का उपयोग डेटा संचालित तरीके से आगे और उलटा दोनों समस्याओं में आंशिक अंतर समीकरणों को हल करने के लिए किया गया है।[177] एक उदाहरण नेवियर-स्टोक्स समीकरणों|नेवियर-स्टोक्स समीकरणों द्वारा शासित पुनर्रचना द्रव प्रवाह है। भौतिकी सूचित तंत्रिका संजाल का उपयोग करने के लिए अक्सर महंगी जाल पीढ़ी की आवश्यकता नहीं होती है, जो पारंपरिक कम्प्यूटेशनल द्रव गतिकी विधियों पर निर्भर करती है।[178][179]


छवि पुनर्निर्माण

छवि पुनर्निर्माण छवि से संबंधित मापों से अंतर्निहित छवियों का पुनर्निर्माण है। कई कार्यों ने विभिन्न अनुप्रयोगों के लिए विश्लेषणात्मक तरीकों की तुलना में गहन शिक्षण विधियों के बेहतर और बेहतर प्रदर्शन को दिखाया, उदाहरण के लिए, स्पेक्ट्रल इमेजिंग [180] और अल्ट्रासाउंड इमेजिंग।[181] एपिजेनेटिक क्लॉक

अधिक जानकारी के लिए उम्र बढ़ने की घड़ी देखें।

एक एपिजेनेटिक क्लॉक उम्र बढ़ने का एक बायोमार्कर है जिसका उपयोग उम्र को मापने के लिए किया जा सकता है। गल्किन एट अल। >6,000 रक्त नमूनों का उपयोग करके अभूतपूर्व सटीकता की एपिजेनेटिक एजिंग क्लॉक को प्रशिक्षित करने के लिए पश्च तंत्रिका संजाल का उपयोग किया। घड़ी 1000 CpG साइटों से जानकारी का उपयोग करती है और स्वस्थ नियंत्रण से पुरानी कुछ स्थितियों वाले लोगों की भविष्यवाणी करती है: सूजन आंत्र रोग, मनोभ्रंश, डिम्बग्रंथि के कैंसर, मोटापा। एजिंग क्लॉक को 2021 में इंसिलिको मेडिसिन स्पिनऑफ़ कंपनी पश्च लॉन्गवेटी द्वारा सार्वजनिक उपयोग के लिए जारी करने की योजना है।

मानव संज्ञानात्मक और मस्तिष्क के विकास से संबंध

1990 के दशक की शुरुआत में संज्ञानात्मक न्यूरोसाइंटिस्ट द्वारा प्रस्तावित मस्तिष्क विकास (विशेष रूप से, नियोकोर्टिकल विकास) के सिद्धांतों की एक श्रेणी से गहन शिक्षा निकटता से संबंधित है।[182][183][184][185] इन विकासात्मक सिद्धांतों को कम्प्यूटेशनल प्रतिरूप में त्वरित किया गया, जिससे वे गहन शिक्षण प्रणालियों के पूर्ववर्ती बन गए। ये विकासात्मक प्रतिरूप उस संपत्ति को साझा करते हैं जो मस्तिष्क में विभिन्न प्रस्तावित सीखने की गतिशीलता (जैसे, तंत्रिका विकास कारक की एक लहर) स्व-संगठन का समर्थन करती है जो कि गहन शिक्षण प्रतिरूप में उपयोग किए जाने वाले तंत्रिका संजाल के अनुरूप है। नियोकॉर्टेक्स की तरह, तंत्रिका संजाल स्तरित फिल्टर के एक पदानुक्रम को नियोजित करते हैं जिसमें प्रत्येक परत एक पूर्व परत (या ऑपरेटिंग वातावरण) से जानकारी पर विचार करती है, और फिर इसके आउटपुट (और संभवतः मूल इनपुट) को अन्य परतों तक पहुंचाती है। यह प्रक्रिया ट्रांसड्यूसर के एक स्व-संगठित स्टैक का उत्पादन करती है, जो उनके ऑपरेटिंग वातावरण के लिए अच्छी तरह से तैयार है। 1995 के एक विवरण में कहा गया है, ... शिशु का मस्तिष्क तथाकथित ट्रॉफिक-कारकों की तरंगों के प्रभाव में खुद को व्यवस्थित करता है ... मस्तिष्क के विभिन्न क्षेत्र क्रमिक रूप से जुड़े होते हैं, ऊतक की एक परत दूसरे से पहले परिपक्व होती है और इसी तरह जब तक कि पूरा मस्तिष्क परिपक्व न हो जाए।[186] न्यूरोबायोलॉजिकल दृष्टिकोण से गहन शिक्षण प्रतिरूप की संभाव्यता की जांच के लिए कई तरह के दृष्टिकोणों का उपयोग किया गया है। एक ओर, इसके प्रसंस्करण यथार्थवाद को बढ़ाने के लिए बैकप्रॉपैगेशन कलन विधि के कई वेरिएंट प्रस्तावित किए गए हैं।[187][188] अन्य शोधकर्ताओं ने तर्क दिया है कि पश्च विद्वता के अप्रशिक्षित रूप, जैसे कि पदानुक्रमित जनरेटिव प्रतिरूप और गहरे विश्वास संजाल पर आधारित, जैविक वास्तविकता के करीब हो सकते हैं।[189][190] इस संबंध में, जनरेटिव न्यूरल संजाल प्रतिरूप सेरेब्रल कॉर्टेक्स में सैंपलिंग-आधारित प्रसंस्करण के बारे में न्यूरोबायोलॉजिकल साक्ष्य से संबंधित हैं।[191] हालांकि मानव मस्तिष्क संगठन और गहरे संजाल में न्यूरोनल एन्कोडिंग के बीच एक व्यवस्थित तुलना अभी तक स्थापित नहीं हुई है, कई उपमाएं बताई गई हैं। उदाहरण के लिए, गहन शिक्षण इकाइयों द्वारा की जाने वाली संगणनाएँ वास्तविक न्यूरॉन्स के समान हो सकती हैं[192] और तंत्रिका आबादी।[193] इसी तरह, पश्च विद्वता प्रतिरूप द्वारा विकसित अभ्यावेदन प्राइमेट विज़ुअल सिस्टम में मापे गए अभ्यावेदन के समान हैं[194] दोनों एकल-इकाई पर[195] और जनसंख्या पर[196] स्तर।

वाणिज्यिक गतिविधि

फेसबुक की एआई लैब लोगों के नाम के साथ ऑटोमेटिक इमेज एनोटेशन जैसे काम करती है।[197] Google की पश्चमाइंड टेक्नोलॉजीज ने डेटा इनपुट के रूप में केवल चित्रांश का उपयोग करके अटारी वीडियो गेम खेलने का तरीका सीखने में सक्षम एक प्रणाली विकसित की। 2015 में उन्होंने अपने AlphaGo सिस्टम का प्रदर्शन किया, जिसने गो (खेल) के खेल को अच्छी तरह से सीखा और एक पेशेवर गो खिलाड़ी को हरा दिया।[198][199][200] Google Translate 100 से अधिक भाषाओं के बीच अनुवाद करने के लिए तंत्रिका संजाल का उपयोग करता है।

2017 में, Covariant.ai लॉन्च किया गया था, जो कारखानों में गहन शिक्षा को एकीकृत करने पर केंद्रित है।[201] 2008 तक,[202] ऑस्टिन (यूटी) में टेक्सास विश्वविद्यालय के शोधकर्ताओं ने एक यंत्र सीखने की रूपरेखा विकसित की है जिसे मूल्यांकन सुदृढीकरण, या टैमर के माध्यम से मैन्युअल रूप से एक एजेंट का प्रशिक्षण कहा जाता है, जिसने मानव प्रशिक्षक के साथ बातचीत करके कार्य करने के तरीके सीखने के लिए रोबोट या परिकलक प्रोग्राम के लिए नए तरीके प्रस्तावित किए।[176]पहले TAMER के रूप में विकसित, पश्च TAMER नामक एक नया एल्गोरिथ्म बाद में 2018 में अमेरिकी सेना अनुसंधान प्रयोगशाला (ARL) और UT शोधकर्ताओं के बीच सहयोग के दौरान पेश किया गया था। पश्च टैमर ने रोबोट को अवलोकन के माध्यम से नए कार्यों को सीखने की क्षमता प्रदान करने के लिए गहन शिक्षण का उपयोग किया।[176]पश्च टैमर का उपयोग करते हुए, एक रोबोट ने एक मानव प्रशिक्षक के साथ एक कार्य सीखा, वीडियो स्ट्रीम देखना या मानव को व्यक्तिगत रूप से कार्य करते हुए देखना। रोबोट ने बाद में ट्रेनर से कुछ कोचिंग की मदद से कार्य का अभ्यास किया, जिन्होंने "अच्छी नौकरी" और "बुरी नौकरी" जैसी प्रतिक्रिया दी।[203]


आलोचना और टिप्पणी

पश्च विद्वता ने आलोचना और टिप्पणी दोनों को आकर्षित किया है, कुछ मामलों में परिकलक विज्ञान के क्षेत्र के बाहर से भी।

सिद्धांत

एक मुख्य आलोचना कुछ विधियों के आस-पास सिद्धांत की कमी से संबंधित है।[204] सबसे आम गहरे संरचना में सीखना अच्छी तरह से समझे जाने वाले ग्रेडिएंट डिसेंट का उपयोग करके कार्यान्वित किया जाता है। हालांकि, अन्य कलन विधि के आस-पास का सिद्धांत, जैसे विपरीत विचलन, कम स्पष्ट है।[citation needed] (उदाहरण के लिए, क्या यह अभिसरण करता है? यदि हां, तो कितनी तेजी से? यह क्या सन्निकटन कर रहा है?) गहन शिक्षण विधियों को अक्सर एक ब्लैक बॉक्स के रूप में देखा जाता है, जिसमें अधिकांश पुष्टि सैद्धांतिक रूप से नहीं बल्कि अनुभवजन्य रूप से की जाती है।[205] दूसरों का कहना है कि पश्च विद्वता को मजबूत एआई को साकार करने की दिशा में एक कदम के रूप में देखा जाना चाहिए, न कि एक व्यापक समाधान के रूप में। गहन शिक्षण विधियों की शक्ति के बावजूद, उनमें अभी भी इस लक्ष्य को पूरी तरह से साकार करने के लिए आवश्यक कार्यक्षमता का अभाव है। अनुसंधान मनोवैज्ञानिक गैरी मार्कस ने कहा: <ब्लॉककोट> वास्तविक रूप से, गहन शिक्षा बुद्धिमान यंत्रों के निर्माण की बड़ी चुनौती का केवल एक हिस्सा है। इस तरह की तकनीकों में कार्य-कारण का प्रतिनिधित्व करने के तरीकों का अभाव है (...) के पास अनुमान लगाने का कोई स्पष्ट तरीका नहीं है, और वे अमूर्त ज्ञान को एकीकृत करने से अभी भी एक लंबा रास्ता तय करते हैं, जैसे कि वस्तुएं क्या हैं, वे किस लिए हैं, और वे कैसे हैं सामान्यतः इस्तेमाल किया। सबसे शक्तिशाली ए.आई. वॉटसन (परिकलक) (...) जैसी प्रणालियां पश्च विद्वता जैसी तकनीकों का उपयोग तकनीकों के एक बहुत ही जटिल समूह में केवल एक तत्व के रूप में करती हैं, जिसमें बायेसियन अनुमान की सांख्यिकीय तकनीक से लेकर निगमनात्मक तर्क सम्मिलित हैं।[206]</ब्लॉककोट>

इस विचार के आगे संदर्भ में कि कलात्मक संवेदनशीलता संज्ञानात्मक पदानुक्रम के अपेक्षाकृत निम्न स्तरों में निहित हो सकती है, गहरे (20-30 परतों) तंत्रिका संजाल के आंतरिक राज्यों के ग्राफिक प्रतिनिधित्वों की एक प्रकाशित श्रृंखला अनिवार्य रूप से यादृच्छिक डेटा छवियों के भीतर विचार करने का प्रयास करती है। जिस पर उन्हें प्रशिक्षण दिया गया[207] एक दृश्य अपील प्रदर्शित करें: मूल शोध नोटिस को 1,000 से अधिक टिप्पणियां प्राप्त हुईं, और वह विषय था जो एक समय के लिए अभिभावक के सबसे अधिक बार एक्सेस किया गया लेख था।[208] वेबसाइट।

त्रुटियां

कुछ पश्च विद्वता संरचना समस्याग्रस्त व्यवहार प्रदर्शित करते हैं,[209] जैसे सामान्य छवियों की एक परिचित श्रेणी (2014) से संबंधित अपरिचित छवियों को आत्मविश्वास से वर्गीकृत करना[210] और सही ढंग से वर्गीकृत छवियों (2013) के लघु गड़बड़ी को गलत तरीके से वर्गीकृत करना।[211] बेन गोएर्टज़ेल ने परिकल्पना की कि ये व्यवहार उनके आंतरिक अभ्यावेदन में सीमाओं के कारण हैं और ये सीमाएँ विषम बहु-घटक कृत्रिम सामान्य बुद्धिमत्ता (एजीआई) संरचना में एकीकरण को बाधित करेंगी।[209]इन मुद्दों को संभवतः गहन शिक्षण संरचना द्वारा संबोधित किया जा सकता है जो आंतरिक रूप से छवि-व्याकरण के समरूप राज्यों का निर्माण करते हैं[212] देखी गई संस्थाओं और घटनाओं का अपघटन।[209]प्रशिक्षण डेटा से व्याकरण प्रेरण (दृश्य या भाषाई) सिस्टम को सामान्य ज्ञान तर्क तक सीमित करने के बराबर होगा जो व्याकरणिक उत्पादन (परिकलक विज्ञान) के संदर्भ में अवधारणाओं पर काम करता है और मानव भाषा अधिग्रहण दोनों का मूल लक्ष्य है[213] और कृत्रिम बुद्धि (एआई)।[214]


साइबर खतरा

जैसे-जैसे गहरी सीख प्रयोगशाला से दुनिया में आती है, अनुसंधान और अनुभव बताते हैं कि कृत्रिम तंत्रिका संजाल हैक और धोखे की चपेट में हैं।[215] इन प्रणालियों द्वारा कार्य करने के लिए उपयोग किए जाने वाले पैटर्न की पहचान करके, हमलावर एएनएन में इनपुट को इस तरह से संशोधित कर सकते हैं कि एएनएन एक ऐसा मैच ढूंढता है जिसे मानव पर्यवेक्षक पहचान नहीं पाएंगे। उदाहरण के लिए, एक हमलावर एक छवि में सूक्ष्म परिवर्तन कर सकता है जैसे कि एएनएन एक मैच पाता है, भले ही छवि मानव को खोज लक्ष्य की तरह कुछ भी न लगे। इस तरह के हेरफेर को "प्रतिकूल हमला" कहा जाता है।[216] 2016 में शोधकर्ताओं ने परीक्षण और त्रुटि फैशन में चिकित्सक छवियों के लिए एक एएनएन का उपयोग किया, दूसरे के फोकल बिंदुओं की पहचान की और इस तरह ऐसी छवियां उत्पन्न कीं जो इसे धोखा देती हैं। संशोधित छवियां मानव आंखों के लिए अलग नहीं दिखतीं। एक अन्य समूह ने दिखाया कि छेड़छाड़ की गई छवियों के प्रिंटआउट और फिर खींची गई तस्वीरों ने एक छवि वर्गीकरण प्रणाली को सफलतापूर्वक धोखा दिया।[217] एक बचाव रिवर्स इमेज सर्च है, जिसमें टिनआई जैसी साइट पर एक संभावित नकली छवि सबमिट की जाती है, जो इसके अन्य उदाहरणों को ढूंढ सकती है। एक परिशोधन छवि के केवल भागों का उपयोग करके खोज करना है, उन छवियों की पहचान करना जिनसे वह टुकड़ा लिया गया हो सकता है।[218] एक अन्य समूह ने दिखाया कि कुछ साइकेडेलिक कला चश्मा एक चेहरे की पहचान प्रणाली को मूर्ख बना सकते हैं, यह सोचकर कि आम लोग सेलिब्रिटी थे, संभावित रूप से एक व्यक्ति को दूसरे को प्रतिरूपित करने की अनुमति देता है। 2017 में शोधकर्ताओं ने संकेतों को रोकने के लिए स्टिकर जोड़े और एएनएन को उन्हें गलत वर्गीकृत करने के लिए प्रेरित किया।[217]

हालांकि एएनएन को धोखे के प्रयासों का पता लगाने के लिए आगे प्रशिक्षित किया जा सकता है, संभावित रूप से अग्रणी हमलावरों और रक्षकों को हथियारों की दौड़ में उसी तरह से जोड़ा जाता है जो पहले से ही मैलवेयर रक्षा उद्योग को परिभाषित करता है। एएनएन को एएनएन-आधारित एंटी-मैलवेयर सॉफ़्टवेयर को पराजित करने के लिए प्रशिक्षित किया गया है, जो मैलवेयर के साथ एक रक्षा पर बार-बार हमला कर रहा है, जो एक आनुवंशिक एल्गोरिथ्म द्वारा लगातार बदल दिया गया था, जब तक कि यह लक्ष्य को नुकसान पहुंचाने की क्षमता को बनाए रखते हुए एंटी-मैलवेयर को धोखा नहीं देता।[217]

2016 में, एक अन्य समूह ने प्रदर्शित किया कि कुछ ध्वनियाँ Google नाओ वॉयस कमांड सिस्टम को एक विशेष वेब पता खोल सकती हैं, और परिकल्पना की कि यह आगे के हमलों के लिए एक कदम के रूप में काम कर सकता है (जैसे, ड्राइव-बाय मालवेयर होस्ट करने वाला वेब पेज खोलना)।[217]

"डेटा पॉइज़निंग" में, झूठे डेटा को लगातार यंत्र विद्वता सिस्टम के प्रशिक्षण सेट में महारत हासिल करने से रोकने के लिए तस्करी की जाती है।[217]


मानव microwork पर निर्भरता

अधिकांश पश्च विद्वता सिस्टम प्रशिक्षण और सत्यापन डेटा पर भरोसा करते हैं जो मानव द्वारा उत्पन्न और/या एनोटेट किया जाता है। मीडिया अध्ययनों में यह तर्क दिया गया है कि इस उद्देश्य के लिए न केवल कम-वेतन वाले क्लिकवर्कर्स (जैसे अमेज़ॅन मैकेनिकल तुर्क पर) को नियमित रूप से तैनात किया जाता है, बल्कि मानव माइक्रोवर्क के निहित रूप भी होते हैं जिन्हें अक्सर इस तरह पहचाना नहीं जाता है।[219] दार्शनिक रेनर मुहालहॉफ ने प्रशिक्षण डेटा उत्पन्न करने के लिए मानव माइक्रोवर्क के पांच प्रकार के यंत्री कैप्चर को अलग किया: (1) gamification (खेल के प्रवाह में एनोटेशन या गणना कार्यों का एम्बेडिंग), (2) ट्रैपिंग और ट्रैकिंग (उदाहरण के लिए छवि पहचान के लिए कॅप्चा) या Google खोज इंजन परिणाम पृष्ठ पर क्लिक-ट्रैकिंग), (3) सामाजिक प्रेरणाओं का शोषण (उदाहरण के लिए सूचक किए गए चेहरे की छवियों को प्राप्त करने के लिए फेसबुक पर टैग (फेसबुक), (4) सूचना खनन (जैसे परिमाणित स्व | क्वांटिफाइड-सेल्फ डिवाइस का लाभ उठाकर) जैसे गतिविधि ट्रैकर्स) और (5) क्लिकवर्कर्स।[219]

Mühlhoff का तर्क है कि पश्च विद्वता के अधिकांश व्यावसायिक एंड-यूज़र एप्लिकेशन जैसे पश्चफेस|फेसबुक की फेस रिकग्निशन सिस्टम में, एएनएन के प्रशिक्षित होने के बाद प्रशिक्षण डेटा की आवश्यकता बंद नहीं होती है। इसके बजाय, एएनएन को लगातार जांचने और अपडेट करने के लिए मानव-निर्मित सत्यापन डेटा की निरंतर मांग है। इस उद्देश्य के लिए फेसबुक ने यह सुविधा शुरू की कि एक बार जब उपयोगकर्ता किसी छवि में स्वचालित रूप से पहचाना जाता है, तो उन्हें एक सूचना प्राप्त होती है। वे चुन सकते हैं कि उन्हें छवि पर सार्वजनिक रूप से सूचक किया जाना पसंद है या नहीं, या फ़ेसबुक को बताएं कि यह तस्वीर में वे नहीं हैं।[220] यह यूजर इंटरफेस सत्यापन डेटा की एक निरंतर धारा उत्पन्न करने के लिए एक तंत्र है[219]वास्तविक समय में संजाल को और प्रशिक्षित करने के लिए। जैसा कि मुहालहॉफ का तर्क है, प्रशिक्षण और सत्यापन डेटा उत्पन्न करने के लिए मानव उपयोगकर्ताओं की भागीदारी पश्च विद्वता के अधिकांश व्यावसायिक अंत-उपयोगकर्ता अनुप्रयोगों के लिए इतनी विशिष्ट है कि ऐसी प्रणालियों को मानव-सहायता प्राप्त कृत्रिम बुद्धिमत्ता कहा जा सकता है।[219]


यह भी देखें

संदर्भ

  1. Schulz, Hannes; Behnke, Sven (1 November 2012). "ध्यान लगा के पढ़ना या सीखना". KI - Künstliche Intelligenz (in English). 26 (4): 357–363. doi:10.1007/s13218-012-0198-z. ISSN 1610-1987. S2CID 220523562.
  2. LeCun, Yann; Bengio, Yoshua; Hinton, Geoffrey (2015). "ध्यान लगा के पढ़ना या सीखना". Nature. 521 (7553): 436–444. Bibcode:2015Natur.521..436L. doi:10.1038/nature14539. PMID 26017442. S2CID 3074096.
  3. 3.0 3.1 Ciresan, D.; Meier, U.; Schmidhuber, J. (2012). "Multi-column deep neural networks for image classification". 2012 कंप्यूटर विजन और पैटर्न पहचान पर आईईईई सम्मेलन. pp. 3642–3649. arXiv:1202.2745. doi:10.1109/cvpr.2012.6248110. ISBN 978-1-4673-1228-8. S2CID 2161592.
  4. 4.0 4.1 Krizhevsky, Alex; Sutskever, Ilya; Hinton, Geoffrey (2012). "डीप कंवोल्यूशनल न्यूरल नेटवर्क्स के साथ इमेजनेट वर्गीकरण" (PDF). NIPS 2012: Neural Information Processing Systems, Lake Tahoe, Nevada. Archived (PDF) from the original on 2017-01-10. Retrieved 2017-05-24.
  5. "Google के AlphaGo AI ने दुनिया के सर्वश्रेष्ठ गो प्लेयर के खिलाफ़ तीन मैचों की सीरीज़ जीत ली है". TechCrunch. 25 May 2017. Archived from the original on 17 June 2018. Retrieved 17 June 2018.
  6. Marblestone, Adam H.; Wayne, Greg; Kording, Konrad P. (2016). "डीप लर्निंग और न्यूरोसाइंस के एकीकरण की ओर". Frontiers in Computational Neuroscience. 10: 94. arXiv:1606.03813. Bibcode:2016arXiv160603813M. doi:10.3389/fncom.2016.00094. PMC 5021692. PMID 27683554. S2CID 1994856.
  7. Bengio, Yoshua; Lee, Dong-Hyun; Bornschein, Jorg; Mesnard, Thomas; Lin, Zhouhan (13 February 2015). "जैविक रूप से प्रशंसनीय गहन शिक्षा की ओर". arXiv:1502.04156 [cs.LG].
  8. 8.0 8.1 8.2 8.3 8.4 8.5 Deng, L.; Yu, D. (2014). "डीप लर्निंग: तरीके और अनुप्रयोग" (PDF). Foundations and Trends in Signal Processing. 7 (3–4): 1–199. doi:10.1561/2000000039. Archived (PDF) from the original on 2016-03-14. Retrieved 2014-10-18.
  9. 9.0 9.1 9.2 9.3 Bengio, Yoshua (2009). "एआई के लिए डीप आर्किटेक्चर सीखना" (PDF). Foundations and Trends in Machine Learning. 2 (1): 1–127. CiteSeerX 10.1.1.701.9550. doi:10.1561/2200000006. Archived from the original (PDF) on 4 March 2016. Retrieved 3 September 2015.
  10. 10.0 10.1 10.2 10.3 10.4 Bengio, Y.; Courville, A.; Vincent, P. (2013). "रिप्रेजेंटेशन लर्निंग: ए रिव्यू एंड न्यू पर्सपेक्टिव्स". IEEE Transactions on Pattern Analysis and Machine Intelligence. 35 (8): 1798–1828. arXiv:1206.5538. doi:10.1109/tpami.2013.50. PMID 23787338. S2CID 393948.
  11. LeCun, Yann; Bengio, Yoshua; Hinton, Geoffrey (28 May 2015). "ध्यान लगा के पढ़ना या सीखना". Nature. 521 (7553): 436–444. Bibcode:2015Natur.521..436L. doi:10.1038/nature14539. PMID 26017442. S2CID 3074096.
  12. 12.0 12.1 12.2 12.3 12.4 12.5 12.6 Schmidhuber, J. (2015). "डीप लर्निंग इन न्यूरल नेटवर्क्स: एन ओवरव्यू". Neural Networks. 61: 85–117. arXiv:1404.7828. doi:10.1016/j.neunet.2014.09.003. PMID 25462637. S2CID 11715509.
  13. Shigeki, Sugiyama (12 April 2019). मानव व्यवहार और चेतना में एक अन्य प्रकार: उभरती हुई अनुसंधान और अवसर: उभरती हुई अनुसंधान और अवसर (in English). IGI Global. ISBN 978-1-5225-8218-2.
  14. Bengio, Yoshua; Lamblin, Pascal; Popovici, Dan; Larochelle, Hugo (2007). गहरे नेटवर्क का लालची परत-वार प्रशिक्षण (PDF). Advances in neural information processing systems. pp. 153–160. Archived (PDF) from the original on 2019-10-20. Retrieved 2019-10-06.
  15. 15.0 15.1 Hinton, G.E. (2009). "गहरा विश्वास नेटवर्क". Scholarpedia. 4 (5): 5947. Bibcode:2009SchpJ...4.5947H. doi:10.4249/scholarpedia.5947.
  16. 16.0 16.1 16.2 Cybenko (1989). "सिग्मोइडल कार्यों के सुपरपोजिशन द्वारा अनुमान" (PDF). Mathematics of Control, Signals, and Systems. 2 (4): 303–314. doi:10.1007/bf02551274. S2CID 3958369. Archived from the original (PDF) on 10 October 2015.
  17. 17.0 17.1 17.2 Hornik, Kurt (1991). "मल्टीलेयर फीडफॉरवर्ड नेटवर्क की अनुमानित क्षमताएं". Neural Networks. 4 (2): 251–257. doi:10.1016/0893-6080(91)90009-t.
  18. 18.0 18.1 Haykin, Simon S. (1999). तंत्रिका नेटवर्क: एक व्यापक फाउंडेशन. Prentice Hall. ISBN 978-0-13-273350-2.
  19. 19.0 19.1 Hassoun, Mohamad H. (1995). कृत्रिम तंत्रिका नेटवर्क के मूल तत्व. MIT Press. p. 48. ISBN 978-0-262-08239-6.
  20. 20.0 20.1 Lu, Z., Pu, H., Wang, F., Hu, Z., & Wang, L. (2017). The Expressive Power of Neural Networks: A View from the Width Archived 2019-02-13 at the Wayback Machine. Neural Information Processing Systems, 6231-6239.
  21. Orhan, A. E.; Ma, W. J. (2017). "गैर-संभाव्यता प्रतिक्रिया के साथ प्रशिक्षित सामान्य तंत्रिका नेटवर्क में कुशल संभाव्य अनुमान". Nature Communications. 8 (1): 138. Bibcode:2017NatCo...8..138O. doi:10.1038/s41467-017-00181-8. PMC 5527101. PMID 28743932.
  22. 22.0 22.1 22.2 22.3 Murphy, Kevin P. (24 August 2012). मशीन लर्निंग: एक संभाव्य परिप्रेक्ष्य. MIT Press. ISBN 978-0-262-01802-9.
  23. Sonoda, Sho; Murata, Noboru (2017). "असीमित सक्रियण कार्यों वाला तंत्रिका नेटवर्क सार्वभौमिक सन्निकटन है". Applied and Computational Harmonic Analysis. 43 (2): 233–268. arXiv:1505.03654. doi:10.1016/j.acha.2015.12.005. S2CID 12149203.
  24. Bishop, Christopher M. (2006). पैटर्न मान्यता और मशीन प्रवीणता (PDF). Springer. ISBN 978-0-387-31073-2. Archived (PDF) from the original on 2017-01-11. Retrieved 2017-08-06.
  25. Co-evolving recurrent neurons learn deep memory POMDPs. Proc. GECCO, Washington, D. C., pp. 1795-1802, ACM Press, New York, NY, USA, 2005.
  26. Seppo Linnainmaa (1970). The representation of the cumulative rounding error of an algorithm as a Taylor expansion of the local rounding errors. Master's Thesis (in Finnish), Univ. Helsinki, 6-7.
  27. Griewank, Andreas (2012). "विभेदीकरण के रिवर्स मोड का आविष्कार किसने किया?" (PDF). Documenta Mathematica (Extra Volume ISMP): 389–400. Archived from the original (PDF) on 21 July 2017. Retrieved 11 June 2017.
  28. Werbos, P. (1974). "प्रतिगमन से परे: व्यवहार विज्ञान में भविष्यवाणी और विश्लेषण के लिए नए उपकरण". Harvard University. Retrieved 12 June 2017.
  29. Werbos, Paul (1982). "Applications of advances in nonlinear sensitivity analysis" (PDF). सिस्टम मॉडलिंग और अनुकूलन. Springer. pp. 762–770.
  30. 30.0 30.1 LeCun et al., "Backpropagation Applied to Handwritten Zip Code Recognition," Neural Computation, 1, pp. 541–551, 1989.
  31. Zhang, Wei (1988). "शिफ्ट-इनवेरिएंट पैटर्न रिकग्निशन न्यूरल नेटवर्क और इसकी ऑप्टिकल आर्किटेक्चर". Proceedings of Annual Conference of the Japan Society of Applied Physics.
  32. Zhang, Wei (1990). "स्थानीय अंतरिक्ष-अपरिवर्तनीय इंटरकनेक्शन और इसके ऑप्टिकल आर्किटेक्चर के साथ समानांतर वितरित प्रसंस्करण मॉडल". Applied Optics. 29 (32): 4790–7. Bibcode:1990ApOpt..29.4790Z. doi:10.1364/AO.29.004790. PMID 20577468.
  33. Zhang, Wei (1991). "लर्निंग नेटवर्क के आधार पर मानव कॉर्नियल एंडोथेलियम की इमेज प्रोसेसिंग". Applied Optics. 30 (29): 4211–7. Bibcode:1991ApOpt..30.4211Z. doi:10.1364/AO.30.004211. PMID 20706526.
  34. Zhang, Wei (1994). "शिफ्ट-इनवेरिएंट आर्टिफिशियल न्यूरल नेटवर्क का उपयोग करके डिजिटल मैमोग्राम में क्लस्टर्ड माइक्रोकलिफिकेशन का कम्प्यूटरीकृत पता लगाना". Medical Physics. 21 (4): 517–24. Bibcode:1994MedPh..21..517Z. doi:10.1118/1.597177. PMID 8058017.
  35. de Carvalho, Andre C. L. F.; Fairhurst, Mike C.; Bisset, David (8 August 1994). "पैटर्न वर्गीकरण के लिए एक एकीकृत बूलियन तंत्रिका नेटवर्क". Pattern Recognition Letters. 15 (8): 807–813. Bibcode:1994PaReL..15..807D. doi:10.1016/0167-8655(94)90009-4.
  36. Hinton, Geoffrey E.; Dayan, Peter; Frey, Brendan J.; Neal, Radford (26 May 1995). "असुरक्षित तंत्रिका नेटवर्क के लिए वेक-स्लीप एल्गोरिथम". Science. 268 (5214): 1158–1161. Bibcode:1995Sci...268.1158H. doi:10.1126/science.7761831. PMID 7761831.
  37. 37.0 37.1 S. Hochreiter., "Untersuchungen zu dynamischen neuronalen Netzen Archived 2015-03-06 at the Wayback Machine," Diploma thesis. Institut f. Informatik, Technische Univ. Munich. Advisor: J. Schmidhuber, 1991.
  38. Hochreiter, S.; et al. (15 January 2001). "Gradient flow in recurrent nets: the difficulty of learning long-term dependencies". In Kolen, John F.; Kremer, Stefan C. (eds.). गतिशील आवर्तक नेटवर्क के लिए एक फील्ड गाइड. John Wiley & Sons. ISBN 978-0-7803-5369-5.
  39. Behnke, Sven (2003). छवि व्याख्या के लिए श्रेणीबद्ध तंत्रिका नेटवर्क. Lecture Notes in Computer Science. Vol. 2766. Springer. doi:10.1007/b11963. ISBN 3-540-40722-7. S2CID 1304548.
  40. Morgan, Nelson; Bourlard, Hervé; Renals, Steve; Cohen, Michael; Franco, Horacio (1 August 1993). "निरंतर वाक् पहचान के लिए हाइब्रिड न्यूरल नेटवर्क/हिडन मार्कोव मॉडल सिस्टम". International Journal of Pattern Recognition and Artificial Intelligence. 07 (4): 899–916. doi:10.1142/s0218001493000455. ISSN 0218-0014.
  41. Robinson, T. (1992). "एक वास्तविक समय आवर्तक त्रुटि प्रसार नेटवर्क शब्द पहचान प्रणाली". ICASSP. Icassp'92: 617–620. ISBN 9780780305328. Archived from the original on 2021-05-09. Retrieved 2017-06-12.
  42. Waibel, A.; Hanazawa, T.; Hinton, G.; Shikano, K.; Lang, K. J. (March 1989). "समय-विलंब तंत्रिका नेटवर्क का उपयोग करके फ़ोनीमी पहचान" (PDF). IEEE Transactions on Acoustics, Speech, and Signal Processing. 37 (3): 328–339. doi:10.1109/29.21701. hdl:10338.dmlcz/135496. ISSN 0096-3518. Archived (PDF) from the original on 2021-04-27. Retrieved 2019-09-24.
  43. Baker, J.; Deng, Li; Glass, Jim; Khudanpur, S.; Lee, C.-H.; Morgan, N.; O'Shaughnessy, D. (2009). "वाक् पहचान और समझ में अनुसंधान विकास और दिशाएँ, भाग 1". IEEE Signal Processing Magazine. 26 (3): 75–80. Bibcode:2009ISPM...26...75B. doi:10.1109/msp.2009.932166. hdl:1721.1/51891. S2CID 357467.
  44. Bengio, Y. (1991). "कृत्रिम तंत्रिका नेटवर्क और भाषण/अनुक्रम पहचान के लिए उनका अनुप्रयोग". McGill University Ph.D. thesis. Archived from the original on 2021-05-09. Retrieved 2017-06-12.
  45. Deng, L.; Hassanein, K.; Elmasry, M. (1994). "भाषण मान्यता के अनुप्रयोगों के साथ एक तंत्रिका भविष्य कहनेवाला मॉडल के लिए सहसंबंध संरचना का विश्लेषण". Neural Networks. 7 (2): 331–339. doi:10.1016/0893-6080(94)90027-2.
  46. Doddington, G.; Przybocki, M.; Martin, A.; Reynolds, D. (2000). "एनआईएसटी वक्ता पहचान मूल्यांकन ± अवलोकन, कार्यप्रणाली, प्रणाली, परिणाम, परिप्रेक्ष्य". Speech Communication. 31 (2): 225–254. doi:10.1016/S0167-6393(99)00080-1.
  47. 47.0 47.1 Heck, L.; Konig, Y.; Sonmez, M.; Weintraub, M. (2000). "भेदभावपूर्ण फ़ीचर डिज़ाइन द्वारा स्पीकर की पहचान में टेलीफोन हैंडसेट विरूपण की मजबूती". Speech Communication. 31 (2): 181–192. doi:10.1016/s0167-6393(99)00077-1.
  48. "एलवीसीएसआर के लिए रॉ टाइम सिग्नल का उपयोग करते हुए डीप न्यूरल नेटवर्क के साथ ध्वनिक मॉडलिंग (पीडीएफ डाउनलोड उपलब्ध)". ResearchGate. Archived from the original on 9 May 2021. Retrieved 14 June 2017.
  49. 49.0 49.1 49.2 Hochreiter, Sepp; Schmidhuber, Jürgen (1 November 1997). "लॉन्ग शॉर्ट-टर्म मेमोरी". Neural Computation. 9 (8): 1735–1780. doi:10.1162/neco.1997.9.8.1735. ISSN 0899-7667. PMID 9377276. S2CID 1915014.
  50. 50.0 50.1 Graves, Alex; Eck, Douglas; Beringer, Nicole; Schmidhuber, Jürgen (2003). "LSTM न्यूरल नेट्स के साथ जैविक रूप से प्रशंसनीय वाक् पहचान" (PDF). 1st Intl. Workshop on Biologically Inspired Approaches to Advanced Information Technology, Bio-ADIT 2004, Lausanne, Switzerland. pp. 175–184. Archived (PDF) from the original on 2021-05-09. Retrieved 2016-04-09.
  51. 51.0 51.1 Graves, Alex; Fernández, Santiago; Gomez, Faustino (2006). "कनेक्शनिस्ट टेम्पोरल वर्गीकरण: आवर्तक तंत्रिका नेटवर्क के साथ अचयनित अनुक्रम डेटा को लेबल करना". Proceedings of the International Conference on Machine Learning, ICML 2006: 369–376. CiteSeerX 10.1.1.75.6306.
  52. Santiago Fernandez, Alex Graves, and Jürgen Schmidhuber (2007). An application of recurrent neural networks to discriminative keyword spotting Archived 2018-11-18 at the Wayback Machine. Proceedings of ICANN (2), pp. 220–229.
  53. 53.0 53.1 Sak, Haşim; Senior, Andrew; Rao, Kanishka; Beaufays, Françoise; Schalkwyk, Johan (September 2015). "Google वॉइस खोज: तेज़ और अधिक सटीक". Archived from the original on 2016-03-09. Retrieved 2016-04-09.
  54. Hinton, Geoffrey E. (1 October 2007). "प्रतिनिधित्व की कई परतों को सीखना". Trends in Cognitive Sciences. 11 (10): 428–434. doi:10.1016/j.tics.2007.09.004. ISSN 1364-6613. PMID 17921042. S2CID 15066318. Archived from the original on 11 October 2013. Retrieved 12 June 2017.
  55. Hinton, G. E.; Osindero, S.; Teh, Y. W. (2006). "डीप बिलीफ नेट्स के लिए एक फास्ट लर्निंग एल्गोरिथम" (PDF). Neural Computation. 18 (7): 1527–1554. doi:10.1162/neco.2006.18.7.1527. PMID 16764513. S2CID 2309950. Archived (PDF) from the original on 2015-12-23. Retrieved 2011-07-20.
  56. Bengio, Yoshua (2012). "डीप आर्किटेक्चर के ग्रेडिएंट-आधारित प्रशिक्षण के लिए व्यावहारिक अनुशंसाएं". arXiv:1206.5533 [cs.LG].
  57. G. E. Hinton., "Learning multiple layers of representation Archived 2018-05-22 at the Wayback Machine," Trends in Cognitive Sciences, 11, pp. 428–434, 2007.
  58. 58.0 58.1 58.2 Hinton, G.; Deng, L.; Yu, D.; Dahl, G.; Mohamed, A.; Jaitly, N.; Senior, A.; Vanhoucke, V.; Nguyen, P.; Sainath, T.; Kingsbury, B. (2012). "वाक् पहचान में ध्वनिक मॉडलिंग के लिए गहन तंत्रिका नेटवर्क: चार अनुसंधान समूहों के साझा दृश्य". IEEE Signal Processing Magazine. 29 (6): 82–97. Bibcode:2012ISPM...29...82H. doi:10.1109/msp.2012.2205597. S2CID 206485943.
  59. Singh, Premjeet; Saha, Goutam; Sahidullah, Md (2021). "Non-linear frequency warping using constant-Q transformation for speech emotion recognition". कंप्यूटर संचार और सूचना विज्ञान (आईसीसीसीआई) पर 2021 अंतर्राष्ट्रीय सम्मेलन. pp. 1–4. arXiv:2102.04029. doi:10.1109/ICCCI50826.2021.9402569. ISBN 978-1-7281-5875-4. S2CID 231846518.
  60. Sak, Hasim; Senior, Andrew; Beaufays, Francoise (2014). "बड़े पैमाने पर ध्वनिक मॉडलिंग के लिए दीर्घकालिक अल्पकालिक मेमोरी आवर्तक तंत्रिका नेटवर्क आर्किटेक्चर" (PDF). Archived from the original (PDF) on 24 April 2018.
  61. Li, Xiangang; Wu, Xihong (2014). "बड़ी शब्दावली भाषण मान्यता के लिए लंबी अल्पकालिक स्मृति आधारित गहन आवर्तक तंत्रिका नेटवर्क का निर्माण". arXiv:1410.4281 [cs.CL].
  62. Zen, Heiga; Sak, Hasim (2015). "लो-लेटेंसी स्पीच सिंथेसिस के लिए आवर्तक आउटपुट लेयर के साथ यूनिडायरेक्शनल लॉन्ग शॉर्ट-टर्म मेमोरी रिकरंट न्यूरल नेटवर्क" (PDF). Google.com. ICASSP. pp. 4470–4474. Archived (PDF) from the original on 2021-05-09. Retrieved 2017-06-13.
  63. Yann LeCun (2016). Slides on Deep Learning Online Archived 2016-04-23 at the Wayback Machine
  64. 64.0 64.1 64.2 Deng, L.; Hinton, G.; Kingsbury, B. (2013). "वाक् पहचान और संबंधित अनुप्रयोगों के लिए नए प्रकार के गहरे तंत्रिका नेटवर्क सीखना: एक सिंहावलोकन (ICASSP)" (PDF). Archived (PDF) from the original on 2017-09-26. Retrieved 2017-06-12. {{cite journal}}: Cite journal requires |journal= (help)
  65. 65.0 65.1 65.2 Yu, D.; Deng, L. (2014). स्वचालित भाषण मान्यता: एक गहन शिक्षण दृष्टिकोण (प्रकाशक: स्प्रिंगर). ISBN 978-1-4471-5779-3.
  66. "डेंग को प्रतिष्ठित IEEE टेक्निकल अचीवमेंट अवार्ड - माइक्रोसॉफ्ट रिसर्च मिला". Microsoft Research. 3 December 2015. Archived from the original on 16 March 2018. Retrieved 16 March 2018.
  67. 67.0 67.1 Li, Deng (September 2014). "मुख्य वार्ता: 'डीप लर्निंग की उपलब्धियाँ और चुनौतियाँ - भाषण विश्लेषण और मान्यता से भाषा और मल्टीमॉडल प्रोसेसिंग तक'". Interspeech. Archived from the original on 2017-09-26. Retrieved 2017-06-12.
  68. Yu, D.; Deng, L. (2010). "वास्तविक-विश्व भाषण मान्यता के लिए संदर्भ-निर्भर DBN-HMMs में पूर्व-प्रशिक्षण और फ़ाइन-ट्यूनिंग की भूमिकाएँ". NIPS Workshop on Deep Learning and Unsupervised Feature Learning. Archived from the original on 2017-10-12. Retrieved 2017-06-14.
  69. Seide, F.; Li, G.; Yu, D. (2011). "संदर्भ-निर्भर गहरे तंत्रिका नेटवर्क का उपयोग करके संवादी भाषण प्रतिलेखन". Interspeech: 437–440. doi:10.21437/Interspeech.2011-169. Archived from the original on 2017-10-12. Retrieved 2017-06-14.
  70. Deng, Li; Li, Jinyu; Huang, Jui-Ting; Yao, Kaisheng; Yu, Dong; Seide, Frank; Seltzer, Mike; Zweig, Geoff; He, Xiaodong (1 May 2013). "माइक्रोसॉफ्ट में स्पीच रिसर्च के लिए डीप लर्निंग में हालिया प्रगति". Microsoft Research. Archived from the original on 12 October 2017. Retrieved 14 June 2017.
  71. "एनवीडिया के सीईओ ने डीप लर्निंग और वीआर पर बड़ा दांव लगाया". Venture Beat. 5 April 2016. Archived from the original on 25 November 2020. Retrieved 21 April 2017.
  72. "काम न करने से लेकर न्यूरल नेटवर्किंग तक". The Economist. Archived from the original on 2016-12-31. Retrieved 2017-08-26.
  73. 73.0 73.1 Oh, K.-S.; Jung, K. (2004). "GPU तंत्रिका नेटवर्क का कार्यान्वयन". Pattern Recognition. 37 (6): 1311–1314. Bibcode:2004PatRe..37.1311O. doi:10.1016/j.patcog.2004.01.013.
  74. "A Survey of Techniques for Optimizing Deep Learning on GPUs Archived 2021-05-09 at the Wayback Machine", S. Mittal and S. Vaishay, Journal of Systems Architecture, 2019
  75. 75.0 75.1 Chellapilla, Kumar; Puri, Sidd; Simard, Patrice (2006), High performance convolutional neural networks for document processing, archived from the original on 2020-05-18, retrieved 2021-02-14
  76. Cireşan, Dan Claudiu; Meier, Ueli; Gambardella, Luca Maria; Schmidhuber, Jürgen (21 September 2010). "हस्तलिखित अंकों की पहचान के लिए गहरा, बड़ा, सरल तंत्रिका जाल". Neural Computation. 22 (12): 3207–3220. arXiv:1003.0358. doi:10.1162/neco_a_00052. ISSN 0899-7667. PMID 20858131. S2CID 1918673.
  77. Raina, Rajat; Madhavan, Anand; Ng, Andrew Y. (2009). "ग्राफिक्स प्रोसेसर का उपयोग करके बड़े पैमाने पर डीप अनसुपरवाइज्ड लर्निंग". Proceedings of the 26th Annual International Conference on Machine Learning. ICML '09. New York, NY, USA: ACM: 873–880. CiteSeerX 10.1.1.154.372. doi:10.1145/1553374.1553486. ISBN 9781605585161. S2CID 392458.
  78. Sze, Vivienne; Chen, Yu-Hsin; Yang, Tien-Ju; Emer, Joel (2017). "डीप न्यूरल नेटवर्क्स का कुशल प्रसंस्करण: एक ट्यूटोरियल और सर्वेक्षण". arXiv:1703.09039 [cs.CV].
  79. 79.0 79.1 "मर्क आणविक गतिविधि चुनौती". kaggle.com. Archived from the original on 2020-07-16. Retrieved 2020-07-16.
  80. 80.0 80.1 "QSAR भविष्यवाणियों के लिए बहु-कार्य तंत्रिका नेटवर्क | डेटा साइंस एसोसिएशन". www.datascienceassn.org. Archived from the original on 30 April 2017. Retrieved 14 June 2017.
  81. 81.0 81.1 "Toxicology in the 21st century Data Challenge"
  82. 82.0 82.1 "NCATS ने Tox21 डेटा चैलेंज विजेताओं की घोषणा की". Archived from the original on 2015-09-08. Retrieved 2015-03-05.
  83. 83.0 83.1 "NCATS ने Tox21 डेटा चैलेंज विजेताओं की घोषणा की". Archived from the original on 28 February 2015. Retrieved 5 March 2015.
  84. Ciresan, D. C.; Meier, U.; Masci, J.; Gambardella, L. M.; Schmidhuber, J. (2011). "छवि वर्गीकरण के लिए लचीले, उच्च निष्पादन कनवॉल्यूशनल न्यूरल नेटवर्क" (PDF). International Joint Conference on Artificial Intelligence. doi:10.5591/978-1-57735-516-8/ijcai11-210. Archived (PDF) from the original on 2014-09-29. Retrieved 2017-06-13.
  85. Ciresan, Dan; Giusti, Alessandro; Gambardella, Luca M.; Schmidhuber, Juergen (2012). Pereira, F.; Burges, C. J. C.; Bottou, L.; Weinberger, K. Q. (eds.). तंत्रिका सूचना प्रसंस्करण प्रणालियों में प्रगति 25 (PDF). Curran Associates, Inc. pp. 2843–2851. Archived (PDF) from the original on 2017-08-09. Retrieved 2017-06-13.
  86. Ciresan, D.; Giusti, A.; Gambardella, L.M.; Schmidhuber, J. (2013). "डीप न्यूरल नेटवर्क का उपयोग करके स्तन कैंसर हिस्टोलॉजी इमेज में मिटोसिस डिटेक्शन". Proceedings MICCAI. Lecture Notes in Computer Science. 7908 (Pt 2): 411–418. doi:10.1007/978-3-642-40763-5_51. ISBN 978-3-642-38708-1. PMID 24579167.
  87. Vinyals, Oriol; Toshev, Alexander; Bengio, Samy; Erhan, Dumitru (2014). "दिखाएँ और बताएं: एक तंत्रिका छवि कैप्शन जेनरेटर". arXiv:1411.4555 [cs.CV]..
  88. Fang, Hao; Gupta, Saurabh; Iandola, Forrest; Srivastava, Rupesh; Deng, Li; Dollár, Piotr; Gao, Jianfeng; He, Xiaodong; Mitchell, Margaret; Platt, John C; Lawrence Zitnick, C; Zweig, Geoffrey (2014). "कैप्शन से लेकर विज़ुअल कॉन्सेप्ट और बैक तक". arXiv:1411.4952 [cs.CV]..
  89. Kiros, Ryan; Salakhutdinov, Ruslan; Zemel, Richard S (2014). "मल्टीमॉडल न्यूरल लैंग्वेज मॉडल के साथ विजुअल-सिमेंटिक एंबेडिंग को एकीकृत करना". arXiv:1411.2539 [cs.LG]..
  90. "डीप लर्निंग अचानक आपके जीवन को क्यों बदल रहा है". Fortune. 2016. Archived from the original on 14 April 2018. Retrieved 13 April 2018.
  91. Silver, David; Huang, Aja; Maddison, Chris J.; Guez, Arthur; Sifre, Laurent; Driessche, George van den; Schrittwieser, Julian; Antonoglou, Ioannis; Panneershelvam, Veda (January 2016). "डीप न्यूरल नेटवर्क और ट्री सर्च के साथ गो के खेल में महारत हासिल करना". Nature. 529 (7587): 484–489. Bibcode:2016Natur.529..484S. doi:10.1038/nature16961. ISSN 1476-4687. PMID 26819042. S2CID 515925.
  92. A Guide to Deep Learning and Neural Networks, archived from the original on 2020-11-02, retrieved 2020-11-16
  93. Szegedy, Christian; Toshev, Alexander; Erhan, Dumitru (2013). "ऑब्जेक्ट डिटेक्शन के लिए डीप न्यूरल नेटवर्क". Advances in Neural Information Processing Systems: 2553–2561. Archived from the original on 2017-06-29. Retrieved 2017-06-13.
  94. Rolnick, David; Tegmark, Max (2018). "प्राकृतिक कार्यों को व्यक्त करने के लिए गहरे नेटवर्क की शक्ति". International Conference on Learning Representations. ICLR 2018. Archived from the original on 2021-01-07. Retrieved 2021-01-05.
  95. Hof, Robert D. "क्या आर्टिफिशियल इंटेलिजेंस आखिरकार अपने आप में आ रहा है?". MIT Technology Review. Archived from the original on 31 March 2019. Retrieved 10 July 2018.
  96. 96.0 96.1 Gers, Felix A.; Schmidhuber, Jürgen (2001). "LSTM आवर्तक नेटवर्क सरल संदर्भ मुक्त और संदर्भ संवेदनशील भाषाएँ सीखें". IEEE Transactions on Neural Networks. 12 (6): 1333–1340. doi:10.1109/72.963769. PMID 18249962. Archived from the original on 2020-01-26. Retrieved 2020-02-25.
  97. 97.0 97.1 97.2 Sutskever, L.; Vinyals, O.; Le, Q. (2014). "तंत्रिका नेटवर्क के साथ सीक्वेंस टू सीक्वेंस लर्निंग" (PDF). Proc. NIPS. arXiv:1409.3215. Bibcode:2014arXiv1409.3215S. Archived (PDF) from the original on 2021-05-09. Retrieved 2017-06-13.
  98. 98.0 98.1 Jozefowicz, Rafal; Vinyals, Oriol; Schuster, Mike; Shazeer, Noam; Wu, Yonghui (2016). "भाषा मॉडलिंग की सीमाओं की खोज". arXiv:1602.02410 [cs.CL].
  99. 99.0 99.1 Gillick, Dan; Brunk, Cliff; Vinyals, Oriol; Subramanya, Amarnag (2015). "बाइट्स से बहुभाषी भाषा प्रसंस्करण". arXiv:1512.00103 [cs.CL].
  100. Mikolov, T.; et al. (2010). "आवर्ती तंत्रिका नेटवर्क आधारित भाषा मॉडल" (PDF). Interspeech: 1045–1048. doi:10.21437/Interspeech.2010-343. Archived (PDF) from the original on 2017-05-16. Retrieved 2017-06-13.
  101. 101.0 101.1 "LSTM आवर्तक नेटवर्क के साथ सटीक समय सीखना (पीडीएफ डाउनलोड उपलब्ध)". ResearchGate. Archived from the original on 9 May 2021. Retrieved 13 June 2017.
  102. LeCun, Y.; et al. (1998). "ग्रेडियेंट-आधारित शिक्षा दस्तावेज़ पहचान पर लागू होती है". Proceedings of the IEEE. 86 (11): 2278–2324. doi:10.1109/5.726791. S2CID 14542261.
  103. Sainath, Tara N.; Mohamed, Abdel-Rahman; Kingsbury, Brian; Ramabhadran, Bhuvana (2013). "Deep convolutional neural networks for LVCSR". ध्वनिकी, भाषण और सिग्नल प्रोसेसिंग पर 2013 IEEE अंतर्राष्ट्रीय सम्मेलन. pp. 8614–8618. doi:10.1109/icassp.2013.6639347. ISBN 978-1-4799-0356-6. S2CID 13816461.
  104. Cite error: Invalid <ref> tag; no text was provided for refs named ivak1971
  105. Bengio, Yoshua; Boulanger-Lewandowski, Nicolas; Pascanu, Razvan (2013). "Advances in optimizing recurrent networks". ध्वनिकी, भाषण और सिग्नल प्रोसेसिंग पर 2013 IEEE अंतर्राष्ट्रीय सम्मेलन. pp. 8624–8628. arXiv:1212.0901. CiteSeerX 10.1.1.752.9151. doi:10.1109/icassp.2013.6639349. ISBN 978-1-4799-0356-6. S2CID 12485056.
  106. Dahl, G.; et al. (2013). "संशोधित रैखिक इकाइयों और ड्रॉपआउट का उपयोग करके एलवीसीएसआर के लिए डीएनएन में सुधार" (PDF). ICASSP. Archived (PDF) from the original on 2017-08-12. Retrieved 2017-06-13.
  107. "डेटा ऑग्मेंटेशन - deeplearning.ai | कौरसेरा". Coursera. Archived from the original on 1 December 2017. Retrieved 30 November 2017.
  108. Hinton, G. E. (2010). "प्रतिबंधित बोल्ट्ज़मैन मशीनों के प्रशिक्षण के लिए एक व्यावहारिक मार्गदर्शिका". Tech. Rep. UTML TR 2010-003. Archived from the original on 2021-05-09. Retrieved 2017-06-13.
  109. You, Yang; Buluç, Aydın; Demmel, James (November 2017). "Scaling deep learning on GPU and knights landing clusters". उच्च प्रदर्शन कम्प्यूटिंग, नेटवर्किंग, भंडारण और विश्लेषण के लिए अंतर्राष्ट्रीय सम्मेलन की कार्यवाही - SC '17. SC '17, ACM. pp. 1–12. doi:10.1145/3126908.3126912. ISBN 9781450351140. S2CID 8869270. Archived from the original on 29 July 2020. Retrieved 5 March 2018.
  110. Viebke, André; Memeti, Suejb; Pllana, Sabri; Abraham, Ajith (2019). "CHAOS: Intel Xeon Phi पर दृढ़ तंत्रिका नेटवर्क के प्रशिक्षण के लिए एक समानांतर योजना". The Journal of Supercomputing. 75: 197–227. arXiv:1702.07908. Bibcode:2017arXiv170207908V. doi:10.1007/s11227-017-1994-x. S2CID 14135321.
  111. Ting Qin, et al. "A learning algorithm of CMAC based on RLS." Neural Processing Letters 19.1 (2004): 49-61.
  112. Ting Qin, et al. "Continuous CMAC-QRLS and its systolic array Archived 2018-11-18 at the Wayback Machine." Neural Processing Letters 22.1 (2005): 1-16.
  113. Research, AI (23 October 2015). "वाक् पहचान में ध्वनिक मॉडलिंग के लिए डीप न्यूरल नेटवर्क". airesearch.com. Archived from the original on 1 February 2016. Retrieved 23 October 2015.
  114. "जीपीयू अभी के लिए एआई त्वरक बाजार पर हावी है". InformationWeek (in English). December 2019. Archived from the original on 10 June 2020. Retrieved 11 June 2020.
  115. Ray, Tiernan (2019). "एआई संगणना की संपूर्ण प्रकृति को बदल रहा है". ZDNet (in English). Archived from the original on 25 May 2020. Retrieved 11 June 2020.
  116. "एआई और कंप्यूट". OpenAI (in English). 16 May 2018. Archived from the original on 17 June 2020. Retrieved 11 June 2020.
  117. "हुआवेई ने आईएफए 2017 में मोबाइल एआई के भविष्य का खुलासा किया हुआवेई नवीनतम समाचार". consumer.huawei.com. {{cite web}}: Text "हुआवेई ग्लोबल" ignored (help)
  118. P, JouppiNorman; YoungCliff; PatilNishant; PattersonDavid; AgrawalGaurav; BajwaRaminder; BatesSarah; BhatiaSuresh; BodenNan; BorchersAl; BoyleRick (2017-06-24). "टेंसर प्रोसेसिंग यूनिट का इन-डेटासेंटर प्रदर्शन विश्लेषण". ACM SIGARCH Computer Architecture News (in English). 45 (2): 1–12. doi:10.1145/3140659.3080246.
  119. Woodie, Alex (2021-11-01). "सेरेब्रस डीप लर्निंग वर्कलोड के लिए त्वरक हिट करता है". Datanami. Retrieved 2022-08-03.
  120. "सेरेब्रस ने 2.6 ट्रिलियन ट्रांजिस्टर के साथ नया एआई सुपरकंप्यूटिंग प्रोसेसर लॉन्च किया". VentureBeat (in English). 2021-04-20. Retrieved 2022-08-03.
  121. Marega, Guilherme Migliato; Zhao, Yanfei; Avsar, Ahmet; Wang, Zhenyu; Tripati, Mukesh; Radenovic, Aleksandra; Kis, Anras (2020). "लॉजिक-इन-मेमोरी परमाणु रूप से पतले अर्धचालक पर आधारित है". Nature. 587 (2): 72–77. Bibcode:2020Natur.587...72M. doi:10.1038/s41586-020-2861-0. PMC 7116757. PMID 33149289.
  122. 122.0 122.1 122.2 Feldmann, J.; Youngblood, N.; Karpov, M.; et al. (2021). "एक एकीकृत फोटोनिक टेन्सर का उपयोग करते हुए समानांतर कनवल्शनल प्रोसेसिंग". Nature. 589 (2): 52–58. arXiv:2002.00281. doi:10.1038/s41586-020-03070-1. PMID 33408373. S2CID 211010976.
  123. TIMIT Acoustic-Phonetic Continuous Speech Corpus Linguistic Data Consortium, Philadelphia.
  124. Robinson, Tony (30 September 1991). "Several Improvements to a Recurrent Error Propagation Network Phone Recognition System". Cambridge University Engineering Department Technical Report. CUED/F-INFENG/TR82. doi:10.13140/RG.2.2.15418.90567.
  125. Abdel-Hamid, O.; et al. (2014). "Convolutional Neural Networks for Speech Recognition". IEEE/ACM Transactions on Audio, Speech, and Language Processing. 22 (10): 1533–1545. doi:10.1109/taslp.2014.2339736. S2CID 206602362. Archived from the original on 2020-09-22. Retrieved 2018-04-20.
  126. Deng, L.; Platt, J. (2014). "Ensemble Deep Learning for Speech Recognition". Proc. Interspeech. S2CID 15641618.
  127. Tóth, Laszló (2015). "Phone Recognition with Hierarchical Convolutional Deep Maxout Networks" (PDF). EURASIP Journal on Audio, Speech, and Music Processing. 2015. doi:10.1186/s13636-015-0068-3. S2CID 217950236. Archived (PDF) from the original on 2020-09-24. Retrieved 2019-04-01.
  128. McMillan, Robert (17 December 2014). "कैसे स्काइप ने अपना अद्भुत नया भाषा अनुवादक बनाने के लिए एआई का उपयोग किया | वायर्ड". Wired. Archived from the original on 8 June 2017. Retrieved 14 June 2017.
  129. Hannun, Awni; Case, Carl; Casper, Jared; Catanzaro, Bryan; Diamos, Greg; Elsen, Erich; Prenger, Ryan; Satheesh, Sanjeev; Sengupta, Shubho; Coates, Adam; Ng, Andrew Y (2014). "डीप स्पीच: एंड-टू-एंड स्पीच रिकग्निशन को स्केल करना". arXiv:1412.5567 [cs.CL].
  130. "MNIST हस्तलिखित अंकों का डेटाबेस, यान लेकन, कोरिन्ना कोर्टेस और क्रिस बर्गेस". yann.lecun.com. Archived from the original on 2014-01-13. Retrieved 2014-01-28.
  131. Cireşan, Dan; Meier, Ueli; Masci, Jonathan; Schmidhuber, Jürgen (August 2012). "ट्रैफिक साइन वर्गीकरण के लिए मल्टी-कॉलम डीप न्यूरल नेटवर्क". Neural Networks. Selected Papers from IJCNN 2011. 32: 333–338. CiteSeerX 10.1.1.226.8219. doi:10.1016/j.neunet.2012.02.023. PMID 22386783.
  132. Chaochao Lu; Xiaoou Tang (2014). "मानव स्तर की पहचान को पार करना". arXiv:1404.3840 [cs.CV].
  133. Nvidia Demos a Car Computer Trained with "Deep Learning" (6 January 2015), David Talbot, MIT Technology Review
  134. 134.0 134.1 134.2 G. W. Smith; Frederic Fol Leymarie (10 April 2017). "कलाकार के रूप में मशीन: एक परिचय". Arts. 6 (4): 5. doi:10.3390/arts6020005.
  135. 135.0 135.1 135.2 Blaise Agüera y Arcas (29 September 2017). "मशीन इंटेलिजेंस के युग में कला". Arts. 6 (4): 18. doi:10.3390/arts6040018.
  136. Goldberg, Yoav; Levy, Omar (2014). "word2vec समझाया: व्युत्पन्न मिकोलोव एट अल। नकारात्मक-नमूनाकरण शब्द-एम्बेडिंग विधि". arXiv:1402.3722 [cs.CL].
  137. 137.0 137.1 Socher, Richard; Manning, Christopher. "एनएलपी के लिए डीप लर्निंग" (PDF). Archived (PDF) from the original on 6 July 2014. Retrieved 26 October 2014.
  138. Socher, Richard; Bauer, John; Manning, Christopher; Ng, Andrew (2013). "रचनात्मक वेक्टर व्याकरण के साथ पार्सिंग" (PDF). Proceedings of the ACL 2013 Conference. Archived (PDF) from the original on 2014-11-27. Retrieved 2014-09-03.
  139. Socher, Richard (2013). "सेंटीमेंट ट्रीबैंक पर सिमेंटिक संरचना के लिए रिकर्सिव डीप मॉडल" (PDF). Archived (PDF) from the original on 2016-12-28. Retrieved 2014-09-03. {{cite journal}}: Cite journal requires |journal= (help)
  140. Shen, Yelong; He, Xiaodong; Gao, Jianfeng; Deng, Li; Mesnil, Gregoire (1 November 2014). "सूचना पुनर्प्राप्ति के लिए कनवॉल्यूशनल-पूलिंग संरचना के साथ एक अव्यक्त सिमेंटिक मॉडल". Microsoft Research. Archived from the original on 27 October 2017. Retrieved 14 June 2017.
  141. Huang, Po-Sen; He, Xiaodong; Gao, Jianfeng; Deng, Li; Acero, Alex; Heck, Larry (1 October 2013). "क्लिकथ्रू डेटा का उपयोग करके वेब खोज के लिए गहन संरचित सिमेंटिक मॉडल सीखना". Microsoft Research. Archived from the original on 27 October 2017. Retrieved 14 June 2017.
  142. Mesnil, G.; Dauphin, Y.; Yao, K.; Bengio, Y.; Deng, L.; Hakkani-Tur, D.; He, X.; Heck, L.; Tur, G.; Yu, D.; Zweig, G. (2015). "बोली जाने वाली भाषा की समझ में स्लॉट भरने के लिए आवर्तक तंत्रिका नेटवर्क का उपयोग करना". IEEE Transactions on Audio, Speech, and Language Processing. 23 (3): 530–539. doi:10.1109/taslp.2014.2383614. S2CID 1317136.
  143. 143.0 143.1 Gao, Jianfeng; He, Xiaodong; Yih, Scott Wen-tau; Deng, Li (1 June 2014). "अनुवाद मॉडलिंग के लिए सतत वाक्यांश अभ्यावेदन सीखना". Microsoft Research. Archived from the original on 27 October 2017. Retrieved 14 June 2017.
  144. Brocardo, Marcelo Luiz; Traore, Issa; Woungang, Isaac; Obaidat, Mohammad S. (2017). "गहरे विश्वास नेटवर्क सिस्टम का उपयोग करके लेखकत्व सत्यापन". International Journal of Communication Systems. 30 (12): e3259. doi:10.1002/dac.3259. S2CID 40745740.
  145. "डीप लर्निंग फॉर नेचुरल लैंग्वेज प्रोसेसिंग: थ्योरी एंड प्रैक्टिस (CIKM2014 ट्यूटोरियल) - माइक्रोसॉफ्ट रिसर्च". Microsoft Research. Archived from the original on 13 March 2017. Retrieved 14 June 2017.
  146. Metz, Cade (27 September 2016). "एआई का संचार Google अनुवाद को पहले से कहीं अधिक शक्तिशाली बनाता है". Wired. Archived from the original on 8 November 2020. Retrieved 12 October 2017.
  147. 147.0 147.1 147.2 Cite error: Invalid <ref> tag; no text was provided for refs named googleblog_GNMT_2016
  148. 148.0 148.1 Boitet, Christian; Blanchon, Hervé; Seligman, Mark; Bellynck, Valérie (2010). "एमटी ऑन और वेब के लिए" (PDF). Archived from the original (PDF) on 29 March 2017. Retrieved 1 December 2016.
  149. Arrowsmith, J; Miller, P (2013). "ट्रायल वॉच: चरण II और चरण III दुर्घटना दर 2011-2012". Nature Reviews Drug Discovery. 12 (8): 569. doi:10.1038/nrd4090. PMID 23903212. S2CID 20246434.
  150. Verbist, B; Klambauer, G; Vervoort, L; Talloen, W; The Qstar, Consortium; Shkedy, Z; Thas, O; Bender, A; Göhlmann, H. W.; Hochreiter, S (2015). "ड्रग डिस्कवरी प्रोजेक्ट्स में लीड ऑप्टिमाइज़ेशन को निर्देशित करने के लिए ट्रांसक्रिप्टोमिक्स का उपयोग करना: QSTAR प्रोजेक्ट से सीखे गए सबक". Drug Discovery Today. 20 (5): 505–513. doi:10.1016/j.drudis.2014.12.014. PMID 25582842.
  151. Wallach, Izhar; Dzamba, Michael; Heifets, Abraham (9 October 2015). "एटमनेट: स्ट्रक्चर-बेस्ड ड्रग डिस्कवरी में बायोएक्टिविटी प्रेडिक्शन के लिए डीप कन्वोल्यूशनल न्यूरल नेटवर्क". arXiv:1510.02855 [cs.LG].
  152. "टोरंटो स्टार्टअप के पास प्रभावी दवाएं खोजने का एक तेज़ तरीका है". The Globe and Mail. Archived from the original on 20 October 2015. Retrieved 9 November 2015.
  153. "स्टार्टअप इलाज के लिए सुपरकंप्यूटर का उपयोग करता है". KQED Future of You. Archived from the original on 24 December 2015. Retrieved 9 November 2015.
  154. "टोरंटो स्टार्टअप के पास प्रभावी दवाएं खोजने का एक तेज़ तरीका है". The Globe and Mail. Archived from the original on 2015-12-25. Retrieved 2017-08-26.
  155. Gilmer, Justin; Schoenholz, Samuel S.; Riley, Patrick F.; Vinyals, Oriol; Dahl, George E. (2017-06-12). "क्वांटम रसायन विज्ञान के लिए तंत्रिका संदेश पासिंग". arXiv:1704.01212 [cs.LG].
  156. Zhavoronkov, Alex (2019). "डीप लर्निंग शक्तिशाली DDR1 किनेज अवरोधकों की तेजी से पहचान को सक्षम बनाता है". Nature Biotechnology. 37 (9): 1038–1040. doi:10.1038/s41587-019-0224-x. PMID 31477924. S2CID 201716327.
  157. Gregory, Barber. "एआई द्वारा डिज़ाइन किया गया एक अणु 'ड्रगलाइक' गुण प्रदर्शित करता है". Wired. Archived from the original on 2020-04-30. Retrieved 2019-09-05.
  158. Tkachenko, Yegor (8 April 2015). "असतत और निरंतर कार्य स्थान में गहन सुदृढीकरण सीखने के साथ सीएलवी सन्निकटन के माध्यम से स्वायत्त सीआरएम नियंत्रण". arXiv:1504.01840 [cs.LG].
  159. van den Oord, Aaron; Dieleman, Sander; Schrauwen, Benjamin (2013). Burges, C. J. C.; Bottou, L.; Welling, M.; Ghahramani, Z.; Weinberger, K. Q. (eds.). तंत्रिका सूचना प्रसंस्करण प्रणालियों में उन्नति 26 (PDF). Curran Associates, Inc. pp. 2643–2651. Archived (PDF) from the original on 2017-05-16. Retrieved 2017-06-14.
  160. Feng, X.Y.; Zhang, H.; Ren, Y.J.; Shang, P.H.; Zhu, Y.; Liang, Y.C.; Guan, R.C.; Xu, D. (2019). "बायोमेडिकल प्रकाशन स्थान चुनने के लिए डीप लर्निंग-आधारित अनुशंसाकर्ता प्रणाली "पबमेन्डर": विकास और मान्यता अध्ययन". Journal of Medical Internet Research. 21 (5): e12957. doi:10.2196/12957. PMC 6555124. PMID 31127715.
  161. Elkahky, Ali Mamdouh; Song, Yang; He, Xiaodong (1 May 2015). "अनुशंसा प्रणाली में क्रॉस डोमेन उपयोगकर्ता मॉडलिंग के लिए एक बहु-दृश्य गहन शिक्षण दृष्टिकोण". Microsoft Research. Archived from the original on 25 January 2018. Retrieved 14 June 2017.
  162. Chicco, Davide; Sadowski, Peter; Baldi, Pierre (1 January 2014). जीन ओन्टोलॉजी एनोटेशन भविष्यवाणियों के लिए डीप ऑटोएन्कोडर न्यूरल नेटवर्क. pp. 533–540. doi:10.1145/2649387.2649442. hdl:11311/964622. ISBN 9781450328944. S2CID 207217210. Archived from the original on 9 May 2021. Retrieved 23 November 2015. {{cite book}}: |journal= ignored (help)
  163. Sathyanarayana, Aarti (1 January 2016). "डीप लर्निंग का उपयोग करके पहनने योग्य डेटा से नींद की गुणवत्ता का पूर्वानुमान". JMIR mHealth and uHealth. 4 (4): e125. doi:10.2196/mhealth.6562. PMC 5116102. PMID 27815231. S2CID 3821594.
  164. Choi, Edward; Schuetz, Andy; Stewart, Walter F.; Sun, Jimeng (13 August 2016). "दिल की विफलता की शुरुआत का जल्द पता लगाने के लिए आवर्तक तंत्रिका नेटवर्क मॉडल का उपयोग करना". Journal of the American Medical Informatics Association. 24 (2): 361–370. doi:10.1093/jamia/ocw112. ISSN 1067-5027. PMC 5391725. PMID 27521897.
  165. Litjens, Geert; Kooi, Thijs; Bejnordi, Babak Ehteshami; Setio, Arnaud Arindra Adiyoso; Ciompi, Francesco; Ghafoorian, Mohsen; van der Laak, Jeroen A.W.M.; van Ginneken, Bram; Sánchez, Clara I. (December 2017). "मेडिकल इमेज एनालिसिस में डीप लर्निंग पर एक सर्वे". Medical Image Analysis. 42: 60–88. arXiv:1702.05747. Bibcode:2017arXiv170205747L. doi:10.1016/j.media.2017.07.005. PMID 28778026. S2CID 2088679.
  166. Forslid, Gustav; Wieslander, Hakan; Bengtsson, Ewert; Wahlby, Carolina; Hirsch, Jan-Michael; Stark, Christina Runow; Sadanandan, Sajith Kecheril (2017). "Deep Convolutional Neural Networks for Detecting Cellular Changes Due to Malignancy". 2017 कंप्यूटर विज़न वर्कशॉप (ICCVW) पर IEEE अंतर्राष्ट्रीय सम्मेलन. pp. 82–89. doi:10.1109/ICCVW.2017.18. ISBN 9781538610343. S2CID 4728736. Archived from the original on 2021-05-09. Retrieved 2019-11-12.
  167. Dong, Xin; Zhou, Yizhao; Wang, Lantian; Peng, Jingfeng; Lou, Yanbo; Fan, Yiqun (2020). "डीप लर्निंग फ्रेमवर्क के आधार पर हाइब्रिडाइज्ड फुल कन्वोल्यूशनल न्यूरल नेटवर्क का उपयोग करके लिवर कैंसर का पता लगाना". IEEE Access. 8: 129889–129898. doi:10.1109/ACCESS.2020.3006362. ISSN 2169-3536. S2CID 220733699.
  168. Lyakhov, Pavel Alekseevich; Lyakhova, Ulyana Alekseevna; Nagornov, Nikolay Nikolaevich (2022-04-03). "मल्टीमॉडल न्यूरल नेटवर्क पर आधारित विषम डेटा के संलयन और विश्लेषण के साथ पिगमेंटेड त्वचा के घावों की पहचान के लिए प्रणाली". Cancers (in English). 14 (7): 1819. doi:10.3390/cancers14071819. ISSN 2072-6694. PMC 8997449. PMID 35406591.
  169. De, Shaunak; Maity, Abhishek; Goel, Vritti; Shitole, Sanjay; Bhattacharya, Avik (2017). "Predicting the popularity of instagram posts for a lifestyle magazine using deep learning". 2017 संचार प्रणाली, कंप्यूटिंग और आईटी अनुप्रयोगों पर दूसरा अंतर्राष्ट्रीय सम्मेलन (CSCITA). pp. 174–177. doi:10.1109/CSCITA.2017.8066548. ISBN 978-1-5090-4381-1. S2CID 35350962.
  170. "डीप लर्निंग के साथ पुरानी छवियों को रंगना और पुनर्स्थापित करना". FloydHub Blog (in English). 13 November 2018. Archived from the original on 11 October 2019. Retrieved 11 October 2019.
  171. Schmidt, Uwe; Roth, Stefan. प्रभावी छवि बहाली के लिए संकोचन क्षेत्र (PDF). Computer Vision and Pattern Recognition (CVPR), 2014 IEEE Conference on. Archived (PDF) from the original on 2018-01-02. Retrieved 2018-01-01.
  172. Kleanthous, Christos; Chatzis, Sotirios (2020). "वैल्यू एडेड टैक्स ऑडिट मामले के चयन के लिए गेटेड मिक्सचर वेरिएशनल ऑटोएनकोडर". Knowledge-Based Systems. 188: 105048. doi:10.1016/j.knosys.2019.105048. S2CID 204092079.
  173. Czech, Tomasz (28 June 2018). "डीप लर्निंग: मनी लॉन्ड्रिंग डिटेक्शन के लिए अगला फ्रंटियर". Global Banking and Finance Review. Archived from the original on 2018-11-16. Retrieved 2018-07-15.
  174. Khan, Sajjad Haider (2022-06-27). "एआई आर्ट जेनरेटर 2022 पर एक संपूर्ण विश्लेषण". TopTen.ai (in English). Retrieved 2022-10-25.
  175. Woods, Mia (2022-06-20). "इसके पीछे एआई इमेज जेनरेटर और प्रोसेसिंग टेक्नोलॉजी है". TopTen.ai (in English). Retrieved 2022-10-25.
  176. 176.0 176.1 176.2 "रोबोट को प्रशिक्षित करने के लिए सेना के शोधकर्ताओं ने नए एल्गोरिदम विकसित किए". EurekAlert!. Archived from the original on 28 August 2018. Retrieved 29 August 2018.
  177. Raissi, M.; Perdikaris, P.; Karniadakis, G. E. (2019-02-01). "भौतिकी-सूचित तंत्रिका नेटवर्क: गैर-रैखिक आंशिक अंतर समीकरणों को शामिल करने वाली आगे और उलटा समस्याओं को हल करने के लिए एक गहन शिक्षण ढांचा". Journal of Computational Physics (in English). 378: 686–707. Bibcode:2019JCoPh.378..686R. doi:10.1016/j.jcp.2018.10.045. ISSN 0021-9991. OSTI 1595805. S2CID 57379996.
  178. Mao, Zhiping; Jagtap, Ameya D.; Karniadakis, George Em (2020-03-01). "उच्च गति प्रवाह के लिए भौतिकी-सूचित तंत्रिका नेटवर्क". Computer Methods in Applied Mechanics and Engineering (in English). 360: 112789. Bibcode:2020CMAME.360k2789M. doi:10.1016/j.cma.2019.112789. ISSN 0045-7825. S2CID 212755458.
  179. Raissi, Maziar; Yazdani, Alireza; Karniadakis, George Em (2020-02-28). "छिपे हुए द्रव यांत्रिकी: प्रवाह विज़ुअलाइज़ेशन से वेग और दबाव क्षेत्र सीखना". Science. 367 (6481): 1026–1030. Bibcode:2020Sci...367.1026R. doi:10.1126/science.aaw4741. PMC 7219083. PMID 32001523.
  180. Oktem, Figen S.; Kar, Oğuzhan Fatih; Bezek, Can Deniz; Kamalabadi, Farzad (2021). "विवर्तनिक लेंस और सीखा पुनर्निर्माण के साथ उच्च-रिज़ॉल्यूशन मल्टी-स्पेक्ट्रल इमेजिंग". IEEE Transactions on Computational Imaging. 7: 489–504. arXiv:2008.11625. doi:10.1109/TCI.2021.3075349. ISSN 2333-9403. S2CID 235340737.
  181. Bernhardt, Melanie; Vishnevskiy, Valery; Rau, Richard; Goksel, Orcun (December 2020). "मल्टीडोमेन सिमुलेशन के साथ वैरिएशनल नेटवर्क का प्रशिक्षण: स्पीड-ऑफ-साउंड इमेज रिकंस्ट्रक्शन". IEEE Transactions on Ultrasonics, Ferroelectrics, and Frequency Control. 67 (12): 2584–2594. arXiv:2006.14395. doi:10.1109/TUFFC.2020.3010186. ISSN 1525-8955. PMID 32746211. S2CID 220055785.
  182. Utgoff, P. E.; Stracuzzi, D. J. (2002). "कई-स्तरित शिक्षा". Neural Computation. 14 (10): 2497–2529. doi:10.1162/08997660260293319. PMID 12396572. S2CID 1119517.
  183. Elman, Jeffrey L. (1998). रीथिंकिंग इननेटनेस: ए कनेक्शनिस्ट पर्सपेक्टिव ऑन डेवलपमेंट. MIT Press. ISBN 978-0-262-55030-7.
  184. Shrager, J.; Johnson, MH (1996). "डायनेमिक प्लास्टिसिटी एक साधारण कॉर्टिकल एरे में फंक्शन के उद्भव को प्रभावित करती है". Neural Networks. 9 (7): 1119–1129. doi:10.1016/0893-6080(96)00033-0. PMID 12662587.
  185. Quartz, SR; Sejnowski, TJ (1997). "संज्ञानात्मक विकास का तंत्रिका आधार: एक रचनावादी घोषणापत्र". Behavioral and Brain Sciences. 20 (4): 537–556. CiteSeerX 10.1.1.41.7854. doi:10.1017/s0140525x97001581. PMID 10097006. S2CID 5818342.
  186. S. Blakeslee., "In brain's early growth, timetable may be critical," The New York Times, Science Section, pp. B5–B6, 1995.
  187. Mazzoni, P.; Andersen, R. A.; Jordan, M. I. (15 May 1991). "तंत्रिका नेटवर्क के लिए एक अधिक जैविक रूप से प्रशंसनीय सीखने का नियम।". Proceedings of the National Academy of Sciences. 88 (10): 4433–4437. Bibcode:1991PNAS...88.4433M. doi:10.1073/pnas.88.10.4433. ISSN 0027-8424. PMC 51674. PMID 1903542.
  188. O'Reilly, Randall C. (1 July 1996). "स्थानीय सक्रियण अंतरों का उपयोग करके जैविक रूप से प्रशंसनीय त्रुटि-संचालित शिक्षण: सामान्यीकृत पुनरावर्तन एल्गोरिथम". Neural Computation. 8 (5): 895–938. doi:10.1162/neco.1996.8.5.895. ISSN 0899-7667. S2CID 2376781.
  189. Testolin, Alberto; Zorzi, Marco (2016). "संभाव्य मॉडल और जनरेटिव न्यूरल नेटवर्क: मॉडलिंग सामान्य और बिगड़ा हुआ तंत्रिका संबंधी कार्यों के लिए एक एकीकृत ढांचे की ओर". Frontiers in Computational Neuroscience. 10: 73. doi:10.3389/fncom.2016.00073. ISSN 1662-5188. PMC 4943066. PMID 27468262. S2CID 9868901.
  190. Testolin, Alberto; Stoianov, Ivilin; Zorzi, Marco (September 2017). "पत्र धारणा प्राकृतिक छवि सुविधाओं के अनियंत्रित गहन शिक्षण और पुनर्चक्रण से उभरती है". Nature Human Behaviour. 1 (9): 657–664. doi:10.1038/s41562-017-0186-2. ISSN 2397-3374. PMID 31024135. S2CID 24504018.
  191. Buesing, Lars; Bill, Johannes; Nessler, Bernhard; Maass, Wolfgang (3 November 2011). "नमूनाकरण के रूप में तंत्रिका गतिशीलता: स्पाइकिंग न्यूरॉन्स के आवर्तक नेटवर्क में स्टोकेस्टिक संगणना के लिए एक मॉडल". PLOS Computational Biology. 7 (11): e1002211. Bibcode:2011PLSCB...7E2211B. doi:10.1371/journal.pcbi.1002211. ISSN 1553-7358. PMC 3207943. PMID 22096452. S2CID 7504633.
  192. Cash, S.; Yuste, R. (February 1999). "CA1 पिरामिडल न्यूरॉन्स द्वारा उत्तेजक आदानों का रैखिक योग". Neuron. 22 (2): 383–394. doi:10.1016/s0896-6273(00)81098-3. ISSN 0896-6273. PMID 10069343. S2CID 14663106.
  193. Olshausen, B; Field, D (1 August 2004). "संवेदी आदानों की विरल कोडिंग". Current Opinion in Neurobiology. 14 (4): 481–487. doi:10.1016/j.conb.2004.07.007. ISSN 0959-4388. PMID 15321069. S2CID 16560320.
  194. Yamins, Daniel L K; DiCarlo, James J (March 2016). "संवेदी प्रांतस्था को समझने के लिए लक्ष्य-संचालित गहन शिक्षण मॉडल का उपयोग करना". Nature Neuroscience. 19 (3): 356–365. doi:10.1038/nn.4244. ISSN 1546-1726. PMID 26906502. S2CID 16970545.
  195. Zorzi, Marco; Testolin, Alberto (19 February 2018). "संख्या बोध की उत्पत्ति पर एक उभरता हुआ दृष्टिकोण". Phil. Trans. R. Soc. B. 373 (1740): 20170043. doi:10.1098/rstb.2017.0043. ISSN 0962-8436. PMC 5784047. PMID 29292348. S2CID 39281431.
  196. Güçlü, Umut; van Gerven, Marcel A. J. (8 July 2015). "डीप न्यूरल नेटवर्क वेंट्रल स्ट्रीम में न्यूरल रिप्रेजेंटेशन की जटिलता में एक ग्रेडिएंट प्रकट करते हैं". Journal of Neuroscience. 35 (27): 10005–10014. arXiv:1411.6422. doi:10.1523/jneurosci.5023-14.2015. PMC 6605414. PMID 26157000.
  197. Metz, C. (12 December 2013). "फेसबुक के 'डीप लर्निंग' गुरु ने एआई के भविष्य का खुलासा किया". Wired. Archived from the original on 28 March 2014. Retrieved 26 August 2017.
  198. Gibney, Elizabeth (2016). "Google AI एल्गोरिथम गो के प्राचीन खेल में महारत हासिल करता है". Nature. 529 (7587): 445–446. Bibcode:2016Natur.529..445G. doi:10.1038/529445a. PMID 26819021. S2CID 4460235. Archived from the original on 2 May 2019. Retrieved 30 January 2016.
  199. Silver, David; Huang, Aja; Maddison, Chris J.; Guez, Arthur; Sifre, Laurent; Driessche, George van den; Schrittwieser, Julian; Antonoglou, Ioannis; Panneershelvam, Veda; Lanctot, Marc; Dieleman, Sander; Grewe, Dominik; Nham, John; Kalchbrenner, Nal; Sutskever, Ilya; Lillicrap, Timothy; Leach, Madeleine; Kavukcuoglu, Koray; Graepel, Thore; Hassabis, Demis (28 January 2016). "डीप न्यूरल नेटवर्क और ट्री सर्च के साथ गो के खेल में महारत हासिल करना". Nature. 529 (7587): 484–489. Bibcode:2016Natur.529..484S. doi:10.1038/nature16961. ISSN 0028-0836. PMID 26819042. S2CID 515925.closed access
  200. "एक Google डीपमाइंड एल्गोरिद्म गेम ऑफ़ गो | में महारत हासिल करने के लिए डीप लर्निंग और अन्य चीज़ों का उपयोग करता है MIT प्रौद्योगिकी समीक्षा". MIT Technology Review. Archived from the original on 1 February 2016. Retrieved 30 January 2016.
  201. Metz, Cade (6 November 2017). "ए.आई. रोबोटिक्स स्टार्ट-अप शुरू करने के लिए शोधकर्ताओं ने एलोन मस्क लैब छोड़ी". The New York Times. Archived from the original on 7 July 2019. Retrieved 5 July 2019.
  202. Bradley Knox, W.; Stone, Peter (2008). "TAMER: मूल्यांकन सुदृढीकरण के माध्यम से एक एजेंट को मैन्युअल रूप से प्रशिक्षण देना". 2008 7th IEEE International Conference on Development and Learning: 292–297. doi:10.1109/devlrn.2008.4640845. ISBN 978-1-4244-2661-4. S2CID 5613334.
  203. "एल्गोरिदम से बात करें: एआई तेजी से सीखने वाला बन जाता है". governmentciomedia.com. Archived from the original on 28 August 2018. Retrieved 29 August 2018.
  204. Marcus, Gary (14 January 2018). "गहरी शिक्षा के बारे में संशयवाद के बचाव में". Gary Marcus. Archived from the original on 12 October 2018. Retrieved 11 October 2018.
  205. Knight, Will (14 March 2017). "DARPA उन परियोजनाओं को वित्तपोषित कर रहा है जो AI के ब्लैक बॉक्स को खोलने का प्रयास करेंगी". MIT Technology Review. Archived from the original on 4 November 2019. Retrieved 2 November 2017.
  206. Marcus, Gary (November 25, 2012). "क्या "डीप लर्निंग" आर्टिफिशियल इंटेलिजेंस में एक क्रांति है?". The New Yorker. Archived from the original on 2009-11-27. Retrieved 2017-06-14.
  207. Alexander Mordvintsev; Christopher Olah; Mike Tyka (17 June 2015). "इंसेप्शनिज़्म: तंत्रिका नेटवर्क में गहराई तक जाना". Google Research Blog. Archived from the original on 3 July 2015. Retrieved 20 June 2015.
  208. Alex Hern (18 June 2015). "हां, एंड्रॉइड इलेक्ट्रिक भेड़ का सपना देखते हैं". The Guardian. Archived from the original on 19 June 2015. Retrieved 20 June 2015.
  209. 209.0 209.1 209.2 Goertzel, Ben (2015). "क्या आज के डीप लर्निंग एल्गोरिथम के पैथोलॉजी के पीछे गहरे कारण हैं?" (PDF). Archived (PDF) from the original on 2015-05-13. Retrieved 2015-05-10.
  210. Nguyen, Anh; Yosinski, Jason; Clune, Jeff (2014). "डीप न्यूरल नेटवर्क आसानी से बेवकूफ बनते हैं: पहचानने योग्य छवियों के लिए उच्च आत्मविश्वास की भविष्यवाणी". arXiv:1412.1897 [cs.CV].
  211. Szegedy, Christian; Zaremba, Wojciech; Sutskever, Ilya; Bruna, Joan; Erhan, Dumitru; Goodfellow, Ian; Fergus, Rob (2013). "तंत्रिका नेटवर्क के दिलचस्प गुण". arXiv:1312.6199 [cs.CV].
  212. Zhu, S.C.; Mumford, D. (2006). "छवियों का एक स्टोकेस्टिक व्याकरण". Found. Trends Comput. Graph. Vis. 2 (4): 259–362. CiteSeerX 10.1.1.681.2190. doi:10.1561/0600000018.
  213. Miller, G. A., and N. Chomsky. "Pattern conception." Paper for Conference on pattern detection, University of Michigan. 1957.
  214. Eisner, Jason. "रिकर्सिव स्ट्रक्चर की डीप लर्निंग: ग्रामर इंडक्शन". Archived from the original on 2017-12-30. Retrieved 2015-05-10.
  215. "हैकर्स ने पहले ही आर्टिफिशियल इंटेलिजेंस को हथियार बनाना शुरू कर दिया है". Gizmodo. 11 September 2017. Archived from the original on 11 October 2019. Retrieved 11 October 2019.
  216. "हैकर्स एआई को गूंगी गलतियां करने के लिए कैसे मजबूर कर सकते हैं". The Daily Dot (in English). 18 June 2018. Archived from the original on 11 October 2019. Retrieved 11 October 2019.
  217. 217.0 217.1 217.2 217.3 217.4 "एआई बेवकूफ बनाना आसान है—इसे बदलने की जरूरत क्यों है". Singularity Hub. 10 October 2017. Archived from the original on 11 October 2017. Retrieved 11 October 2017.
  218. Gibney, Elizabeth (2017). "वैज्ञानिक जो नकली वीडियो स्पॉट करता है". Nature. doi:10.1038/nature.2017.22784. Archived from the original on 2017-10-10. Retrieved 2017-10-11.
  219. 219.0 219.1 219.2 219.3 Mühlhoff, Rainer (6 November 2019). "मानव-सहायता प्राप्त कृत्रिम बुद्धिमत्ता: या, मानव मस्तिष्क में बड़ी संगणनाएँ कैसे चलाएँ? मशीन लर्निंग के मीडिया समाजशास्त्र की ओर". New Media & Society (in English). 22 (10): 1868–1884. doi:10.1177/1461444819885334. ISSN 1461-4448. S2CID 209363848.
  220. "फेसबुक अब आपका चेहरा खोज सकता है, भले ही इसे टैग न किया गया हो". Wired (in English). ISSN 1059-1028. Archived from the original on 10 August 2019. Retrieved 22 November 2019.


इस पेज में लापता आंतरिक लिंक की सूची

  • प्रतिनिधित्व सीखना
  • जलवायुविज्ञानशास्र
  • बायोइनफॉरमैटिक्स
  • ट्रांसफार्मर (यंत्र विद्वता प्रतिरूप)
  • जैविक प्रणाली
  • संबंधवाद
  • मूर्ति प्रोद्योगिकी
  • प्रस्तावक सूत्र
  • आवर्तक तंत्रिका संजाल
  • लालची कलन विधि
  • प्रमुख कंपोनेंट विश्लेषण
  • गहरा तंत्रिका संजाल
  • लेबेसेग एकीकरण
  • सामान्यकरण
  • संचयी वितरण फलन
  • कृत्रिम तंत्रिका प्रसार
  • स्वचालित भेदभाव
  • backpropagation
  • हस्तलिपि अभिज्ञान
  • पीटर दयान
  • गायब ढाल समस्या
  • लंबी अल्पकालिक स्मृति
  • एमएनआईएसटी डेटाबेस
  • स्वचालित भाषण मान्यता
  • निर्णय वृक्ष
  • जैव आणविक लक्ष्य
  • सूचक किए गए डेटा
  • नियम आधारित प्रोग्रामिंग
  • सामान्य खेल खेल रहा है
  • आवृत्ति कंघी
  • तरंग दैर्ध्य
  • बोली
  • डोमेन की जानकारी
  • कोरटाना (सॉफ्टवेयर)
  • सदिश स्थल
  • उदाहरण-आधारित यंत्री अनुवाद
  • ग्राहक जीवन मूल्य
  • आरएफएम (ग्राहक मूल्य)
  • सीधा विपणन
  • उलटा समस्याएं
  • denoising
  • आंशिक विभेदक समीकरण
  • कम्प्यूटेशनल तरल सक्रिय
  • पागलपन
  • सूजा आंत्र रोग
  • उम्र बढ़ने के बायोमार्कर
  • संज्ञानात्मक तंत्रिका विज्ञानी
  • मस्तिष्क में वृद्धि
  • तंत्रिका वृद्धि कारक
  • आत्म संगठन
  • जाओ (खेल)
  • टेक्सास विश्वविद्यालय, ऑस्टिन
  • करणीय संबंध
  • वाटसन (परिकलक)
  • कृत्रिम होशियारी
  • TinEye
  • रोकने का चिन्ह
  • जन्म प्रमेय
  • यंत्र-शिक्षण अनुसंधान के लिए डेटासेट की सूची

अग्रिम पठन