डीप लर्निंग



पश्च विद्वता (पश्च संरचित विद्वता के रूप में भी जाना जाता है) कृत्रिम तंत्रिका संजाल पर आधारित यंत्र विद्वता विधियों के एक व्यापक परिवार का हिस्सा है, जिसमें सीखने का प्रतिनिधित्व होता है। विद्वता पर्यवेक्षित अध्ययन, अर्ध-पर्यवेक्षित शिक्षा| अर्ध-पर्यवेक्षित या अनियंत्रित शिक्षा हो सकती है।

पश्च-विद्वता संरचना जैसे गहरा तंत्रिकीय संजाल, गहन सुदृढीकरण सीखना, आवर्तक तंत्रिका संजाल, दृढ़ तंत्रिका संजाल और परिवर्तक (यंत्र विद्वता प्रतिरूप) को परिकलक दृष्टी, वाक् पहचान, प्राकृतिक भाषा प्रसंस्करण, यंत्र अनुवाद सहित क्षेत्रों में लागू किया गया है। जैव सूचना विज्ञान, दवा अभिकल्पना, चिकित्सा छवि विश्लेषण, जलवायु विज्ञान, सामग्री निरीक्षण और विशेष प्रकार के पटल या पट्टे के खेल जैसे शतरंज, साँप सीढ़ी आदि कार्यक्रम, जहां उन्होंने मानव विशेषज्ञ के प्रदर्शन के बराबर और कुछ मामलों में बेहतर परिणाम दिए हैं। कृत्रिम तंत्रिका संजाल (ANNs) जैविक प्रणालियों में सूचना प्रसंस्करण और वितरित संचार पर्णग्रंथि से प्रेरित थे। ANN में जैविक दिमाग से विभिन्न अंतर हैं। विशेष रूप से, कृत्रिम तंत्रिका संजाल स्थिर और प्रतीकात्मक होते हैं, जबकि अधिकांश जीवित जीवों का जैविक मस्तिष्क गतिशील (लोचक) और तुल्यरूप होता है।

पश्च विद्वता में विशेषण संजाल में कई परतों के उपयोग को संदर्भित करता है। प्रारंभिक कार्य से पता चला है कि एक रेखीय अवधारणा एक सार्वभौमिक वर्गीकारक नहीं हो सकता है, लेकिन यह कि एक गैर-बहुपद सक्रियण कार्य वाला संजाल असीमित चौड़ाई की एक छिपी हुई परत के साथ हो सकता है। पश्च विद्वता एक आधुनिक भिन्नता है जो सीमित आकार की असीमित संख्या में परतों से संबंधित है, जो हल्के परिस्थितियों में सैद्धांतिक सार्वभौमिकता को बनाए रखते हुए व्यावहारिक अनुप्रयोग और अनुकूलित कार्यान्वयन की अनुमति देती है। पश्च विद्वता में परतों को भी विषम होने की अनुमति दी जाती है और दक्षता, प्रशिक्षण और समझ के लिए जैविक रूप से सूचित संबंध प्रतिरूप से व्यापक रूप से विचलित होने की अनुमति दी जाती है, अतः संरचित भाग।

परिभाषा
पश्च विद्वता यंत्र विद्वता कलन विधि का एक वर्ग है अपरिष्कृत इनपुट से उच्च-स्तरीय सुविधाओं को उत्तरोत्तर निकालने के लिए कई परतों का उपयोग करता है। उदाहरण के लिए, छवि प्रसंस्करण में, निचली परतें किनारों की पहचान कर सकती हैं, जबकि उच्च परतें मानव से संबंधित अवधारणाओं की पहचान कर सकती हैं जैसे अंक या अक्षर या चेहरे।

समीक्षा
अधिकांश आधुनिक गहन शिक्षण प्रतिरूप कृत्रिम तंत्रिका संजाल, विशेष रूप से दृढ़ तंत्रिका संजाल (CNN) पर आधारित होते हैं, हालांकि वे गहन उत्पादक प्रतिरूप में प्रस्तावित सूत्र या अव्यक्त चर भी सम्मिलित कर सकते हैं, जैसे गहन विश्वास संजाल और गहरे बोल्ट्जमैन यंत्र पर्णग्रंथि हैं।

पश्च विद्वता में, प्रत्येक स्तर अपने इनपुट डेटा को थोड़ा अधिक अमूर्त और समग्र प्रतिनिधित्व में बदलना सीखता है। एक छवि पहचान अनुप्रयोग में, अपरिष्कृत इनपुट चित्रांश का एक आव्यूह (गणित) हो सकता है; पहली प्रतिनिधित्वात्मक परत चित्रांश को अमूर्त कर सकती है और किनारों को सांकेतिक शब्दों में बदल सकती है; दूसरी परत किनारों की रचना और सांकेतिक शब्दों में बदलना कर सकती है; तीसरी परत नाक और आंखों को कूटबद्ध कर सकती है; और चौथी परत पहचान सकती है कि छवि में एक चेहरा है। महत्वपूर्ण रूप से, पश्च विद्वता की प्रक्रिया सीख सकती है कि कौन सी विशेषताएँ किस स्तर पर अपने आप में इष्टतम स्थान पर हैं। यह हैंड-ट्यूनिंग की आवश्यकता को समाप्त नहीं करता है; उदाहरण के लिए, परतों की अलग-अलग संख्या और परत आकार अमूर्तता की अलग-अलग श्रेणी प्रदान कर सकते हैं।

'पश्च विद्वता' में 'पश्च' शब्द उन परतों की संख्या को संदर्भित करता है जिनके माध्यम से डेटा को रूपांतरित किया जाता है। अधिक सटीक रूप से, पश्च विद्वता प्रणाली में पर्याप्त क्रेडिट समनुदेशन पथ (CAP) गहराई होती है। CAP इनपुट से आउटपुट में परिवर्तन की श्रृंखला है। CAP की इनपुट और आउटपुट के बीच संभावित कारण संयोजन का वर्णन करते हैं। एक अग्रभरण तंत्रिक संजाल के लिए, CAPs की गहराई संजाल की होती है और छिपी हुई परतों की संख्या एक से अधिक होती है (क्योंकि आउटपुट परत भी पैरामिट्रीकृत होती है)। आवर्ती तंत्रिका संजाल के लिए, CAP की गहराई संभावित रूप से असीमित है जिसमें एक से अधिक बार एक परत के माध्यम से एक संकेत प्रसारित हो सकता है। गहराई की कोई सार्वभौमिक रूप से स्वीकृत सीमा पश्च विद्वता से सतही ज्ञान को विभाजित नहीं करती है, लेकिन अधिकांश शोधकर्ता इस बात से सहमत हैं कि पश्च विद्वता में CAP की गहराई 2 से अधिक होती है।. इसके अलावा, अधिक परतें संजाल की प्रकार्य अनुमानित क्षमता में नहीं जोड़ती हैं। पश्च प्रतिरूप (CAP > 2) सतही प्रतिरूप की तुलना में बेहतर विशेषता निकालने में सक्षम होते हैं और इसलिए, अतिरिक्त परतें सुविधाओं को प्रभावी ढंग से सीखने में मदद करती हैं।

पश्च विद्वता संरचना का निर्माण एक लुब्ध परत-दर-परत विधि से किया जा सकता है। पश्च विद्वता इन अमूर्तताओं को दूर करने में मदद करता है और प्रदर्शन को बेहतर बनाने वाली विशेषताओं को चुनता है।

पर्यवेक्षित शिक्षण कार्यों के लिए, गहन शिक्षण विधियाँ प्रमुख घटक विश्लेषण के समान सघन मध्यवर्ती अभ्यावेदन में डेटा का अनुवाद करके, और प्रतिनिधित्व में अतिरेक को दूर करने वाली स्तरित संरचनाओं को प्राप्त करके, वैशिष्ट्य अभियांत्रिकी को समाप्त करती हैं।

पश्च विद्वता कलन विधि को अनिरीक्षित विद्वता कृत्य पर लागू किया जा सकता है। यह एक महत्वपूर्ण लाभ है क्योंकि बिना सूचक वाला डेटा सूचक किए गए डेटा की तुलना में अधिक प्रचुर मात्रा में होता है। गहरी मान्यताओं के उदाहरण गहरे विश्वास संजाल हैं जिन्हें बिना पर्यवेक्षण के तरीके से प्रशिक्षित किया जा सकता है।

व्याख्या
गहरे तंत्रिका संजाल की व्याख्या सामान्यतः सार्वभौमिक सन्निकटन प्रमेय या बायेसियन निष्कर्ष के संदर्भ में की जाती है    ।

पारम्परिक सार्वभौमिक सन्निकटन प्रमेय निरंतर कार्यों को अनुमानित करने के लिए परिमित आकार की एक छिपी हुई परत के साथ अग्रभरण तंत्रिका संजाल की क्षमता से संबंधित है।  1989 में, अवग्रहरूपी प्रकार्य सक्रियण कार्यों के लिए जॉर्ज साइबेंको द्वारा पहला प्रमाण प्रकाशित किया गया था और कर्ट हॉर्निक द्वारा 1991 में अग्रभरण बहु-परत संरचना के लिए सामान्यीकृत किया गया था। हाल के काम से यह भी पता चला है कि सार्वभौमिक सन्निकटन गैर-बाध्य सक्रियण कार्यों जैसे कि संशोधित रैखिक इकाई के लिए भी लागू होता है।

गहरे तंत्रिका संजाल के लिए सार्वभौमिक सन्निकटन प्रमेय सीमित चौड़ाई वाले संजाल की क्षमता से संबंधित है लेकिन गहराई को बढ़ने की अनुमति है। लू एट अल ने सिद्ध कर दिया कि यदि ReLU सक्रियण के साथ एक गहरे तंत्रिका संजाल की चौड़ाई इनपुट आयाम से दृढता से बड़ी है, तो संजाल किसी भी लेबेसग्यु एकीकरण का अनुमान लगा सकता है; यदि चौड़ाई छोटी या इनपुट आयाम के बराबर है, तो एक गहरा तंत्रिका संजाल एक सार्वभौमिक सन्निकटन नहीं है।

संभाव्य व्याख्या यंत्र सीखने के क्षेत्र से प्राप्त होता है। यह अनुमान की विशेषता है,      क्रमशः समंजन और सामान्यीकरण से संबंधित प्रशिक्षण और परीक्षण (मूल्यांकन) की अनुकूलन अवधारणाएं। अधिक विशेष रूप से, संभाव्य व्याख्या सक्रियण गैर-रैखिकता को संचयी वितरण प्रकार्य के रूप में मानती है। संभाव्य व्याख्या ने तंत्रिका संजाल में नियमितीकरण (गणित) के रूप में उन्मोचक (तंत्रिका संजाल) की शुरुआत की। संभाव्य व्याख्या जॉन हॉपफील्ड, बर्नार्ड विड्रो और कुम्पती एस नरेंद्र सहित शोधकर्ताओं द्वारा पेश की गई थी और क्रिस्टोफर बिशप जैसे सर्वेक्षणों में लोकप्रिय हुई थी।

इतिहास
कुछ सूत्रों का कहना है कि फ्रैंक रोसेनब्लैट ने आज की गहन शिक्षण प्रणाली के सभी बुनियादी अवयवों का विकास और अन्वेषण किया है। [25] उन्होंने 1962 में कॉर्नेल एरोनॉटिकल लेबोरेटरी, inc, कॉर्नेल यूनिवर्सिटी द्वारा प्रकाशित अपनी पुस्तक "प्रिंसिपल्स ऑफ न्यूरोडायनामिक्स: परसेप्ट्रॉन एंड द थ्योरी ऑफ ब्रेन मैकेनिज्म" में इसका वर्णन किया।

पर्यवेक्षित, पश्च, अग्रभरण, बहुपरत परसेप्ट्रॉन के लिए पहला सामान्य, कार्यवाहक अधिगम कलन विधि 1967 में अलेक्सी इवाखेंको और लापा द्वारा प्रकाशित किया गया था। [26] 1971 के एक लेख में डेटा प्रबंधन की समूह विधि द्वारा प्रशिक्षित आठ परतों वाले एक गहरे संजाल का वर्णन किया गया था। [27] अन्य पश्च विद्वता कार्यवाहक शिल्प विद्या, विशेष रूप से परिकलक दृष्टि के लिए बनाए गए, 1980 में कुनिहिको फुकुशिमा द्वारा पेश किए गए नियोकोग्निट्रॉन के साथ शुरू हुए।

पश्च विद्वता शब्द को 1986 में रीना डेक्टर द्वारा मशीन विद्वता समुदाय के लिए पेश किया गया था, [29] और बूलियन थ्रेशोल्ड न्यूरॉन्स के संदर्भ में इगोर एज़ेनबर्ग और उनके सहयोगियों द्वारा कृत्रिम तंत्रिका नेटवर्क के लिए 2000 में पेश किया गया था।

1989 में, यांन लीकून एट अल. ने मानक पश्चप्रचार कलन विधि लागू किया, जो 1970 के बाद से स्वत: विभेदीकरण के उत्क्रम मोड के रूप में था,   मेल पर लिखावट की पहचान के उद्देश्य से एक गहरे तंत्रिका संजाल के लिए। जबकि कलन विधि ने काम किया, प्रशिक्षण के लिए 3 दिनों की आवश्यकता थी। 1988 में स्वतंत्र रूप से, वी झांग एट अल. अक्षरों की पहचान के लिए संवलन तंत्रिकीय संजाल (छवि विशेषता परत्स और अंतिम पूरी तरह से आनुषंगिक परत के बीच केवल संवलन अंतर्संबंध को ध्यान में रखते हुए एक सरलीकृत नियोकोग्निट्रॉन) के लिए पश्चप्रचार कलन विधि लागू किया और  प्रकाश संबंधी अभिकलन प्रणाली के साथ CNN के कार्यान्वयन का भी प्रस्ताव दिया।  इसके बाद, वी झांग, एट अल. अंतिम पूरी तरह से जुड़ी हुई परत को हटाकर प्रतिरूप को संशोधित किया और 1991 में इसे चिकित्सीय छवि वस्तु विभाजन के लिए लागू किया और 1994 में मैमोग्राम में स्तन कैंसर का पता लगाया।

1994 में, आंद्रे डी कार्वाल्हो ने, माइक फेयरहर्स्ट और डेविड बिसम्मुच्चय के साथ, एक बहु-परत बूलियन तंत्रिका संजाल के प्रायोगिक परिणाम प्रकाशित किए, जिसे एक भारहीन तंत्रिका संजाल के रूप में भी जाना जाता है, जो 3-परतों के स्व-आयोजन सुविधा निष्कर्षण तंत्रिका संजाल अनुखंड से बना है (SOFT) इसके बाद बहु-परत वर्गीकरण तंत्रिका संजाल अनुखंड (GSN), जो स्वतंत्र रूप से प्रशिक्षित थे। सुविधा निष्कर्षण अनुखंड में प्रत्येक परत पिछली परत के संबंध में बढ़ती जटिलता के साथ सुविधाओं को निकालती है।

1995 में, ब्रेंडन फ्रे ने प्रदर्शित किया कि पीटर डायन और जेफ्री हिंटन के साथ सह-विकसित वेक-स्लीप कलन विधि का उपयोग करके छह पूरी तरह से जुड़ी हुई परतों और कई सौ छिपी हुई इकाइयों वाले संजाल को प्रशिक्षित करना (दो दिनों में) संभव था। कई कारक धीमी गति में योगदान करते हैं, जिसमें 1991 में सेप होचराइटर द्वारा विश्लेषण की गई गायब होने वाली ढाल समस्या भी सम्मिलित है।

1997 के बाद से, स्वेन बेन्के ने तंत्रिकीय पृथक्करण पिरामिड में अग्रभरण पदानुक्रमित दृढ़ दृष्टिकोण का विस्तार किया निर्णयों में लचीले ढंग से संदर्भ को सम्मिलित करने और स्थानीय अस्पष्टताओं को पुनरावृत्त रूप से हल करने के लिए पार्श्व और पिछड़े संबंध द्वारा विस्तार किया।

1990 और 2000 के दशक में गैबर निस्यंदक और समर्थन वेक्टर यंत्र (SVM) जैसे कार्य-विशिष्ट दस्तकारी सुविधाओं का उपयोग करने वाले सरल प्रतिरूप कृत्रिम तंत्रिका संजाल (ANN) की संगणनात्मक लागत और मस्तिष्क के तारों को समझने की कमी के कारण इसके जैविक संजाल एक लोकप्रिय विकल्प थे।

ANN के सतही और गहन शिक्षण (जैसे, आवर्तक जाल) दोनों का कई वर्षों से पता लगाया गया है। भेदभावपूर्ण ढंग से प्रशिक्षित भाषण के प्रजनक प्रतिरूप के आधार पर इन विधियों ने कभी भी गैर-समान आंतरिक- हस्तशिल्प गॉसियन मिश्रण प्रतिरूप / छिपा हुआ मार्कोव प्रतिरूप (GMM-HMM) तकनीक से बेहतर प्रदर्शन नहीं किया। प्रमुख कठिनाइयों का विश्लेषण किया गया है, जिसमें अनुप्रवण ह्रासमान और तंत्रिका भविष्यवाणी प्रतिरूप में कमजोर अस्थायी सहसंबंध संरचना भी सम्मिलित है । अतिरिक्त कठिनाइयों में प्रशिक्षण डेटा और सीमित अभिकलन शक्ति की कमी थी।

प्रजनक प्रतिरूपण को आगे बढ़ाने के लिए अधिकांश भाषण मान्यता शोधकर्ता तंत्रिका जाल से दूर चले गए। 1990 के दशक के अंत में SRI अंतर्राष्ट्रीय में एक अपवाद था। अमेरिकी सरकार की राष्ट्रीय सुरक्षा एजेंसी और दर्पा द्वारा वित्त पोषित, SRI ने भाषण और वक्ता पहचान में गहरे तंत्रिका संजाल का अध्ययन किया। लैरी हेक के नेतृत्व में स्पीकर रिकग्निशन टीम ने 1998 के मानक और प्रौद्योगिकी का राष्ट्रीय संस्थान वक्ता मान्यता आकलन में भाषण प्रसंस्करण में पश्च तंत्रिकीय संजाल के साथ महत्वपूर्ण सफलता की सूचना दी। SRI पश्च तंत्रिकीय संजाल को तब सूक्ष्मता सत्यापनकर्ता में तैनात किया गया था, जो पश्च विद्वता के पहले प्रमुख औद्योगिक अनुप्रयोग का प्रतिनिधित्व करता है।

1990 के दशक के अंत में कच्चे स्पेक्ट्रम चित्र या रैखिक निस्यंदक-बैंक सुविधाओं पर गहरे स्वतः कूटलेखक की वास्तुकला में पहली बार हाथ से तैयार किए गए अनुकूलन पर कच्चे सुविधाओं को ऊपर उठाने का सिद्धांत सफलतापूर्वक खोजा गया था। मेल-सेप्स्ट्रल सुविधाओं पर अपनी श्रेष्ठता दिखा रहा है जिसमें स्पेक्ट्रोग्राम से निश्चित परिवर्तन के चरण सम्मिलित हैं। वाक्, तरंगों  की कच्ची विशेषताएं, बाद में बड़े पैमाने पर उत्कृष्ट परिणाम उत्पन्न करती हैं।

वाक् पहचान के कई पहलुओं को 1997 में होच्रेइटर और जुरगेन श्मिटुबर द्वारा प्रकाशित एक आवर्तक तंत्रिका संजाल, लंबी अवधि की स्मृति (LSTM) नामक एक गहन शिक्षण पद्धति द्वारा लिया गया था। LSTM आवर्तक तंत्रिका संजाल लुप्त हो रही ढाल की समस्या से बचते हैं और बहुत गहन शिक्षण कार्य सीख सकते हैं इसके लिए उन घटनाओं की यादों की आवश्यकता होती है जो हजारों असतत समय पहले घटित हुई थीं, जो भाषण के लिए महत्वपूर्ण है। 2003 में, LSTM ने कुछ कार्यों में पारंपरिक भाषण पहचानकर्ताओं के साथ प्रतिस्पर्धा करना शुरू कर दिया। बाद में इसे LSTM RNN के ढेर में संबंधवादी लौकिक वर्गीकरण (CTC) के साथ जोड़ दिया गया। 2015 में, गूगल की वाक् पहचान ने कथित तौर पर CTC-प्रशिक्षित LSTM के माध्यम से 49% की एक नाटकीय प्रदर्शन छलांग का अनुभव किया, जिसे उन्होंने गूगल वॉयस सर्च के माध्यम से उपलब्ध कराया।

2006 में, जेफ्री हिंटन, रस सलखतदिनोव, ओसिन्देरो और यी व्हाई चाय द्वारा प्रकाशन ने दिखाया कि कैसे एक बहु-स्तरित अग्रभरण तंत्रिकीय संजाल को एक समय में एक परत को प्रभावी ढंग से पूर्व-प्रशिक्षित किया जा सकता है, प्रत्येक परत को एक अनियंत्रित प्रतिबंधित बोल्ट्जमैन यंत्र के रूप में माना जाता है, फिर पर्यवेक्षित पश्चप्रचार गहन विश्वास जाल के लिए सीखने के लिए संदर्भित कागजात का उपयोग करके इसे ठीक किया जाता है। ।

पश्च विद्वता विभिन्न विषयों, विशेष रूप से परिकलक दृष्टि और स्वचालित वाक् पहचान (ASR) में अत्याधुनिक प्रणालियों का हिस्सा है। सामान्यतः उपयोग किए जाने वाले मूल्यांकन सम्मुच्चय जैसे तिमित (ASR) और MNIST आंकड़ाकोष (छवि वर्गीकरण), साथ ही साथ बड़े-शब्दावली वाक् पहचान कार्यों की एक श्रृंखला के परिणामों में लगातार सुधार हुआ है। CTC द्वारा ASR के लिए संवेदी तंत्रिका संजाल (CNNs) को हटा दिया गया SLTM के लिए।  लेकिन परिकलक दृष्टि में अधिक सफल होते हैं।

उद्योग में गहन शिक्षा का प्रभाव 2000 के दशक की शुरुआत में शुरू हुआ, जब यान लेकन के अनुसार, CNN ने पहले ही US में लिखे गए सभी चेकों का अनुमानित 10% से 20% संसाधित कर दिया था। बड़े पैमाने पर वाक् पहचान के लिए गहन शिक्षण का औद्योगिक अनुप्रयोग 2010 के आसपास शुरू हुआ।

वाक् पहचान के लिए पश्च विद्वता पर 2009 की NIPS कार्यशाला भाषण के गहन प्रजनक प्रतिरूप की सीमाओं से प्रेरित थी, और संभावना है कि अधिक सक्षम यंत्रसामग्री और बड़े पैमाने पर डेटा सम्मुच्चय दिए गए हैं जो पश्च तंत्रिकीय नेट (DNN) व्यावहारिक हो सकते हैं। यह माना जाता था कि गहन विश्वास जाल (DBN) के प्रजनक प्रतिरूप का उपयोग करके DNN का पूर्व-प्रशिक्षण तंत्रिका जाल की मुख्य कठिनाइयों को दूर करेगा। हालांकि, यह पता चला कि बड़े, संदर्भ-निर्भर आउटपुट परतों के साथ DNNs का उपयोग करते समय सीधे पश्चप्रचार के लिए बड़ी मात्रा में प्रशिक्षण डेटा के साथ पूर्व-प्रशिक्षण को प्रतिस्थापित करने से तत्कालीन अत्याधुनिक गॉसियन मिश्रण प्रतिरूप (GMM) की तुलना में नाटकीय रूप से कम त्रुटि दर उत्पन्न हुई। हिडन मार्कोव प्रतिरूप (HMM) और अधिक उन्नत प्रजनक प्रतिरूप-आधारित प्रणाली भी। दो प्रकार की प्रणालियों द्वारा उत्पन्न पहचान त्रुटियों की प्रकृति विशिष्ट रूप से भिन्न थी, सभी प्रमुख भाषण पहचान प्रणालियों द्वारा तैनात मौजूदा अत्यधिक कुशल, रन-टाइम भाषण विकूटन प्रणाली में पश्च विद्वता को एकीकृत करने के तरीके में तकनीकी अंतर्दृष्टि प्रदान करना। 2009-2010 के आसपास विश्लेषण, GMM (और अन्य प्रजनक स्पीच प्रतिरूप) बनाम DNN प्रतिरूप के विपरीत, वाक् पहचान के लिए गहन शिक्षण में प्रारंभिक औद्योगिक निवेश को प्रेरित किया, अंततः उस उद्योग में व्यापक और प्रभावी उपयोग के लिए अग्रणी। यह विश्लेषण भेदभावपूर्ण DNN और प्रजनक प्रतिरूप के बीच तुलनीय प्रदर्शन (त्रुटि दर में 1.5% से कम) के साथ किया गया था। 2010 में, शोधकर्ताओं ने निर्णय पेड़ों द्वारा निर्मित संदर्भ-निर्भर HMM राज्यों के आधार पर DNN की बड़ी आउटपुट परतों को अपनाकर TIMIT से बड़ी शब्दावली भाषण मान्यता तक गहन शिक्षा का विस्तार किया।

यंत्रसामग्री में प्रगति ने गहन शिक्षा में नए सिरे से रुचि पैदा की है। 2009 में, NVIDIA पश्च विद्वता के "महा विस्फोट" में सम्मिलित था, "पश्च-विद्वता तंत्रिकीय संजाल को एनवीडिया चित्रमुद्रण प्रसंस्करण ईकाई (GPU) के साथ प्रशिक्षित किया गया था।" उस वर्ष, एंड्रयू एनजी ने निर्धारित किया कि GPU पश्च-विद्वता प्रणाली की गति को लगभग 100 गुना बढ़ा सकता है। विशेष रूप से, GPU यंत्र सीखने में सम्मिलित आव्यूह/सदिश अभिकलन के लिए उपयुक्त हैं। GPU प्रशिक्षण कलन विधि  को परिमाण के क्रम में गति देते हैं, सप्ताहों से दिनों तक चलने वाले समय को कम करते हैं। इसके अलावा, विशेष यंत्रसामग्री और कलन विधि अनुकूलन का उपयोग गहन शिक्षण प्रतिरूप के कुशल प्रसंस्करण के लिए किया जा सकता है।

गहन शिक्षा क्रांति
2012 में, जॉर्ज ई. डहल के नेतृत्व में एक टीम ने एक दवा के जैव-आणविक लक्ष्य की भविष्यवाणी करने के लिए बहु कार्य प्रचालन पश्च तंत्रिकीय संजाल का उपयोग करके मर्क आणविक  गतिविधि चुनौति जीती।  2014 में, होक्रेइटर के समूह ने पोषक तत्वों, घरेलू उत्पादों और दवाओं में पर्यावरणीय रसायनों के परा-लक्ष्य और विषाक्त प्रभावों का पता लगाने के लिए पश्च विद्वता का उपयोग किया और NIH, FDA और NCATS का Tox21 डेटा चुनौति जीती। छवि या वस्तु पहचान में महत्वपूर्ण अतिरिक्त प्रभाव 2011 से 2012 तक महसूस किए गए थे। हालांकि बैकप्रोपैजेशन द्वारा प्रशिक्षित CNN दशकों से मौजूद थे, और CNN सहित वर्षों से NN के PUG कार्यान्वयन, परिकलक दृष्टि पर प्रगति के लिए GPU पर CNN के तेजी से कार्यान्वयन की आवश्यकता थी।. 2011 में, इस दृष्टिकोण ने पहली बार दृश्य पैटर्न मान्यता प्रतियोगिता में अलौकिक प्रदर्शन हासिल किया। इसके अलावा 2011 में, इसने ICDAR चीनी लिखावट प्रतियोगिता जीती, और मई 2012 में, इसने ISBI छवि विभाजन प्रतियोगिता जीती। 2011 तक, CNNs ने परिकलक दृष्टि सम्मेलनों में एक प्रमुख भूमिका नहीं निभाई, लेकिन जून 2012 में, सिरेसन एट अल द्वारा एक लेख अग्रणी सम्मेलन CVPR में दिखाया गया है कि कैसे GPU पर अधिकतम-एकत्रीकरण CNNs नाटकीय रूप से कई दृष्टि  मानदण्ड  कीर्तिमान में सुधार कर सकते हैं। अक्टूबर 2012 में, क्रिज़ेव्स्की एट अल द्वारा एक समान प्रणाली सतही यंत्र सीखने के तरीकों पर एक महत्वपूर्ण अंतर से बड़े पैमाने पर छविनेट प्रतियोगिता जीती। नवंबर 2012 में, सीरेसन एट अल. की प्रणाली ने कैंसर का पता लगाने के लिए बड़ी चिकित्सा छवियों के विश्लेषण पर ICPR प्रतियोगिता भी जीती, और अगले वर्ष भी इसी विषय पर MICCAI भव्य चुनौती भी जीती। 2013 और 2014 में, बड़े पैमाने पर वाक् पहचान में समान प्रवृत्ति के बाद, गहन शिक्षा का उपयोग करके छविनेट कार्य पर त्रुटि दर को और कम कर दिया गया था।

प्रायः CNN और LSTM के संयोजन के रूप में छवि वर्गीकरण तब छवियों के लिए विवरण उत्पन्न करने (अनुशीर्षक) के अधिक चुनौतीपूर्ण कार्य तक बढ़ा दिया गया था।  कुछ शोधकर्ताओं का कहना है कि अक्टूबर 2012 छविनेट की जीत ने गहन शिक्षण क्रांति की शुरुआत की जिसने AI उद्योग को बदल दिया है।

मार्च 2019 में, जोशुआ बेंगियो, जेफ्री हिंटन और यान लेकन को वैचारिक और अभियांत्रिकी सफलताओं के लिए ट्यूरिंग अवार्ड से सम्मानित किया गया, जिसने गहरे तंत्रिका संजाल को अभिकलन का एक महत्वपूर्ण घटक बना दिया है।

कृत्रिम तंत्रिका संजाल
कृत्रिम तंत्रिका संजाल (ANN) या संयोजनवादी प्रणाली जैविक तंत्रिका संजाल से प्रेरित अभिकलन प्रणाली हैं जो पशु मस्तिष्क का गठन करते हैं। ऐसी प्रणालियाँ उदाहरणों पर विचार करके कार्य करने के लिए सीखती हैं (उत्तरोत्तर अपनी क्षमता में सुधार करती हैं), सामान्यतः कार्य-विशिष्ट कार्यरचना के बिना। उदाहरण के लिए, छवि पहचान में, वे उदाहरण छवियों का विश्लेषण करके उन छवियों की पहचान करना सीख सकते हैं जिनमें बिल्लियों शामिल हैं जिन्हें मैन्युअल रूप से "बिल्ली" या "कोई बिल्ली नहीं" के रूप में वर्गीकरण किया गया है और अन्य छवियों में बिल्लियों की पहचान करने के लिए विश्लेषणात्मक परिणामों का उपयोग कर रहा है। उन्होंने नियम-आधारित कार्यरचना का उपयोग करते हुए एक पारंपरिक परिकलक कलन विधि के साथ व्यक्त करने में कठिन अनुप्रयोगों में सबसे अधिक उपयोग पाया है।

ANN कृत्रिम न्यूरॉन नामक जुड़ी इकाइयों के संग्रह पर आधारित है, (मस्तिष्क में जैविक न्यूरॉन्स के अनुरूप)। न्यूरॉन्स के बीच प्रत्येक संबंध (अन्तर्ग्रथन) दूसरे न्यूरॉन को एक संकेत भेज सकता है। प्राप्त करने वाला (पोस्टअन्तर्ग्रथनी) न्यूरॉन संकेत को संसाधित कर सकता है और फिर उससे जुड़े अधः प्रवाह न्यूरॉन्स को संकेत कर सकता है। सामान्यतः 0 और 1 के बीच, न्यूरॉन्स में वास्तविक संख्या द्वारा दर्शाई गई स्थिति हो सकती है। न्यूरॉन्स और निष्कर्ष का वजन भी हो सकता है जो सीखने की प्रक्रिया के अनुसार बदलता रहता है, जो संकेत की ताकत को बढ़ा या घटा सकता है जो इसे नीचे की ओर भेजता है।

सामान्यतः, न्यूरॉन्स परतों में व्यवस्थित होते हैं। विभिन्न परतें अपने इनपुट पर विभिन्न प्रकार के परिवर्तन कर सकती हैं। संभवतः कई बार परतों को पार करने के बाद, संकेत पहली (इनपुट) से अंतिम (आउटपुट) परत तक यात्रा करते हैं।

तंत्रिका संजाल दृष्टिकोण का मूल लक्ष्य समस्याओं को उसी तरह हल करना था जिस तरह से एक मानव मस्तिष्क करेगा। समय के साथ, विशिष्ट मानसिक क्षमताओं के मिलान पर ध्यान केंद्रित किया गया, जिससे जीव विज्ञान से विचलन जैसे बैकप्रोपैगेशन, या विपरीत दिशा में जानकारी पारित करना और उस जानकारी को प्रतिबिंबित करने के लिए संजाल को समायोजित करना।

तंत्रिकीय संजाल का उपयोग परिकलक दृष्टि, वाक् पहचान, यंत्र अनुवाद, सामाजिक जाल निस्पंदन, सामान्य खेल खेलने और चिकित्सा निदान सहित विभिन्न कार्यों पर किया गया है।

2017 तक, तंत्रिका संजाल में सामान्यतः कुछ हज़ार से लेकर कुछ मिलियन ईकाई और लाखों संबंध होते हैं। इस संख्या के मानव मस्तिष्क पर न्यूरॉन्स की संख्या से कम परिमाण के कई क्रम होने के बावजूद, ये संजाल मनुष्यों से परे एक स्तर पर कई कार्य कर सकते हैं (जैसे, चेहरे को पहचानना, या गो खेलना ).

गहरे तंत्रिका संजाल
एक गहरा तंत्रिका संजाल (DNN) एक कृत्रिम तंत्रिका संजाल (ANN) है जिसमें इनपुट और आउटपुट परतों के बीच कई परतें होती हैं। विभिन्न प्रकार के तंत्रिका संजाल हैं लेकिन उनमें हमेशा समान घटक होते हैं: न्यूरॉन्स, अन्तर्ग्रथन, वज़न, पूर्वाग्रह और कार्य। ये घटक संपूर्ण रूप से मानव मस्तिष्क के समान कार्य करते हैं, और इन्हें किसी भी अन्य ML कलन विधि की तरह प्रशिक्षित किया जा सकता है।

उदाहरण के लिए, एक DNN जिसे कुत्तों की नस्लों को पहचानने के लिए प्रशिक्षित किया गया है, दी गई छवि पर जाएगा और संभावना की गणना करेगा कि छवि में कुत्ता एक निश्चित नस्ल है। उपयोगकर्ता परिणामों की समीक्षा कर सकता है और चयन कर सकता है कि संजाल को कौन सी संभावनाओं को प्रदर्शित करना चाहिए (एक निश्चित सीमा से ऊपर, आदि) और प्रस्तावित सूचक वापस करना चाहिए। प्रत्येक गणितीय हेरफेर को एक परत माना जाता है, और जटिल DNN में कई परतें होती हैं, इसलिए इसे पश्च संजाल कहा जाता है।

DNN जटिल गैर-रैखिक संबंधों को प्रतिरूप कर सकते हैं। DNN वास्तुकला संरचनागत प्रतिरूप उत्पन्न करते हैं जहाँ वस्तु को प्राचीन की स्तरित रचना के रूप में व्यक्त किया जाता है। अतिरिक्त परतें निचली परतों से सुविधाओं की संरचना को सक्षम करती हैं, समान रूप से प्रदर्शन करने वाले सतही संजाल की तुलना में कम इकाइयों के साथ संभावित जटिल डेटा प्रतिरूपण। उदाहरण के लिए, यह सिद्ध हो गया था कि विरल बहुभिन्नरूपी बहुपद DNN के साथ सतही संजाल की तुलना में अनुमानित रूप से आसान हैं।

पश्च संरचना में कुछ बुनियादी दृष्टिकोणों के कई रूप सम्मिलित हैं। प्रत्येक संरचना को विशिष्ट कार्यक्षेत्र में सफलता मिली है। एकाधिक संरचना के प्रदर्शन की तुलना करना हमेशा संभव नहीं होता है, जब तक कि उनका मूल्यांकन एक ही डेटा सम्मुच्चय पर नहीं किया गया हो।

DNN सामान्यतः अग्रभरण संजाल होते हैं जिसमें डेटा इनपुट परत से आउटपुट परत तक बिना विपाशन के प्रवाहित होता है। सबसे पहले, DNN आभासी न्यूरॉन्स का एक मानचित्र बनाता है और उनके बीच के संबंध के लिए यादृच्छिक संख्यात्मक मान, या भार प्रदान करता है। वज़न और इनपुट को गुणा किया जाता है और 0 और 1 के बीच एक आउटपुट देता है। यदि संजाल किसी विशेष प्रतिमान को सटीक रूप से नहीं पहचानता है, तो एक कलन विधि वजन को समायोजित करेगा। इस तरह कलन विधि कुछ मापदंडों को अधिक प्रभावशाली बना सकता है, जब तक कि यह डेटा को पूरी तरह से संसाधित करने के लिए सही गणितीय हेरफेर निर्धारित नहीं करता है।

आवर्ती तंत्रिका संजाल (RNN), जिसमें डेटा किसी भी दिशा में प्रवाहित हो सकता है, भाषा प्रतिरूपण जैसे अनुप्रयोगों के लिए उपयोग किया जाता है।   इस उपयोग के लिए लंबी अवधि की स्मृति विशेष रूप से प्रभावी है।

संवलन पश्च तंत्रिकीय संजाल (CNNs) का उपयोग परिकलक दृष्टि में किया जाता है। CNN को स्वचालित वाक् पहचान (ASR) के लिए ध्वनिक प्रतिरूपण पर भी लागू किया गया है।

चुनौतियां
जैसा कि ANN के साथ होता है, क्षीणबुद्दि से प्रशिक्षित DNN के साथ कई समस्याएँ उत्पन्न हो सकती हैं। अत्युपपन्नता और गणना समय दो सामान्य समस्याएँ हैं।

अमूर्तता की अतिरिक्त परतों के कारण DNN अत्युपपन्नता के लिए प्रवण हैं, जो उन्हें प्रशिक्षण डेटा में दुर्लभ निर्भरता को प्रतिरूप करने की अनुमति देता है। नियमितीकरण (गणित) विधियाँ जैसे कि इवाखेंको की इकाई छंटाई या वजन क्षय ($$ \ell_2 $$-नियमन) या विरलता ($$ \ell_1 $$-नियमन) अत्युपपन्नता से निपटने के लिए प्रशिक्षण के दौरान लागू किया जा सकता है। वैकल्पिक रूप से उन्मोचक नियमितकरण प्रशिक्षण के दौरान छिपी हुई परतों से इकाइयों को बेतरतीब ढंग से छोड़ देता है। यह दुर्लभ निर्भरताओं को बाहर करने में मदद करता है। अंत में, डेटा को दृश्यांकन और घूर्णन जैसे तरीकों के माध्यम से संवर्धित किया जा सकता है ताकि अत्युपपन्नता की संभावना को कम करने के लिए छोटे प्रशिक्षण सम्मुच्चयों को आकार में बढ़ाया जा सके।

DNN को कई प्रशिक्षण मापदंडों पर विचार करना चाहिए, जैसे कि आकार (परतों की संख्या और प्रति परत इकाइयों की संख्या), सीखने की दर और प्रारंभिक भार। समय और संगणनात्मक संसाधनों में लागत के कारण इष्टतम मापदण्ड के लिए मापदण्ड स्थल के माध्यम से स्वीप करना संभव नहीं हो सकता है। विभिन्न तरकीबें, जैसे प्रचयन (व्यक्तिगत उदाहरणों के बजाय एक बार में कई प्रशिक्षण उदाहरणों पर अनुप्रवण की गणना करना) गणना तीव्र कर देता है। आव्यूह और सदिश संगणनाओं के लिए ऐसे प्रसंस्करण संरचना की उपयुक्तता के कारण, कई- केंद्र भाग संरचना (जैसे GPU या इंटेल झियोन PHI) की बड़ी प्रसंस्करण क्षमताओं ने प्रशिक्षण में महत्वपूर्ण गति वर्धन का उत्पादन किया है।

वैकल्पिक रूप से, अभियन्ता अधिक सरल और अभिसरण प्रशिक्षण कलन विधि के साथ अन्य प्रकार के तंत्रिका संजाल की तलाश कर सकते हैं। CMAC (अनुमस्तिष्क प्रतिरूप अभिव्यक्ति नियंत्रक) एक ऐसा तंत्रिका संजाल है। CMAC के लिए सीखने की दर या यादृच्छिक प्रारंभिक भार की आवश्यकता नहीं है। प्रशिक्षण प्रक्रिया को डेटा के एक नए वर्ग के साथ एक चरण में अभिसरण करने की प्रत्याभुति दी जा सकती है, और प्रशिक्षण कलन विधि की संगणनात्मक जटिलता सम्मिलित न्यूरॉन्स की संख्या के संबंध में रैखिक है।

यंत्रसामग्री
2010 के बाद से, यंत्र विद्वता कलन विधि और संगणक धातु सामग्री दोनों में प्रगति ने गहरे तंत्रिका संजाल को प्रशिक्षित करने के लिए अधिक कुशल तरीकों का नेतृत्व किया है जिसमें गैर-रैखिक छिपी इकाइयों की कई परतें और एक बहुत बड़ी आउटपुट परत होती है। 2019 तक, लेखाचित्रीय प्रसंस्करण ईकाई (GPU), प्रायः AI-विशिष्ट संवर्द्धन के साथ, बड़े पैमाने पर वाणिज्यिक क्लाउड AI के प्रशिक्षण के प्रमुख तरीके के रूप में CPU को विस्थापित कर दिया था। ओपन AI ने अनुमान लगाया कि एलेक्सनेट (2012) से लेकर अल्फ़ाज़ेरो (2017) तक की सबसे बड़ी गहन शिक्षण परियोजनाओं में उपयोग की जाने वाली यंत्रसामग्री संगणना, और 3-4 महीने की दोहरीकरण-समय की प्रवृत्ति के साथ आवश्यक संगणना की मात्रा में 300,000 गुना वृद्धि पाई गई।

पश्च विद्वता संसाधक नामक विशेष विद्युत परिपथ को पश्च विद्वता कलन विधि को गति देने के लिए अभिकल्पित किया गया था। पश्च विद्वता संसाधक में हुवाई सेलस्वन में तंत्रिकीय प्रसंस्करण ईकाई (NPU) सम्मिलित हैं और गूगल क्लाउड मंच में क्लाउड संगणना परिसेवक जैसे टेंसर प्रसंस्करण इकाई (TPU)। सेरेब्रस सिस्टम्स ने उद्योग में सबसे बड़े संसाधक, दूसरी पीढ़ी के वेफर स्केल यन्त्र (WSE-2) पर आधारित बड़े पश्च विद्वता प्रतिरूप, CS-2 को संभालने के लिए एक समर्पित प्रणाली भी बनाई है।

परमाणु रूप से पतले अर्धचालकों को ऊर्जा-कुशल पश्च विद्वता यंत्रसामग्री के लिए आशाजनक माना जाता है, जहाँ तार्किक संचालन और डेटा भंडारण दोनों के लिए समान मूल उपकरण संरचना का उपयोग किया जाता है। 2020 में, मरेगा एट अल चल-गेट फील्ड इफ़ेक्ट ट्रांजिस्टर (FGFET) के आधार पर लॉजिक-इन-मेमोरी उपकरण और परिपथ विकसित करने के लिए एक बड़े क्षेत्र सक्रिय सरणि सामग्री के साथ प्रयोग प्रकाशित किया। 2021 में, जे. फेल्डमैन एट अल समांतर दृढ़ प्रसंस्करण के लिए एक एकीकृत फोटोनिक यंत्रसामग्री त्वरक प्रस्तावित किया। लेखक अपने इलेक्ट्रॉनिक समकक्षों पर एकीकृत फोटोनिक्स के दो प्रमुख लाभों की पहचान करते हैं: (1) तरंगदैर्घ्य वर्ग बहुसंकेतन के माध्यम से आवृत्ति कॉम्ब्स के संयोजन के माध्यम से बड़े पैमाने पर समानांतर डेटा स्थानांतरण, और (2) अत्यंत उच्च डेटा बलाघात परिवर्तन गति। उनकी प्रणाली प्रति सेकंड खरबों गुणा-संचय के संचालन को निष्पादित कर सकती है, जो डेटा-भारी AI अनुप्रयोगों में फोटोनिक एकीकृत परिपथ फोटोनिक्स की क्षमता का संकेत देती है।

स्वचालित भाषण पहचान
बड़े पैमाने पर स्वचालित वाक् पहचान पश्च विद्वता का पहला और सबसे ठोस सफल मामला है। LSTM RNN बहुत गहन शिक्षण कार्य सीख सकते हैं जिसमें हजारों अलग-अलग समय चरणों से अलग भाषण घटनाओं वाले बहु-सेकंड अंतराल सम्मिलित होते हैं, जहां एक चरण लगभग 10 MS से मेल खाता है। भूल गेट्स के साथ LSTM कुछ कार्यों पर पारंपरिक भाषण पहचानकर्ताओं के साथ प्रतिस्पर्धी है।

वाक् पहचान में प्रारंभिक सफलता TIMIT पर आधारित लघु-स्तरीय पहचान कार्यों पर आधारित थी। डेटा समुच्चय में अमेरिकी अंग्रेजी की आठ प्रमुख बोलियों के 630 वक्ता हैं, जहां प्रत्येक वक्ता 10 वाक्य पढ़ता है। इसका छोटा आकार कई समाकृति की अनुभूति करने देता है। इससे भी महत्वपूर्ण बात यह है कि TIMIT कार्य स्वन-अनुक्रम पहचान से संबंधित है, जो शब्द-अनुक्रम पहचान के विपरीत, कमजोर स्वन बाइग्राम भाषा प्रतिरूप की अनुमति देता है। यह भाषण मान्यता के ध्वनिक प्रतिरूपण पहलुओं की ताकत का अधिक आसानी से विश्लेषण करने देता है। नीचे सूचीबद्ध त्रुटि दर, इन शुरुआती परिणामों सहित और प्रतिशत स्वन त्रुटि दर (प्रति) के रूप में मापी गई, को 1991 से सारांशित किया गया है।

1990 के दशक के अंत में वक्ता पहचान के लिए DNN की शुरुआत और 2009-2011 के आसपास भाषण मान्यता और LSTM की 2003-2007 के आसपास, आठ प्रमुख क्षेत्रों में त्वरित प्रगति:


 * स्केल-अप/आउट और त्वरित DNN प्रशिक्षण और विकूटन
 * अनुक्रम भेदभावपूर्ण प्रशिक्षण
 * अंतर्निहित तंत्र की ठोस समझ के साथ गहरे प्रतिरूप द्वारा अभिलक्षण प्रसंस्करण
 * DNN और संबंधित गहरे प्रतिरूप का अनुकूलन
 * DNN और संबंधित पश्च प्रतिरूप द्वारा बहु कार्यण और अधिगम स्थानांतरण
 * संवादात्मक तंत्रिका संजाल और भाषण के कार्यक्षेत्र ज्ञान का सर्वोत्तम उपयोग करने के लिए उन्हें कैसे अभिकल्पित किया जाए
 * आवर्तक तंत्रिका संजाल और इसके समृद्ध LSTM संस्करण
 * अन्य प्रकार के गहरे प्रतिरूप जिनमें प्रदिश-आधारित प्रतिरूप और एकीकृत गहन प्रजनक/विभेदक प्रतिरूप सम्मिलित हैं।

सभी प्रमुख व्यावसायिक वाक् पहचान प्रणालियाँ (जैसे, माइक्रोसॉफ्ट कोरटाना (सॉफ़्टवेयर), एक्सबॉक्स, स्काइप ट्रांसलेटर, अमेज़ॅन एलेक्सा, गूगल नाउ, एप्पल सिरी, बैदू और आइफ्लाइटेक ध्वनि खोज, और नुआंस वाक् उत्पादों की एक श्रृंखला, आदि) गहन शिक्षा पर आधारित हैं।

छवि पहचान
छवि वर्गीकरण के लिए एक सामान्य मूल्यांकन सम्मुच्चय MNIST आंकड़ाकोष डेटा सम्मुच्चय है। MNIST हस्तलिखित अंकों से बना है और इसमें 60,000 प्रशिक्षण उदाहरण और 10,000 जाँच उदाहरण सम्मिलित हैं। TIMIT की तरह, इसका छोटा आकार उपयोगकर्ताओं को कई समाकृति का परीक्षण करने देता है। इस सम्मुच्चय पर परिणामों की एक व्यापक सूची उपलब्ध है।

पश्च विद्वता-आधारित छवि पहचान मानव प्रतियोगियों की तुलना में अधिक सटीक परिणाम उत्पन्न करते हुए अलौकिक बन गई है। यह पहली बार 2011 में यातायात संकेतों की पहचान और 2014 में मानव चेहरों की पहचान के साथ हुआ था। पश्च विद्वता-प्रशिक्षित वाहन अब 360° छायाचित्रक दृश्यों की व्याख्या करते हैं। एक अन्य उदाहरण आनन डिस्मॉर्फोलॉजी उपन्यास विश्लेषण (FDNA) है जिसका उपयोग आनुवंशिक संलक्षण के एक बड़े आंकड़ाकोष से जुड़े मानव विकृति के मामलों का विश्लेषण करने के लिए किया जाता है।

दृश्य कला प्रसंस्करण
छवि पहचान में की गई प्रगति से निकटता से संबंधित विभिन्न दृश्य कला कार्यों के लिए गहन शिक्षण तकनीकों का बढ़ता अनुप्रयोग है। DNN ने खुद को सक्षम सिद्ध कर दिया है, उदाहरण के लिए
 * किसी दिए गए चित्रकला की शैली अवधि की पहचान करना *
 * तंत्रिका शैली स्थानांतरण – किसी दिए गए शिल्पकृति की शैली को प्रग्रहण करना और इसे मनमानी छायाचित्र या वीडियो के लिए दृष्टि से सुखद तरीके से लागू करना
 * यादृच्छिक दृश्य इनपुट फ़ील्ड के आधार पर आकर्षक प्रतिमावली उत्पन्न करना।

प्राकृतिक भाषा प्रसंस्करण
2000 के दशक की शुरुआत से भाषा प्रतिरूप को लागू करने के लिए तंत्रिका संजाल का उपयोग किया गया है। LSTM ने यंत्री अनुवाद और भाषा प्रतिरूपण को बेहतर बनाने में मदद की।

इस क्षेत्र की अन्य प्रमुख तकनीकें नकारात्मक नमूनाकरण और शब्द अंतःस्थापन हैं। शब्द अंतःस्थापन, जैसे कि वर्ड2vec, को एक गहन शिक्षण वास्तुकला में एक प्रतिनिधित्वात्मक परत के रूप में माना जा सकता है जो एक परमाणु शब्द को डाटासेट में अन्य शब्दों के सापेक्ष शब्द के एक स्थितीय प्रतिनिधित्व में बदल देता है; स्थिति को सदिश अंतरिक्ष में एक बिंदु के रूप में दर्शाया गया है। RNN इनपुट परत के रूप में शब्द अंतःस्थापन का उपयोग करने से संजाल को एक प्रभावी रचनात्मक सदिश व्याकरण का उपयोग करके वाक्यों और वाक्यांशों को पद व्याख्या करने की अनुमति मिलती है। एक रचनात्मक सदिश व्याकरण को RNN द्वारा कार्यान्वित संभाव्य संदर्भ मुक्त व्याकरण (PCFG) के रूप में माना जा सकता है। शब्द अंतःस्थापन के ऊपर निर्मित पुनरावर्ती स्वत:-संकेतक वाक्य समानता का आकलन कर सकते हैं और व्याख्या का पता लगा सकते हैं। पश्च तंत्रिकीय संरचना सांख्यिकीय विश्लेषण के लिए सर्वोत्तम परिणाम प्रदान करते हैं, भावनाओं का विश्लेषण, सूचना की पुनर्प्राप्ति,  बोली जाने वाली भाषा की समझ, यंत्र अनुवाद,  प्रासंगिक इकाई सहलग्नता, लेखन शैली की पहचान, पाठ वर्गीकरण और अन्य।

हाल के विकास शब्द अंतःस्थापन को वाक्य अंतःस्थापन में सामान्यीकृत करते हैं।

गूगल ट्रांसलेट (GT) एक बड़े आद्योपान्त लॉन्ग शॉर्ट-टर्म मेमोरी (LSTM) संजाल का उपयोग करता है।  गूगल तंत्रिकीय यंत्र अनुवाद (GNMT) एक उदाहरण-आधारित यंत्र अनुवाद पद्धति का उपयोग करता है जिसमें प्रणाली लाखों उदाहरणों से सीखता है। यह टुकड़ों के बजाय पूरे वाक्यों का एक बार में अनुवाद करता है। गूगल अनुवाद एक सौ से अधिक भाषाओं का समर्थन करता है। संजाल केवल वाक्यांश-से-वाक्यांश अनुवादों को याद करने के बजाय वाक्य के शब्दार्थ को कूटबद्ध करता है। GT अधिकांश भाषा युग्मों के बीच एक मध्यवर्ती के रूप में अंग्रेजी का उपयोग करता है।

औषधि की खोज और विष विज्ञान
उम्मीदवार औषधियों का एक बड़ा प्रतिशत विनियामक अनुमोदन प्राप्त करने में विफल रहता है। ये विफलताएं अपर्याप्त प्रभावकारिता (ऑन-टारगेट इफेक्ट), अवांछित पारस्परिक प्रभाव (ऑफ-टारगेट इफेक्ट), या अप्रत्याशित विषाक्तता के कारण होती हैं। अनुसंधान ने जैव-आणविक लक्ष्यों की भविष्यवाणी करने के लिए ऑफ टारगेट, और पोषक तत्वों, घरेलू उत्पादों और दवाओं में पर्यावरणीय रसायनों की विषाक्तता गहन शिक्षा के उपयोग का पता लगाया है

एटोमनेट संरचना-आधारित औषधि अभिकल्पना के लिए एक गहन शिक्षण प्रणाली है। एटमनेट का उपयोग इबोला विषाणु और विविध स्क्लेरोसिस जैसे रोग लक्ष्यों के लिए उपन्यास उम्मीदवार जैवाणु की भविष्यवाणी करने के लिए किया गया था

2017 में एक बड़े विष विज्ञान डेटा सम्मुच्चय में अणुओं के विभिन्न गुणों की भविष्यवाणी करने के लिए पहली बार लेखाचित्र तंत्रिका संजाल का उपयोग किया गया था। 2019 में, प्रजनक तंत्रिकीय संजाल का उपयोग अणुओं का उत्पादन करने के लिए किया गया था जो चूहों में प्रयोगात्मक रूप से मान्य थे।

ग्राहक संबंध प्रबंधन
RFM (ग्राहक मूल्य) चर के संदर्भ में परिभाषित संभावित प्रत्यक्ष विपणन क्रियाओं के मूल्य का अनुमान लगाने के लिए गहन सुदृढीकरण सीखने का उपयोग किया गया है। अनुमानित मूल्य प्रकार्य को ग्राहक आजीवन मूल्य के रूप में प्राकृतिक व्याख्या के रूप में दिखाया गया था।

अनुशंसा प्रणाली
अनुशंसा प्रणाली ने सामग्री-आधारित संगीत और पत्रिका अनुशंसाओं के लिए एक अव्यक्त कारक प्रतिरूप के लिए सार्थक विशेषताओं को निकालने के लिए गहन शिक्षण का उपयोग किया है। मल्टी-व्यू पश्च विद्वता को कई कार्यक्षेत्र से उपयोगकर्ता की प्राथमिकताओं को सीखने के लिए लागू किया गया है। प्रतिरूप एक मिश्रित सहयोगी और सामग्री-आधारित दृष्टिकोण का उपयोग करता है और कई कार्यों में अनुशंसाओं को बढ़ाता है।

जैव सूचना विज्ञान
वंशाणु तात्विकी एनोटेशन और जीन-प्रकार्य संबंधों की भविष्यवाणी करने के लिए जैव सूचना विज्ञान में एक स्वतः कूटलेखन ANN का उपयोग किया गया था।

चिकित्सा सूचना विज्ञान में, पहनने योग्य के डेटा के आधार पर नींद की गुणवत्ता की भविष्यवाणी और इलेक्ट्रॉनिक स्वास्थ्य अभिलेखबद्ध डेटा से स्वास्थ्य जटिलताओं की भविष्यवाणी करने के लिए गहन शिक्षा का उपयोग किया गया था।

चिकित्सा छवि विश्लेषण
पश्च विद्वता को चिकित्सीय अनुप्रयोग जैसे कि कैंसर कोशिका वर्गीकरण, घाव का पता लगाने, अंग विभाजन और छवि वृद्धि में प्रतिस्पर्धी परिणाम उत्पन्न करने के लिए दिखाया गया है। आधुनिक गहन शिक्षण उपकरण विभिन्न रोगों का पता लगाने की उच्च सटीकता और निदान दक्षता में सुधार के लिए विशेषज्ञों द्वारा उनके उपयोग की सहायता को प्रदर्शित करते हैं।

मोबाइल विज्ञापन
मोबाइल विज्ञापन के लिए उपयुक्त मोबाइल दर्शक खोजना हमेशा चुनौतीपूर्ण होता है, क्योंकि किसी भी विज्ञापन सर्वर द्वारा लक्षित वृत्तखण्ड बनाने और विज्ञापन प्रस्तुति में उपयोग करने से पहले कई डेटा बिंदुओं पर विचार और विश्लेषण किया जाना चाहिए। बड़े, कई-आयामी विज्ञापन डाटासेट की व्याख्या करने के लिए पश्च विद्वता का उपयोग किया गया है। अनुरोध/सेवा/क्लिक इंटरनेट विज्ञापन चक्र के दौरान कई डेटा बिंदु एकत्र किए जाते हैं। यह जानकारी विज्ञापन चयन को बेहतर बनाने के लिए यंत्र विद्वता का आधार बन सकती है।

छवि पुनर्स्थापना
डीनोइज़िंग, सुपर रिज़ॉल्यूशन, इनपेंटिंग और रील का रंगीकरण जैसी विपरीत समस्याओं के लिए पश्च विद्वता को सफलतापूर्वक लागू किया गया है। इन अनुप्रयोगों में प्रभावी छवि बहाली के लिए संकुचन आधार जैसे सीखने के तरीके सम्मिलित हैं जो छवि डाटासेट और पश्च छवि पूर्ववर्ती पर प्रशिक्षण करता है, जिसे पुनः स्थापित करने की जरूरत होती है।

वित्तीय धोखाधड़ी का पता लगाना
वित्तीय धोखाधड़ी का पता लगाने, कर चोरी और धनशोधन रोधी का पता लगाने के लिए पश्च विद्वता को सफलतापूर्वक लागू किया जा रहा है। प्रशिक्षण डेटा का उत्पादन करने के लिए वित्तीय अपराध के अभियोजन के रूप में अप्रशिक्षित शिक्षा का एक संभावित प्रभावशाली प्रदर्शन आवश्यक है।

यह भी ध्यान देने योग्य बात है कि हालांकि स्वचालित वित्तीय अपराध का पता लगाने में कला प्रतिरूप की स्थिति कुछ समय के लिए अस्तित्व में है, यहाँ पर संदर्भित पश्च विद्वता के लिए आवेदन बहुत सरल सैद्धांतिक प्रतिरूप के तहत नाटकीय रूप से प्रदर्शन करते हैं। ऐसा ही एक, अभी तक लागू किया जाने वाला प्रतिरूप, वित्तीय अपराधों के लिए संवेदक स्थान स्वानुभविक एंड वित्तीय अपराधों के लिए सरल कोई भी मानवीय जांच (SLHSAHDFC), एक उदाहरण है।

प्रतिरूप यह चुनने के सरल अनुमान के साथ काम करता है कि उसे अपना इनपुट डेटा कहाँ मिलता है। धन और शक्ति के बड़े संकेंद्रण वाले स्थानों पर संवेदक लगाकर और फिर किसी भी जीवित इंसान की पहचान करके, यह पता चलता है कि वित्तीय अपराध का स्वचालित पता लगाना बहुत उच्च सटीकता और बहुत उच्च आत्मविश्वास के स्तर पर पूरा किया जाता है। इससे भी बेहतर, यह प्रतिरूप न केवल अपराध बल्कि बड़े, बहुत विनाशकारी और गंभीर अपराध की पहचान करने में बेहद प्रभावी सिद्ध हुआ है। इस तरह के प्रतिरूपों की प्रभावशीलता के कारण यह अत्यधिक संभावना है कि गहन शिक्षा द्वारा वित्तीय अपराध का पता लगाने के लिए आवेदन कभी भी प्रतिस्पर्धा करने में सक्षम नहीं होंगे।

छवि निर्माण
AI छवि जनक कल्पनाओं को कला में बदल सकता है। एक शक्तिशाली AI के साथ संचालित, यह सरल निर्देशों और ग्रंथों के आधार पर कला और चित्र बनाता है।

2022 में स्थिर प्रसार नामक पश्च विद्वता द्वारा समर्थित एक प्रतिरूप के रूप में वायरल हुआ, कला छवि उत्पादक तकनीक ने डिजिटल छवि प्रेमियों की बढ़ती संख्या को आकर्षित किया है। उसी समय, कई छवि उत्पादक कलपुर्ज़ों का जन्म हुआ। AI आधारित छवि जेनरेटर सामान्यतः GPT-3 तकनीक के तहत काम करते हैं। आश्चर्यजनक कार्टून प्रभाव और अपेक्षित विवरण के साथ स्वचालित चित्रांकन बनाना काफी आसान है।

सैन्य
संयुक्त राज्य अमेरिका के रक्षा विभाग ने अवलोकन के माध्यम से रोबोटों को नए कार्यों में प्रशिक्षित करने के लिए गहन शिक्षा लागू की।

आंशिक अंतर समीकरण
भौतिकी से अवगत तंत्रिका संजाल का उपयोग डेटा संचालित तरीके से प्रगल्भ और विपरीत दोनों समस्याओं में आंशिक अंतर समीकरणों को हल करने के लिए किया गया है। एक उदाहरण नेवियर-स्टोक्स समीकरणों द्वारा शासित पुनर्रचना द्रव प्रवाह है। भौतिकी सूचित तंत्रिका संजाल का उपयोग करने के लिए प्रायः महंगी जाल पीढ़ी की आवश्यकता नहीं होती है, जो पारंपरिक संगणनात्मक द्रव गतिकी विधियों पर निर्भर करती है।

छवि पुनर्निर्माण
छवि पुनर्निर्माण छवि से संबंधित मापों से अंतर्निहित छवियों का पुनर्निर्माण है। कई कार्यों ने विभिन्न अनुप्रयोगों के लिए विश्लेषणात्मक तरीकों की तुलना में गहन शिक्षण विधियों के बेहतर और बेहतर प्रदर्शन को दिखाया, उदाहरण के लिए, वर्णक्रमीय प्रतिबिंबन और पराध्वनिक चित्रण प्रतिबिंबन।

पश्चजात घड़ी
अधिक जानकारी के लिए पश्चजात घड़ी देखें।

एक पश्चजात घड़ी उम्र बढ़ने का एक जैवरासायनिक जाँच है जिसका उपयोग उम्र को मापने के लिए किया जा सकता है। गल्किन एट अल > 6,000 रक्त नमूनों का उपयोग करके अभूतपूर्व सटीकता की पश्चजात परिपक्वन घड़ी को प्रशिक्षित करने के लिए पश्च तंत्रिका संजाल का उपयोग किया। घड़ी 1000 CpG साइटों से जानकारी का उपयोग करती है और स्वस्थ नियंत्रण से पुरानी कुछ स्थितियों वाले लोगों की भविष्यवाणी करती है: सूजन आंत्र रोग, मनोभ्रंश, डिम्बग्रंथि के कैंसर, मोटापा। परिपक्वन घड़ी को 2021 में इंसिलिको चिकित्सा ज्येष्ठता कंपनी पश्च ज्येष्ठता द्वारा सार्वजनिक उपयोग के लिए जारी करने की योजना है।

मानव संज्ञानात्मक और मस्तिष्क के विकास से संबंध
1990 के दशक की शुरुआत में संज्ञानात्मक तंत्रिका वैज्ञानिक द्वारा प्रस्तावित मस्तिष्क विकास (विशेष रूप से, नियोकोर्टिकल विकास) के सिद्धांतों की एक श्रेणी से गहन शिक्षा निकटता से संबंधित है।   इन विकासात्मक सिद्धांतों को संगणनात्मक प्रतिरूप में त्वरित किया गया, जिससे वे गहन शिक्षण प्रणालियों के पूर्ववर्ती बन गए। ये विकासात्मक प्रतिरूप उस संपत्ति को साझा करते हैं जो मस्तिष्क में विभिन्न प्रस्तावित सीखने की गतिशीलता (जैसे, तंत्रिका विकास कारक की एक लहर) स्व-संगठन का समर्थन करती है जो कि गहन शिक्षण प्रतिरूप में उपयोग किए जाने वाले तंत्रिका संजाल के अनुरूप है। नवप्रावार की तरह, तंत्रिका संजाल स्तरित निस्यंदक के एक पदानुक्रम को नियोजित करते हैं जिसमें प्रत्येक परत एक पूर्व परत (या प्रचालन वातावरण) से जानकारी पर विचार करती है, और फिर इसके आउटपुट (और संभवतः मूल इनपुट) को अन्य परतों तक पहुंचाती है। यह प्रक्रिया पारक्रमित्र के एक स्व-संगठित ढेर का उत्पादन करती है, जो उनके प्रचालन वातावरण के लिए अच्छी तरह से तैयार है। 1995 के एक विवरण में कहा गया है, ... शिशु का मस्तिष्क तथाकथित पोषक-कारकों की तरंगों के प्रभाव में खुद को व्यवस्थित करता है ... मस्तिष्क के विभिन्न क्षेत्र क्रमिक रूप से जुड़े होते हैं, ऊतक की एक परत दूसरे से पहले परिपक्व होती है और इसी तरह जब तक कि पूरा मस्तिष्क परिपक्व न हो जाए।

तंत्रिका जीव विज्ञान दृष्टिकोण से गहन शिक्षण प्रतिरूप की संभाव्यता की जांच के लिए कई तरह के दृष्टिकोणों का उपयोग किया गया है। एक ओर, इसके प्रसंस्करण यथार्थवाद को बढ़ाने के लिए बैकप्रॉपैगेशन कलन विधि के कई भिन्नरूप प्रस्तावित किए गए हैं। अन्य शोधकर्ताओं ने तर्क दिया है कि पश्च विद्वता के अप्रशिक्षित रूप, जैसे कि पदानुक्रमित प्रजनक प्रतिरूप और गहरे विश्वास संजाल पर आधारित, जैविक वास्तविकता के करीब हो सकते हैं।  इस संबंध में, प्रजनक तंत्रिकीय संजाल प्रतिरूप प्रमस्तिष्कीय आवरण में प्रतिदर्श-आधारित प्रसंस्करण के बारे में तंत्रिका जीव विज्ञान साक्ष्य से संबंधित हैं।

हालांकि मानव मस्तिष्क संगठन और गहरे संजाल में तंत्रिका कूटलेखन के बीच एक व्यवस्थित तुलना अभी तक स्थापित नहीं हुई है, कई उपमाएं बताई गई हैं। उदाहरण के लिए, गहन शिक्षण इकाइयों द्वारा की जाने वाली संगणनाएँ वास्तविक न्यूरॉन्स और तंत्रिका आबादी के समान हो सकती हैं । इसी तरह, दोनों एकल-इकाई पर और जनसंख्या पर पश्च विद्वता प्रतिरूप द्वारा विकसित अभ्यावेदन धर्माधिपति विज़ुअल प्रणाली में मापे गए अभ्यावेदन के समान हैं   ।

वाणिज्यिक गतिविधि
फेसबुक की AI प्रयोगशाला लोगों के नाम के साथ स्वचलित छवि टिप्पणी जैसे काम करती है।

गूगल की पश्चमाइंड प्रौद्योगिकी ने डेटा इनपुट के रूप में केवल चित्रांश का उपयोग करके अटारी वीडियो खेल खेलने का तरीका सीखने में सक्षम एक प्रणाली विकसित की। 2015 में उन्होंने अपने अल्फागो प्रणाली का प्रदर्शन किया, जिसने गो (खेल) के खेल को अच्छी तरह से सीखा और एक पेशेवर गो खिलाड़ी को हरा दिया।  गूगल ट्रांसलेट 100 से अधिक भाषाओं के बीच अनुवाद करने के लिए तंत्रिका संजाल का उपयोग करता है।

2017 में, कोवारीअन्ट.ai लॉन्च किया गया था, जो कारखानों में गहन शिक्षा को एकीकृत करने पर केंद्रित है।

2008 तक, ऑस्टिन (UT) में टेक्सास विश्वविद्यालय के शोधकर्ताओं ने एक यंत्र सीखने की रूपरेखा विकसित की है जिसे मूल्यांकन सुदृढीकरण, या टैमर के माध्यम से स्वतः रूप से एक कर्ता का प्रशिक्षण कहा जाता है, जिसने मानव प्रशिक्षक के साथ बातचीत करके कार्य करने के तरीके सीखने के लिए रोबोट या परिकलक क्रमादेश के लिए नए तरीके प्रस्तावित किए। पहले टैमर के रूप में विकसित, पश्च टैमर नामक एक नया कलन विधि बाद में 2018 में अमेरिकी सेना अनुसंधान प्रयोगशाला (ARL) और UT शोधकर्ताओं के बीच सहयोग के दौरान पेश किया गया था। पश्च टैमर ने रोबोट को अवलोकन के माध्यम से नए कार्यों को सीखने की क्षमता प्रदान करने के लिए गहन शिक्षण का उपयोग किया। पश्च टैमर का उपयोग करते हुए, एक रोबोट ने एक मानव प्रशिक्षक के साथ एक कार्य सीखा, वीडियो स्ट्रीम देखना या मानव को व्यक्तिगत रूप से कार्य करते हुए देखना। रोबोट ने बाद में ट्रेनर से कुछ अनुशिक्षण की मदद से कार्य का अभ्यास किया, जिन्होंने "अच्छी नौकरी" और "बुरी नौकरी" जैसी प्रतिक्रिया दी।

आलोचना और टिप्पणी
पश्च विद्वता ने आलोचना और टिप्पणी दोनों को आकर्षित किया है, कुछ मामलों में परिकलक विज्ञान के क्षेत्र के बाहर से भी।

सिद्धांत
एक मुख्य आलोचना कुछ विधियों के आस-पास सिद्धांत की कमी से संबंधित है। सबसे सामान्य गहरे संरचना में सीखना अच्छी तरह से समझे जाने वाले अनुप्रवण उद्भव का उपयोग करके कार्यान्वित किया जाता है। हालांकि, अन्य कलन विधि के आस-पास का सिद्धांत, जैसे विपरीत विचलन, कम स्पष्ट है। (उदाहरण के लिए, क्या यह अभिसरण करता है? यदि हां, तो कितनी तेजी से? यह क्या सन्निकटन कर रहा है?) गहन शिक्षण विधियों को प्रायः एक काले बक्से के रूप में देखा जाता है, जिसमें अधिकांश पुष्टि सैद्धांतिक रूप से नहीं बल्कि अनुभवजन्य रूप से की जाती है।

दूसरों का कहना है कि पश्च विद्वता को मजबूत AI को साकार करने की दिशा में एक कदम के रूप में देखा जाना चाहिए, न कि एक व्यापक समाधान के रूप में देखा जाना चाहिए। गहन शिक्षण विधियों की शक्ति के बावजूद, उनमें अभी भी इस लक्ष्य को पूरी तरह से साकार करने के लिए आवश्यक कार्यक्षमता का अभाव है। अनुसंधान मनोवैज्ञानिक गैरी मार्कस ने कहा: "'वास्तविक रूप से, गहरी शिक्षा बुद्धिमान मशीनों के निर्माण की बड़ी चुनौती का केवल एक हिस्सा है। ऐसी तकनीकों में कारण संबंधों का प्रतिनिधित्व करने के तरीकों की कमी है (...) तार्किक संदर्भों को करने का कोई स्पष्ट तरीका नहीं है, और वे अभी भी सार को एकीकृत करने से एक लंबा रास्ता तय कर रहे हैं। ज्ञान, जैसे कि वस्तुएं क्या हैं, वे किस लिए हैं, और उनका सामान्यतः उपयोग कैसे किया जाता है, के बारे में जानकारी। सबसे शक्तिशाली एआई सिस्टम, जैसे वाटसन (...) पश्च विद्वता जैसी तकनीकों का उपयोग एक बहुत ही जटिल समूह में केवल एक तत्व के रूप में करते हैं। तकनीकें, बायेसियन अनुमान की सांख्यिकीय तकनीक से लेकर निगमनात्मक तर्क तक सम्मिलित हैं।"इस विचार के आगे संदर्भ में कि कलात्मक संवेदनशीलता संज्ञानात्मक पदानुक्रम के अपेक्षाकृत निम्न स्तरों में निहित हो सकती है, गहरे (20-30 परतों) तंत्रिका संजाल के आंतरिक राज्यों के लेखाचित्रीय प्रतिनिधित्वों की एक प्रकाशित श्रृंखला जिस पर उन्हें प्रशिक्षण दिया गया, अनिवार्य रूप से यादृच्छिक डेटा छवियों के भीतर विचार करने का प्रयास करती है। एक दृश्य अपील प्रदर्शित करें: मूल शोध समीक्षा को 1,000 से अधिक टिप्पणियां मिलीं, और यह उस विषय का विषय था जो एक समय के लिए द गार्जियन की [213] वेबसाइट पर सबसे अधिक बार देखा जाने वाला लेख था।।

त्रुटियां
कुछ पश्च विद्वता संरचना समस्याग्रस्त व्यवहार प्रदर्शित करते हैं, जैसे सामान्य छवियों की एक परिचित श्रेणी (2014) से संबंधित अपरिचित छवियों को आत्मविश्वास से वर्गीकृत करना और सही ढंग से वर्गीकृत छवियों (2013) के लघु गड़बड़ी को गलत तरीके से वर्गीकृत करना। बेन गोएर्टज़ेल ने परिकल्पना की कि ये व्यवहार उनके आंतरिक अभ्यावेदन में सीमाओं के कारण हैं और ये सीमाएँ विषम बहु-घटक कृत्रिम सामान्य बुद्धिमत्ता (AGI) संरचना में एकीकरण को बाधित करेंगी। इन मुद्दों को संभवतः गहन शिक्षण संरचना द्वारा संबोधित किया जा सकता है जो आंतरिक रूप से छवि-व्याकरण के समरूप राज्यों का निर्माण करते हैं देखी गई संस्थाओं और घटनाओं का अपघटन। प्रशिक्षण डेटा से व्याकरण प्रेरण (दृश्य या भाषाई) प्रणाली को सामान्य ज्ञान तर्क तक सीमित करने के बराबर होगा जो व्याकरणिक उत्पादन (परिकलक विज्ञान) के संदर्भ में अवधारणाओं पर काम करता है और मानव भाषा अधिग्रहण और कृत्रिम बुद्धि (AI) दोनों का मूल लक्ष्य है ।

साइबर खतरा
जैसे-जैसे गहरा ज्ञान प्रयोगशाला से दुनिया में आती है, अनुसंधान और अनुभव बताते हैं कि कृत्रिम तंत्रिका संजाल हैक और धोखे की चपेट में हैं। इन प्रणालियों द्वारा कार्य करने के लिए उपयोग किए जाने वाले पतिरूप की पहचान करके, हमलावर ANN में इनपुट को इस तरह से संशोधित कर सकते हैं कि ANN एक ऐसा जोड़ीदार ढूंढता है जिसे मानव पर्यवेक्षक पहचान नहीं पाएंगे। उदाहरण के लिए, एक हमलावर एक छवि में सूक्ष्म परिवर्तन कर सकता है जैसे कि ANN एक जोड़ीदार पाता है, भले ही छवि मानव को खोज लक्ष्य की तरह कुछ भी न लगे। इस तरह के हेरफेर को "प्रतिकूल हमला" कहा जाता है।

2016 में शोधकर्ताओं ने परीक्षण और त्रुटि शोभाचार में चिकित्सक छवियों के लिए एक ANN का उपयोग किया, दूसरे के केन्द्रीय बिंदुओं की पहचान की और इस तरह ऐसी छवियां उत्पन्न कीं जो इसे धोखा देती हैं। संशोधित छवियां मानव आंखों के लिए अलग नहीं दिखतीं। एक अन्य समूह ने दिखाया कि छेड़छाड़ की गई छवियों के मुद्रित अभिलेख और फिर खींची गई तस्वीरों ने एक छवि वर्गीकरण प्रणाली को सफलतापूर्वक धोखा दिया। एक बचाव विपरीत छवि खोज है, जिसमें टिनआई जैसी साइट पर एक संभावित नकली छवि जमा की जाती है, जो इसके अन्य उदाहरणों को ढूंढ सकती है। एक परिशोधन छवि के केवल भागों का उपयोग करके खोज करना है, उन छवियों की पहचान करना हो सकता है जिनसे वह टुकड़ा लिया गया ।

एक अन्य समूह ने दिखाया कि कुछ मनोविकृति कला चश्मा एक चेहरा पहचानने की प्रणाली को मूर्ख बना सकते हैं, यह सोचकर कि सामान्य लोग ख्यातिई थे, संभावित रूप से एक व्यक्ति को दूसरे को प्रतिरूपित करने की अनुमति देता है। 2017 में शोधकर्ताओं ने संकेतों को रोकने के लिए संलागी जोड़े और ANN को उन्हें गलत वर्गीकृत करने के लिए प्रेरित किया।

हालांकि ANN को धोखे के प्रयासों का पता लगाने के लिए आगे प्रशिक्षित किया जा सकता है, संभावित रूप से अग्रणी हमलावरों और रक्षकों को हथियारों की दौड़ में उसी तरह से जोड़ा जाता है जो पहले से ही मैलवेयर रक्षा उद्योग को परिभाषित करता है। ANN को ANN-आधारित एंटी-मैलवेयर सॉफ़्टवेयर को पराजित करने के लिए प्रशिक्षित किया गया है, जो मैलवेयर के साथ एक रक्षा पर बार-बार हमला कर रहा है, जो एक आनुवंशिक कलन विधि द्वारा लगातार बदल दिया गया था, जब तक कि यह लक्ष्य को नुकसान पहुंचाने की क्षमता को बनाए रखते हुए एंटी-मैलवेयर को धोखा नहीं देता।

2016 में, एक अन्य समूह ने प्रदर्शित किया कि कुछ ध्वनियाँ गूगल नाओ वॉयस कमांड प्रणाली से एक विशेष वेब पता खोल सकती हैं, और परिकल्पना की कि यह आगे के हमलों के लिए एक कदम के रूप में काम कर सकता है (जैसे, ड्राइव-बाय मालवेयर मेजबानी करने वाला वेब पेज खोलना)।

"डेटा विषाक्तीकरण" में, झूठे डेटा को लगातार यंत्र विद्वता प्रणाली के प्रशिक्षण सम्मुच्चय में महारत प्राप्त करने से रोकने के लिए तस्करी की जाती है।

मानव माइक्रोवर्क पर निर्भरता
अधिकांश पश्च विद्वता प्रणाली प्रशिक्षण और सत्यापन डेटा पर भरोसा करते हैं जो मानव द्वारा उत्पन्न और/या टिप्पणी की जाती है। जनसंचार अध्ययनों में यह तर्क दिया गया है कि इस उद्देश्य के लिए न केवल कम-वेतन वाले क्लिकवर्कर्स (जैसे अमेज़ॅन यांत्रिक तुर्क पर) को नियमित रूप से तैनात किया जाता है, बल्कि मानव माइक्रोवर्क के निहित रूप भी होते हैं जिन्हें प्रायः इस तरह पहचाना नहीं जाता है। दार्शनिक रेनर मुहालहॉफ ने प्रशिक्षण डेटा उत्पन्न करने के लिए मानव माइक्रोवर्क के पांच प्रकार के यंत्री प्रग्रहण को अलग किया: (1) गेमिफिकेशन (खेल के प्रवाह में व्याख्या या गणना कार्यों का अंतःस्थापन), (2) विपाशन और खोज (उदाहरण के लिए छवि पहचान के लिए कॅप्चा) या गूगल खोज इंजन परिणाम पृष्ठ पर क्लिक-खोज), (3) सामाजिक प्रेरणाओं का शोषण (उदाहरण के लिए सूचक किए गए चेहरे की छवियों को प्राप्त करने के लिए फेसबुक पर टैग (फेसबुक), (4) सूचना खनन (जैसे परिमाणित-स्व उपकरण का लाभ उठाकर) जैसे गतिविधि ट्रैकर) और (5) क्लिकवर्कर्स।

मुहलहॉफ़ का तर्क है कि पश्च विद्वता के अधिकांश व्यावसायिक अतः-उपभोक्ता एप्लिकेशन जैसे फेसबुक की चेहरा पहचानने की प्रणाली में, ANN के प्रशिक्षित होने के बाद प्रशिक्षण डेटा की आवश्यकता बंद नहीं होती है। इसके स्थान पर, ANN को लगातार जांचने और अद्यतनीकरण करने के लिए मानव-निर्मित सत्यापन डेटा की निरंतर मांग है। इस उद्देश्य के लिए फेसबुक ने यह सुविधा शुरू की कि एक बार जब उपयोगकर्ता किसी छवि में स्वचालित रूप से पहचाना जाता है, तो उन्हें एक सूचना प्राप्त होती है। वे चुन सकते हैं कि उन्हें छवि पर सार्वजनिक रूप से सूचक किया जाना पसंद है या नहीं, या फ़ेसबुक को बताएं कि यह तस्वीर में वे नहीं हैं। यह यूजर अंतरापृष्ठ सत्यापन डेटा की एक निरंतर धारा उत्पन्न करने के लिए एक तंत्र है वास्तविक समय में संजाल को और प्रशिक्षित करने के लिए। जैसा कि मुहालहॉफ का तर्क है, प्रशिक्षण और सत्यापन डेटा उत्पन्न करने के लिए मानव उपयोगकर्ताओं की भागीदारी पश्च विद्वता के अधिकांश व्यावसायिक अंत-उपयोगकर्ता अनुप्रयोगों के लिए इतनी विशिष्ट है कि ऐसी प्रणालियों को मानव-सहायता प्राप्त कृत्रिम बुद्धिमत्ता कहा जा सकता है।

यह भी देखें

 * कृत्रिम बोध के अनुप्रयोग
 * पश्च विद्वता सॉफ्टवेयर की तुलना
 * संकुचित संवेदन
 * विभेदक कार्यरचना
 * गूंज स्थिति संजाल
 * कृत्रिम बुद्धिमत्ता परियोजनाओं की सूची
 * तरल स्थिति यंत्र
 * यंत्र-विद्वता शोध के लिए डाटासेट की सूची
 * जलाशय अभिकलन
 * पश्च विद्वता और मापक्रम स्थल
 * विरल कूटलेखन

इस पेज में लापता आंतरिक लिंक की सूची

 * प्रतिनिधित्व सीखना
 * जलवायुविज्ञानशास्र
 * बायोइनफॉरमैटिक्स
 * ट्रांसफार्मर (यंत्र विद्वता प्रतिरूप)
 * जैविक प्रणाली
 * संबंधवाद
 * मूर्ति प्रोद्योगिकी
 * प्रस्तावक सूत्र
 * आवर्तक तंत्रिका संजाल
 * लालची कलन विधि
 * प्रमुख कंपोनेंट विश्लेषण
 * गहरा तंत्रिका संजाल
 * लेबेसेग एकीकरण
 * सामान्यकरण
 * संचयी वितरण फलन
 * कृत्रिम तंत्रिका प्रसार
 * स्वचालित भेदभाव
 * backpropagation
 * हस्तलिपि अभिज्ञान
 * पीटर दयान
 * गायब ढाल समस्या
 * लंबी अल्पकालिक स्मृति
 * एमएनआईएसटी आंकड़ाकोष
 * स्वचालित भाषण मान्यता
 * निर्णय वृक्ष
 * जैव आणविक लक्ष्य
 * सूचक किए गए डेटा
 * नियम आधारित कार्यरचना
 * सामान्य खेल खेल रहा है
 * आवृत्ति कंघी
 * तरंग दैर्ध्य
 * बोली
 * कार्यक्षेत्र की जानकारी
 * कोरटाना (सॉफ्टवेयर)
 * सदिश स्थल
 * उदाहरण-आधारित यंत्री अनुवाद
 * ग्राहक जीवन मूल्य
 * आरएफएम (ग्राहक मूल्य)
 * सीधा विपणन
 * उलटा समस्याएं
 * denoising
 * आंशिक विभेदक समीकरण
 * संगणनात्मक तरल सक्रिय
 * पागलपन
 * सूजा आंत्र रोग
 * उम्र बढ़ने के बायोमार्कर
 * संज्ञानात्मक तंत्रिका विज्ञानी
 * मस्तिष्क में वृद्धि
 * तंत्रिका वृद्धि कारक
 * आत्म संगठन
 * जाओ (खेल)
 * टेक्सास विश्वविद्यालय, ऑस्टिन
 * करणीय संबंध
 * वाटसन (परिकलक)
 * कृत्रिम होशियारी
 * TinEye
 * रोकने का चिन्ह
 * जन्म प्रमेय
 * यंत्र-शिक्षण अनुसंधान के लिए डाटासेट की सूची