बिना पर्यवेक्षण के सीखना

अन पर्यवेक्षित अध्ययन उन कलन विधि को संदर्भित करता है जो बिना लेबल वाले आँकड़े से प्रतिरुप सीखते हैं।

पर्यवेक्षित शिक्षण के विपरीत, जहां प्रतिरूप निविष्ट को लक्ष्य बहिर्गत में मानचित्र करना सीखते हैं (उदाहरण के लिए बिल्ली या मछली के रूप में लेबल की गई छवियां), बिना पर्यवेक्षित तरीके निविष्ट आँकड़े का संक्षिप्त प्रतिनिधित्व सीखते हैं, जिसका उपयोग आँकड़े अन्वेषण या विश्लेषण या नए उत्पन्न करने के लिए किया जा सकता है आंकड़े। पर्यवेक्षण वर्णक्रम में अन्य स्तर सुदृढीकरण शिक्षण हैं जहां यंत्र को मार्गदर्शन के रूप में केवल एक प्रदर्शन अंक दिया जाता है, और अर्ध-पर्यवेक्षित शिक्षण जहां प्रशिक्षण आँकड़े का केवल एक भाग लेबल किया जाता है।

कार्य बनाम विधियाँ
तन्त्रिका जाल कार्यों को प्रायः भेदभावपूर्ण (मान्यता) या उत्पादक (कल्पना) के रूप में वर्गीकृत किया जाता है। प्रायः परन्तु सदैव नहीं, भेदभावपूर्ण कार्यों में पर्यवेक्षित तरीकों का उपयोग किया जाता है और जेनरेटर कार्यों में बिना पर्यवेक्षित तरीकों का उपयोग किया जाता है (वेन आरेख देखें); हालाँकि, अलगाव बहुत धुंधला है। उदाहरण के लिए, वस्तु पहचान पर्यवेक्षित शिक्षण को बढ़ावा देती है परन्तु बिना पर्यवेक्षित शिक्षण भी वस्तुओं को समूहों में विभाजित कर सकता है। इसके अतिरिक्त, जैसे-जैसे प्रगति आगे बढ़ती है, कुछ कार्य दोनों तरीकों का उपयोग करते हैं, और कुछ कार्य एक से दूसरे की ओर झूलते रहते हैं। उदाहरण के लिए, छवि पहचान का प्रारंभ अत्यधिक निगरानी के साथ हुई, परन्तु बिना पर्यवेक्षित पूर्व-प्रशिक्षण को नियोजित करने से यह संकरित हो गई, और फिर डिल्यूशन_(न्यूरल_जालक्रम्स), रेक्टिफायर_(न्यूरल_जालक्रम्स), और अधिगम_रेट के आगमन के साथ फिर से पर्यवेक्षण की ओर बढ़ गई।

प्रशिक्षण
सीखने के चरण के पर्यन्त, एक अप्रशिक्षित जालक्रम दिए गए आँकड़े की नकल करने की कोशिश करता है और खुद को सही करने के लिए अपने नकल किए गए बहिर्गत में त्रुटि का उपयोग करता है (अर्थात अपने वजन और पूर्वाग्रहों को ठीक करता है)। कभी-कभी त्रुटि को गलत बहिर्गत होने की कम संभावना के रूप में व्यक्त किया जाता है, या इसे जालक्रम में अस्थिर उच्च ऊर्जा स्थिति के रूप में व्यक्त किया जा सकता है।

पर्यवेक्षित तरीकों के पश्चप्रचार के प्रमुख उपयोग के विपरीत, अनसुपरवाइज्ड अधिगम अन्य तरीकों को भी नियोजित करता है जिनमें सम्मिलित हैं: होपफील्ड अधिगम नियम, बोल्ट्जमैन अधिगम नियम, कंट्रास्टिव डाइवर्जेंस, जागो-नींद कलन विधि, वेरिएशनल अनुमान, अधिकतम संभावना, अधिकतम ए पोस्टीरियोरी, गिब्स सैंपलिंग और बैकप्रोपेगेटिंग। पुनर्निर्माण त्रुटियाँ या छिपी हुई स्थिति का पुनर्मूल्यांकन। अधिक विवरण के लिए नीचे दी गई तालिका देखें।

ऊर्जा
एक ऊर्जा क्रिया किसी जालक्रम की सक्रियण स्थिति का एक स्थूल माप है। बोल्ट्ज़मैन यंत्रों में, यह लागत क्रिया की भूमिका निभाता है। भौतिकी के साथ यह सादृश्य कण गति की सूक्ष्म संभावनाओं से गैस की स्थूल ऊर्जा के लुडविग बोल्ट्जमैन के विश्लेषण से प्रेरित है। $$p \propto e^{-E/kT}$$, जहां k बोल्ट्जमैन स्थिरांक है और T तापमान है। Restricted_Boltzmann_machine जालक्रम में संबंध है $$ p = e^{-E} / Z $$, जहां $$p$$ और $$E$$ प्रत्येक संभावित सक्रियण प्रतिरुप में भिन्नता होती है और $$\textstyle{Z = \sum_{\scriptscriptstyle{\text{All Patterns}}} e^{-E(\text{pattern})}}$$. अधिक स्पष्ट करने के लिए, $$p(a) = e^{-E(a)} / Z$$, जहां $$a$$ सभी न्यूरॉन्स (दृश्यमान और छिपे हुए) का एक सक्रियण प्रतिरुप है। इसलिए, प्रारंभिक तन्त्रिका जाल का नाम बोल्ट्ज़मैन यंत्र है। पॉल स्मोलेंस्की कॉल करता है $$-E\,$$ सद्भाव. एक जालक्रम कम ऊर्जा चाहता है जो उच्च सद्भाव है।

जालक्रम
यह तालिका विभिन्न गैर-पर्यवेक्षित जालक्रमों के संयोजन आरेख दिखाती है, जिनका विवरण जालक्रम की तुलना अनुभाग में दिया जाएगा। वृत्त न्यूरॉन्स हैं और उनके मध्य के किनारे संयोजन भार हैं। जैसे-जैसे जालक्रम डिज़ाइन परिवर्तित करता है, नई क्षमताओं को सक्षम करने के लिए सुविधाएँ जोड़ी जाती हैं या सीखने को तीव्र बनाने के लिए हटा दी जाती हैं। उदाहरण के लिए, प्रबल बहिर्गत की अनुमति देने के लिए न्यूरॉन्स नियतात्मक (हॉपफील्ड) और स्टोकेस्टिक (बोल्ट्ज़मैन) के मध्य परिवर्तित करते हैं, सीखने में तेजी लाने के लिए एक परत (आरबीएम) के भीतर वजन हटा दिया जाता है, या संयोजन को असममित (हेल्महोल्ट्ज़) बनने की अनुमति दी जाती है।

लोगों के नाम वाले जालक्रम में से केवल होपफ़ील्ड ने सीधे तन्त्रिका जाल के साथ काम किया। बोल्ट्ज़मैन और हेल्महोल्ट्ज़ कृत्रिम तन्त्रिका जाल से पहले आए थे, परन्तु भौतिकी और शरीर विज्ञान में उनके काम ने इस्तेमाल की जाने वाली विश्लेषणात्मक विधियों को प्रेरित किया।

विशिष्ट जालक्रम
यहां, हम चुनिंदा जालक्रम की कुछ विशेषताओं पर प्रकाश डालते हैं। प्रत्येक का विवरण नीचे तुलना तालिका में दिया गया है।

हॉपफील्ड नेटवर्क: लौहचुम्बकत्व ने हॉपफील्ड नेटवर्क को प्रेरित किया। एक न्यूरॉन ऊपर और नीचे द्विआधारी चुंबकीय क्षणों के साथ एक लौह डोमेन से मेल खाता है, और तंत्रिका कनेक्शन एक दूसरे पर डोमेन के प्रभाव से मेल खाते हैं। सममित कनेक्शन वैश्विक ऊर्जा निर्माण को सक्षम बनाते हैं। अनुमान के दौरान नेटवर्क मानक सक्रियण चरण फ़ंक्शन का उपयोग करके प्रत्येक स्थिति को अपडेट करता है। सममित भार और सही ऊर्जा कार्य एक स्थिर सक्रियण पैटर्न के अभिसरण की गारंटी देते हैं। असममित भार का विश्लेषण करना कठिन है। हॉपफील्ड नेट का उपयोग कंटेंट एड्रेसेबल मेमोरीज़ (सीएएम) के रूप में किया जाता है।

बोल्ट्ज़मैन मशीन: ये स्टोकेस्टिक हॉपफील्ड नेट हैं। उनका राज्य मान इस पीडीएफ से निम्नानुसार नमूना लिया गया है: मान लीजिए कि एक बाइनरी न्यूरॉन बर्नौली संभावना पी (1) = 1/3 के साथ सक्रिय होता है और पी (0) = 2/3 के साथ आराम करता है। इसमें से एक नमूना एक समान रूप से वितरित यादृच्छिक संख्या y लेकर, और इसे उल्टे संचयी वितरण फ़ंक्शन में प्लग करके, जो इस मामले में 2/3 पर थ्रेशोल्ड चरण फ़ंक्शन है। व्युत्क्रम फलन = { 0 यदि x <= 2/3, 1 यदि x > 2/3 }

सिग्मॉइड विश्वास नेट: 1992 में रैडफोर्ड नील द्वारा प्रस्तुत, यह नेटवर्क संभाव्य ग्राफिकल मॉडल से लेकर तंत्रिका नेटवर्क तक के विचारों को लागू करता है। एक महत्वपूर्ण अंतर यह है कि ग्राफिकल मॉडल में नोड्स के पूर्व-निर्धारित अर्थ होते हैं, जबकि बिलीफ नेट न्यूरॉन्स की विशेषताएं प्रशिक्षण के बाद निर्धारित की जाती हैं। नेटवर्क बाइनरी स्टोकेस्टिक न्यूरॉन्स से बना एक विरल रूप से जुड़ा हुआ निर्देशित एसाइक्लिक ग्राफ है। सीखने का नियम p(X) पर अधिकतम संभावना से आता है: Δwij $\propto$ sj * (si - pi), जहां pi = 1 / ( 1 + eन्यूरॉन में भारित इनपुट i ). sj's पश्च वितरण के एक निष्पक्ष नमूने से सक्रियण हैं और यह जूडिया पर्ल द्वारा उठाई गई एक्सप्लेनिंग अवे समस्या के कारण समस्याग्रस्त है। वैरिएशनल बायेसियन विधियां एक सरोगेट पोस्टीरियर का उपयोग करती हैं और इस जटिलता की स्पष्ट रूप से उपेक्षा करती हैं।

गहन विश्वास नेटवर्क: हिंटन द्वारा प्रस्तुत, यह नेटवर्क आरबीएम और सिग्मॉइड बिलीफ नेटवर्क का एक संकर है। शीर्ष 2 परतें एक आरबीएम हैं और दूसरी परत नीचे की ओर एक सिग्मॉइड विश्वास नेटवर्क बनाती है। कोई इसे स्टैक्ड आरबीएम विधि द्वारा प्रशिक्षित करता है और फिर शीर्ष आरबीएम के नीचे पहचान भार को फेंक देता है। 2009 तक, 3-4 परतें इष्टतम गहराई प्रतीत होती हैं।

हेल्महोल्त्ज़ मशीन: ये वेरिएशनल ऑटो एनकोडर्स के लिए प्रारंभिक प्रेरणाएँ हैं। इसके 2 नेटवर्क एक में संयुक्त हैं - फॉरवर्ड वेट पहचान को संचालित करता है और बैकवर्ड वेट कल्पना को क्रियान्वित करता है। यह संभवतः दोनों कार्य करने वाला पहला नेटवर्क है। हेल्महोल्ट्ज़ ने मशीन लर्निंग में काम नहीं किया लेकिन उन्होंने "सांख्यिकीय अनुमान इंजन के दृष्टिकोण को प्रेरित किया जिसका कार्य संवेदी इनपुट के संभावित कारणों का अनुमान लगाना है" (3)। स्टोकेस्टिक बाइनरी न्यूरॉन एक संभावना को आउटपुट करता है कि इसकी स्थिति 0 या 1 है। डेटा इनपुट को आम तौर पर एक परत नहीं माना जाता है, लेकिन हेल्महोल्ट्ज़ मशीन जेनरेशन मोड में, डेटा परत मध्य परत से इनपुट प्राप्त करती है, इस उद्देश्य के लिए अलग-अलग वजन होता है, इसलिए इसे एक परत माना जाता है. इसलिए इस नेटवर्क में 3 परतें हैं।

वैरिएशनल ऑटोएनकोडर: ये हेल्महोल्त्ज़ मशीनों से प्रेरित हैं और संभाव्यता नेटवर्क को तंत्रिका नेटवर्क के साथ जोड़ते हैं। एक ऑटोएन्कोडर एक 3-लेयर CAM नेटवर्क है, जहां मध्य परत को इनपुट पैटर्न का कुछ आंतरिक प्रतिनिधित्व माना जाता है। एनकोडर तंत्रिका नेटवर्क एक संभाव्यता वितरण है qφ(z given x) और डिकोडर नेटवर्क है pθ(x given z). वज़न को हेल्महोल्ट्ज़ की तरह डब्ल्यू और वी के बजाय फी और थीटा नाम दिया गया है - एक कॉस्मेटिक अंतर। यहां ये 2 नेटवर्क पूरी तरह से कनेक्ट हो सकते हैं, या किसी अन्य एनएन योजना का उपयोग कर सकते हैं।

जालक्रम की तुलना
हेब्बियन अधिगम, एआरटी, एसओएम तन्त्रिका जाल के अध्ययन में अपर्यवेक्षित शिक्षण का शास्त्रीय उदाहरण डोनाल्ड हेब्ब का सिद्धांत है, अर्थात, न्यूरॉन्स जो एक साथ तार से आग लगाते हैं। हेब्बियन सीखने में, किसी त्रुटि के बावजूद संयोजन को प्रबल किया जाता है, परन्तु यह विशेष रूप से दो न्यूरॉन्स के मध्य कार्रवाई क्षमता के मध्य संयोग का एक कार्य है। एक समान संस्करण जो सिनैप्टिक भार को संशोधित करता है वह एक्शन पोटेंशिअल ( स्पाइक-टाइमिंग-निर्भर प्लास्टिसिटी या एसटीडीपी) के मध्य के समय को ध्यान में रखता है। हेब्बियन अधिगम को प्रतिरुप पहचान और अनुभवात्मक शिक्षा जैसे संज्ञानात्मक कार्यों की एक श्रृंखला को रेखांकित करने के लिए परिकल्पित किया गया है।

कृत्रिम तन्त्रिका जाल प्रतिरूप के मध्य, स्व-संगठित मानचित्र (एसओएम) और अनुकूली अनुनाद सिद्धांत (ART) का उपयोग सामान्यतः बिना पर्यवेक्षित शिक्षण कलन विधि में किया जाता है। एसओएम एक स्थलाकृतिक संगठन है जिसमें मानचित्र में आस-पास के स्थान समान गुणों वाले निविष्ट का प्रतिनिधित्व करते हैं। एआरटी प्रतिरूप समस्या के आकार के साथ समूहों की संख्या को अलग-अलग करने की अनुमति देता है और उपयोगकर्ता को सतर्कता मापदंड नामक उपयोगकर्ता-परिभाषित स्थिरांक के माध्यम से समान पुंज के सदस्यों के मध्य समानता की डिग्री को नियंत्रित करने देता है। एआरटी जालक्रम का उपयोग कई प्रतिरुप पहचान कार्यों के लिए किया जाता है, जैसे स्वचालित लक्ष्य पहचान और भूकंपीय सिग्नल प्रोसेसिंग।

संभाव्य विधियाँ
बिना पर्यवेक्षित शिक्षण में उपयोग की जाने वाली दो मुख्य विधियाँ प्रधान घटक विश्लेषण और पुंज विश्लेषण हैं। पुंज विश्लेषण का उपयोग बिना पर्यवेक्षित शिक्षण में कलन विधि संबंधों को एक्सट्रपलेशन करने के लिए साझा विशेषताओं वाले आंकड़ा समुच्चय को समूह या खंड में करने के लिए किया जाता है। पुंज विश्लेषण यंत्र अधिगम  की एक शाखा है जो उस आँकड़े को समूहित करती है जिसे लेबल, वर्गीकृत या वर्गीकृत नहीं किया गया है। फीडबैक पर प्रतिक्रिया देने के बजाय, पुंज विश्लेषण आँकड़े में समानताओं की पहचान करता है और आँकड़े के प्रत्येक नए टुकड़े में ऐसी समानताओं की उपस्थिति या अनुपस्थिति के आधार पर प्रतिक्रिया करता है। यह दृष्टिकोण उन असंगत आँकड़े बिंदुओं का पता लगाने में सहायता करता है जो किसी भी समूह में फिट नहीं होते हैं।

अपर्यवेक्षित शिक्षण का एक केंद्रीय अनुप्रयोग सांख्यिकी में घनत्व अनुमान के क्षेत्र में है, हालाँकि बिना पर्यवेक्षित शिक्षण में आँकड़े सुविधाओं का सारांश और व्याख्या करने वाले कई अन्य डोमेन सम्मिलित हैं। इसकी तुलना पर्यवेक्षित शिक्षण से यह कहकर की जा सकती है कि जबकि पर्यवेक्षित शिक्षण का उद्देश्य निविष्ट आँकड़े के लेबल पर सशर्त संभाव्यता वितरण का अनुमान लगाना है; अप्रशिक्षित शिक्षण का उद्देश्य एक प्राथमिक संभाव्यता वितरण का अनुमान लगाना है।

दृष्टिकोण
बिना पर्यवेक्षित शिक्षण में उपयोग किए जाने वाले कुछ सबसे आम कलन विधि में सम्मिलित हैं: (1) पुंजिंग, (2) विसंगति का पता लगाना, (3) अव्यक्त चर प्रतिरूप सीखने के लिए दृष्टिकोण। प्रत्येक दृष्टिकोण निम्नानुसार कई विधियों का उपयोग करता है:


 * आँकड़े पुंजिंग विधियों में सम्मिलित हैं: पदानुक्रमित पुंजिंग, k-अर्थ, मिश्रण प्रतिरूप, डीबीएससीएएन, और प्रकाशिकी कलन विधि
 * विसंगति का पता लगाने के तरीकों में सम्मिलित हैं: स्थानीय बाहरी कारक, और अलगाव वन
 * अव्यक्त चर प्रतिरूप सीखने के लिए दृष्टिकोण जैसे कि अपेक्षा-अधिकतमकरण कलन विधि (ईएम), क्षणों की विधि (सांख्यिकी), और ब्लाइंड सिग्नल पृथक्करण तकनीक (प्रमुख घटक विश्लेषण, स्वतंत्र घटक विश्लेषणगैर-नकारात्मक मैट्रिक्स गुणनखंडन फैक्टराइजेशन, एकवचन मूल्य अपघटन)

क्षणों की विधि
बिना पर्यवेक्षित शिक्षण के लिए सांख्यिकीय दृष्टिकोणों में से एक क्षणों की विधि (सांख्यिकी) है। क्षणों की विधि में, प्रतिरूप में अज्ञात मापदंड (रुचि के) एक या अधिक यादृच्छिक चर के क्षणों से संबंधित होते हैं, और इस प्रकार, इन अज्ञात मापदंडों का अनुमान क्षणों को देखते हुए लगाया जा सकता है। क्षणों का अनुमान सामान्यतः अनुभवजन्य रूप से नमूनों से लगाया जाता है। मूल क्षण प्रथम और द्वितीय क्रम के क्षण हैं। एक यादृच्छिक सदिश के लिए, पहले क्रम का क्षण माध्य सदिश है, और दूसरे क्रम का क्षण सहप्रसरण मैट्रिक्स है (जब माध्य शून्य है)। उच्च क्रम के क्षणों को सामान्यतः टेंसर का उपयोग करके दर्शाया जाता है जो कि बहु-आयामी सरणियों के रूप में उच्च क्रम सहप्रसरण आव्यूह का सामान्यीकरण है।

विशेष रूप से, अव्यक्त चर प्रतिरूप के मापदंडों को सीखने में क्षणों की विधि को प्रभावी दिखाया गया है। अव्यक्त चर प्रतिरूप सांख्यिकीय प्रतिरूप हैं जहां देखे गए चर के अतिरिक्त, अव्यक्त चर का एक सेट भी मौजूद होता है जो नहीं देखा जाता है। अर्थ अधिगम में अव्यक्त चर प्रतिरूप का एक अत्यधिक व्यावहारिक उदाहरण विषय प्रतिरूपिंग है जो दस्तावेज़ के विषय (अव्यक्त चर) के आधार पर दस्तावेज़ में शब्द (अवलोकित चर) उत्पन्न करने के लिए एक सांख्यिकीय प्रतिरूप है। विषय प्रतिरूपिंग में, दस्तावेज़ का विषय परिवर्तित करने पर दस्तावेज़ में शब्द विभिन्न सांख्यिकीय मापदंडों के अनुसार उत्पन्न होते हैं। यह दिखाया गया है कि क्षणों की विधि (टेंसर अपघटन तकनीक) कुछ मान्यताओं के अंतर्गत अव्यक्त चर प्रतिरूप के एक बड़े वर्ग के मापदंडों को लगातार पुनर्प्राप्त करती है।

एक्सपेक्टेशन-मैक्सिमाइजेशन कलन विधि (ईएम) भी अव्यक्त चर प्रतिरूप सीखने के लिए सबसे व्यावहारिक तरीकों में से एक है। हालाँकि, यह स्थानीय ऑप्टिमा में फंस सकता है, और यह प्रत्याभूति नहीं है कि कलन विधि प्रतिरूप के वास्तविक अज्ञात मापदंडों में परिवर्तित हो जाएगा। इसके विपरीत, क्षणों की विधि के लिए, कुछ शर्तों के अंतर्गत वैश्विक अभिसरण की प्रत्याभूति दी जाती है।

यह भी देखें

 * स्वचालित यंत्र अधिगम
 * पुंज विश्लेषण
 * असंगति का पता लगाये
 * अपेक्षा-अधिकतमीकरण कलन विधि
 * जनरेटिव स्थलाकृतिक मानचित्र
 * मेटा-अधिगम (कंप्यूटर विज्ञान)
 * बहुभिन्नरूपी विश्लेषण
 * रेडियल आधार क्रिया जालक्रम
 * कमजोर पर्यवेक्षण