अपर्यवेक्षित अधिगम

अन पर्यवेक्षित अध्ययन उन कलन विधि को संदर्भित करता है जो बिना लेबल वाले आँकड़े से पैटर्न सीखते हैं।

पर्यवेक्षित शिक्षण के विपरीत, जहां मॉडल निविष्ट को लक्ष्य बहिर्गत में मानचित्र करना सीखते हैं (उदाहरण के लिए बिल्ली या मछली के रूप में लेबल की गई छवियां), बिना पर्यवेक्षित तरीके निविष्ट आँकड़े का संक्षिप्त प्रतिनिधित्व सीखते हैं, जिसका उपयोग आँकड़े अन्वेषण या विश्लेषण या नए उत्पन्न करने के लिए किया जा सकता है आंकड़े। पर्यवेक्षण वर्णक्रम में अन्य स्तर सुदृढीकरण शिक्षण हैं जहां यंत्र को मार्गदर्शन के रूप में केवल एक प्रदर्शन अंक दिया जाता है, और अर्ध-पर्यवेक्षित शिक्षण जहां प्रशिक्षण आँकड़े का केवल एक भाग लेबल किया जाता है।

कार्य बनाम विधियाँ
तन्त्रिका जाल कार्यों को प्रायः भेदभावपूर्ण (मान्यता) या उत्पादक (कल्पना) के रूप में वर्गीकृत किया जाता है। प्रायः परन्तु सदैव नहीं, भेदभावपूर्ण कार्यों में पर्यवेक्षित तरीकों का उपयोग किया जाता है और जेनरेटर कार्यों में बिना पर्यवेक्षित तरीकों का उपयोग किया जाता है (वेन आरेख देखें); हालाँकि, अलगाव बहुत धुंधला है। उदाहरण के लिए, वस्तु पहचान पर्यवेक्षित शिक्षण को बढ़ावा देती है परन्तु बिना पर्यवेक्षित शिक्षण भी वस्तुओं को समूहों में विभाजित कर सकता है। इसके अतिरिक्त, जैसे-जैसे प्रगति आगे बढ़ती है, कुछ कार्य दोनों तरीकों का उपयोग करते हैं, और कुछ कार्य एक से दूसरे की ओर झूलते रहते हैं। उदाहरण के लिए, छवि पहचान का प्रारंभ अत्यधिक निगरानी के साथ हुई, परन्तु बिना पर्यवेक्षित पूर्व-प्रशिक्षण को नियोजित करने से यह संकरित हो गई, और फिर डिल्यूशन_(न्यूरल_संजाल्स), रेक्टिफायर_(न्यूरल_संजाल्स), और अधिगम_रेट के आगमन के साथ फिर से पर्यवेक्षण की ओर बढ़ गई।

प्रशिक्षण
सीखने के चरण के पर्यन्त, एक अप्रशिक्षित संजाल दिए गए आँकड़े की नकल करने की कोशिश करता है और खुद को सही करने के लिए अपने नकल किए गए बहिर्गत में त्रुटि का उपयोग करता है (अर्थात अपने वजन और पूर्वाग्रहों को ठीक करता है)। कभी-कभी त्रुटि को गलत बहिर्गत होने की कम संभावना के रूप में व्यक्त किया जाता है, या इसे संजाल में अस्थिर उच्च ऊर्जा स्थिति के रूप में व्यक्त किया जा सकता है।

पर्यवेक्षित तरीकों के पश्चप्रचार के प्रमुख उपयोग के विपरीत, अनसुपरवाइज्ड अधिगम अन्य तरीकों को भी नियोजित करता है जिनमें सम्मिलित हैं: होपफील्ड अधिगम नियम, बोल्ट्जमैन अधिगम नियम, कंट्रास्टिव डाइवर्जेंस, जागो-नींद एल्गोरिथ्म, वेरिएशनल अनुमान, अधिकतम संभावना, अधिकतम ए पोस्टीरियोरी, गिब्स सैंपलिंग और बैकप्रोपेगेटिंग। पुनर्निर्माण त्रुटियाँ या छिपी हुई स्थिति का पुनर्मूल्यांकन। अधिक विवरण के लिए नीचे दी गई तालिका देखें।

ऊर्जा
एक ऊर्जा क्रिया किसी संजाल की सक्रियण स्थिति का एक स्थूल माप है। बोल्ट्ज़मैन यंत्रों में, यह लागत क्रिया की भूमिका निभाता है। भौतिकी के साथ यह सादृश्य कण गति की सूक्ष्म संभावनाओं से गैस की स्थूल ऊर्जा के लुडविग बोल्ट्जमैन के विश्लेषण से प्रेरित है। $$p \propto e^{-E/kT}$$, जहां k बोल्ट्जमैन स्थिरांक है और T तापमान है। Restricted_Boltzmann_machine संजाल में संबंध है $$ p = e^{-E} / Z $$, कहाँ $$p$$ और $$E$$ प्रत्येक संभावित सक्रियण पैटर्न में भिन्नता होती है और $$\textstyle{Z = \sum_{\scriptscriptstyle{\text{All Patterns}}} e^{-E(\text{pattern})}}$$. अधिक स्पष्ट करने के लिए, $$p(a) = e^{-E(a)} / Z$$, कहाँ $$a$$ सभी न्यूरॉन्स (दृश्यमान और छिपे हुए) का एक सक्रियण पैटर्न है। इसलिए, प्रारंभिक तन्त्रिका जाल का नाम बोल्ट्ज़मैन यंत्र है। पॉल स्मोलेंस्की कॉल करता है $$-E\,$$ सद्भाव. एक संजाल कम ऊर्जा चाहता है जो उच्च सद्भाव है।

संजाल
यह तालिका विभिन्न गैर-पर्यवेक्षित संजालों के कनेक्शन आरेख दिखाती है, जिनका विवरण संजाल की तुलना अनुभाग में दिया जाएगा। वृत्त न्यूरॉन्स हैं और उनके मध्य के किनारे कनेक्शन भार हैं। जैसे-जैसे संजाल डिज़ाइन परिवर्तित करता है, नई क्षमताओं को सक्षम करने के लिए सुविधाएँ जोड़ी जाती हैं या सीखने को तेज़ बनाने के लिए हटा दी जाती हैं। उदाहरण के लिए, मजबूत बहिर्गत की अनुमति देने के लिए न्यूरॉन्स नियतात्मक (हॉपफील्ड) और स्टोकेस्टिक (बोल्ट्ज़मैन) के मध्य परिवर्तित करते हैं, सीखने में तेजी लाने के लिए एक परत (आरबीएम) के भीतर वजन हटा दिया जाता है, या कनेक्शन को असममित (हेल्महोल्ट्ज़) बनने की अनुमति दी जाती है।

लोगों के नाम वाले संजाल में से केवल होपफ़ील्ड ने सीधे तन्त्रिका जाल के साथ काम किया। बोल्ट्ज़मैन और हेल्महोल्ट्ज़ कृत्रिम तन्त्रिका जाल से पहले आए थे, परन्तु भौतिकी और शरीर विज्ञान में उनके काम ने इस्तेमाल की जाने वाली विश्लेषणात्मक विधियों को प्रेरित किया।

विशिष्ट संजाल
यहां, हम चुनिंदा संजाल की कुछ विशेषताओं पर प्रकाश डालते हैं। प्रत्येक का विवरण नीचे तुलना तालिका में दिया गया है।

Hopfield Network: लौहचुम्बकत्व ने हॉपफील्ड नेटवर्क को प्रेरित किया। एक न्यूरॉन ऊपर और नीचे द्विआधारी चुंबकीय क्षणों के साथ एक लौह डोमेन से मेल खाता है, और तंत्रिका कनेक्शन एक दूसरे पर डोमेन के प्रभाव से मेल खाते हैं। सममित कनेक्शन वैश्विक ऊर्जा निर्माण को सक्षम बनाते हैं। अनुमान के दौरान नेटवर्क मानक सक्रियण चरण फ़ंक्शन का उपयोग करके प्रत्येक स्थिति को अपडेट करता है। सममित भार और सही ऊर्जा कार्य एक स्थिर सक्रियण पैटर्न के अभिसरण की गारंटी देते हैं। असममित भार का विश्लेषण करना कठिन है। हॉपफील्ड नेट का उपयोग कंटेंट एड्रेसेबल मेमोरीज़ (सीएएम) के रूप में किया जाता है।

Boltzmann Machine: ये स्टोकेस्टिक हॉपफील्ड नेट हैं। उनका राज्य मान इस पीडीएफ से निम्नानुसार नमूना लिया गया है: मान लीजिए कि एक बाइनरी न्यूरॉन बर्नौली संभावना पी (1) = 1/3 के साथ सक्रिय होता है और पी (0) = 2/3 के साथ आराम करता है। इसमें से एक नमूना एक समान रूप से वितरित यादृच्छिक संख्या y लेकर, और इसे उल्टे संचयी वितरण फ़ंक्शन में प्लग करके, जो इस मामले में 2/3 पर थ्रेशोल्ड चरण फ़ंक्शन है। व्युत्क्रम फलन = { 0 यदि x <= 2/3, 1 यदि x > 2/3 }

Sigmoid Belief Net: 1992 में रैडफोर्ड नील द्वारा प्रस्तुत, यह नेटवर्क संभाव्य ग्राफिकल मॉडल से लेकर तंत्रिका नेटवर्क तक के विचारों को लागू करता है। एक महत्वपूर्ण अंतर यह है कि ग्राफिकल मॉडल में नोड्स के पूर्व-निर्धारित अर्थ होते हैं, जबकि बिलीफ नेट न्यूरॉन्स की विशेषताएं प्रशिक्षण के बाद निर्धारित की जाती हैं। नेटवर्क बाइनरी स्टोकेस्टिक न्यूरॉन्स से बना एक विरल रूप से जुड़ा हुआ निर्देशित एसाइक्लिक ग्राफ है। सीखने का नियम p(X) पर अधिकतम संभावना से आता है: Δwij $\propto$ sj * (si - pi), जहां pi = 1 / ( 1 + eweighted inputs into neuron i ). sj's are activations from an unbiased sample of the posterior distribution and this is problematic due to the Explaining Away problem raised by Judea Perl. Variational Bayesian methods uses a surrogate posterior and blatantly disregard this complexity.

Deep Belief Network: Introduced by Hinton, this network is a hybrid of RBM and Sigmoid Belief Network. The top 2 layers is an RBM and the second layer downwards form a sigmoid belief network. One trains it by the stacked RBM method and then throw away the recognition weights below the top RBM. As of 2009, 3-4 layers seems to be the optimal depth.

Helmholtz machine: These are early inspirations for the Variational Auto Encoders. It's 2 networks combined into one—forward weights operates recognition and backward weights implements imagination. It is perhaps the first network to do both. Helmholtz did not work in machine learning but he inspired the view of "statistical inference engine whose function is to infer probable causes of sensory input" (3). the stochastic binary neuron outputs a probability that its state is 0 or 1. The data input is normally not considered a layer, but in the Helmholtz machine generation mode, the data layer receives input from the middle layer has separate weights for this purpose, so it is considered a layer. Hence this network has 3 layers.

Variational autoencoder: These are inspired by Helmholtz machines and combines probability network with neural networks. An Autoencoder is a 3-layer CAM network, where the middle layer is supposed to be some internal representation of input patterns. The encoder neural network is a probability distribution qφ(z given x) and the decoder network is pθ(x given z). The weights are named phi & theta rather than W and V as in Helmholtz—a cosmetic difference. These 2 networks here can be fully connected, or use another NN scheme.

संजाल की तुलना
हेब्बियन अधिगम, एआरटी, एसओएम तन्त्रिका जाल के अध्ययन में अपर्यवेक्षित शिक्षण का शास्त्रीय उदाहरण डोनाल्ड हेब्ब का सिद्धांत है, अर्थात, न्यूरॉन्स जो एक साथ तार से आग लगाते हैं। हेब्बियन सीखने में, किसी त्रुटि के बावजूद कनेक्शन को मजबूत किया जाता है, परन्तु यह विशेष रूप से दो न्यूरॉन्स के मध्य कार्रवाई क्षमता के मध्य संयोग का एक कार्य है। एक समान संस्करण जो सिनैप्टिक भार को संशोधित करता है वह एक्शन पोटेंशिअल ( स्पाइक-टाइमिंग-निर्भर प्लास्टिसिटी या एसटीडीपी) के मध्य के समय को ध्यान में रखता है। हेब्बियन अधिगम को पैटर्न पहचान और अनुभवात्मक शिक्षा जैसे संज्ञानात्मक कार्यों की एक श्रृंखला को रेखांकित करने के लिए परिकल्पित किया गया है।

कृत्रिम तन्त्रिका जाल मॉडल के मध्य, स्व-संगठित मानचित्र (एसओएम) और अनुकूली अनुनाद सिद्धांत (एआरटी) का उपयोग आमतौर पर बिना पर्यवेक्षित शिक्षण कलन विधि में किया जाता है। एसओएम एक स्थलाकृतिक संगठन है जिसमें मानचित्र में आस-पास के स्थान समान गुणों वाले निविष्ट का प्रतिनिधित्व करते हैं। एआरटी मॉडल समस्या के आकार के साथ समूहों की संख्या को अलग-अलग करने की अनुमति देता है और उपयोगकर्ता को सतर्कता पैरामीटर नामक उपयोगकर्ता-परिभाषित स्थिरांक के माध्यम से समान क्लस्टर के सदस्यों के मध्य समानता की डिग्री को नियंत्रित करने देता है। एआरटी संजाल का उपयोग कई पैटर्न पहचान कार्यों के लिए किया जाता है, जैसे स्वचालित लक्ष्य पहचान और भूकंपीय सिग्नल प्रोसेसिंग।

संभाव्य विधियाँ
बिना पर्यवेक्षित शिक्षण में उपयोग की जाने वाली दो मुख्य विधियाँ प्रधान घटक विश्लेषण और क्लस्टर विश्लेषण हैं। क्लस्टर विश्लेषण का उपयोग बिना पर्यवेक्षित शिक्षण में कलन विधि संबंधों को एक्सट्रपलेशन करने के लिए साझा विशेषताओं वाले आँकड़ेसेट को समूह या खंड में करने के लिए किया जाता है। क्लस्टर विश्लेषण यंत्र अधिगम  की एक शाखा है जो उस आँकड़े को समूहित करती है जिसे लेबल, वर्गीकृत या वर्गीकृत नहीं किया गया है। फीडबैक पर प्रतिक्रिया देने के बजाय, क्लस्टर विश्लेषण आँकड़े में समानताओं की पहचान करता है और आँकड़े के प्रत्येक नए टुकड़े में ऐसी समानताओं की उपस्थिति या अनुपस्थिति के आधार पर प्रतिक्रिया करता है। यह दृष्टिकोण उन असंगत आँकड़े बिंदुओं का पता लगाने में मदद करता है जो किसी भी समूह में फिट नहीं होते हैं।

अपर्यवेक्षित शिक्षण का एक केंद्रीय अनुप्रयोग सांख्यिकी में घनत्व अनुमान के क्षेत्र में है, हालाँकि बिना पर्यवेक्षित शिक्षण में आँकड़े सुविधाओं का सारांश और व्याख्या करने वाले कई अन्य डोमेन सम्मिलित हैं। इसकी तुलना पर्यवेक्षित शिक्षण से यह कहकर की जा सकती है कि जबकि पर्यवेक्षित शिक्षण का उद्देश्य निविष्ट आँकड़े के लेबल पर सशर्त संभाव्यता वितरण का अनुमान लगाना है; अप्रशिक्षित शिक्षण का उद्देश्य एक प्राथमिक संभाव्यता वितरण का अनुमान लगाना है।

दृष्टिकोण
बिना पर्यवेक्षित शिक्षण में उपयोग किए जाने वाले कुछ सबसे आम कलन विधि में सम्मिलित हैं: (1) क्लस्टरिंग, (2) विसंगति का पता लगाना, (3) अव्यक्त चर मॉडल सीखने के लिए दृष्टिकोण। प्रत्येक दृष्टिकोण निम्नानुसार कई विधियों का उपयोग करता है:


 * आँकड़े क्लस्टरिंग विधियों में सम्मिलित हैं: पदानुक्रमित क्लस्टरिंग, k-मतलब, मिश्रण मॉडल, डीबीएससीएएन, और प्रकाशिकी एल्गोरिथ्म
 * विसंगति का पता लगाने के तरीकों में सम्मिलित हैं: स्थानीय बाहरी कारक, और अलगाव वन
 * अव्यक्त चर मॉडल सीखने के लिए दृष्टिकोण जैसे कि अपेक्षा-अधिकतमकरण एल्गोरिथ्म (ईएम), क्षणों की विधि (सांख्यिकी), और ब्लाइंड सिग्नल पृथक्करण तकनीक (प्रमुख घटक विश्लेषण, स्वतंत्र घटक विश्लेषणगैर-नकारात्मक मैट्रिक्स गुणनखंडन फैक्टराइजेशन, एकवचन मूल्य अपघटन)

क्षणों की विधि
बिना पर्यवेक्षित शिक्षण के लिए सांख्यिकीय दृष्टिकोणों में से एक क्षणों की विधि (सांख्यिकी) है। क्षणों की विधि में, मॉडल में अज्ञात पैरामीटर (रुचि के) एक या अधिक यादृच्छिक चर के क्षणों से संबंधित होते हैं, और इस प्रकार, इन अज्ञात मापदंडों का अनुमान क्षणों को देखते हुए लगाया जा सकता है। क्षणों का अनुमान आमतौर पर अनुभवजन्य रूप से नमूनों से लगाया जाता है। मूल क्षण प्रथम और द्वितीय क्रम के क्षण हैं। एक यादृच्छिक वेक्टर के लिए, पहले क्रम का क्षण माध्य वेक्टर है, और दूसरे क्रम का क्षण सहप्रसरण मैट्रिक्स है (जब माध्य शून्य है)। उच्च क्रम के क्षणों को आमतौर पर टेंसर का उपयोग करके दर्शाया जाता है जो कि बहु-आयामी सरणियों के रूप में उच्च क्रम सहप्रसरण आव्यूह का सामान्यीकरण है।

विशेष रूप से, अव्यक्त चर मॉडल के मापदंडों को सीखने में क्षणों की विधि को प्रभावी दिखाया गया है। अव्यक्त चर मॉडल सांख्यिकीय मॉडल हैं जहां देखे गए चर के अतिरिक्त, अव्यक्त चर का एक सेट भी मौजूद होता है जो नहीं देखा जाता है। अर्थ अधिगम में अव्यक्त चर मॉडल का एक अत्यधिक व्यावहारिक उदाहरण विषय मॉडलिंग है जो दस्तावेज़ के विषय (अव्यक्त चर) के आधार पर दस्तावेज़ में शब्द (अवलोकित चर) उत्पन्न करने के लिए एक सांख्यिकीय मॉडल है। विषय मॉडलिंग में, दस्तावेज़ का विषय परिवर्तित करने पर दस्तावेज़ में शब्द विभिन्न सांख्यिकीय मापदंडों के अनुसार उत्पन्न होते हैं। यह दिखाया गया है कि क्षणों की विधि (टेंसर अपघटन तकनीक) कुछ मान्यताओं के तहत अव्यक्त चर मॉडल के एक बड़े वर्ग के मापदंडों को लगातार पुनर्प्राप्त करती है।

एक्सपेक्टेशन-मैक्सिमाइजेशन कलन विधि (ईएम) भी अव्यक्त चर मॉडल सीखने के लिए सबसे व्यावहारिक तरीकों में से एक है। हालाँकि, यह स्थानीय ऑप्टिमा में फंस सकता है, और यह गारंटी नहीं है कि कलन विधि मॉडल के वास्तविक अज्ञात मापदंडों में परिवर्तित हो जाएगा। इसके विपरीत, क्षणों की विधि के लिए, कुछ शर्तों के तहत वैश्विक अभिसरण की गारंटी दी जाती है।

यह भी देखें

 * स्वचालित यंत्र अधिगम
 * क्लस्टर विश्लेषण
 * असंगति का पता लगाये
 * अपेक्षा-अधिकतमीकरण एल्गोरिथ्म
 * जनरेटिव स्थलाकृतिक मानचित्र
 * मेटा-अधिगम (कंप्यूटर विज्ञान)
 * बहुभिन्नरूपी विश्लेषण
 * रेडियल आधार क्रिया संजाल
 * कमजोर पर्यवेक्षण