फ़ीचर लर्निंग: Difference between revisions
From Vigyanwiki
No edit summary |
|||
| (37 intermediate revisions by 5 users not shown) | |||
| Line 1: | Line 1: | ||
{{short description|Set of learning techniques in machine learning}} | {{short description|Set of learning techniques in machine learning}} | ||
{{Machine learning|Problems}} | {{Machine learning|Problems}} | ||
[[File:Feature Learning Diagram.png|thumb|354x354px|डाउनस्ट्रीम कार्यों के लिए मशीन | [[File:Feature Learning Diagram.png|thumb|354x354px|डाउनस्ट्रीम कार्यों के लिए मशीन लर्निंगमें फ़ीचर लर्निंग प्रतिमान का आरेख, जिसे या तो कच्चे डेटा जैसे छवियों या टेक्स्ट , या डेटा के लिए [[फ़ीचर (मशीन लर्निंग)|फ़ीचर (मशीन लर्निंग)]] के प्रारंभिक सेट पर लागू किया जा सकता है। फ़ीचर लर्निंग का उद्देश्य सीधे डेटा इनपुट किए जाने की तुलना में तेज़ प्रशिक्षण या कार्य-विशिष्ट सेटिंग्स में बेहतर प्रदर्शन करना है।<ref>Goodfellow, Ian (2016). ''Deep learning''. Yoshua Bengio, Aaron Courville. Cambridge, Massachusetts. pp. 524–534. {{ISBN|0-262-03561-8}}. {{OCLC|955778308}}.</ref>]][[ यंत्र अधिगम |मशीन लर्निंग]] में, '''फीचर लर्निंग''' या '''प्रतिनिधित्व लर्निंग'''<ref name="pami">{{cite journal |author1=Y. Bengio |author2=A. Courville |author3=P. Vincent |title=Representation Learning: A Review and New Perspectives |journal= IEEE Transactions on Pattern Analysis and Machine Intelligence|year=2013|doi=10.1109/tpami.2013.50 |pmid=23787338 |volume=35 |issue=8 |pages=1798–1828|arxiv=1206.5538 |s2cid=393948 }}</ref> तकनीकों का सेट है जो प्रणाली को कच्चे डेटा से फ़ीचर का पता लगाने या वर्गीकरण के लिए आवश्यक प्रतिनिधित्व को स्वचालित रूप से खोजने की अनुमति देता है। यह नियमावली [[फ़ीचर इंजीनियरिंग]] की जगह लेता है और मशीन को फ़ीचर लर्निंग और किसी विशिष्ट कार्य को करने के लिए उनका उपयोग करने की अनुमति देता है। | ||
फ़ीचर | फ़ीचर लर्निंग इस तथ्य से प्रेरित है कि [[सांख्यिकीय वर्गीकरण|वर्गीकरण]] जैसे मशीन लर्निंग कार्यों के लिए प्रायः ऐसे इनपुट की आवश्यकता होती है जो प्रक्रिया के लिए गणितीय और संगणनात्मक रूप से सुविधाजनक हो। तथापि, वास्तविक दुनिया के डेटा जैसे कि चित्र, वीडियो और सेंसर डेटा विशिष्ट विशेषताओं को एल्गोरिथम रूप से परिभाषित करने के प्रयासों के लिए उपयुक्त नहीं हैं। स्पष्ट एल्गोरिदम पर भरोसा किए बिना, परीक्षा के माध्यम से ऐसी फ़ीचर या अभ्यावेदन की खोज करना विकल्प है। | ||
फीचर | फीचर लर्निंग या तो पर्यवेक्षित, बिना पर्यवेक्षित या स्व-पर्यवेक्षित हो सकती है। | ||
* पर्यवेक्षित फ़ीचर | * पर्यवेक्षित फ़ीचर लर्निंग में, लेबल किए गए इनपुट डेटा का उपयोग करके फ़ीचर सीखा जाता है। लेबल किए गए डेटा में इनपुट-लेबल जोड़े सम्मिलित होते हैं जहां मॉडल को इनपुट दिया जाता है और इसे सही उत्तर के रूप में जमीनी सच्चाई लेबल प्रस्तुत करना होगा।<ref>Stuart J. Russell, Peter Norvig (2010) ''[[Artificial Intelligence: A Modern Approach]], Third Edition'', Prentice Hall {{ISBN|978-0-13-604259-4}}.</ref> इसका उपयोग मॉडल के साथ फीचर प्रतिनिधित्व उत्पन्न करने के लिए किया जा सकता है जिसके परिणामस्वरूप उच्च लेबल भविष्यवाणी सटीकता प्राप्त होती है। उदाहरणों में [[कृत्रिम तंत्रिका नेटवर्क|पर्यवेक्षित तंत्रिका तंत्र]], [[मल्टीलेयर परसेप्ट्रॉन]] और (पर्यवेक्षित) [[शब्दकोश सीखना|शब्दकोश लर्निंग]] सम्मिलित हैं। | ||
* [[ बिना पर्यवेक्षण के सीखना | | * [[ बिना पर्यवेक्षण के सीखना |अपर्यवेक्षित फ़ीचर]] लर्निंग में, डेटासेट में बिंदुओं के बीच संबंध का विश्लेषण करके बिना लेबल वाले इनपुट डेटा के साथ फ़ीचर सीखा जाता है।<ref>Hinton, Geoffrey; Sejnowski, Terrence (1999). ''Unsupervised Learning: Foundations of Neural Computation''. MIT Press. {{ISBN|978-0-262-58168-4}}.</ref> उदाहरणों में शब्दकोश लर्निंग, [[स्वतंत्र घटक विश्लेषण]], [[मैट्रिक्स अपघटन]] <ref>{{cite conference | ||
|author1=Nathan Srebro |author2=Jason D. M. Rennie |author3=Tommi S. Jaakkola | |author1=Nathan Srebro |author2=Jason D. M. Rennie |author3=Tommi S. Jaakkola | ||
|title=Maximum-Margin Matrix Factorization | |title=Maximum-Margin Matrix Factorization | ||
|conference=[[Conference on Neural Information Processing Systems|NIPS]] | |conference=[[Conference on Neural Information Processing Systems|NIPS]] | ||
|year=2004 | |year=2004 | ||
}}</ref> और [[क्लस्टर विश्लेषण]] के विभिन्न रूप | }}</ref> और [[क्लस्टर विश्लेषण]] के विभिन्न रूप सम्मिलित हैं।<ref name="coates2011"/><ref>{{cite conference | ||
|last1 = Csurka |first1 = Gabriella | |last1 = Csurka |first1 = Gabriella | ||
|last2 = Dance |first2 = Christopher C. | |last2 = Dance |first2 = Christopher C. | ||
| Line 23: | Line 23: | ||
|url = https://www.cs.cmu.edu/~efros/courses/LBMV07/Papers/csurka-eccv-04.pdf | |url = https://www.cs.cmu.edu/~efros/courses/LBMV07/Papers/csurka-eccv-04.pdf | ||
}}</ref><ref name="jurafsky">{{cite book |title=भाषण और भाषा प्रसंस्करण|author1=Daniel Jurafsky|author-link=Daniel Jurafsky|author2=James H. Martin |publisher=Pearson Education International |year=2009 |pages=145–146}}</ref> | }}</ref><ref name="jurafsky">{{cite book |title=भाषण और भाषा प्रसंस्करण|author1=Daniel Jurafsky|author-link=Daniel Jurafsky|author2=James H. Martin |publisher=Pearson Education International |year=2009 |pages=145–146}}</ref> | ||
* [[ स्व-पर्यवेक्षित शिक्षण | स्व-पर्यवेक्षित]] | * [[ स्व-पर्यवेक्षित शिक्षण | स्व-पर्यवेक्षित]] फ़ीचर लर्निंग में, विशेषताएँ को अपर्यवेक्षित लर्निंग जैसे अनलेबल डेटा का उपयोग करके सीखा जाता है, तथापि प्रत्येक डेटा बिंदु से इनपुट-लेबल जोड़े का निर्माण किया जाता है, जो ढतला हुआ वंश जैसे पर्यवेक्षित तरीकों के माध्यम से डेटा की संरचना को लर्निंग में सक्षम बनाता है।<ref name=":0">{{Cite journal |last1=Ericsson |first1=Linus |last2=Gouk |first2=Henry |last3=Loy |first3=Chen Change |last4=Hospedales |first4=Timothy M. |date=May 2022 |title=Self-Supervised Representation Learning: Introduction, advances, and challenges |url=https://ieeexplore.ieee.org/document/9770283 |journal=IEEE Signal Processing Magazine |volume=39 |issue=3 |pages=42–62 |doi=10.1109/MSP.2021.3134634 |arxiv=2110.09327 |bibcode=2022ISPM...39c..42E |s2cid=239017006 |issn=1558-0792}}</ref> प्राचीन उदाहरणों में [[शब्द एम्बेडिंग]] और [[ ऑटोएन्कोडर |स्वतः कूटलेखन]] सम्मिलित हैं।<ref name=":3">{{Cite journal |last1=Mikolov |first1=Tomas |last2=Sutskever |first2=Ilya |last3=Chen |first3=Kai |last4=Corrado |first4=Greg S |last5=Dean |first5=Jeff |date=2013 |title=शब्दों और वाक्यांशों का वितरित प्रतिनिधित्व और उनकी संरचना|url=https://proceedings.neurips.cc/paper/2013/hash/9aa42b31882ec039965f3c4923ce901b-Abstract.html |journal=Advances in Neural Information Processing Systems |publisher=Curran Associates, Inc. |volume=26|arxiv=1310.4546 }}</ref><ref name=":1">Goodfellow, Ian (2016). ''Deep learning''. Yoshua Bengio, Aaron Courville. Cambridge, Massachusetts. pp. 499–516. {{ISBN|0-262-03561-8}}. {{OCLC|955778308}}.</ref> तब से एसएसएल को [[संवादात्मक तंत्रिका नेटवर्क|CNNs]] और ट्रांसफॉर्मर जैसे गहरे तंत्रिका तंत्र वास्तुकला के उपयोग के माध्यम से कई तौर-तरीकों पर लागू किया गया है।<ref name=":0" /> | ||
== पर्यवेक्षित == | == पर्यवेक्षित == | ||
पर्यवेक्षित फ़ीचर | पर्यवेक्षित फ़ीचर लर्निंग लेबल किए गए डेटा से फ़ीचर लर्निंग है। डेटा लेबल प्रणाली को एक त्रुटि शब्द की गणना करने की अनुमति देता है, जिस डिग्री तक प्रणाली लेबल का उत्पादन करने में विफल रहता है, जिसे बाद में लर्निंग की प्रक्रिया को सही करने (त्रुटि को कम करने/कम करने) के लिए प्रतिपुष्टि के रूप में उपयोग किया जा सकता है। दृष्टिकोण में सम्मिलित हैं: | ||
=== पर्यवेक्षित शब्दकोश | === पर्यवेक्षित शब्दकोश लर्निंग=== | ||
शब्दकोश शिक्षण इनपुट डेटा से प्रतिनिधि तत्वों का सेट (शब्दकोश) विकसित करता है ताकि प्रत्येक डेटा बिंदु को प्रतिनिधि तत्वों के | शब्दकोश शिक्षण इनपुट डेटा से प्रतिनिधि तत्वों का सेट (शब्दकोश) विकसित करता है ताकि प्रत्येक डेटा बिंदु को प्रतिनिधि तत्वों के भारी योग के रूप में दर्शाया जा सके। औसत प्रतिनिधित्व त्रुटि (इनपुट डेटा पर) को कम करके, विरलता को सक्षम करने के लिए भार पर एल 1 नियमितीकरण के साथ शब्दकोश तत्व और भार पाया जा सकता है (अर्थात, प्रत्येक डेटा बिंदु के प्रतिनिधित्व में केवल कुछ गैर-शून्य भार होते हैं)। | ||
पर्यवेक्षित शब्दकोश शिक्षण, शब्दकोश तत्वों को अनुकूलित करने के लिए इनपुट डेटा और लेबल की अंतर्निहित संरचना दोनों का उपयोग करता है। उदाहरण के लिए, यह<ref>{{cite journal|last1=Mairal|first1=Julien|last2=Bach|first2=Francis|last3=Ponce|first3=Jean|last4=Sapiro|first4=Guillermo|last5=Zisserman|first5=Andrew|title=पर्यवेक्षित शब्दकोश सीखना|journal=Advances in Neural Information Processing Systems|date=2009}}</ref> पर्यवेक्षित शब्दकोश | पर्यवेक्षित शब्दकोश शिक्षण, शब्दकोश तत्वों को अनुकूलित करने के लिए इनपुट डेटा और लेबल की अंतर्निहित संरचना दोनों का उपयोग करता है। उदाहरण के लिए, यह<ref>{{cite journal|last1=Mairal|first1=Julien|last2=Bach|first2=Francis|last3=Ponce|first3=Jean|last4=Sapiro|first4=Guillermo|last5=Zisserman|first5=Andrew|title=पर्यवेक्षित शब्दकोश सीखना|journal=Advances in Neural Information Processing Systems|date=2009}}</ref> पर्यवेक्षित शब्दकोश लर्निंग की तकनीक इनपुट डेटा के आधार पर शब्दकोश तत्वों, डेटा बिंदुओं का प्रतिनिधित्व करने के लिए भार और वर्गीकरणकर्ता के मापदंडों को संयुक्त रूप से अनुकूलित करके वर्गीकरण समस्याओं पर शब्दकोश लर्निंग को लागू करती है। विशेष रूप से, न्यूनतमकरण समस्या तैयार की जाती है, जहां उद्देश्य फ़ंक्शन में वर्गीकरण त्रुटि, प्रतिनिधित्व त्रुटि, प्रत्येक डेटा बिंदु के लिए प्रतिनिधित्व भार पर एल 1 नियमितीकरण (डेटा के विरल प्रतिनिधित्व को सक्षम करने के लिए), और वर्गीकरणकर्ता के मापदंडों पर एक एल 2 नियमितीकरण सम्मिलित होता है। | ||
=== [[तंत्रिका नेटवर्क]]=== | === [[तंत्रिका नेटवर्क|तंत्रिका तंत्र]]=== | ||
तंत्रिका | तंत्रिका तंत्र लर्निंग के एल्गोरिदम का परिवार है जो "तंत्र" का उपयोग करता है। जिसमें अंतर-जुड़े नोड्स की कई परतों वाले यह पशु तंत्रिका तंत्र से प्रेरित है, जहां नोड्स को न्यूरॉन्स के रूप में देखा जाता है और किनारों को सिनैप्स के रूप में देखा जाता है। प्रत्येक किनारे का संबद्ध भार होता है, और नेटवर्क नेटवर्क की इनपुट परत से आउटपुट परत तक इनपुट डेटा को पास करने के लिए संगणनात्मक नियमों को परिभाषित करता है। तंत्रिका तंत्र से जुड़ा नेटवर्क फ़ंक्शन इनपुट और आउटपुट परतों के बीच संबंध को दर्शाता है, जिसे वज़न द्वारा पैरामीटर किया जाता है। उचित रूप से परिभाषित नेटवर्क फ़ंक्शंस के साथ, नेटवर्क फ़ंक्शन (वज़न) पर लागत फ़ंक्शन को कम करके विभिन्न शिक्षण कार्य किए जा सकते हैं। | ||
बहुपरत तंत्रिका | बहुपरत तंत्रिका तंत्र का उपयोग फ़ीचर लर्निंग करने के लिए किया जा सकता है, क्योंकि वे छिपी हुई परत पर अपने इनपुट का प्रतिनिधित्व सीखते हैं, जिसे बाद में आउटपुट परत पर वर्गीकरण या प्रतिगमन के लिए उपयोग किया जाता है। इस प्रकार का सबसे लोकप्रिय नेटवर्क वास्तुकला [[स्याम देश का तंत्रिका नेटवर्क|सियामी नेटवर्क]] है। | ||
==अपर्यवेक्षित== | ==अपर्यवेक्षित== | ||
अपर्यवेक्षित फ़ीचर लर्निंग, बिना लेबल वाले डेटा से फ़ीचर लर्निंग है। बिना पर्यवेक्षित फ़ीचर लर्निंग का लक्ष्य प्रायः कम-आयामी फ़ीचर की खोज करना होता है जो उच्च-आयामी इनपुट डेटा के अंतर्निहित कुछ संरचना को पकड़ते हैं। जब फ़ीचर लर्निंग को बिना पर्यवेक्षित तरीके से किया जाता है, तो यह [[अर्ध-पर्यवेक्षित शिक्षण]] के रूप को सक्षम बनाता है, जहां एक लेबल रहित डेटासेट से सीखी गई फ़ीचर को लेबल रहित डेटासेट के साथ पर्यवेक्षित सेटिंग में प्रदर्शन में सुधार करने के लिए नियोजित किया जाता है।<ref name="liang">{{cite thesis |type=M. Eng. |author=Percy Liang |year=2005 |title=प्राकृतिक भाषा के लिए अर्ध-पर्यवेक्षित शिक्षण|publisher=[[Massachusetts Institute of Technology|MIT]] |url=http://people.csail.mit.edu/pliang/papers/meng-thesis.pdf |pages=44–52}}</ref><ref name="turian"/> निम्नलिखित में कई दृष्टिकोण प्रस्तुत किए गए हैं। | |||
=== के- का अर्थ है क्लस्टरिंग === | === के- का अर्थ है क्लस्टरिंग === | ||
के-का अर्थ क्लस्टरिंग | के-का अर्थ क्लस्टरिंग सदिश परिमाणीकरण के लिए दृष्टिकोण है। विशेष रूप से, n वैक्टरों के सेट को देखते हुए, k- का अर्थ क्लस्टरिंग उन्हें k क्लस्टर्स (अर्थात, सबसेट) में इस तरह से वर्गीकृत करती है कि प्रत्येक सदिश निकटतम माध्य वाले क्लस्टर से संबंधित हो। समस्या संगणनात्मक रूप से [[ एनपी कठिन |एनपी हार्ड]] है, तथापि उप-इष्टतम [[लालची एल्गोरिदम]] विकसित किए गए हैं। | ||
के-का अर्थ क्लस्टरिंग का उपयोग बिना लेबल वाले इनपुट के सेट को k क्लस्टर में समूहित करने के लिए किया जा सकता है, और फिर | के-का अर्थ क्लस्टरिंग का उपयोग बिना लेबल वाले इनपुट के सेट को k क्लस्टर में समूहित करने के लिए किया जा सकता है, और फिर फ़ीचर का उत्पादन करने के लिए इन क्लस्टर के [[केन्द्रक]] का उपयोग किया जा सकता है। इन फ़ीचर को कई तरीकों से तैयार किया जा सकता है। सबसे सरल है प्रत्येक नमूने में k बाइनरी फीचर्स जोड़ना, जहां प्रत्येक फ़ीचर j का मान एक है यदि k- का अर्थ द्वारा सीखा गया jth सेंट्रोइड विचाराधीन नमूने के सबसे करीब है।<ref name="coates2011"/> क्लस्टर की दूरी को फ़ीचर के रूप में उपयोग करना भी संभव है, शायद उन्हें रेडियल आधार फ़ंक्शन (तकनीक जिसका उपयोग [[रेडियल आधार फ़ंक्शन नेटवर्क]] को प्रशिक्षित करने के लिए किया गया है<ref name="schwenker">{{cite journal |last1=Schwenker |first1=Friedhelm |last2=Kestler |first2=Hans A. |last3=Palm |first3=Günther |title=रेडियल-आधार-फ़ंक्शन नेटवर्क के लिए तीन सीखने के चरण|journal=Neural Networks |volume=14 |issue=4–5 |pages=439–458 |year=2001 |citeseerx = 10.1.1.109.312 |doi=10.1016/s0893-6080(01)00027-2|pmid=11411631 }}</ref>) k माध्यम से परिवर्तित करने के बाद कोट्स और [[एंड्रयू एनजी|एनजी]] ने ध्यान दिया कि के- का अर्थ के कुछ प्रकार [[विरल कोडिंग]] एल्गोरिदम के समान व्यवहार करते हैं।<ref name=Coates2012>{{cite encyclopedia |last1 = Coates |first1 = Adam |last2 = Ng |first2 = Andrew Y. |title=K-साधनों के साथ सीखने की सुविधा का प्रतिनिधित्व|encyclopedia=Neural Networks: Tricks of the Trade |year = 2012 |publisher=Springer |editor=G. Montavon, G. B. Orr and [[Klaus-Robert Müller|K.-R. Müller]]}}</ref> | ||
बिना पर्यवेक्षित | बिना पर्यवेक्षित फ़ीचर लर्निंग के तरीकों के तुलनात्मक मूल्यांकन में, कोट्स, ली और एनजी ने पाया कि उपयुक्त परिवर्तन के साथ के- का अर्थ क्लस्टरिंग छवि वर्गीकरण कार्य पर हाल ही में आविष्कार किए गए ऑटो- एन्कोडर और आरबीएम से बेहतर प्रदर्शन करता है।<ref name="coates2011" /> के- का अर्थ [[प्राकृतिक भाषा प्रसंस्करण|एनएलपी]] के क्षेत्र में प्रदर्शन में भी सुधार करता है, विशेष रूप से [[नामित-इकाई पहचान]] के लिए,<ref>{{cite conference |title=भेदभावपूर्ण सीखने के लिए वाक्यांश क्लस्टरिंग|author1=Dekang Lin |author2=Xiaoyun Wu |conference=Proc. J. Conf. of the ACL and 4th Int'l J. Conf. on Natural Language Processing of the AFNLP |pages=1030–1038 |year=2009 |url=http://wmmks.csie.ncku.edu.tw/ACL-IJCNLP-2009/ACLIJCNLP/pdf/ACLIJCNLP116.pdf}}</ref> वहां, यह [[ भूरा क्लस्टरिंग |ब्राउन क्लस्टरिंग]] के साथ-साथ वितरित शब्द प्रतिनिधित्व (जिसे तंत्रिका शब्द एम्बेडिंग के रूप में भी जाना जाता है) के साथ प्रतिस्पर्धा करता है।<ref name="turian">{{cite conference |author1=Joseph Turian |author2=Lev Ratinov |author3=Yoshua Bengio |title=Word representations: a simple and general method for semi-supervised learning |conference=Proceedings of the 48th Annual Meeting of the Association for Computational Linguistics |year=2010 |url=http://www.newdesign.aclweb.org/anthology/P/P10/P10-1040.pdf |access-date=2014-02-22 |archive-url=https://web.archive.org/web/20140226202823/http://www.newdesign.aclweb.org/anthology/P/P10/P10-1040.pdf |archive-date=2014-02-26 |url-status=dead }}</ref> | ||
=== प्रमुख घटक विश्लेषण === | === प्रमुख घटक विश्लेषण === | ||
प्रमुख घटक विश्लेषण (पीसीए) का उपयोग | प्रमुख घटक विश्लेषण (पीसीए) का उपयोग प्रायः आयाम में कमी के लिए किया जाता है। एन इनपुट डेटा वैक्टर के लेबल रहित सेट को देखते हुए, पीसीए डेटा मैट्रिक्स के पी सबसे बड़े एकवचन मानों के अनुरूप पी (जो इनपुट डेटा के आयाम से बहुत छोटा है) सही एकवचन वैक्टर उत्पन्न करता है, जहां डेटा मैट्रिक्स की kth पंक्ति है kth इनपुट डेटा सदिश को नमूना माध्य और इनपुट के नमूना माध्य द्वारा स्थानांतरित किए गए है (अर्थात, डेटा सदिश से नमूना माध्य घटाना)। समान रूप से, ये एकवचन वैक्टर इनपुट वैक्टर के नमूना सहप्रसरण मैट्रिक्स के पी सबसे बड़े आइगेनवैल्यू के अनुरूप आइजेनसदिश हैं। ये पी एकवचन सदिश इनपुट डेटा से सीखे गए फ़ीचर सदिश हैं, और वे उन दिशाओं का प्रतिनिधित्व करते हैं जिनके साथ डेटा में सबसे बड़ी विविधताएं हैं। | ||
पीसीए | पीसीए रैखिक फ़ीचर लर्निंग का दृष्टिकोण है क्योंकि पी एकवचन वैक्टर डेटा मैट्रिक्स के रैखिक कार्य हैं। एकल वैक्टर को पुनरावृत्तियों के साथ एक सरल एल्गोरिदम के माध्यम से उत्पन्न किया जा सकता है। Ith पुनरावृत्ति में, (''i-1'')वें [[eigenvector|आइजन्सदिश]] पर डेटा मैट्रिक्स का प्रक्षेपण घटाया जाता है, और ith एकवचन सदिश को अवशिष्ट डेटा मैट्रिक्स के सबसे बड़े एकवचन के अनुरूप सही एकवचन सदिश के रूप में पाया जाता है। | ||
पीसीए की कई सीमाएँ हैं। सबसे पहले, यह माना जाता है कि बड़े अंतर वाली दिशाएँ सबसे अधिक रुचिकर होती हैं, जो कि स्थिति नहीं हो सकता है। पीसीए केवल मूल डेटा के ऑर्थोगोनल परिवर्तनों पर निर्भर करता है, और यह डेटा के केवल पहले और दूसरे क्रम के क्षणों का शोषण करता है, जो डेटा वितरण को अच्छी तरह से चित्रित नहीं कर सकता है। इसके अलावा, पीसीए प्रभावी रूप से केवल तभी आयाम को कम कर सकता है जब इनपुट डेटा वैक्टर सहसंबद्ध होते हैं (जिसके परिणामस्वरूप कुछ प्रमुख आइगेनवैल्यू होते हैं)। | पीसीए की कई सीमाएँ हैं। सबसे पहले, यह माना जाता है कि बड़े अंतर वाली दिशाएँ सबसे अधिक रुचिकर होती हैं, जो कि स्थिति नहीं हो सकता है। पीसीए केवल मूल डेटा के ऑर्थोगोनल परिवर्तनों पर निर्भर करता है, और यह डेटा के केवल पहले और दूसरे क्रम के क्षणों का शोषण करता है, जो डेटा वितरण को अच्छी तरह से चित्रित नहीं कर सकता है। इसके अलावा, पीसीए प्रभावी रूप से केवल तभी आयाम को कम कर सकता है जब इनपुट डेटा वैक्टर सहसंबद्ध होते हैं (जिसके परिणामस्वरूप कुछ प्रमुख आइगेनवैल्यू होते हैं)। | ||
=== स्थानीय रैखिक एम्बेडिंग === | === स्थानीय रैखिक एम्बेडिंग === | ||
[[अरेखीय आयामीता में कमी]] (एलएलई) उच्च-आयाम इनपुट ( | [[अरेखीय आयामीता में कमी|स्थानीय रैखिक एम्बेडिंग]] (एलएलई) उच्च-आयाम इनपुट (बिना लेबल लगा) से निम्न-आयामी पड़ोसी-संरक्षण प्रतिनिधित्व उत्पन्न करने के लिए गैर-रेखीय लर्निंग का दृष्टिकोण है। यह दृष्टिकोण रोविस और शाऊल (2000) द्वारा प्रस्तावित किया गया था।<ref name="RowSau00">{{cite journal|last1=Roweis|first1=Sam T|last2=Saul|first2=Lawrence K|title=स्थानीय रूप से रैखिक एंबेडिंग द्वारा गैर-रेखीय आयाम में कमी|journal=Science |series=New Series|date=2000|volume=290|issue=5500|pages=2323–2326|doi=10.1126/science.290.5500.2323|jstor=3081722|pmid=11125150|bibcode=2000Sci...290.2323R|s2cid=5987139 }}</ref><ref name="SauRow00">{{cite journal|last1=Saul|first1=Lawrence K|last2=Roweis|first2=Sam T|title=स्थानीय रूप से रैखिक एंबेडिंग का एक परिचय|date=2000|url=http://www.cs.toronto.edu/~roweis/lle/publications.html}}</ref> एलएलई का सामान्य विचार मूल डेटा सेट में पड़ोस के कुछ ज्यामितीय गुणों को बनाए रखते हुए निचले-आयामी बिंदुओं का उपयोग करके मूल उच्च-आयामी डेटा का पुनर्निर्माण करना है। | ||
एलएलई में दो प्रमुख चरण होते हैं। पहला चरण पड़ोसी-संरक्षण के लिए है, जहां प्रत्येक इनपुट डेटा बिंदु Xi को K-निकटतम पड़ोसी | एलएलई में दो प्रमुख चरण होते हैं। पहला चरण "पड़ोसी-संरक्षण" के लिए है, जहां प्रत्येक इनपुट डेटा बिंदु Xi को K-निकटतम पड़ोसी डेटा बिंदुओं के भारित योग के रूप में पुनर्निर्मित किया जाता है, और औसत वर्ग पुनर्निर्माण त्रुटि (अर्थात, इनपुट बिंदु और उसके पुनर्निर्माण के बीच अंतर) को कम करके इष्टतम भार पाया जाता है। इस बाधा के तहत कि प्रत्येक बिंदु से जुड़े भार का योग एक तक होता है। दूसरा चरण "आयाम में कमी" के लिए है, निचले-आयामी स्थान में वैक्टर की तलाश करके जो पहले चरण में अनुकूलित भार का उपयोग करके प्रतिनिधित्व त्रुटि को कम करता है। ध्यान दें कि पहले चरण में, वज़न को निश्चित डेटा के साथ अनुकूलित किया जाता है, जिसे न्यूनतम वर्ग समस्या के रूप में हल किया जा सकता है। दूसरे चरण में, निचले-आयामी बिंदुओं को निश्चित भार के साथ अनुकूलित किया जाता है, जिसे विरल आइगेनवैल्यू अपघटन के माध्यम से हल किया जा सकता है। | ||
पहले चरण में प्राप्त पुनर्निर्माण भार इनपुट डेटा में पड़ोस के आंतरिक ज्यामितीय गुणों को कैप्चर करते हैं।<ref name="SauRow00"/>यह माना जाता है कि मूल डेटा | पहले चरण में प्राप्त पुनर्निर्माण भार इनपुट डेटा में पड़ोस के "आंतरिक ज्यामितीय गुणों" को कैप्चर करते हैं।<ref name="SauRow00"/> यह माना जाता है कि मूल डेटा चिकनी निम्न-आयामी [[ कई गुना |कई गुना]] पर होता है, और मूल डेटा के भार द्वारा कैप्चर किए गए "आंतरिक ज्यामितीय गुणों" के भी कई गुना पर होने की उम्मीद है। यही कारण है कि एलएलई के दूसरे चरण में समान भार का उपयोग किया जाता है। पीसीए की तुलना में, एलएलई अंतर्निहित डेटा संरचना का दोहन करने में अधिक शक्तिशाली है। | ||
=== स्वतंत्र घटक विश्लेषण === | === स्वतंत्र घटक विश्लेषण === | ||
स्वतंत्र घटक विश्लेषण (आईसीए) स्वतंत्र गैर-गॉसियन घटकों के भारित योग का उपयोग करके डेटा प्रतिनिधित्व बनाने की | स्वतंत्र घटक विश्लेषण (आईसीए) स्वतंत्र गैर-गॉसियन घटकों के '''भारित''' योग का उपयोग करके डेटा प्रतिनिधित्व बनाने की तकनीक है।<ref>{{cite journal|last1=Hyvärinen|first1=Aapo|last2=Oja|first2=Erkki|title=Independent Component Analysis: Algorithms and Applications|journal=Neural Networks|date=2000|volume=13|issue=4|pages=411–430|doi= 10.1016/s0893-6080(00)00026-5|pmid=10946390|s2cid=11959218 }}</ref> गैर-गाऊसी की धारणा इसलिए लगाई गई है क्योंकि जब सभी घटक [[सामान्य वितरण|गाऊसी वितरण]] वितरण का पालन करते हैं तो भार विशिष्ट रूप से निर्धारित नहीं किया जा सकता है। | ||
=== | === अपर्यवेक्षित शब्दकोश लर्निंग=== | ||