परसेप्ट्रॉन: Difference between revisions

[[File:Mark I perceptron.jpeg|thumb|left|मार्क परसेप्ट्रॉन यंत्र, परसेप्ट्रॉन कलन विधि का पहला कार्यान्वयन। 400-पिक्सेल छवि बनाने के लिए इसे 20×20 [[कैडमियम सल्फाइड]] [[ फोटो सेल ]] वाले कैमरे से जोड़ा गया था। मुख्य दृश्यमान विशेषता एक पैच पैनल है जो इनपुट सुविधाओं के विभिन्न संयोजन समूह करता है। दाईं ओर, [[ तनाव नापने का यंत्र ]] की सरणियाँ जो अनुकूली भार लागू करती हैं।{{r|bishop}}{{rp|213}}|alt=]]

परसेप्ट्रॉन का आविष्कार 1943 में [[वॉरेन मैकुलोच]] और [[वाल्टर पिट्स]] द्वारा किया गया था।<ref>{{cite journal |last1=McCulloch |first1=W |last2=Pitts |first2=W |title=तंत्रिका गतिविधि में निहित विचारों की एक तार्किक गणना|journal=Bulletin of Mathematical Biophysics |date=1943 |volume=5 |issue=4 |pages=115–133 |doi=10.1007/BF02478259 |url=https://www.bibsonomy.org/bibtex/13e8e0d06f376f3eb95af89d5a2f15957/schaul}}</ref> पहला कार्यान्वयन 1958 में कॉर्नेल एयरोनॉटिकल प्रयोगशाला में [[फ्रैंक रोसेनब्लैट]] द्वारा निर्मित एक यंत्र थी,<ref>{{cite journal |last=Rosenblatt |first=Frank |year=1957 |title=The Perceptron—a perceiving and recognizing automaton |journal=Report 85-460-1 |publisher=Cornell Aeronautical Laboratory }}</ref> संयुक्त राज्य [[नौसेना अनुसंधान कार्यालय]] द्वारा वित्त पोषित।<ref name="Olazaran">{{cite journal |first=Mikel |last=Olazaran |title=परसेप्ट्रॉन विवाद के आधिकारिक इतिहास का एक समाजशास्त्रीय अध्ययन|journal=Social Studies of Science |volume=26 |issue=3 |year=1996 |jstor=285702|doi=10.1177/030631296026003005 |pages=611–659|s2cid=16786738 }}</ref>

[[File:330-PSA-80-60 (USN 710739) (20897323365).jpg|thumb|मार्क 1 परसेप्ट्रॉन का कैमरा प्रणाली।]]परसेप्ट्रॉन का उद्देश्य एक प्रोग्राम के बजाय एक यंत्र होना था, और जबकि इसका पहला कार्यान्वयन [[आईबीएम 704]] के लिए सॉफ्टवेयर में था, बाद में इसे मार्क 1 परसेप्ट्रॉन के रूप में कस्टम-निर्मित हार्डवेयर में लागू किया गया था। इस यंत्र को [[छवि पहचान]] के लिए डिज़ाइन किया गया था: इसमें 400 फोटोकल्स की एक श्रृंखला थी, जो बेतरतीब ढंग से न्यूरॉन्स से जुड़ी हुई थी। वज़न को पोटेंशियोमीटर में एन्कोड किया गया था, और सीखने के दौरान वज़न अपडेट इलेक्ट्रिक मोटर द्वारा किया गया था।<ref name="bishop">{{cite book |first=Christopher M. |last=Bishop |year=2006 |title=पैटर्न मान्यता और मशीन प्रवीणता|publisher=Springer |isbn=0-387-31073-8 }}</ref>{{rp|193}}

1958 में अमेरिकी नौसेना द्वारा आयोजित एक प्रेस कॉन्फ्रेंस में, रोसेनब्लैट ने परसेप्ट्रॉन के बारे में बयान दिया जिससे नवोदित कृत्रिम बुद्धिमत्ता समुदाय के बीच एक गर्म विवाद पैदा हो गया; रोसेनब्लैट के बयानों के आधार पर, न्यूयॉर्क टाइम्स ने परसेप्ट्रॉन को एक इलेक्ट्रॉनिक कंप्यूटर का भ्रूण बताया, जिससे [नौसेना] को उम्मीद है कि वह चलने, बात करने, देखने, लिखने, खुद को पुन: उत्पन्न करने और अपने अस्तित्व के प्रति सचेत रहने में सक्षम होगा।<ref name="Olazaran"/>

हालाँकि परसेप्ट्रोन शुरू में आशाजनक लग रहा था, यह जल्दी ही साबित हो गया कि परसेप्ट्रोन को पैटर्न के कई वर्गों को पहचानने के लिए प्रशिक्षित नहीं किया जा सकता है। इसके कारण तंत्रिका नेटवर्क अनुसंधान का क्षेत्र कई वर्षों तक स्थिर रहा, इससे पहले यह माना जाता था कि दो या दो से अधिक परतों वाले एक [[फीडफॉरवर्ड न्यूरल नेटवर्क]] (जिसे [[मल्टीलेयर परसेप्ट्रॉन]] भी कहा जाता है) में एक परत वाले परसेप्ट्रोन की तुलना में अधिक प्रसंस्करण शक्ति होती है (जिसे फीडफॉरवर्ड न्यूरल भी कहा जाता है) नेटवर्क#सिंगल-लेयर परसेप्ट्रॉन|सिंगल-लेयर परसेप्ट्रॉन)।

सिंगल-लेयर परसेप्ट्रॉन केवल रैखिक रूप से अलग किए जाने योग्य पैटर्न सीखने में सक्षम हैं।<ref name="Sejnowski">{{Cite book |last=Sejnowski |first=Terrence J.|author-link=Terry Sejnowski|url=https://books.google.com/books?id=9xZxDwAAQBAJ |title=गहन शिक्षण क्रांति|date=2018|publisher=MIT Press |isbn=978-0-262-03803-4 |language=en|page=47}}</ref> कुछ चरण सक्रियण फ़ंक्शन के साथ वर्गीकरण कार्य के लिए, एक एकल नोड में पैटर्न बनाने वाले डेटा बिंदुओं को विभाजित करने वाली एक एकल रेखा होगी। अधिक नोड्स अधिक विभाजन रेखाएँ बना सकते हैं, लेकिन अधिक जटिल वर्गीकरण बनाने के लिए उन रेखाओं को किसी तरह संयोजित किया जाना चाहिए। परसेप्ट्रॉन की दूसरी परत, या यहां तक ​​कि रैखिक नोड्स, कई अन्यथा गैर-वियोज्य समस्याओं को हल करने के लिए पर्याप्त हैं।

1969 में, [[मार्विन मिंस्की]] और [[सेमुर पैपर्ट]] की पर्सेप्ट्रॉन (पुस्तक) नामक एक प्रसिद्ध पुस्तक से पता चला कि नेटवर्क के इन वर्गों के लिए [[XOR]] फ़ंक्शन सीखना असंभव था। यह अक्सर माना जाता है (गलत तरीके से) कि उन्होंने यह भी अनुमान लगाया था कि एक समान परिणाम मल्टी-लेयर परसेप्ट्रॉन नेटवर्क के लिए होगा। हालाँकि, यह सच नहीं है, क्योंकि मिन्स्की और पैपर्ट दोनों पहले से ही जानते थे कि मल्टी-लेयर परसेप्ट्रॉन XOR फ़ंक्शन का उत्पादन करने में सक्षम थे। (अधिक जानकारी के लिए [[परसेप्ट्रॉन (पुस्तक)]] पर पेज देखें।) फिर भी, अक्सर गलत तरीके से प्रचारित किए जाने वाले मिन्स्की/पेपर पाठ ने [[तंत्रिका नेटवर्क]] अनुसंधान की रुचि और वित्त पोषण में महत्वपूर्ण गिरावट का कारण बना। 1980 के दशक में तंत्रिका नेटवर्क अनुसंधान के पुनरुत्थान का अनुभव होने में दस साल और लग गए।<ref name="Sejnowski"/> इस पाठ को 1987 में परसेप्ट्रॉन - विस्तारित संस्करण के रूप में पुनर्मुद्रित किया गया था जहां मूल पाठ में कुछ त्रुटियां दिखाई गई हैं और उन्हें ठीक किया गया है।

2022 के एक लेख में कहा गया है कि मार्क 1 परसेप्ट्रॉन इस कलन विधि को फोटो-दुभाषियों के लिए एक उपयोगी उपकरण के रूप में विकसित करने के लिए 1963 से 1966 तक पहले गुप्त चार-वर्षीय एनपीआईसी [यूएस '[[ राष्ट्रीय फोटोग्राफिक व्याख्या केंद्र ]]] प्रयास का हिस्सा था।<ref>{{Cite journal |last=O’Connor |first=Jack |date=2022-06-21 |title=Undercover Algorithm: A Secret Chapter in the Early History of Artificial Intelligence and Satellite Imagery |url=https://www.tandfonline.com/doi/full/10.1080/08850607.2022.2073542 |journal=International Journal of Intelligence and CounterIntelligence |language=en |pages=1–15 |doi=10.1080/08850607.2022.2073542 |s2cid=249946000 |issn=0885-0607}}</ref>

[[कर्नेल परसेप्ट्रॉन]] कलन विधि पहले से ही 1964 में एज़रमैन एट अल द्वारा पेश किया गया था।<ref>{{cite journal |last1=Aizerman |first1=M. A. |last2=Braverman |first2=E. M. |last3=Rozonoer |first3=L. I. |year=1964 |title=पैटर्न पहचान सीखने में संभावित फ़ंक्शन विधि की सैद्धांतिक नींव|journal=Automation and Remote Control |volume=25 |pages=821–837 }}</ref> सामान्य गैर-वियोज्य मामले में परसेप्ट्रॉन कलन विधि के लिए मार्जिन सीमा की गारंटी सबसे पहले [[योव दोस्त]] और [[रॉबर्ट शापिरे]] (1998) द्वारा दी गई थी।<ref name="largemargin">{{Cite journal |doi=10.1023/A:1007662407062 |year=1999 |title=परसेप्ट्रॉन एल्गोरिथम का उपयोग करके बड़े मार्जिन का वर्गीकरण|last1=Freund |first1=Y. |author-link1=Yoav Freund |journal=[[Machine Learning (journal)|Machine Learning]] |volume=37 |issue=3 |pages=277–296 |last2=Schapire |first2=R. E. |s2cid=5885617 |author-link2=Robert Schapire |url=http://cseweb.ucsd.edu/~yfreund/papers/LargeMarginsUsingPerceptron.pdf|doi-access=free }}</ref> और हाल ही में [[ मेहरयर मोहरी ]] और रोस्तामिज़ादेह (2013) द्वारा जो पिछले परिणामों को बढ़ाते हैं और नई एल1 सीमाएं देते हैं।<ref>{{cite arXiv |last1=Mohri |first1=Mehryar |last2=Rostamizadeh |first2=Afshin |title=परसेप्ट्रॉन गलती सीमा|eprint=1305.0208 |year=2013 |class=cs.LG }}</ref>

परसेप्ट्रॉन एक जैविक [[न्यूरॉन]] का एक सरलीकृत मॉडल है। जबकि तंत्रिका संबंधी व्यवहार को पूरी तरह से समझने के लिए अक्सर [[जैविक न्यूरॉन मॉडल]] की जटिलता की आवश्यकता होती है, शोध से पता चलता है कि एक परसेप्ट्रॉन जैसा रैखिक मॉडल वास्तविक न्यूरॉन्स में देखे गए कुछ व्यवहार उत्पन्न कर सकता है।<ref>{{cite journal |last1=Cash |first1=Sydney |first2=Rafael |last2=Yuste |title=CA1 पिरामिड न्यूरॉन्स द्वारा उत्तेजक इनपुट का रैखिक योग|journal=[[Neuron (journal)|Neuron]] |volume=22 |issue=2 |year=1999 |pages=383–394 |doi=10.1016/S0896-6273(00)81098-3 |pmid=10069343 |doi-access=free }}</ref>

आधुनिक अर्थों में, परसेप्ट्रॉन एक द्विआधारी वर्गीकारक सीखने के लिए एक कलन विधि है जिसे रैखिक वर्गीकरण#डेफिनिशन कहा जाता है: एक फ़ंक्शन जो इसके इनपुट को मैप करता है <math>\mathbf{x}</math> (एक वास्तविक-मूल्यवान [[सदिश स्थल]]) एक आउटपुट मान के लिए <math>f(\mathbf{x})</math> (एकल [[बाइनरी फ़ंक्शन|द्विआधारी फ़ंक्शन]] मान):

का मान है <math>f(\mathbf{x})</math> (0 या 1) का प्रयोग वर्गीकृत करने के लिए किया जाता है <math>\mathbf{x}</math> द्विआधारी वर्गीकरण समस्या के मामले में, सकारात्मक या नकारात्मक उदाहरण के रूप में। अगर {{mvar|b}} नकारात्मक है, तो इनपुट के भारित संयोजन से अधिक सकारात्मक मान उत्पन्न होना चाहिए <math>|b|</math> वर्गीकारक न्यूरॉन को 0 सीमा से ऊपर धकेलने के लिए। स्थानिक रूप से, पूर्वाग्रह [[निर्णय सीमा]] की स्थिति (हालांकि अभिविन्यास नहीं) को बदल देता है। यदि लर्निंग समूह रैखिक रूप से अलग करने योग्य नहीं है तो परसेप्ट्रॉन लर्निंग कलन विधि समाप्त नहीं होता है। यदि वेक्टर रैखिक रूप से अलग-अलग नहीं हैं तो सीखना कभी भी उस बिंदु तक नहीं पहुंचेगा जहां सभी वैक्टर को ठीक से वर्गीकृत किया जाएगा। रैखिक रूप से अविभाज्य वैक्टर के साथ समस्याओं को हल करने में परसेप्ट्रॉन की असमर्थता का सबसे प्रसिद्ध उदाहरण बूलियन [[एकमात्र]] समस्या है। संदर्भ में सभी द्विआधारी कार्यों और सीखने के व्यवहारों के लिए निर्णय सीमाओं के समाधान स्थानों का अध्ययन किया जाता है।<ref>{{cite book |last1=Liou |first1=D.-R. |last2=Liou |first2=J.-W. |last3=Liou |first3=C.-Y. |title=परसेप्ट्रॉन का व्यवहार सीखना|isbn=978-1-477554-73-9 |publisher=iConcept Press |year=2013}}</ref>

तंत्रिका नेटवर्क के संदर्भ में, एक परसेप्ट्रॉन एक [[कृत्रिम न्यूरॉन]] है जो सक्रियण फ़ंक्शन के रूप में [[हेविसाइड स्टेप फ़ंक्शन]] का उपयोग करता है। परसेप्ट्रॉन एल्गोरिथ्म को मल्टीलेयर परसेप्ट्रॉन से अलग करने के लिए सिंगल-लेयर परसेप्ट्रॉन भी कहा जाता है, जो कि अधिक जटिल तंत्रिका नेटवर्क के लिए एक मिथ्या नाम है। एक रैखिक वर्गीकारक के रूप में, सिंगल-लेयर परसेप्ट्रॉन सबसे सरल फीडफॉरवर्ड न्यूरल नेटवर्क है।

==लर्निंग कलन विधि==

नीचे सिंगल-लेयर परसेप्ट्रॉन के लिए सीखने के कलन विधि का एक उदाहरण दिया गया है। मल्टीलेयर परसेप्ट्रॉन के लिए, जहां एक छिपी हुई परत मौजूद होती है, [[पश्चप्रचार]] जैसे अधिक परिष्कृत कलन विधि का उपयोग किया जाना चाहिए। यदि सक्रियण फ़ंक्शन या परसेप्ट्रॉन द्वारा मॉडलिंग की जा रही अंतर्निहित प्रक्रिया नॉनलाइनियर_प्रणाली है, तो वैकल्पिक शिक्षण कलन विधि जैसे [[डेल्टा नियम]] का उपयोग तब तक किया जा सकता है जब तक सक्रियण फ़ंक्शन डिफरेंशियल_फ़ंक्शन है। फिर भी, नीचे दिए गए चरणों में वर्णित शिक्षण कलन विधि अक्सर काम करेगा, यहां तक ​​कि गैर-रेखीय सक्रियण कार्यों वाले बहुपरत परसेप्ट्रोन के लिए भी।

जब कई परसेप्ट्रॉन एक कृत्रिम तंत्रिका नेटवर्क में संयुक्त होते हैं, तो प्रत्येक आउटपुट न्यूरॉन अन्य सभी से स्वतंत्र रूप से संचालित होता है; इस प्रकार, प्रत्येक आउटपुट को सीखने पर अलगाव में विचार किया जा सकता है।

हम पहले कुछ चर परिभाषित करते हैं:

*आर परसेप्ट्रॉन की सीखने की दर है। सीखने की दर 0 और 1 के बीच है। बड़े मान वजन परिवर्तन को अधिक अस्थिर बनाते हैं।

*<math>D = \{(\mathbf{x}_1,d_1),\dots,(\mathbf{x}_s,d_s)\} </math> का प्रशिक्षण समूह है <math>s</math> नमूने, जहाँ:

** <math>\mathbf{x}_j</math> है <math>n</math>-आयामी इनपुट वेक्टर.

हम सुविधाओं के मान इस प्रकार दिखाते हैं:

*<math>x_{j,i} </math> का मान है <math>i</math>की विशेषता <math>j</math>वें प्रशिक्षण इनपुट वेक्टर.

*<math>w_i </math> है <math>i</math>वज़न वेक्टर में वें मान को, के मान से गुणा किया जाना है <math>i</math>वें इनपुट सुविधा.

*क्योंकि <math>x_{j,0} = 1 </math>, द <math>w_0 </math> प्रभावी रूप से एक पूर्वाग्रह है जिसका उपयोग हम पूर्वाग्रह स्थिरांक के बजाय करते हैं <math>b</math>.

की समय-निर्भरता दर्शाने के लिए <math>\mathbf{w}</math>, हम उपयोग करते हैं:

*<math>w_i(t) </math> वजन है <math>i</math> समय पर <math>t</math>.

एल्गोरिथ्म चरण 2 बी में प्रत्येक प्रशिक्षण नमूने के बाद वजन को अपडेट करता है।

[[Image:Perceptron.svg|right|thumb|500px|उचित भार इनपुट पर लागू होते हैं, और परिणामी भारित योग एक फ़ंक्शन को पास कर दिया जाता है जो आउटपुट ओ उत्पन्न करता है।]]

परसेप्ट्रॉन एक रैखिक वर्गीकारक है, इसलिए यदि प्रशिक्षण समूह सही ढंग से वर्गीकृत किया गया है तो यह कभी भी सभी इनपुट वैक्टर के साथ राज्य में नहीं पहुंचेगा {{mvar|D}} रैखिक रूप से अलग करने योग्य नहीं है, अर्थात यदि सकारात्मक उदाहरणों को हाइपरप्लेन द्वारा नकारात्मक उदाहरणों से अलग नहीं किया जा सकता है। इस मामले में, मानक शिक्षण कलन विधि के तहत धीरे-धीरे कोई अनुमानित समाधान नहीं निकाला जाएगा, बल्कि इसके बजाय, सीखना पूरी तरह से विफल हो जाएगा। इसलिए, यदि प्रशिक्षण समूह की रैखिक पृथक्करण प्राथमिकता से ज्ञात नहीं है, तो नीचे दिए गए प्रशिक्षण प्रकारों में से एक का उपयोग किया जाना चाहिए।

यदि प्रशिक्षण समूह रैखिक रूप से अलग करने योग्य है, तो परसेप्ट्रॉन के अभिसरण की गारंटी है।<ref>{{Cite journal|last=Novikoff|first=Albert J.|date=1963|title=परसेप्ट्रॉन के लिए अभिसरण प्रमाण पर|journal=Office of Naval Research}}</ref> इसके अलावा, प्रशिक्षण के दौरान परसेप्ट्रॉन अपने वजन को कितनी बार समायोजित करेगा इसकी एक ऊपरी सीमा है।

मान लीजिए कि दो वर्गों के इनपुट वैक्टर को एक मार्जिन के साथ हाइपरप्लेन द्वारा अलग किया जा सकता है <math>\gamma </math>, अर्थात एक वजन वेक्टर मौजूद है <math>\mathbf{w}, ||\mathbf{w}||=1</math>, और एक पूर्वाग्रह शब्द {{mvar|b}} ऐसा है कि <math>\mathbf{w}\cdot\mathbf{x}_j > \gamma </math> सभी के लिए <math>j</math> साथ <math>d_j=1</math> और <math>\mathbf{w}\cdot\mathbf{x}_j < -\gamma </math> सभी के लिए <math>j</math> साथ <math>d_j=0</math>, जहाँ <math>d_j</math> इनपुट के लिए परसेप्ट्रॉन का वांछित आउटपुट मान है <math>j</math>. चलो भी {{mvar|R}} किसी इनपुट वेक्टर के अधिकतम मानदंड को निरूपित करें। नोविकॉफ (1962) ने साबित किया कि इस मामले में परसेप्ट्रॉन कलन विधि बनाने के बाद अभिसरण करता है <math>O(R^2/\gamma^2)</math> अद्यतन. प्रमाण का विचार यह है कि वजन वेक्टर को हमेशा एक सीमाबद्ध राशि द्वारा उस दिशा में समायोजित किया जाता है जिसके साथ इसका नकारात्मक डॉट उत्पाद होता है, और इस प्रकार इसे ऊपर से सीमित किया जा सकता है {{math|''O''({{sqrt|''t''}})}}, जहाँ {{mvar|t}} भार वेक्टर में परिवर्तनों की संख्या है। हालाँकि, इसे नीचे भी सीमित किया जा सकता है {{math|''O''(''t'')}} क्योंकि यदि कोई (अज्ञात) संतोषजनक भार वेक्टर मौजूद है, तो प्रत्येक परिवर्तन इस (अज्ञात) दिशा में सकारात्मक मात्रा में प्रगति करता है जो केवल इनपुट वेक्टर पर निर्भर करता है।