कृत्रिम न्यूरॉन

कृत्रिम न्यूरॉन क्रिया है जिसे जैविक न्यूरॉन्स, तंत्रिका नेटवर्क के गणितीय मॉडल के रूप में माना जाता है। कृत्रिम तंत्रिका नेटवर्क में कृत्रिम न्यूरॉन्स प्राथमिक इकाइयां हैं। कृत्रिम न्यूरॉन एक या एक से अधिक इनपुट प्राप्त करता है (उत्तेजक पोस्टसिनेप्टिक क्षमता और न्यूरल डेन्ड्राइट में निरोधात्मक पोस्टसिनेप्टिक क्षमता का प्रतिनिधित्व करता है) और उन्हें आउटपुट (या सक्रियण, न्यूरॉन की क्रिया क्षमता का प्रतिनिधित्व करता है जो इसके अक्षतंतु के साथ संचरित होता है)। सामान्यतः प्रत्येक इनपुट अलग-अलग भार होता है, और योग गैर-रैखिक फलन के माध्यम से पारित किया जाता है जिसे सक्रियण फलन या स्थानांतरण प्रकार्य के रूप में जाना जाता है. स्थानांतरण कार्यों में सामान्यतः सिग्मॉइड फलन होता है, लेकिन वे अन्य गैर-रैखिक कार्यों, टुकड़े-टुकड़े रैखिक कार्यों या स्टेप फलन का रूप भी ले सकते हैं। वे अधिकांशतः मोनोटोनिक फलन, निरंतर कार्य, विभेदक कार्य और परिबद्ध फलन भी होते हैं। कई शून्यों के साथ गैर-मोनोटोनिक, अनबाउंड और ऑसिलेटिंग एक्टिवेशन फलन जो कई कार्यों पर सिग्मोइडल और ReLU जैसे एक्टिवेशन फलन से अच्छा प्रदर्शन करते हैं, उन्हें भी हाल ही में खोजा गया है। थ्रेशोल्डिंग फलन ने बिल्डिंग तर्क द्वार ्को थ्रेशोल्ड तर्क के रूप में संदर्भित करने के लिए प्रेरित किया है; मस्तिष्क प्रसंस्करण जैसी दिखने वाली तर्क सर्किट बनाने के लिए प्रयुक्त उदाहरण के लिए, हाल के दिनों में इस तरह के तर्क को विकसित करने के लिए मेमोरी स्टोर जैसे नए उपकरणों का बड़े पैमाने पर उपयोग किया गया है।

कृत्रिम न्यूरॉन स्थानांतरण फलन को रैखिक प्रणाली स्थानांतरण फलन के साथ भ्रमित नहीं होना चाहिए।

कृत्रिम न्यूरॉन्स न्यूरोमॉर्फिक इंजीनियरिंग में कृत्रिम कोशिकाओं को भी संदर्भित कर सकते हैं जो प्राकृतिक भौतिक न्यूरॉन्स के समान हैं।

मूल संरचना
किसी दिए गए कृत्रिम न्यूरॉन k के लिए, सिग्नल x0 के साथ xm और wk0 के माध्यम से wkm के संकेतों के साथ m + 1 इनपुट होने दें सामान्यतः, x0 इनपुट को मान +1 असाइन किया गया है, जो इसे wk0 = bk के साथ बायस इनपुट बनाता है यह न्यूरॉन के लिए केवल m वास्तविक इनपुट छोड़ता है: x1 से xm तक

Kth न्यूरॉन का आउटपुट है:


 * $$y_k = \varphi \left( \sum_{j=0}^m w_{kj} x_j \right)$$

जहाँ $$\varphi$$ (phi) स्थानांतरण फलन (सामान्यतः थ्रेशोल्ड फलन) है।

आउटपुट जैविक न्यूरॉन के अक्षतंतु के अनुरूप होता है, और इसका मान अन्तर्ग्रथन के माध्यम से अगली परत के इनपुट तक फैलता है। यह संभवतः आउटपुट वेक्टर (गणित और भौतिकी) के हिस्से के रूप में प्रणाली से बाहर निकल सकता है।

इसकी कोई सीखने की प्रक्रिया नहीं है। इसके स्थानांतरण फलन वेट की गणना की जाती है और थ्रेशोल्ड वैल्यू पूर्व निर्धारित होती है।

प्रकार
उपयोग किए गए विशिष्ट मॉडल के आधार पर उन्हें सेमी-रेखीय यूनिट, एनवी न्यूरॉन, बाइनरी न्यूरॉन, रेखीय थ्रेशोल्ड फलन या मैककुलोच-पिट्स (एमसीपी) न्यूरॉन कहा जा सकता है।

सरल कृत्रिम न्यूरॉन्स, जैसे मैककुलोच-पिट्स मॉडल, को कभी-कभी कैरिकेचर मॉडल के रूप में वर्णित किया जाता है, क्योंकि उनका उद्देश्य एक या अधिक न्यूरोफिज़ियोतर्कल अवलोकनों को प्रतिबिंबित करना है, लेकिन यथार्थवाद के संबंध में होता है।

जैविक मॉडल
कृत्रिम न्यूरॉन्स को उनके जैविक समकक्षों के पहलुओं की नकल करने के लिए डिज़ाइन किया गया है। चूँकि जैविक और कृत्रिम तंत्रिका नेटवर्क के बीच महत्वपूर्ण प्रदर्शन अंतर उपस्थित है। मानव मस्तिष्क में विशेष रूप से एकल जैविक न्यूरॉन्स में एक्सओआर फलन सीखने में सक्षम ऑसिलेटिंग एक्टिवेशन फलन के साथ खोजा गया है। डेन्ड्राइट -जैविक न्यूरॉन में, डेन्ड्राइट इनपुट वेक्टर के रूप में कार्य करते हैं। ये डेन्ड्राइट कोशिका को पड़ोसी न्यूरॉन्स की बड़ी (>1000) संख्या से संकेत प्राप्त करने की अनुमति देते हैं। उपरोक्त गणितीय उपचार के अनुसार, प्रत्येक डेन्ड्राइट उस डेन्ड्राइट के वजन मान से गुणा करने में सक्षम होता है। सिनैप्टिक न्यूरोट्रांसमीटर के जवाब में डेन्ड्राइट में प्रस्तुत किए गए सिग्नल रसायनों के लिए सिनैप्टिक न्यूरोट्रांसमीटर के अनुपात को बढ़ाकर या घटाकर गुणन पूरा किया जाता है। सिनैप्टिक न्यूरोट्रांसमीटर के स्वागत के जवाब में डेंड्राइट के साथ सिग्नल इनहिबिटर (यानी विपरीत आवेश आयन) को प्रेषित करके नकारात्मक गुणन प्रभाव प्राप्त किया जा सकता है।
 * सोमा (जीव विज्ञान) - जैविक न्यूरॉन में, सोम उपरोक्त गणितीय विवरण में देखे गए योग फलन के रूप में कार्य करता है। चूंकि सकारात्मक और नकारात्मक संकेत (रोमांचक और अवरोधक, क्रमशः) डेन्ड्राइट्स से सोमा में आते हैं, सकारात्मक और नकारात्मक आयन प्रभावी रूप से योग में जोड़े जाते हैं, सेल के शरीर के अंदर समाधान में साथ मिश्रित होने के सरल गुण से।
 * एक्सोन - अक्षतंतु अपना संकेत सोमा के अंदर होने वाले योग व्यवहार से प्राप्त करता है। अक्षतंतु का खुलना अनिवार्य रूप से सोमा के अंदर समाधान की विद्युत क्षमता का नमूना लेता है। एक बार सोमा निश्चित क्षमता तक पहुंच जाता है, अक्षतंतु अपनी लंबाई के नीचे ऑल-इन सिग्नल पल्स संचारित करेगा। इस संबंध में, अक्षतंतु हमारे कृत्रिम न्यूरॉन को अन्य कृत्रिम न्यूरॉन्स से जोड़ने की क्षमता के रूप में व्यवहार करता है।

चूँकि, अधिकांश कृत्रिम न्यूरॉन्स के विपरीत, जैविक न्यूरॉन्स असतत दालों में आग लगाते हैं। हर बार सोमा के अंदर विद्युत क्षमता निश्चित सीमा तक पहुँचती है, नाड़ी अक्षतंतु के नीचे प्रेषित होती है। इस स्पंदन को निरंतर मूल्यों में अनुवादित किया जा सकता है। दर (प्रति सेकंड सक्रियता, आदि) जिस पर अक्षतंतु आग सीधे उस दर में परिवर्तित हो जाती है जिस पर पड़ोसी कोशिकाओं को सिग्नल आयन मिलते हैं। जितनी तेजी से जैविक न्यूरॉन प्रज्वलित होता है, उतनी ही तेजी से पास के न्यूरॉन्स विद्युत क्षमता जमा करते हैं (या विद्युत क्षमता खो देते हैं, डेन्ड्राइट के भार के आधार पर जो न्यूरॉन से जुड़ते हैं)। यह रूपांतरण है जो कंप्यूटर वैज्ञानिकों और गणितज्ञों को कृत्रिम न्यूरॉन्स का उपयोग करके जैविक तंत्रिका नेटवर्क का अनुकरण करने की अनुमति देता है जो अलग-अलग मान (अधिकांशतः -1 से 1 तक) का उत्पादन कर सकते हैं।

एन्कोडिंग
शोध से पता चला है कि बर्डसॉन्ग प्रोडक्शन के लिए जिम्मेदार न्यूरल सर्किट में यूनरी कोडिंग का प्रयोग किया जाता है। कोडिंग की अंतर्निहित सादगी के कारण जैविक नेटवर्क में यूनरी का उपयोग संभवतः है। अन्य योगदान कारक यह हो सकता है कि यूनरी कोडिंग त्रुटि सुधार की निश्चित डिग्री प्रदान करती है।

भौतिक कृत्रिम कोशिकाएं
भौतिक कृत्रिम न्यूरॉन्स - कार्बनिक और अकार्बनिक में अनुसंधान और विकास है।

उदाहरण के लिए, कुछ कृत्रिम न्यूरॉन्स प्राप्त कर सकते हैं और डोपामाइन (विद्युत संकेतों के अतिरिक्त स्नायुसंचारी ) को छोड़ता है और मस्तिष्क-कंप्यूटर इंटरफेस/वेटवेयर कंप्यूटर भविष्य के अनुप्रयोगों में उपयोग की संभावना के साथ प्राकृतिक चूहे नरम रोबोट और मस्तिष्क कोशिकाओं के साथ संचार करता है।

कम-शक्ति वाले बायोकम्पैटिबल मेमिस्टर कृत्रिम न्यूरॉन्स के निर्माण को सक्षम कर सकते हैं जो जैविक क्रिया क्षमता के वोल्टेज पर कार्य करते हैं और न्यूरोमॉर्फिक कंप्यूटिंग और/या मस्तिष्क-कंप्यूटर इंटरफ़ेस के लिए बायोसेंसर को सीधे संसाधित करने के लिए उपयोग किया जा सकता है।

पॉलीमर से बने कार्बनिक न्यूरोमॉर्फिक सर्किट, आयन-समृद्ध जेल के साथ लेपित, सामग्री को न्यूरॉन जैसे इलेक्ट्रिक आवेश को ले जाने में सक्षम बनाने के लिए, रोबोट में बनाया गया है, जो इसे वास्तविक दुनिया के अन्दर सेंसरिमोटरली सीखने में सक्षम बनाता है, अतिरिक्त सिमुलेशन या आभासी रूप से इसके अतिरिक्त, नरम पदार्थ (पॉलिमर) से बने कृत्रिम स्पाइकिंग न्यूरॉन्स जैविक रूप से प्रासंगिक वातावरण में काम कर सकते हैं और कृत्रिम और जैविक डोमेन के बीच तालमेल संचार को सक्षम कर सकते हैं।

इतिहास
पहला कृत्रिम न्यूरॉन थ्रेसहोल्ड तर्क यूनिट (टीएलयू) या रेखीय थ्रेशोल्ड यूनिट था, पहली बार 1943 में वॉरेन मैककुलोच और वाल्टर पिट्स द्वारा प्रस्तावित किया गया था। मॉडल को विशेष रूप से मस्तिष्क में तंत्रिका जाल के कम्प्यूटेशनल मॉडल के रूप में लक्षित किया गया था। स्थानांतरण फलन के रूप में, यह हेविसाइड चरण फलन का उपयोग करने के बराबर थ्रेसहोल्ड नियोजित करता है। प्रारंभ में, केवल एक साधारण मॉडल पर विचार किया गया था, बाइनरी इनपुट और आउटपुट के साथ, संभावित भार पर कुछ प्रतिबंध और अधिक लचीला थ्रेशोल्ड मान। प्रारंभ के बाद से यह पहले से ही देखा गया था कि किसी भी बूलियन फलन को ऐसे उपकरणों के नेटवर्क द्वारा कार्यान्वित किया जा सकता है, जो इस तथ्य से सरलता से देखा जा सकता है कि कोई AND और OR फलन को कार्यान्वित कर सकता है, और उन्हें अलग-अलग सामान्य रूप या संयोजक सामान्य रूप में उपयोग कर सकता है.

शोधकर्ताओं ने भी जल्द ही अनुभव किया कि चक्रीय नेटवर्क, न्यूरॉन्स के माध्यम से प्रतिक्रिया के साथ, गतिशील प्रणालियों को स्मृति के साथ परिभाषित कर सकते हैं, लेकिन अधिकांश शोध केंद्रित (और अभी भी) सख्ती से फीड-फॉरवर्ड नेटवर्क पर केंद्रित हैं क्योंकि वे छोटी कठिनाई प्रस्तुत करते हैं।

महत्वपूर्ण और अग्रणी कृत्रिम तंत्रिका नेटवर्क जो रैखिक थ्रेशोल्ड फलन का उपयोग करता था, वह परसेप्ट्रॉन था, जिसे फ्रैंक रोसेनब्लैट द्वारा विकसित किया गया था। यह मॉडल पहले से ही न्यूरॉन्स में अधिक लचीले वजन मूल्यों पर विचार करता था, और अनुकूली क्षमताओं वाली मशीनों में उपयोग किया जाता था। 1960 में बर्नार्ड विड्रो द्वारा पूर्वाग्रह शब्द के रूप में दहलीज मूल्यों का प्रतिनिधित्व प्रस्तुत किया गया था - एडलाइन देखें।

1980 के दशक के उत्तरार्ध में, जब तंत्रिका नेटवर्क पर शोध फिर से मजबूत हुआ, तो अधिक निरंतर आकार वाले न्यूरॉन्स पर विचार किया जाने लगा। सक्रियण फलन को अलग करने की संभावना वजन के समायोजन के लिए ढाल वंश और अन्य अनुकूलन एल्गोरिदम के प्रत्यक्ष उपयोग की अनुमति देती है। तंत्रिका नेटवर्क भी सामान्य कार्य सन्निकटन मॉडल के रूप में उपयोग किए जाने लगे। सबसे प्रसिद्ध प्रशिक्षण एल्गोरिथम जिसे बैकप्रोपैगेशन कहा जाता है, को कई बार फिर से खोजा गया है लेकिन इसका पहला विकास पॉल वर्बोस के काम पर वापस जाता है।

स्थानांतरण कार्यों के प्रकार
न्यूरॉन के स्थानांतरण फलन (सक्रियण फलन) को कई गुणों के लिए चुना जाता है जो न्यूरॉन युक्त नेटवर्क को बढ़ाते हैं या सरल करते हैं। महत्वपूर्ण रूप से, उदाहरण के लिए, किसी भी बहुपरत परसेप्ट्रॉन में रेखीय स्थानांतरण फलन का उपयोग करने के लिए समान सिंगल-लेयर नेटवर्क होता है; इसलिए बहु-परत नेटवर्क का लाभ प्राप्त करने के लिए गैर-रैखिक कार्य आवश्यक है।

नीचे, यू सभी स्थितियों में न्यूरॉन के सभी इनपुट के भारित योग को संदर्भित करता है, अर्थात n इनपुट के लिए,



u = \sum_{i = 1}^n w_i x_i $$ जहां w 'सिनैप्टिक वेट' का वेक्टर है और x इनपुट का वेक्टर है।

स्टेप फलन
इस स्थानांतरण फलन का आउटपुट वाई बाइनरी है, यह इस बात पर निर्भर करता है कि इनपुट निर्दिष्ट सीमा, θ से मिलता है या नहीं। सिग्नल भेजा जाता है, यानी अगर सक्रियण थ्रेशोल्ड को पूरा करता है, तो आउटपुट पर सेट होता है।


 * $$y = \begin{cases} 1 & \text{if }u \ge \theta \\ 0 & \text{if }u < \theta \end{cases}$$

यह फलन परसेप्ट्रॉन में उपयोग किया जाता है और अधिकांशतः कई अन्य मॉडलों में दिखाई देता है। यह हाइपरप्लेन द्वारा इनपुट के सदिश स्थल का विभाजन करता है। यह इनपुट के बाइनरी वर्गीकरण को करने के उद्देश्य से नेटवर्क की अंतिम परत में विशेष रूप से उपयोगी है। वज़न को बड़े मान निर्दिष्ट करके इसे अन्य सिग्मोइडल फलन से अनुमानित किया जा सकता है।

रैखिक संयोजन
इस स्थितियों में, आउटपुट यूनिट केवल इसके इनपुट का भारित योग और पूर्वाग्रह शब्द है। ऐसे कई रैखिक न्यूरॉन्स इनपुट वेक्टर के रैखिक परिवर्तन का प्रदर्शन करते हैं। यह सामान्यतः नेटवर्क की पहली परतों में अधिक उपयोगी होता है। हार्मोनिक विश्लेषण जैसे रैखिक मॉडल के आधार पर कई विश्लेषण उपकरण उपस्थित हैं, और वे सभी इस रैखिक न्यूरॉन के साथ तंत्रिका नेटवर्क में उपयोग किए जा सकते हैं। पूर्वाग्रह शब्द हमें डेटा के सजातीय निर्देशांक बनाने की अनुमति देता है।

देखें: रेखीय ट्रांसफॉर्मेशन, हार्मोनिक एनालिसिस,रैखिक फ़िल्टर,छोटा लहर, प्रमुख कंपोनेंट विश्लेषण, स्वतंत्र घटक विश्लेषण, विखंडन

सिग्मॉइड
बहुत सरल गैर-रैखिक फलन, सिग्मॉइड फलन जैसे कि लॉजिस्टिक फलन में भी सरलता से परिकलित डेरिवेटिव होता है, जो नेटवर्क में वज़न अपडेट की गणना करते समय महत्वपूर्ण हो सकता है। इस प्रकार यह नेटवर्क को गणितीय रूप से अधिक सरलता से जोड़-तोड़ करने योग्य बनाता है, और प्रारंभी कंप्यूटर वैज्ञानिकों के लिए आकर्षक था, जिन्हें अपने सिमुलेशन के कम्प्यूटेशनल लोड को कम करने की आवश्यकता थी। यह पहले सामान्यतः मल्टीलेयर परसेप्ट्रॉन में देखा जाता था। चूँकि, हाल के काम ने सिग्मॉइड न्यूरॉन्स को रेक्टिफायर (तंत्रिका नेटवर्क) न्यूरॉन्स की तुलना में कम प्रभावी दिखाया है। कारण यह है कि पश्च प्रसार एल्गोरिदम द्वारा गणना किए गए ग्रेडियेंट शून्य की ओर कम हो जाते हैं क्योंकि सक्रियण सिग्मोइडल न्यूरॉन्स की परतों के माध्यम से फैलता है, जिससे सिग्मोइडल न्यूरॉन्स की कई परतों का उपयोग करके तंत्रिका नेटवर्क को अनुकूलित करना कठिन हो जाता है।

शुद्ध करनेवाला
कृत्रिम तंत्रिका नेटवर्क के संदर्भ में, रेक्टिफायर या ReLU (रेक्टीफाइड रेखीय यूनिट) सक्रियण फलन है जिसे इसके तर्क के सकारात्मक भाग के रूप में परिभाषित किया गया है:


 * $$f(x) = x^+ = \max(0, x),$$

जहाँ x न्यूरॉन का इनपुट है। इसे रैंप फलन के रूप में भी जाना जाता है और इलेक्ट्रिकल इंजीनियरिंग में अर्ध-तरंग सुधार के समान है। इस एक्टिवेशन फलन को सबसे पहले हैनलोसर एट अल द्वारा डायनेमिक नेटवर्क में प्रस्तुत किया गया था। नेचर में 2000 के पेपर में मजबूत जैविक प्रेरणा और गणितीय औचित्य के साथ गहरे नेटवर्क के अच्छा प्रशिक्षण को सक्षम करने के लिए 2011 में पहली बार इसका प्रदर्शन किया गया है, 2011 से पहले व्यापक रूप से उपयोग किए जाने वाले सक्रियण कार्यों की तुलना में, यानी लॉजिस्टिक फलन (जो संभाव्यता सिद्धांत से प्रेरित है; संभार तन्त्र परावर्तन देखें) और इसका अधिक व्यावहारिक समकक्ष, अतिशयोक्तिपूर्ण स्पर्शरेखा है।

ReLU सक्रियण फलन का सामान्यतः उपयोग किया जाने वाला संस्करण Leaky ReLU है जो इकाई के सक्रिय नहीं होने पर छोटे, सकारात्मक ढाल की अनुमति देता है:

$$f(x) = \begin{cases} x & \text{if } x > 0, \\ ax & \text{otherwise}. \end{cases}$$

जहाँ x न्यूरॉन का इनपुट है और a छोटा सकारात्मक स्थिरांक है (मूल पेपर में मान 0.01 का उपयोग a के लिए किया गया था)।

स्यूडोकोड एल्गोरिथम
निम्नलिखित एकल टीएलयू का सरल स्यूडोकोड कार्यान्वयन है जो बूलियन डेटा प्रकार इनपुट (सही या गलत) लेता है, और सक्रिय होने पर एकल बूलियन आउटपुट देता है। एक वस्तु के उन्मुख ऑब्जेक्ट-ओरिएंटेड मॉडल का उपयोग किया जाता है। प्रशिक्षण का कोई विधि परिभाषित नहीं है, क्योंकि कई उपस्थित हैं। यदि विशुद्ध रूप से कार्यात्मक मॉडल का उपयोग किया गया था, तो नीचे दिए गए वर्ग टीएलयू को फलन टीएलयू के साथ बदल दिया जाएगा जिसमें इनपुट पैरामीटर थ्रेशोल्ड, वज़न और इनपुट जो बूलियन मान लौटाते हैं।

कक्षा टीएलयू को इस प्रकार परिभाषित किया गया है: डेटा सदस्य दहलीज: संख्या डेटा सदस्य भार: आकार X की संख्याओं की सूची फलन सदस्य आग (इनपुट: आकार X के बूलियन की सूची): बूलियन को इस प्रकार परिभाषित किया गया है: चर T: संख्या T ← 0 प्रत्येक के लिए मैं 1 से X में करता हूं यदि इनपुट (i) सत्य है तो T ← T + वजन (मैं) अगर अंत प्रत्येक के लिए अंत अगर T> दहलीज तब सच लौटाओ अन्य: विवरण झूठा है अगर अंत अंत फलन अंत वर्ग

यह भी देखें

 * बाध्यकारी न्यूरॉन
 * संबंधवाद

बाहरी संबंध

 * Artifical neuron mimicks function of human cells
 * McCulloch-Pitts Neurons (Overview)