फीडफॉरवर्ड न्यूरल नेटवर्क

फीडफॉर्वर्ड न्यूरल नेटवर्क (FNN) कृत्रिम न्यूरल नेटवर्क है, जिसमें ग्रंथि के बीच सम्बन्ध चक्र नहीं बनाते हैं। जैसे, यह अपने वंश से भिन्न है: आवर्तक न्यूरल नेटवर्क।

फीडफॉर्वर्ड न्यूरल नेटवर्क तैयार किया गया पहला और सरल प्रकार का आवर्तक न्यूरल नेटवर्क था। इस नेटवर्क में, जानकारी केवल एक दिशा में आगे बढ़ती है - निविष्ट ग्रंथि से, छिपे हुए ग्रंथि के माध्यम से और उत्पादन ग्रंथि के लिए नेटवर्क में कोई चक्र या लूप नहीं हैं।

रैखिक न्यूरल नेटवर्क
फीडफॉरवर्ड न्यूरल नेटवर्क का सबसे सरल प्रकार रैखिक नेटवर्क है, जिसमें उत्पादन ग्रंथि की परत होती है, निविष्ट सीधे उत्पादन  को भार की श्रृंखला के माध्यम से सिंचित किया जाता है। भार और निविष्ट के उत्पादों का योग प्रत्येक ग्रंथि में गणना की जाती है। इन परिकलित उत्पादन  और दिए गए लक्ष्य मानों के बीच माध्य त्रुटियाँ भार में समायोजन करके न्यूनतम की जाती हैं। इस प्रविधि को कम से कम वर्गों या रैखिक प्रतिगमन की विधि के रूप में दो सदियों से जाना जाता है। ग्रहों की गति की भविष्यवाणी के लिए एड्रियन मैरी लीजेंड्रे (1805) और गॉस (1795) द्वारा बिंदुओं के समूह के लिए अच्छा मोटा रैखिक योग्य खोजने के साधन के रूप में इसका उपयोग किया गया था।

एकल परत परसेप्ट्रॉन
एकल परत परसेप्ट्रॉन रैखिक न्यूरल नेटवर्क को सीमा फलन के साथ जोड़ता है। यदि उत्पादन मान कुछ सीमा (सामान्यतः 0) से ऊपर है, तो न्यूरॉन सक्रिय हो जाता है और सक्रिय मान (सामान्यतः 1) ले लेता है; अन्यथा यह निष्क्रिय मान (सामान्यतः -1) लेता है। इस प्रकार के सक्रियण कार्य वाले न्यूरॉन्स को अधिकांशतः रैखिक थ्रेशोल्ड इकाइयां कहा जाता है। साहित्य में शब्द परसेप्ट्रॉन अधिकांशतः इन इकाइयों में से केवल से मिलकर नेटवर्क को संदर्भित करता है। इसी प्रकार के "न्यूरॉन्स" को 1920 के दशक में आइसिंग मॉडल के लिए अर्नस्ट इसिंग और विलियम लेनज़ द्वारा और 1940 के दशक में वॉरेन मैककुलोच और वाल्टर पिट्स द्वारा भौतिकी में वर्णित किया गया था ।

सक्रिय और निष्क्रिय अवस्थाओं के लिए किसी भी मान का उपयोग करके परसेप्ट्रॉन बनाया जा सकता है जब तक कि थ्रेशोल्ड मान दोनों के बीच स्थित हो।

परसेप्ट्रॉन को साधारण सीखने का एल्गोरिथम द्वारा प्रशिक्षित किया जा सकता है जिसे सामान्यतः डेल्टा नियम कहा जाता है। यह परिकलित उत्पादन और नमूना उत्पादन  डेटा के बीच त्रुटियों की गणना करता है और इसका उपयोग भार में समायोजन करने के लिए करता है, इस प्रकार प्रवणता अवरोहण का एक रूप लागू करता है।

एकल परत परसेप्ट्रॉन केवल रैखिक रूप से वियोज्य प्रतिरूप सीखने में सक्षम हैं, 1969 में परसेप्ट्रॉन (पुस्तक) नामक प्रसिद्ध प्रबंध में, मार्विन मिंस्की और सीमोर पैपर्ट ने दिखाया कि एकल-परत परसेप्ट्रॉन नेटवर्क के लिए विशेष सीखना असंभव था। तथापि, यह ज्ञात था कि बहु परत परसेप्ट्रॉन (एमएलपी s) किसी भी संभावित बूलियन फलन को उत्पन्न करने में सक्षम हैं। उदाहरण के लिए, पहले से ही 1967 में, शुनिची अमारी प्रसंभाव्यता प्रवणता अवरोहण द्वारा एमएलपी को प्रशिक्षित किया। चूंकि एकल सीमा इकाइयां अपनी कम्प्यूटेशनल शक्ति में अधिक सीमित है, यह दिखाया गया है कि समांतर सीमा इकाइयों के नेटवर्क वास्तविक संख्याओं के सुगठित अंतराल से अंतराल [-1,1] में सार्वभौमिक सन्निकटन प्रमेय कर सकते हैं। यह परिणाम पीटर ऑउर, हेरोल्ड बर्गस्टीनर और वोल्फगैंग मास में पाया जा सकता है, बहुत ही सरल सार्वभौमिक सन्निकटन के लिए सीखने का नियम जिसमें परसेप्ट्रॉन की परत होती है। एकल परत न्यूरल नेटवर्क स्टेप फलन के अतिरिक्त निरंतर उत्पादन  की गणना कर सकता है। सामान्य विकल्प तथाकथित तार्किक फलन है:


 * $$f(x) = \frac{1}{1+e^{-x}}$$

इस विकल्प के साथ, एकल परत नेटवर्क संभार तन्त्र परावर्तन मॉडल के समान है, जो सांख्यिकीय मॉडल में व्यापक रूप से उपयोग किया जाता है। तार्किक फलन सिग्मॉइड फलन नामक कार्यों के परिवार में से है क्योंकि उनके S-आकार के ग्राफ़ ग्रीक अक्षर सिग्मा के अंतिम-अक्षर के निचले स्थितियों से मिलते जुलते हैं। इसका निरंतर व्युत्पन्न है, जो इसे पश्च प्रसारण में उपयोग करने की अनुमति देता है। यह फलन भी पसंद किया जाता है क्योंकि इसके व्युत्पन्न की गणना आसानी से की जाती है:


 * $$f'(x) = f(x)(1-f(x))$$.

यह तथ्य कि $$f$$ श्रृंखला नियम को लागू करके उपरोक्त अंतर समीकरण को आसानी से दिखाया जा सकता है।

यदि एकल परत न्यूरल नेटवर्क सक्रियण फलन मॉड्यूलर अंकगणित 1 है, तो यह नेटवर्क न्यूरॉन के साथ एक्सओआर समस्या को हल कर सकता है।
 * $$f(x) = x\mod 1$$
 * $$f'(x) = 1$$

बहु परत परसेप्ट्रॉन
नेटवर्क के इस वर्ग में कम्प्यूटेशनल इकाइयों की कई परतें होती हैं, जो सामान्यतः फीड-फॉरवर्ड प्रणालियों से परस्पर जुड़ी होती हैं। परत में प्रत्येक न्यूरॉन ने बाद की परत के न्यूरॉन्स से सम्बन्ध निर्देशित किया है। कई अनुप्रयोगों में इन नेटवर्कों की इकाइयां सिग्मॉइड फलन को सक्रियण फलन के रूप में लागू करती हैं। चूंकि सिग्मोइडल सक्रियण कार्यों में छोटी सी सीमा के बाहर बहुत छोटे व्युत्पन्न मूल्य होते हैं और गायब होने वाली ढाल समस्या के कारण गहरे न्यूरल नेटवर्क में अच्छी प्रकार से काम नहीं करते हैं।

न्यूरल नेटवर्क के लिए सार्वभौमिक सन्निकटन प्रमेय बताता है कि प्रत्येक निरंतर कार्य जो वास्तविक संख्याओं के अंतराल को वास्तविक संख्याओं के कुछ उत्पादन अंतराल के लिए मानचित्रित करता है, केवल छिपी हुई परत के साथ बहु-परत परसेप्ट्रॉन द्वारा निरंकुश ढंग से निकटता से अनुमान लगाया जा सकता है। यह परिणाम सक्रियण कार्यों की विस्तृत श्रृंखला के लिए है, उदाहरण, सिग्मोइडल कार्यों के लिए।

बहु परत नेटवर्क विभिन्न प्रकार की सीखने की प्रविधियों का उपयोग करते हैं। पहला ध्यान लगा के पढ़ना या सीखना एमएलपी 1965 में एलेक्सी ग्रिगोरविच इवाखेंको और वैलेन्टिन लैपा द्वारा प्रकाशित किया गया था। उन्होंने अपनी एमएलपी परत को परत दर परत प्रशिक्षित किया, जब तक शेष त्रुटि स्वीकार्य नहीं थी, तब तक परतों को जोड़ते हुए, अलग सत्यापन समूह की सहायता से लगातार अनावश्यक छिपी हुई इकाइयों की छंटाई करते रहे।

स्टोचैस्टिक प्रवणता अवरोहण द्वारा प्रशिक्षित पहला डीप सीखने का एमएलपी 1967 में शुनिची अमारी द्वारा प्रकाशित किया गया था। अमारी के छात्र सैटो द्वारा किए गए कंप्यूटर प्रयोगों में, गैर-रैखिक रूप से अलग-अलग प्रतिरूप कक्षाओं को वर्गीकृत करने के लिए आवश्यक दो परिवर्तनीय परतों के साथ पांच परत एमएलपी आंतरिक प्रतिनिधित्व सीखा।

आज, एमएलपी के प्रशिक्षण के लिए सबसे लोकप्रिय विधि पश्च प्रसारण है। 1962 में फ्रैंक रोसेनब्लैट द्वारा शब्दावली पश्च प्रसारण त्रुटियाँ की प्रारंभिक की गई थी, किन्तु वह यह नहीं जानता था कि इसे कैसे लागू किया जाए, चूंकि हेनरी जे. केली के पास पश्चप्रचार का निरंतर अग्रदूत था पहले से ही 1960 में नियंत्रण सिद्धांत के संदर्भ में। आधुनिक पश्च-प्रचार वास्तव में सेप्पो लिनैनमा का स्वचालित विभेदन (1970) का सामान्य उत्क्रम प्रणाली है जो स्थिर विभेदी कार्यों के असतत जुड़े नेटवर्क के लिए है। यह श्रृंखला नियम का कुशल अनुप्रयोग है (1673 में गॉटफ्रीड विल्हेम लीबनिज द्वारा व्युत्पन्न) अलग-अलग ग्रंथि के नेटवर्क के लिए। 1982 में, पॉल वर्बोस ने एमएलपी के लिए उस प्रकार से वापस प्रसार लागू किया जो मानक बन गया है। 1985 में, डेविड ई. रुमेलहार्ट एट अल प्रविधि का प्रायोगिक विश्लेषण प्रकाशित किया। बाद के दशकों में कई सुधार लागू किए गए हैं।

वापस प्रसार के पर्यन्त, कुछ पूर्वनिर्धारित त्रुटि-फलन के मान की गणना करने के लिए उत्पादन मानों की तुलना सही उत्तर से की जाती है। त्रुटि तब नेटवर्क के माध्यम से वापस फीड की जाती है। इस जानकारी का उपयोग करते हुए, एल्गोरिथ्म प्रत्येक सम्बन्ध के भार को कुछ छोटी राशि से त्रुटि फलन के मान को कम करने के लिए समायोजित करता है। पर्याप्त रूप से बड़ी संख्या में प्रशिक्षण चक्रों के लिए इस प्रक्रिया को दोहराने के बाद, नेटवर्क सामान्यतः किसी ऐसी स्थिति में परिवर्तित हो जाएगा जहां गणना की त्रुटि छोटी है। इस स्थितियों में कोई कहेगा कि नेटवर्क ने निश्चित लक्ष्य कार्य सीखा है। भार को ठीक से समायोजित करने के लिए, गैर-रैखिक अनुकूलन (गणित) के लिए सामान्य विधि लागू होती है जिसे ऑगस्टिन-लुई कॉची के कारण प्रवणता अवरोहण कहा जाता है, जिसने पहली बार 1847 में इसका सुझाव दिया था। इसके लिए, नेटवर्क नेटवर्क भार के संबंध में त्रुटि फलन के व्युत्पन्न की गणना करता है और भार को इस प्रकार बदलता है कि त्रुटि कम हो जाती है (इस प्रकार त्रुटि फलन की सतह पर नीचे की ओर जा रहा है)। इस कारण से, पश्च प्रसारण केवल अलग-अलग सक्रियण कार्यों वाले नेटवर्क पर ही लागू किया जा सकता है।

सामान्यतः सामान्य तौर पर, नेटवर्क को अच्छा प्रदर्शन करने के लिए सिखाने की समस्या, यहां तक ​​कि उन नमूनों पर भी जो प्रशिक्षण नमूने के रूप में उपयोग नहीं किए गए थे, एक बहुत ही सूक्ष्म अंक है जिसके लिए अतिरिक्त प्रविधियों की आवश्यकता होती है। यह उन स्थितियों के लिए विशेष रूप से महत्वपूर्ण है जहां बहुत सीमित संख्या में प्रशिक्षण नमूने उपलब्ध हैं। खतरा यह है कि नेटवर्क प्रशिक्षण डेटा को ओवरफिट कर रहा है और डेटा उत्पन्न करने वाली वास्तविक सांख्यिकीय प्रक्रिया को पकड़ने में विफल रहता है। कम्प्यूटेशनल सीखने का सिद्धांत सीमित मात्रा में डेटा पर प्रशिक्षण वर्गीकरणकर्ता से संबंधित है। न्यूरल नेटवर्क के संदर्भ में सरल अनुमानी, जिसे प्रारंभिक रोक कहा जाता है, अधिकांशतः यह सुनिश्चित करता है कि नेटवर्क उन उदाहरणों को अच्छी प्रकार से सामान्य करेगा जो प्रशिक्षण समूह में नहीं हैं।

पश्च-प्रचार एल्गोरिथम की अन्य विशिष्ट समस्याएं अभिसरण की गति और स्थानीय न्यूनतम त्रुटि फलन में समाप्त होने की संभावना है। आज, व्यावहारिक प्रणालियों हैं जो बहु-परत परसेप्ट्रॉन में पश्च प्रसारण को कई यंत्र अधिगम कार्यों के लिए पसंद का उपकरण बनाते हैं।

कोई भी किसी मध्यस्थ द्वारा संचालित स्वतंत्र न्यूरल नेटवर्क की श्रृंखला का उपयोग कर सकता है, समान व्यवहार जो मस्तिष्क में होता है। ये न्यूरॉन्स अलग-अलग प्रदर्शन कर सकते हैं और बड़े कार्य को संभाल सकते हैं और परिणाम अंत में संयुक्त हो सकते हैं।

अन्य फीडफॉरवर्ड नेटवर्क
अधिक सामान्यतः किसी भी निर्देशित चक्रीय ग्राफ का उपयोग फीडफॉर्वर्ड नेटवर्क के लिए किया जा सकता है, जिसमें कुछ ग्रंथि (बिना माता-पिता के) निविष्ट के रूप में नामित होते हैं और कुछ ग्रंथि (बिना बच्चों के) उत्पादन के रूप में नामित होते हैं। इन्हें बहुपरत नेटवर्क के रूप में देखा जा सकता है जहां कुछ किनारे परतों को छोड़ देते हैं, तो परतों को उत्पादन से पीछे की ओर या निविष्ट से आगे की ओर गिनते हैं। विभिन्न सक्रियण कार्यों का उपयोग किया जा सकता है और भार के बीच संबंध हो सकते हैं, जैसे दृढ़ न्यूरल नेटवर्क में होते हैं।

अन्य फीडफॉर्वर्ड नेटवर्क के उदाहरणों में रेडियल आधार फलन नेटवर्क सम्मलित हैं, जो अलग सक्रियण फलन का उपयोग करते हैं।

कभी-कभी बहु परत परसेप्ट्रॉन का उपयोग किसी भी फीडफॉरवर्ड न्यूरल नेटवर्क को संदर्भित करने के लिए शिथिल रूप से किया जाता है, जबकि अन्य स्थितियों में यह विशिष्ट लोगों तक ही सीमित होता है (उदाहरण के लिए, विशिष्ट सक्रियण कार्यों के साथ, पूरी प्रकार से जुड़ी हुई परतों के साथ, परसेप्ट्रॉन एल्गोरिथम द्वारा प्रशिक्षित है।)

यह भी देखें

 * हॉपफील्ड नेटवर्क
 * संवेदी न्यूरल नेटवर्क
 * फीडफॉरवर्ड नियंत्रण
 * पश्चप्रचार
 * आरप्रॉप

बाहरी संबंध

 * Feedforward neural networks tutorial
 * Feedforward Neural Network: Example
 * Feedforward Neural Networks: An Introduction