तंत्रिका नेटवर्क की विस्तार सीमाएं

कृत्रिम तंत्रिका नेटवर्क ध्यान लगा के पढ़ना या सीखना में उपयोग किए जाने वाले मॉडलों का एक वर्ग है, और तंत्रिका सर्किट से प्रेरित है। वे आधुनिक गहन शिक्षण एल्गोरिदम के मुख्य घटक यंत्र अधिगम तंत्रिका नेटवर्क में गणना आमतौर पर कृत्रिम न्यूरॉन्स की अनुक्रमिक परतों में व्यवस्थित की जाती है। एक परत में न्यूरॉन्स की संख्या को परत की चौड़ाई कहा जाता है। कृत्रिम तंत्रिका नेटवर्क का सैद्धांतिक विश्लेषण कभी-कभी सीमित मामले पर विचार करता है कि परत की चौड़ाई बड़ी या अनंत हो जाती है। यह सीमा तंत्रिका नेटवर्क भविष्यवाणियों, प्रशिक्षण गतिशीलता, सामान्यीकरण और हानि सतहों के बारे में सरल विश्लेषणात्मक बयान देने में सक्षम बनाती है। यह विस्तृत परत सीमा व्यावहारिक रुचि की भी है, क्योंकि परत की चौड़ाई बढ़ने पर परिमित चौड़ाई वाले तंत्रिका नेटवर्क अक्सर बेहतर प्रदर्शन करते हैं।

बड़ी चौड़ाई सीमा पर आधारित सैद्धांतिक दृष्टिकोण

 * तंत्रिका नेटवर्क गाऊसी प्रक्रिया (एनएनजीपी) बायेसियन न्यूरल नेटवर्क की अनंत चौड़ाई सीमा और यादृच्छिक आरंभीकरण के बाद गैर-बायेसियन न्यूरल नेटवर्क द्वारा महसूस किए गए कार्यों पर वितरण से मेल खाता है।
 * एनएनजीपी कर्नेल को प्राप्त करने के लिए उपयोग की जाने वाली समान अंतर्निहित गणनाओं का उपयोग गहरे नेटवर्क के माध्यम से ग्रेडिएंट और इनपुट के बारे में जानकारी के प्रसार को चिह्नित करने के लिए गहन सूचना प्रसार में भी किया जाता है। इस लक्षण वर्णन का उपयोग यह अनुमान लगाने के लिए किया जाता है कि मॉडल प्रशिक्षण क्षमता वास्तुकला और आरंभीकरण हाइपर-पैरामीटर पर कैसे निर्भर करती है।
 * तंत्रिका स्पर्शरेखा कर्नेल ग्रेडिएंट डिसेंट ट्रेनिंग के दौरान न्यूरल नेटवर्क भविष्यवाणियों के विकास का वर्णन करता है। अनंत चौड़ाई सीमा में एनटीके आमतौर पर स्थिर हो जाता है, जो अक्सर ग्रेडिएंट डिसेंट ट्रेनिंग के दौरान एक विस्तृत तंत्रिका नेटवर्क द्वारा गणना किए गए फ़ंक्शन के लिए बंद फॉर्म अभिव्यक्तियों की अनुमति देता है। प्रशिक्षण की गतिशीलता अनिवार्य रूप से रैखिक हो जाती है।
 * एक अलग प्रारंभिक वजन स्केलिंग और उपयुक्त रूप से बड़ी सीखने की दर के साथ अनंत चौड़ाई वाले तंत्रिका नेटवर्क का अध्ययन, निश्चित तंत्रिका स्पर्शरेखा कर्नेल द्वारा वर्णित की तुलना में गुणात्मक रूप से भिन्न गैर-रेखीय प्रशिक्षण गतिशीलता की ओर जाता है।
 * कैटापुल्ट डायनेमिक्स उस मामले में तंत्रिका नेटवर्क प्रशिक्षण डायनेमिक्स का वर्णन करता है जब परत की चौड़ाई अनंत तक ले जाने पर लॉग अनंत तक विचलन करता है, और प्रारंभिक प्रशिक्षण डायनेमिक्स के गुणात्मक गुणों का वर्णन करता है।