तंत्रिका नेटवर्क की विस्तार सीमाएं



आर्टिफिशियल न्यूरल नेटवर्क मशीन लर्निंग में उपयोग किए जाने वाले मॉडलों का वर्ग है, और जैविक न्यूरल नेटवर्क से प्रेरित है। वह आधुनिक गहन शिक्षण एल्गोरिदम के मुख्य घटक हैं। आर्टिफिशियल न्यूरल नेटवर्क में गणना समान्यत: आर्टिफिशियल न्यूरॉन्स की अनुक्रमिक परतों में व्यवस्थित की जाती है। परत में न्यूरॉन्स की संख्या को परत की चौड़ाई कहा जाता है। आर्टिफिशियल न्यूरल नेटवर्क का सैद्धांतिक विश्लेषण कभी-कभी सीमित स्थिति पर विचार करता है कि परत की चौड़ाई बड़ी या अनंत हो जाती है। यह सीमा न्यूरल नेटवर्क पूर्वानुमानों, प्रशिक्षण गतिशीलता, सामान्यीकरण और हानि सतहों के बारे में सरल विश्लेषणात्मक कथन देने में सक्षम बनाती है। यह विस्तृत परत सीमा व्यावहारिक रुचि की भी है, क्योंकि परत की चौड़ाई बढ़ने पर परिमित चौड़ाई वाले न्यूरल नेटवर्क अधिकांशतः उत्तम प्रदर्शन करते हैं।

बड़ी चौड़ाई सीमा पर आधारित सैद्धांतिक दृष्टिकोण

 * न्यूरल नेटवर्क गाऊसी प्रक्रिया (एनएनजीपी) बायेसियन न्यूरल नेटवर्क की अनंत चौड़ाई सीमा और यादृच्छिक आरंभीकरण के पश्चात गैर-बायेसियन न्यूरल नेटवर्क द्वारा अनुभव किए गए कार्यों पर वितरण से मेल खाता है।
 * एनएनजीपी कर्नेल को प्राप्त करने के लिए उपयोग की जाने वाली समान अंतर्निहित गणनाओं का उपयोग गहरे नेटवर्क के माध्यम से ग्रेडिएंट और इनपुट के बारे में जानकारी के प्रसार को चिह्नित करने के लिए गहन सूचना प्रसार में भी किया जाता है। इस लक्षण वर्णन का उपयोग यह अनुमान लगाने के लिए किया जाता है कि मॉडल प्रशिक्षण क्षमता आर्किटेक्चर और आरंभीकरण हाइपर-पैरामीटर पर कैसे निर्भर करती है।
 * न्यूरल स्पर्शरेखा कर्नेल ग्रेडिएंट डिसेंट ट्रेनिंग के समय न्यूरल नेटवर्क पूर्वानुमानों के विकास का वर्णन करता है। अनंत चौड़ाई सीमा में एनटीके समान्यत: स्थिर हो जाता है, जो अधिकांशतः ग्रेडिएंट डिसेंट ट्रेनिंग के समय विस्तृत न्यूरल नेटवर्क द्वारा गणना किए गए फ़ंक्शन के लिए संवर्त फॉर्म अभिव्यक्तियों की अनुमति देता है। प्रशिक्षण की गतिशीलता अनिवार्य रूप से रैखिक हो जाती है।
 * इस प्रकार के भिन्न प्रारंभिक वजन स्केलिंग और उपयुक्त रूप से बड़ी सीखने की दर के साथ अनंत चौड़ाई वाले न्यूरल नेटवर्क का अध्ययन, निश्चित न्यूरल स्पर्शरेखा कर्नेल द्वारा वर्णित की तुलना में गुणात्मक रूप से भिन्न गैर-रेखीय प्रशिक्षण गतिशीलता की ओर जाता है।
 * कैटापुल्ट डायनेमिक्स उस स्थिति में न्यूरल नेटवर्क प्रशिक्षण डायनेमिक्स का वर्णन करता है जब परत की चौड़ाई अनंत तक ले जाने पर लॉग अनंत तक विचलन करता है, और प्रारंभिक प्रशिक्षण डायनेमिक्स के गुणात्मक गुणों का वर्णन करता है।