मेटा-लर्निंग (कंप्यूटर विज्ञान)

मेटा लर्निंग यंत्र अधिगम का एक उपक्षेत्र है जहां स्वचालित लर्निंग एल्गोरिदम को मशीन लर्निंग प्रयोगों के बारे में मेटा डेटा पर लागू किया जाता है। 2017 तक, इस शब्द को एक मानक व्याख्या नहीं मिली थी, हालांकि मुख्य लक्ष्य ऐसे मेटाडेटा का उपयोग करना है ताकि यह समझा जा सके कि सीखने की समस्याओं को हल करने में स्वचालित शिक्षण कैसे लचीला हो सकता है, इसलिए मौजूदा शिक्षण एल्गोरिदम के प्रदर्शन में सुधार करना या सीखने के एल्गोरिदम को स्वयं सीखना (प्रेरित करना), इसलिए सीखने के लिए वैकल्पिक शब्द सीखना है।

लचीलापन महत्वपूर्ण है क्योंकि प्रत्येक शिक्षण एल्गोरिदम डेटा, उसके आगमनात्मक पूर्वाग्रह के बारे में धारणाओं के एक सेट पर आधारित होता है। इसका मतलब यह है कि यह केवल तभी अच्छी तरह सीखेगा जब पूर्वाग्रह सीखने की समस्या से मेल खाता हो। एक शिक्षण एल्गोरिदम एक डोमेन में बहुत अच्छा प्रदर्शन कर सकता है, लेकिन अगले में नहीं। यह मशीन लर्निंग या डेटा खनन तकनीकों के उपयोग पर मजबूत प्रतिबंध लगाता है, क्योंकि सीखने की समस्या (अक्सर किसी प्रकार का डेटाबेस) और विभिन्न शिक्षण एल्गोरिदम की प्रभावशीलता के बीच संबंध अभी तक समझ में नहीं आया है।

विभिन्न प्रकार के मेटाडेटा का उपयोग करके, जैसे सीखने की समस्या के गुण, एल्गोरिदम गुण (जैसे प्रदर्शन उपाय), या डेटा से पहले प्राप्त पैटर्न, किसी दी गई सीखने की समस्या को प्रभावी ढंग से हल करने के लिए विभिन्न शिक्षण एल्गोरिदम को सीखना, चयन करना, बदलना या संयोजित करना संभव है। मेटा लर्निंग दृष्टिकोण की आलोचना मेटाह्यूरिस्टिक की आलोचना से काफी मिलती जुलती है, जो संभवतः एक संबंधित समस्या है। मेटा-लर्निंग का एक अच्छा सादृश्य, और जुर्गन श्मिधुबर के शुरुआती काम के लिए प्रेरणा (1987) और जोशुआ बेंगियो एट अल का काम (1991), मानता है कि आनुवंशिक विकास जीन में एन्कोडेड और प्रत्येक व्यक्ति के मस्तिष्क में क्रियान्वित सीखने की प्रक्रिया को सीखता है। एक ओपन-एंडेड पदानुक्रमित मेटा लर्निंग सिस्टम में आनुवंशिक प्रोग्रामिंग का उपयोग करके, मेटा इवोल्यूशन द्वारा बेहतर विकासवादी तरीकों को सीखा जा सकता है, जिसे मेटा मेटा इवोल्यूशन आदि द्वारा बेहतर बनाया जा सकता है।

सामूहिक शिक्षा भी देखें।

परिभाषा
एक प्रस्तावित परिभाषा मेटा लर्निंग सिस्टम के लिए तीन आवश्यकताएं शामिल हैं: पूर्वाग्रह उन धारणाओं को संदर्भित करता है जो व्याख्यात्मक परिकल्पनाओं के चुनाव को प्रभावित करती हैं और पूर्वाग्रह-विचरण दुविधा में दर्शाए गए पूर्वाग्रह की धारणा नहीं। मेटा लर्निंग का संबंध सीखने के पूर्वाग्रह के दो पहलुओं से है।
 * सिस्टम में एक लर्निंग सबसिस्टम शामिल होना चाहिए।
 * निकाले गए मेटा ज्ञान का दोहन करके अनुभव प्राप्त किया जाता है
 * एकल डेटासेट पर पिछले शिक्षण प्रकरण में, या
 * विभिन्न डोमेन से।
 * सीखने के पूर्वाग्रह को गतिशील रूप से चुना जाना चाहिए।
 * घोषणात्मक पूर्वाग्रह परिकल्पनाओं के स्थान का प्रतिनिधित्व निर्दिष्ट करता है, और खोज स्थान के आकार को प्रभावित करता है (उदाहरण के लिए, केवल रैखिक कार्यों का उपयोग करके परिकल्पनाओं का प्रतिनिधित्व करता है)।
 * प्रक्रियात्मक पूर्वाग्रह आगमनात्मक परिकल्पनाओं के क्रम पर प्रतिबंध लगाता है (उदाहरण के लिए, छोटी परिकल्पनाओं को प्राथमिकता देना)।

सामान्य दृष्टिकोण
तीन सामान्य दृष्टिकोण हैं:
 * 1) बाहरी या आंतरिक मेमोरी (मॉडल-आधारित) के साथ (चक्रीय) नेटवर्क का उपयोग करना
 * 2) प्रभावी दूरी मेट्रिक्स सीखना (मेट्रिक्स-आधारित)
 * 3) तेजी से सीखने (अनुकूलन-आधारित) के लिए मॉडल मापदंडों को स्पष्ट रूप से अनुकूलित करना।

मॉडल-आधारित
मॉडल-आधारित मेटा-लर्निंग मॉडल कुछ प्रशिक्षण चरणों के साथ अपने मापदंडों को तेजी से अपडेट करता है, जिसे इसके आंतरिक आर्किटेक्चर द्वारा प्राप्त किया जा सकता है या किसी अन्य मेटा-लर्नर मॉडल द्वारा नियंत्रित किया जा सकता है।

मेमोरी-संवर्धित तंत्रिका नेटवर्क
मेमोरी-ऑगमेंटेड न्यूरल नेटवर्क, या संक्षेप में MANN, के बारे में दावा किया जाता है कि यह नई जानकारी को शीघ्रता से एनकोड करने में सक्षम है और इस प्रकार केवल कुछ उदाहरणों के बाद नए कार्यों के लिए अनुकूल हो जाता है।

मेटा ​​नेटवर्क
मेटा नेटवर्क (मेटानेट) सभी कार्यों में मेटा-स्तरीय ज्ञान सीखता है और तेजी से सामान्यीकरण के लिए तेजी से मानकीकरण के माध्यम से अपने आगमनात्मक पूर्वाग्रहों को बदलता है।

मीट्रिक-आधारित
मीट्रिक-आधारित मेटा-लर्निंग में मुख्य विचार K-निकटतम पड़ोसी एल्गोरिदम एल्गोरिदम के समान है, जिसका वजन कर्नेल फ़ंक्शन द्वारा उत्पन्न होता है। इसका उद्देश्य वस्तुओं पर एक मीट्रिक या दूरी फ़ंक्शन सीखना है। एक अच्छे मीट्रिक की धारणा समस्या पर निर्भर है। इसे कार्य स्थान में इनपुट के बीच संबंध का प्रतिनिधित्व करना चाहिए और समस्या समाधान की सुविधा प्रदान करनी चाहिए।

संवादात्मक स्याम देश तंत्रिका नेटवर्क
स्याम देश का तंत्रिका नेटवर्क दो जुड़वां नेटवर्कों से बना है जिनके आउटपुट को संयुक्त रूप से प्रशिक्षित किया जाता है। इनपुट डेटा नमूना जोड़े के बीच संबंध जानने के लिए ऊपर एक फ़ंक्शन है। दोनों नेटवर्क समान हैं, समान वजन और नेटवर्क पैरामीटर साझा करते हैं।

मिलान नेटवर्क
मैचिंग नेटवर्क एक ऐसे नेटवर्क को सीखते हैं जो एक छोटे लेबल वाले समर्थन सेट और उसके लेबल पर एक बिना लेबल वाले उदाहरण को मैप करता है, जिससे नए वर्ग प्रकारों के अनुकूल होने के लिए फाइन-ट्यूनिंग की आवश्यकता समाप्त हो जाती है।

रिलेशन नेटवर्क
रिलेशन नेटवर्क (आरएन) को आरंभ से अंत तक प्रशिक्षित किया जाता है। मेटा-लर्निंग के दौरान, यह एपिसोड के भीतर छोटी संख्या में छवियों की तुलना करने के लिए एक गहरी दूरी की मीट्रिक सीखना सीखता है, जिनमें से प्रत्येक को कुछ-शॉट सेटिंग का अनुकरण करने के लिए डिज़ाइन किया गया है।

प्रोटोटाइपिकल नेटवर्क
प्रोटोटाइपिकल नेटवर्क एक मीट्रिक स्थान सीखते हैं जिसमें प्रत्येक वर्ग के प्रोटोटाइप प्रतिनिधित्व की दूरी की गणना करके वर्गीकरण किया जा सकता है। कुछ-शॉट सीखने के लिए हाल के दृष्टिकोणों की तुलना में, वे एक सरल आगमनात्मक पूर्वाग्रह को दर्शाते हैं जो इस सीमित-डेटा शासन में फायदेमंद है, और संतुष्ट परिणाम प्राप्त करते हैं।

अनुकूलन-आधारित
अनुकूलन-आधारित मेटा-लर्निंग एल्गोरिदम का उद्देश्य अनुकूलन एल्गोरिदम को समायोजित करना है ताकि मॉडल कुछ उदाहरणों के साथ सीखने में अच्छा हो सके।

LSTM मेटा-लर्नर
LSTM-आधारित मेटा-लर्नर को कुछ-शॉट शासन में किसी अन्य शिक्षार्थी तंत्रिका नेटवर्क वर्गीकरण नियम को प्रशिक्षित करने के लिए उपयोग किए जाने वाले सटीक अनुकूलन एल्गोरिदम को सीखना है। पैरामीट्रिज़ेशन इसे विशेष रूप से उस परिदृश्य के लिए उपयुक्त पैरामीटर अपडेट सीखने की अनुमति देता है जहां एक निर्धारित मात्रा में अपडेट किए जाएंगे, जबकि शिक्षार्थी (क्लासिफायरियर) नेटवर्क का एक सामान्य आरंभीकरण भी सीखता है जो प्रशिक्षण के त्वरित अभिसरण की अनुमति देता है।

अस्थायी विसंगति
एमएएमएल, मॉडल-एग्नोस्टिक मेटा-लर्निंग के लिए संक्षिप्त रूप से, एक काफी सामान्य अनुकूलन एल्गोरिथ्म है, जो किसी भी मॉडल के साथ संगत है जो ग्रेडिएंट डिसेंट के माध्यम से सीखता है।

सरीसृप
रेप्टाइल एक उल्लेखनीय रूप से सरल मेटा-लर्निंग ऑप्टिमाइज़ेशन एल्गोरिदम है, यह देखते हुए कि इसके दोनों घटक ग्रेडिएंट डिसेंट के माध्यम से मेटा-अनुकूलन पर निर्भर करते हैं और दोनों मॉडल-अज्ञेयवादी हैं।

उदाहरण
कुछ दृष्टिकोण जिन्हें मेटा लर्निंग के उदाहरण के रूप में देखा गया है:


 * आवर्ती तंत्रिका नेटवर्क (आरएनएन) सार्वभौमिक कंप्यूटर हैं। 1993 में, जुरगेन श्मिडहुबर ने दिखाया कि कैसे स्व-संदर्भित आरएनएन सैद्धांतिक रूप से अपने स्वयं के वजन परिवर्तन एल्गोरिदम को चलाने के लिए बैकप्रॉपैगेशन द्वारा सीख सकते हैं, जो पश्चप्रचार  से काफी अलग हो सकता है। 2001 में, सेप होक्रेइटर और ए.एस. यंगर और पी.आर. कॉनवेल ने दीर्घकालिक अल्पकालिक मेमोरी आरएनएन के आधार पर एक सफल पर्यवेक्षित मेटा लर्नर बनाया। इसने बैकप्रोपेगेशन के माध्यम से द्विघात कार्यों के लिए एक शिक्षण एल्गोरिदम सीखा जो बैकप्रोपेगेशन की तुलना में बहुत तेज़ है।  गहरा दिमाग  (मार्सिन एंड्रीचोविक्ज़ एट अल.) के शोधकर्ताओं ने 2017 में अनुकूलन के लिए इस दृष्टिकोण को बढ़ाया।
 * 1990 के दशक में, मेटा सुदृढीकरण सीखना या मेटा आरएल को एक सार्वभौमिक प्रोग्रामिंग भाषा में लिखी गई स्व-संशोधित नीतियों के माध्यम से श्मिधुबर के अनुसंधान समूह में हासिल किया गया था, जिसमें नीति को बदलने के लिए विशेष निर्देश शामिल थे। एक ही आजीवन परीक्षण है. आरएल एजेंट का लक्ष्य इनाम को अधिकतम करना है। यह अपने स्वयं के सीखने के एल्गोरिदम में लगातार सुधार करके पुरस्कार सेवन में तेजी लाना सीखता है जो स्व-संदर्भित नीति का हिस्सा है। * मेटा सुदृढीकरण सीखना का एक चरम प्रकार गोडेल मशीन द्वारा सन्निहित है, एक सैद्धांतिक निर्माण जो अपने स्वयं के सॉफ़्टवेयर के किसी भी हिस्से का निरीक्षण और संशोधन कर सकता है जिसमें एक सामान्य स्वचालित प्रमेय साबित करना भी शामिल है। यह सिद्ध रूप से इष्टतम तरीके से पुनरावर्ती आत्म-सुधार प्राप्त कर सकता है। * मॉडल-एग्नोस्टिक मेटा-लर्निंग (एमएएमएल) 2017 में चेल्सी फिन एट अल द्वारा पेश किया गया था। कार्यों के अनुक्रम को देखते हुए, किसी दिए गए मॉडल के मापदंडों को इस तरह प्रशिक्षित किया जाता है कि किसी नए कार्य से कुछ प्रशिक्षण डेटा के साथ ग्रेडिएंट डिसेंट के कुछ पुनरावृत्तियों से उस कार्य पर अच्छा सामान्यीकरण प्रदर्शन हो सके। एमएएमएल मॉडल को आसानी से फाइन-ट्यून करने के लिए प्रशिक्षित करता है। एमएएमएल को कुछ-शॉट छवि वर्गीकरण बेंचमार्क और नीति-ग्रेडिएंट-आधारित सुदृढीकरण सीखने के लिए सफलतापूर्वक लागू किया गया था।
 * मेटा-ज्ञान की खोज ज्ञान को प्रेरित करके काम करती है (उदाहरण के लिए नियम) जो यह व्यक्त करता है कि प्रत्येक सीखने की विधि विभिन्न सीखने की समस्याओं पर कैसा प्रदर्शन करेगी। मेटाडेटा सीखने की समस्या में डेटा की विशेषताओं (सामान्य, सांख्यिकीय, सूचना-सैद्धांतिक,...) और सीखने के एल्गोरिदम की विशेषताओं (प्रकार, पैरामीटर सेटिंग्स, प्रदर्शन उपाय,...) द्वारा बनाई जाती है। एक अन्य शिक्षण एल्गोरिदम तब सीखता है कि डेटा विशेषताएँ एल्गोरिदम विशेषताओं से कैसे संबंधित हैं। एक नई सीखने की समस्या को देखते हुए, डेटा विशेषताओं को मापा जाता है, और विभिन्न शिक्षण एल्गोरिदम के प्रदर्शन की भविष्यवाणी की जाती है। इसलिए, कोई नई समस्या के लिए सबसे उपयुक्त एल्गोरिदम का अनुमान लगा सकता है।
 * स्टैक्ड सामान्यीकरण कई (अलग-अलग) शिक्षण एल्गोरिदम को मिलाकर काम करता है। मेटाडेटा उन विभिन्न एल्गोरिदम की भविष्यवाणियों से बनता है। एक अन्य शिक्षण एल्गोरिदम इस मेटाडेटा से यह अनुमान लगाना सीखता है कि एल्गोरिदम का कौन सा संयोजन आम तौर पर अच्छे परिणाम देता है। एक नई सीखने की समस्या को देखते हुए, अंतिम भविष्यवाणी प्रदान करने के लिए एल्गोरिदम के चयनित सेट की भविष्यवाणियों को जोड़ा जाता है (उदाहरण के लिए (भारित) वोटिंग द्वारा)। चूंकि प्रत्येक एल्गोरिदम को समस्याओं के सबसेट पर काम करने के लिए माना जाता है, इसलिए एक संयोजन के अधिक लचीले होने और अच्छी भविष्यवाणियां करने में सक्षम होने की उम्मीद की जाती है।
 * बूस्टिंग (मेटा-एल्गोरिदम) स्टैक्ड सामान्यीकरण से संबंधित है, लेकिन एक ही एल्गोरिदम का कई बार उपयोग करता है, जहां प्रशिक्षण डेटा में उदाहरणों को प्रत्येक रन पर अलग-अलग वजन मिलता है। इससे अलग-अलग भविष्यवाणियाँ प्राप्त होती हैं, प्रत्येक डेटा के सबसेट की सही भविष्यवाणी करने पर केंद्रित होता है, और उन भविष्यवाणियों के संयोजन से बेहतर (लेकिन अधिक महंगे) परिणाम मिलते हैं।
 * गतिशील पूर्वाग्रह चयन दी गई समस्या से मेल खाने के लिए सीखने के एल्गोरिदम के आगमनात्मक पूर्वाग्रह को बदलकर काम करता है। यह सीखने के एल्गोरिदम के प्रमुख पहलुओं को बदलकर किया जाता है, जैसे कि परिकल्पना प्रतिनिधित्व, अनुमानी सूत्र, या पैरामीटर। कई अलग-अलग दृष्टिकोण मौजूद हैं।
 * आगमनात्मक स्थानांतरण अध्ययन करता है कि समय के साथ सीखने की प्रक्रिया को कैसे बेहतर बनाया जा सकता है। मेटाडेटा में पिछले सीखने के एपिसोड के बारे में ज्ञान शामिल होता है और इसका उपयोग किसी नए कार्य के लिए प्रभावी परिकल्पना को कुशलतापूर्वक विकसित करने के लिए किया जाता है। संबंधित दृष्टिकोण को सीखना सीखना कहा जाता है, जिसमें लक्ष्य एक डोमेन से अर्जित ज्ञान का उपयोग दूसरे डोमेन में सीखने में मदद करने के लिए करना है।
 * स्वचालित शिक्षण को बेहतर बनाने के लिए मेटाडेटा का उपयोग करने वाले अन्य दृष्टिकोण सीखने सीखने का वर्गीकरण प्रणाली, केस-आधारित तर्क और बाधा संतुष्टि हैं।
 * मानव शिक्षार्थियों के प्रदर्शन के बारे में एजेंट-मध्यस्थता मेटा-लर्निंग के लिए एक आधार के रूप में एप्लाइड व्यवहार विश्लेषण का उपयोग करने और एक कृत्रिम एजेंट के निर्देशात्मक पाठ्यक्रम को समायोजित करने के लिए कुछ प्रारंभिक, सैद्धांतिक कार्य शुरू किया गया है।
 * ऑटोएमएल जैसे कि गूगल ब्रेन का एआई बिल्डिंग एआई प्रोजेक्ट, जो गूगल के अनुसार 2017 में मौजूदा छवि जाल  बेंचमार्क से कुछ हद तक आगे निकल गया।

बाहरी संबंध

 * Metalearning article in Scholarpedia
 * Vilalta R. and Drissi Y. (2002). A perspective view and survey of meta-learning, Artificial Intelligence Review, 18(2), 77–95.
 * Giraud-Carrier, C., & Keller, J. (2002). Dealing with the data flood, J. Meij (ed), chapter Meta-Learning. STT/Beweton, The Hague.
 * Brazdil P., Giraud-Carrier C., Soares C., Vilalta R. (2009) Metalearning: applications to data mining, chapter Metalearning: Concepts and Systems, Springer
 * Video courses about Meta-Learning with step-by-step explanation of MAML, Prototypical Networks, and Relation Networks.