हाइपरपैरामीटर (मशीन लर्निंग)

मशीन लर्निंग में, हाइपरपैरामीटर एक पैरामीटर है जिसका मान सीखने की प्रक्रिया को नियंत्रित करने के लिए उपयोग किया जाता है। इसके विपरीत, अन्य मापदंडों (सामान्यतः  नोड भार) के मान प्रशिक्षण के माध्यम से प्राप्त किए जाते हैं।

इस प्रकार से हाइपरपैरामीटर को मॉडल हाइपरपैरामीटर के रूप में वर्गीकृत किया जा सकता है, जिसका अनुमान मॉडल फिटिंग के समय नहीं लगाया जा सकता क्योंकि वे मॉडल चयन कार्य, या एल्गोरिदम हाइपरपैरामीटर को संदर्भित करते हैं, जो की सिद्धांत रूप में मॉडल के प्रदर्शन पर कोई प्रभाव नहीं डालते हैं किन्तु  सीखने की प्रक्रिया की गति और गुणवत्ता को प्रभावित करते हैं। अतः मॉडल हाइपरपैरामीटर का उदाहरण तंत्रिका नेटवर्क की टोपोलॉजी और आकार है। इस प्रकार से एल्गोरिदम हाइपरपैरामीटर के उदाहरण लर्निंग दर और बैच आकार के साथ-साथ मिनी-बैच आकार हैं। अतः बैच आकार पूर्ण डेटा नमूने को संदर्भित कर सकता है जहां मिनी-बैच आकार छोटा नमूना सेट है।

विभिन्न मॉडल प्रशिक्षण एल्गोरिदम को भिन्न-भिन्न हाइपरपैरामीटर की आवश्यकता होती है, और कुछ सरल एल्गोरिदम (जैसे सामान्य न्यूनतम वर्ग प्रतिगमन) को किसी की आवश्यकता नहीं होती है। इन हाइपरपैरामीटरों को देखते हुए, प्रशिक्षण एल्गोरिदम डेटा से पैरामीटर सीखता है। अतः उदाहरण के लिए, लैस्सो एल्गोरिथ्म है जो की साधारण न्यूनतम वर्ग प्रतिगमन में नियमितीकरण (गणित) हाइपरपैरामीटर जोड़ता है, जिसे प्रशिक्षण एल्गोरिदम के माध्यम से मापदंडों का अनुमान लगाने से पहले सेट करना होता है।

विचार
इस प्रकार से किसी मॉडल को प्रशिक्षित करने और परीक्षण करने में लगने वाला समय उसके हाइपरपैरामीटर की विकल्प पर निर्भर हो सकता है। किन्तु हाइपरपैरामीटर सामान्यतः निरंतर या पूर्णांक प्रकार का होता है, जिससे मिश्रित-प्रकार की अनुकूलन समस्याएं उत्पन्न होती हैं। कुछ हाइपरपैरामीटर का अस्तित्व दूसरों के मान पर निर्भर करती है, उदाहरण के लिए तंत्रिका नेटवर्क में प्रत्येक छिपी हुई परत का आकार परतों की संख्या पर निर्भर हो सकता है।

सीखने योग्य पैरामीटर में कठिनाई
सामान्यतः, किन्तु सदैव  नहीं, हाइपरपैरामीटर को प्रसिद्ध ग्रेडिएंट आधारित विधियो  (जैसे ग्रेडिएंट डिसेंट, एलबीएफजीएस) का उपयोग करके नहीं सीखा जा सकता है - जो सामान्यतः  पैरामीटर सीखने के लिए नियोजित होते हैं। ये हाइपरपैरामीटर मॉडल प्रतिनिधित्व का वर्णन करने वाले वे पैरामीटर हैं जिन्हें सामान्य अनुकूलन विधियों द्वारा नहीं सीखा जा सकता है किन्तु  फिर भी हानि फ़ंक्शन को प्रभावित करते हैं। अतः उदाहरण समर्थन वेक्टर मशीनों में त्रुटियों के लिए सहिष्णुता हाइपरपैरामीटर है।

अप्रशिक्षित पैरामीटर
कभी-कभी, हाइपरपैरामीटर को प्रशिक्षण डेटा से नहीं सीखा जा सकता है क्योंकि वे आक्रामक रूप से मॉडल की क्षमता को बढ़ाते हैं और डेटा स्ट्रुकचर की समृद्धि को उचित रूप से मैप करने के विपरीत, लॉस फ़ंक्शन को अवांछित न्यूनतम (डेटा में ओवरफिटिंग और ध्वनि उठाना) तक  प्रेरित करना हैं। उदाहरण के लिए, यदि हम प्रतिगमन मॉडल में फिट होने वाले बहुपद समीकरण की डिग्री को ट्रेनेबल पैरामीटर के रूप में मानते हैं, तो डिग्री तब तक बढ़ जाएगी जब तक कि मॉडल पूर्ण रूप  से डेटा में फिट न हो जाए, और कम प्रशिक्षण त्रुटि उत्पन्न होगी, किन्तु  पुअर गेनेरालिज़तिओन प्रदर्शन करता है।

ट्यूनेबिलिटी
इस प्रकार से अधिकांश प्रदर्शन भिन्नता को केवल कुछ हाइपरपैरामीटर के कारण उत्तरदायी ठहराया जा सकता है।  अर्थात किसी एल्गोरिदम, हाइपरपैरामीटर, या इंटरैक्टिंग हाइपरपैरामीटर की ट्यूनेबिलिटी इस तथ्य का माप है कि इसे ट्यून करके कितना प्रदर्शन प्राप्त किया जा सकता है। अतः दीर्घ अवधि की मेमोरी के लिए, जबकि नेटवर्क आकार के पश्चात सीखने की दर इसके अधिक महत्वपूर्ण हाइपरपैरामीटर हैं, बैचिंग और गति का इसके प्रदर्शन पर कोई महत्वपूर्ण प्रभाव नहीं पड़ता है।

चूंकि कुछ अनुसंधान ने हजारों की संख्या में मिनी-बैच आकारों के उपयोग की वकालत की है, अन्य कार्यों में 2 और 32 के मध्य मिनी-बैच आकारों के साथ अधिक उचित प्रदर्शन पाया गया है।

मजबूती
सीखने में अंतर्निहित स्टोचैस्टिसिटी का सीधा तात्पर्य यह है कि अनुभवजन्य हाइपरपैरामीटर प्रदर्शन आवश्यक रूप से इसका वास्तविक प्रदर्शन नहीं है। वे विधियां जो हाइपरपैरामीटर, रैंडम सीड्स, या यहां तक ​​कि ही एल्गोरिदम के विभिन्न कार्यान्वयनों में सरल परिवर्तनों के लिए मजबूती (कंप्यूटर विज्ञान) नहीं हैं, उन्हें महत्वपूर्ण सरलीकरण और सुदृढ़ीकरण के बिना मिशन महत्वपूर्ण नियंत्रण प्रणालियों में एकीकृत नहीं किया जा सकता है।

सुदृढीकरण सीखने के एल्गोरिदम को, विशेष रूप से, बड़ी संख्या में रैंडम सीड्स ों पर उनके प्रदर्शन को मापने की आवश्यकता होती है, और हाइपरपैरामीटर के विकल्पों के प्रति उनकी संवेदनशीलता को मापने की भी आवश्यकता होती है। कम संख्या में रैंडम सीड्स ों के साथ उनका मान ांकन उच्च भिन्नता के कारण प्रदर्शन को पर्याप्त रूप से कैप्चर नहीं कर पाता है। कुछ सुदृढीकरण सीखने की विधियाँ, उदा. डीडीपीजी (डीप डिटरमिनिस्टिक पॉलिसी ग्रेडिएंट), दूसरों की तुलना में हाइपरपैरामीटर विकल्पों के प्रति अधिक संवेदनशील हैं।

अनुकूलन
हाइपरपैरामीटर ऑप्टिमाइज़ेशन हाइपरपैरामीटर का टुपल ढूंढता है जो इष्टतम मॉडल उत्पन्न करता है जो दिए गए परीक्षण डेटा पर पूर्वनिर्धारित हानि फ़ंक्शन को कम करता है। ऑब्जेक्टिव फ़ंक्शन हाइपरपैरामीटर का टुपल लेता है और संबंधित हानि लौटाता है।

प्रतिलिपि प्रस्तुत करने योग्यता
हाइपरपैरामीटर को ट्यून करने के अलावा, मशीन लर्निंग में पैरामीटर और परिणामों को संग्रहीत और व्यवस्थित करना और यह सुनिश्चित करना शामिल है कि वे प्रतिलिपि प्रस्तुत करने योग्य हैं। इस उद्देश्य के लिए मजबूत बुनियादी ढांचे की अनुपस्थिति में, अनुसंधान कोड अक्सर तेजी से विकसित होता है और बहीखाता पद्धति और प्रतिलिपि प्रस्तुत करने योग्यता जैसे आवश्यक पहलुओं से समझौता करता है। मशीन लर्निंग के लिए ऑनलाइन सहयोग प्लेटफ़ॉर्म वैज्ञानिकों को प्रयोगों, डेटा और एल्गोरिदम को स्वचालित रूप से साझा करने, व्यवस्थित करने और चर्चा करने की अनुमति देकर आगे बढ़ते हैं। गहन शिक्षण मॉडल के लिए पुनरुत्पादन विशेष रूप से कठिन हो सकता है।

यह भी देखें

 * अति-अनुमानवादी
 * प्रतिकृति संकट