रिज प्रतिगमन

रिज प्रतिगमन उन परिदृश्यों में बहु-प्रतिगमन मॉडल के गुणांकों का आकलन करने की एक विधि है जहां स्वतंत्र चर अत्यधिक सहसंबद्ध होते हैं। इसका उपयोग अर्थमिति, रसायन विज्ञान और इंजीनियरिंग सहित कई क्षेत्रों में किया गया है।इसे तिखोनोव नियमितीकरण के रूप में भी जाना जाता है, जिसका नाम एंड्री निकोलाइविच तिखोनोव के नाम पर रखा गया है, यह निष्क्रिय समस्याओं के नियमितीकरण (गणित) की एक विधि है। यह रैखिक प्रतिगमन में बहुसंरेखता की समस्या को कम करने के लिए विशेष रूप से उपयोगी है, जो सामान्यतः बड़ी संख्या में मापदंडों वाले मॉडल में होता है। सामान्यतः, विधि एक अनुमानक के पूर्वाग्रह की सहनीय राशि के बदले में मापदंड आकलन समस्याओं में बेहतर कुशल अनुमानक प्रदान करती है (पूर्वाग्रह-भिन्नता व्यापार देखें)।

इस सिद्धांत को पहली बार होर्ल और केनार्ड ने 1970 में अपने टेक्नोमेट्रिक्स पेपर "रिज प्रतिगमन: बायस्ड एस्टीमेशन ऑफ नॉनऑर्थोगोनल प्रॉब्लम्स" और "रिज प्रतिगमन: एप्लिकेशन्स इन नॉनऑर्थोगोनल प्रॉब्लम्स" में पेश किया था।यह रिज विश्लेषण के क्षेत्र में दस वर्षों के शोध का परिणाम था।

रिज प्रतिगमन को कम से कम वर्ग अनुमानकों की अशुद्धि के संभावित समाधान के रूप में विकसित किया गया था जब रैखिक प्रतिगमन मॉडल में कुछ बहुसंरेखीय (अत्यधिक सहसंबद्ध) स्वतंत्र चर होते हैं - एक रिज प्रतिगमन अनुमानक (आरआर) बनाकर यह एक अधिक यथार्थ रिज मापदंड अनुमान प्रदान करता है, क्योंकि इसके विचरण और माध्य वर्ग अनुमानक प्रायः पहले से प्राप्त कम से कम वर्ग अनुमानक से छोटे होते हैं।

अवलोकन

सबसे सरल मामले में, एक विलक्षण मैट्रिसेस की समस्या | निकट-एकवचन क्षण मैट्रिक्स $(\mathbf {X} ^{\mathsf {T}}\mathbf {X} )$ मुख्य विकर्ण में सकारात्मक तत्वों को जोड़कर कम किया जाता है, जिससे इसकी स्थिति संख्या कम हो जाती है। सामान्य न्यूनतम वर्ग अनुमानक के अनुरूप, सरल रिज अनुमानक तब द्वारा दिया जाता है

${\hat {\beta }}_{R}=(\mathbf {X} ^{\mathsf {T}}\mathbf {X} +\lambda \mathbf {I} )^{-1}\mathbf {X} ^{\mathsf {T}}\mathbf {y}$

कहाँ $\mathbf {y}$ प्रतिगामी है, $\mathbf {X}$ डिजाइन मैट्रिक्स है, $\mathbf {I}$ पहचान मैट्रिक्स और रिज मापदंड है $\lambda \geq 0$ क्षण मैट्रिक्स के विकर्णों को निरंतर स्थानांतरित करने के रूप में कार्य करता है। यह दिखाया जा सकता है कि यह अनुमानक बाधा (गणित) के अधीन कम से कम वर्गों की समस्या का समाधान है $\beta ^{\mathsf {T}}\beta =c$, जिसे Lagrangian के रूप में व्यक्त किया जा सकता है:

$\min _{\beta }\,(\mathbf {y} -\mathbf {X} \beta )^{\mathsf {T}}(\mathbf {y} -\mathbf {X} \beta )+\lambda (\beta ^{\mathsf {T}}\beta -c)$

जो दर्शाता है $\lambda$ बाधा के लैग्रेंज गुणक के अलावा और कुछ नहीं है। सामान्यतः, $\lambda$ एक अनुमानी कसौटी के अनुसार चुना जाता है, ताकि बाधा पूरी तरह से संतुष्ट न हो। विशेष रूप से के मामले में $\lambda =0$, जिसमें गैर-बाध्यकारी बाधा | बाधा गैर-बाध्यकारी है, रिज अनुमानक कम से कम साधारण वर्ग तक कम हो जाता है। तिखोनोव नियमितीकरण के लिए एक अधिक सामान्य दृष्टिकोण की चर्चा नीचे की गई है।

इतिहास

कई अलग-अलग संदर्भों में स्वतंत्र रूप से तिखोनोव नियमितीकरण का आविष्कार किया गया है। के कार्य से अभिन्न समीकरणों के लिए इसके अनुप्रयोग से व्यापक रूप से जाना जाने लगा एंड्री निकोलायेविच तिखोनोव और डेविड एल फिलिप्स। कुछ लेखक तिखोनोव-फिलिप्स नियमितीकरण शब्द का उपयोग करते हैं। आर्थर ई. होर्ल ने परिमित-आयामी मामले की व्याख्या की, जिन्होंने एक सांख्यिकीय दृष्टिकोण अपनाया, और मानुस फोस्टर द्वारा, जिन्होंने इस विधि की व्याख्या क्रिगिंग | वीनर-कोल्मोगोरोव (क्रिगिंग) फिल्टर के रूप में की। होर्ल के बाद, यह सांख्यिकीय साहित्य में रिज प्रतिगमन के रूप में जाना जाता है, पहचान मैट्रिक्स के विकर्ण के साथ आकृति के नाम पर।

तिखोनोव नियमितीकरण

मान लीजिए कि एक ज्ञात मैट्रिक्स के लिए $A$ और वेक्टर $\mathbf {b}$, हम एक वेक्टर खोजना चाहते हैं $\mathbf {x}$ ऐसा है कि

$A\mathbf {x} =\mathbf {b} .$

मानक दृष्टिकोण साधारण न्यूनतम वर्ग रैखिक प्रतिगमन है। हालांकि, अगर नहीं $\mathbf {x}$ समीकरण या एक से अधिक को संतुष्ट करता है $\mathbf {x}$ करता है—अर्थात, समाधान अद्वितीय नहीं है—समस्या को अच्छी तरह से प्रस्तुत समस्या कहा जाता है। ऐसे मामलों में, सामान्य न्यूनतम वर्ग अनुमान एक अतिनिर्धारित प्रणाली की ओर जाता है, या अधिक बार समीकरणों की एक अनिर्धारित प्रणाली प्रणाली। अधिकांश वास्तविक दुनिया की घटनाओं में लो-पास फिल्टर का प्रभाव होता है आगे की दिशा में जहां $A$ एमएपीएस $\mathbf {x}$ को $\mathbf {b}$. इसलिए, व्युत्क्रम-समस्या को हल करने में, व्युत्क्रम मानचित्रण एक उच्च पास फिल्टर के रूप में कार्य करता है जिसमें शोर को बढ़ाने की अवांछनीय प्रवृत्ति होती है (eigenvalues / एकवचन मान रिवर्स मैपिंग में सबसे बड़े होते हैं जहां वे आगे की मैपिंग में सबसे छोटे थे)। इसके अलावा, सामान्य कम से कम वर्ग के पुनर्निर्मित संस्करण के प्रत्येक तत्व को स्पष्ट रूप से रद्द कर देता है $\mathbf {x}$ वह शून्य-स्थान में है $A$, किसी मॉडल को पूर्व के रूप में उपयोग करने की अनुमति देने के बजाय $\mathbf {x}$. साधारण न्यूनतम वर्ग वर्ग अवशिष्ट (संख्यात्मक विश्लेषण) के योग को कम करने का प्रयास करता है, जिसे संक्षिप्त रूप से लिखा जा सकता है

${\Vert <!--\; \Vert \; -->A\mathbf{x}-<!--\; -\; -->}_{}^{}$