रिज प्रतिगमन

रिज प्रतिगमन उन परिदृश्यों में बहु-प्रतिगमन मॉडल के गुणांकों का आकलन करने की एक विधि है जहां स्वतंत्र चर अत्यधिक सहसंबद्ध होते हैं। इसका उपयोग अर्थमिति, रसायन विज्ञान और इंजीनियरिंग सहित कई क्षेत्रों में किया गया है।इसे तिखोनोव नियमितीकरण के रूप में भी जाना जाता है, जिसका नाम एंड्री निकोलाइविच तिखोनोव के नाम पर रखा गया है, यह निष्क्रिय समस्याओं के नियमितीकरण (गणित) की एक विधि है। यह रैखिक प्रतिगमन में बहुसंरेखता की समस्या को कम करने के लिए विशेष रूप से उपयोगी है, जो सामान्यतः बड़ी संख्या में मापदंडों वाले मॉडल में होता है। सामान्यतः, विधि एक अनुमानक के पूर्वाग्रह की सहनीय राशि के बदले में मापदंड आकलन समस्याओं में बेहतर कुशल अनुमानक प्रदान करती है (पूर्वाग्रह-भिन्नता व्यापार देखें)।

इस सिद्धांत को पहली बार होर्ल और केनार्ड ने 1970 में अपने टेक्नोमेट्रिक्स पेपर "रिज प्रतिगमन: बायस्ड एस्टीमेशन ऑफ नॉनऑर्थोगोनल प्रॉब्लम्स" और "रिज प्रतिगमन: एप्लिकेशन्स इन नॉनऑर्थोगोनल प्रॉब्लम्स" में पेश किया था।यह रिज विश्लेषण के क्षेत्र में दस वर्षों के शोध का परिणाम था।

रिज प्रतिगमन को कम से कम वर्ग अनुमानकों की अशुद्धि के संभावित समाधान के रूप में विकसित किया गया था जब रैखिक प्रतिगमन मॉडल में कुछ बहुसंरेखीय (अत्यधिक सहसंबद्ध) स्वतंत्र चर होते हैं - एक रिज प्रतिगमन अनुमानक (आरआर) बनाकर यह एक अधिक यथार्थ रिज मापदंड अनुमान प्रदान करता है, क्योंकि इसके विचरण और माध्य वर्ग अनुमानक प्रायः पहले से प्राप्त कम से कम वर्ग अनुमानक से छोटे होते हैं।

अवलोकन

सबसे सरल प्रकरण में, एक विलक्षण मैट्रिसेस की समस्या निकट क्षण आव्यूह $(\mathbf {X} ^{\mathsf {T}}\mathbf {X} )$ मुख्य विकर्ण में सकारात्मक तत्वों को जोड़कर कम किया जाता है, जिससे इसकी स्थिति संख्या कम हो जाती है। सामान्य न्यूनतम वर्ग अनुमानक के अनुरूप, सरल रिज अनुमानक तब द्वारा दिया जाता है

${\hat {\beta }}_{R}=(\mathbf {X} ^{\mathsf {T}}\mathbf {X} +\lambda \mathbf {I} )^{-1}\mathbf {X} ^{\mathsf {T}}\mathbf {y}$

जहाँ $\mathbf {y}$ प्रतिगामी है, $\mathbf {X}$ डिजाइन आव्यूह है, $\mathbf {I}$ पहचान आव्यूह और रिज मापदंड है और $\lambda \geq 0$ क्षण आव्यूह के विकर्णों को निरंतर स्थानांतरित करने के रूप में कार्य करता है। यह रैखिक प्रतिगमन में बहुसंरेखता की समस्या को कम करने के लिए विशेष रूप से उपयोगी है, जो सामान्यतः बड़ी संख्या में मापदंडों वाले मॉडल में होता है। यह दिखाया जा सकता है कि यह अनुमानक बाधा (गणित) के अधीन कम से कम वर्गों की समस्या का समाधान है $\beta ^{\mathsf {T}}\beta =c$, जिसे लगरंगिआन के रूप में व्यक्त किया जा सकता है:

$\min _{\beta }\,(\mathbf {y} -\mathbf {X} \beta )^{\mathsf {T}}(\mathbf {y} -\mathbf {X} \beta )+\lambda (\beta ^{\mathsf {T}}\beta -c)$

जो दर्शाता है $\lambda$ बाधा के लैग्रेंज गुणक के अलावा और कुछ नहीं है। सामान्यतः, $\lambda$ एक अनुमानी कसौटी के अनुसार चुना जाता है, ताकि बाधा पूरी तरह से संतुष्ट न हो। विशेष रूप से के प्रकरण में $\lambda =0$, जिसमें गैर-बाध्यकारी बाधा है, रिज अनुमानक कम से कम साधारण वर्ग तक कम हो जाता है। तिखोनोव नियमितीकरण के लिए एक अधिक सामान्य दृष्टिकोण की चर्चा नीचे की गई है।

इतिहास

कई अलग-अलग संदर्भों में स्वतंत्र रूप से तिखोनोव नियमितीकरण का आविष्कार किया गया है। एंड्री निकोलायेविच तिखोनोव और डेविड एल फिलिप्स के कार्य से अभिन्न समीकरणों के लिए इसके अनुप्रयोग से व्यापक रूप से जाना जाने लगा। कुछ लेखक तिखोनोव-फिलिप्स नियमितीकरण शब्द का उपयोग करते हैं। आर्थर ई. होर्ल ने परिमित-आयामी प्रकरण की व्याख्या की, जिन्होंने एक सांख्यिकीय दृष्टिकोण अपनाया, और मानुस फोस्टर द्वारा, जिन्होंने इस विधि की व्याख्या क्रिगिंग वीनर-कोल्मोगोरोव (क्रिगिंग) फिल्टर के रूप में की। होर्ल के बाद, पहचान आव्यूह के विकर्ण के साथ आकृति के नाम पर यह सांख्यिकीय साहित्य में रिज प्रतिगमन के रूप में जाना जाता है। यह रैखिक प्रतिगमन में बहुसंरेखता की समस्या को कम करने के लिए विशेष रूप से उपयोगी है, जो सामान्यतः बड़ी संख्या में मापदंडों वाले मॉडल में होता है।

तिखोनोव नियमितीकरण

मान लीजिए कि एक ज्ञात आव्यूह के लिए $A$ और सदिश $\mathbf {b}$, हम एक सदिश $\mathbf {x}$ खोजना चाहते हैं, ऐसा है कि

$A\mathbf {x} =\mathbf {b} .$

मानक दृष्टिकोण साधारण न्यूनतम वर्ग रैखिक प्रतिगमन है। हालांकि, अगर $\mathbf {x}$ समीकरण या एक से अधिक को संतुष्ट नहीं करता है तो समाधान अद्वितीय नहीं है—समस्या को अच्छी तरह से प्रस्तुत समस्या कहा जाता है। ऐसे प्रकरणों में, सामान्य न्यूनतम वर्ग अनुमान एक अतिनिर्धारित प्रणाली की ओर जाता है, या अधिक बार समीकरणों की एक अनिर्धारित प्रणाली प्रणाली अधिकांश वास्तविक दुनिया की घटनाओं में लो-पास फिल्टर का प्रभाव होता है आगे की दिशा में जहां $A$ एमएपीएस $\mathbf {x}$ को $\mathbf {b}$ व्युत्क्रम-समस्या को हल करने में, व्युत्क्रम मानचित्रण एक उच्च पास फिल्टर के रूप में कार्य करता है जिसमें शोर को बढ़ाने की अवांछनीय प्रवृत्ति होती है (लगरंगिआन / एकल मान रिवर्स मैपिंग में सबसे बड़े होते हैं जहां वे आगे की मैपिंग में सबसे छोटे थे)। इसके अलावा, सामान्य कम से कम वर्ग के पुनर्निर्मित संस्करण के प्रत्येक तत्व को स्पष्ट रूप से $\mathbf {x}$ रद्द कर देता है, वह शून्य-स्थान $A$ में है, किसी मॉडल को पूर्व के रूप में उपयोग करने की अनुमति देने के बजाय $\mathbf {x}$ साधारण न्यूनतम वर्ग अवशिष्ट (संख्यात्मक विश्लेषण) के योग को कम करने का प्रयास करता है, जिसे संक्षिप्त रूप से लिखा जा सकता है

${\Vert <!--\; \Vert \; -->A\mathbf{x}-<!--\; -\; -->\mathbf{b}\Vert <!--\; \Vert \; -->}_2^{}$