रिज प्रतिगमन

रिज प्रतिगमन उन परिदृश्यों में बहु-प्रतिगमन मॉडल के गुणांकों का आकलन करने की एक विधि है जहां स्वतंत्र चर अत्यधिक सहसंबद्ध होते हैं। इसका उपयोग अर्थमिति, रसायन विज्ञान और इंजीनियरिंग सहित कई क्षेत्रों में किया गया है।इसे तिखोनोव नियमितीकरण के रूप में भी जाना जाता है, जिसका नाम एंड्री निकोलाइविच तिखोनोव के नाम पर रखा गया है, यह निष्क्रिय समस्याओं के नियमितीकरण (गणित) की एक विधि है। यह रैखिक प्रतिगमन में बहुसंरेखता की समस्या को कम करने के लिए विशेष रूप से उपयोगी है, जो सामान्यतः बड़ी संख्या में मापदंडों वाले मॉडल में होता है। सामान्यतः, विधि एक अनुमानक के पूर्वाग्रह की सहनीय राशि के बदले में मापदंड आकलन समस्याओं में बेहतर कुशल अनुमानक प्रदान करती है (पूर्वाग्रह-भिन्नता व्यापार देखें)।

इस सिद्धांत को पहली बार होर्ल और केनार्ड ने 1970 में अपने टेक्नोमेट्रिक्स पेपर "रिज प्रतिगमन: बायस्ड एस्टीमेशन ऑफ नॉनऑर्थोगोनल प्रॉब्लम्स" और "रिज प्रतिगमन: एप्लिकेशन्स इन नॉनऑर्थोगोनल प्रॉब्लम्स" में पेश किया था।यह रिज विश्लेषण के क्षेत्र में दस वर्षों के शोध का परिणाम था।

रिज प्रतिगमन को कम से कम वर्ग अनुमानकों की अशुद्धि के संभावित समाधान के रूप में विकसित किया गया था जब रैखिक प्रतिगमन मॉडल में कुछ बहुसंरेखीय (अत्यधिक सहसंबद्ध) स्वतंत्र चर होते हैं - एक रिज प्रतिगमन अनुमानक (आरआर) बनाकर यह एक अधिक यथार्थ रिज मापदंड अनुमान प्रदान करता है, क्योंकि इसके विचरण और माध्य वर्ग अनुमानक प्रायः पहले से प्राप्त कम से कम वर्ग अनुमानक से छोटे होते हैं।

अवलोकन

सबसे सरल प्रकरण में, एक विलक्षण मैट्रिसेस की समस्या निकट क्षण आव्यूह $(\mathbf {X} ^{\mathsf {T}}\mathbf {X} )$ मुख्य विकर्ण में सकारात्मक तत्वों को जोड़कर कम किया जाता है, जिससे इसकी स्थिति संख्या कम हो जाती है। सामान्य न्यूनतम वर्ग अनुमानक के अनुरूप, सरल रिज अनुमानक तब द्वारा दिया जाता है

${\hat {\beta }}_{R}=(\mathbf {X} ^{\mathsf {T}}\mathbf {X} +\lambda \mathbf {I} )^{-1}\mathbf {X} ^{\mathsf {T}}\mathbf {y}$

जहाँ $\mathbf {y}$ प्रतिगामी है, $\mathbf {X}$ डिजाइन आव्यूह है, $\mathbf {I}$ पहचान आव्यूह और रिज मापदंड है और $\lambda \geq 0$ क्षण आव्यूह के विकर्णों को निरंतर स्थानांतरित करने के रूप में कार्य करता है। यह रैखिक प्रतिगमन में बहुसंरेखता की समस्या को कम करने के लिए विशेष रूप से उपयोगी है, जो सामान्यतः बड़ी संख्या में मापदंडों वाले मॉडल में होता है। यह दिखाया जा सकता है कि यह अनुमानक बाधा (गणित) के अधीन कम से कम वर्गों की समस्या का समाधान है $\beta ^{\mathsf {T}}\beta =c$, जिसे लगरंगिआन के रूप में व्यक्त किया जा सकता है:

$\underset{\mathrm{\beta <!--\; \beta \; -->}}{min}{(\mathbf{y}-<!--\; -\; -->\mathbf{X}\mathrm{\beta <!--\; \beta \; -->})}^{}$