रिज प्रतिगमन

रिज प्रतिगमन उन परिदृश्यों में बहु-प्रतिगमन मॉडल के गुणांकों का आकलन करने की एक विधि है जहां स्वतंत्र चर अत्यधिक सहसंबद्ध होते हैं। इसका उपयोग अर्थमिति, रसायन विज्ञान और इंजीनियरिंग सहित कई क्षेत्रों में किया गया है।तिखोनोव नियमितीकरण के रूप में भी जाना जाता है, जिसका नाम एंड्री निकोलाइविच तिखोनोव के नाम पर रखा गया है, यह बीमार समस्याओं के नियमितीकरण (गणित) की एक विधि है। यह रैखिक प्रतिगमन में बहुसंरेखता की समस्या को कम करने के लिए विशेष रूप से उपयोगी है, जो आमतौर पर बड़ी संख्या में मापदंडों वाले मॉडल में होता है। सामान्य तौर पर, विधि एक अनुमानक के पूर्वाग्रह की सहनीय राशि के बदले में पैरामीटर आकलन समस्याओं में बेहतर कुशल अनुमानक प्रदान करती है (पूर्वाग्रह-भिन्नता व्यापार देखें)। इस सिद्धांत को पहली बार होर्ल और केनार्ड ने 1970 में अपने टेक्नोमेट्रिक्स पेपर "आरआईडीजीई रिग्रेशन्स: बायस्ड एस्टीमेशन ऑफ नॉनऑर्थोगोनल प्रॉब्लम्स" और "आरआईडीजीई रिग्रेशन्स: एप्लिकेशन्स इन नॉनऑर्थोगोनल प्रॉब्लम्स" में पेश किया था।यह रिज विश्लेषण के क्षेत्र में दस वर्षों के शोध का परिणाम था। रिज प्रतिगमन को कम से कम वर्ग अनुमानकों की अशुद्धि के संभावित समाधान के रूप में विकसित किया गया था जब रैखिक प्रतिगमन मॉडल में कुछ बहुसंरेखीय (अत्यधिक सहसंबद्ध) स्वतंत्र चर होते हैं - एक रिज प्रतिगमन अनुमानक (आरआर) बनाकर। यह एक अधिक सटीक रिज पैरामीटर अनुमान प्रदान करता है, क्योंकि इसके विचरण और माध्य वर्ग अनुमानक अक्सर पहले से प्राप्त कम से कम वर्ग अनुमानक से छोटे होते हैं।

सिंहावलोकन

सबसे सरल मामले में, एक विलक्षण मैट्रिसेस की समस्या | निकट-एकवचन क्षण मैट्रिक्स $(\mathbf {X} ^{\mathsf {T}}\mathbf {X} )$ मुख्य विकर्ण में सकारात्मक तत्वों को जोड़कर कम किया जाता है, जिससे इसकी स्थिति संख्या कम हो जाती है। सामान्य न्यूनतम वर्ग अनुमानक के अनुरूप, सरल रिज अनुमानक तब द्वारा दिया जाता है

${\hat {\beta }}_{R}=(\mathbf {X} ^{\mathsf {T}}\mathbf {X} +\lambda \mathbf {I} )^{-1}\mathbf {X} ^{\mathsf {T}}\mathbf {y}$

कहाँ $\mathbf {y}$ प्रतिगामी है, $\mathbf {X}$ डिजाइन मैट्रिक्स है, $\mathbf {I}$ पहचान मैट्रिक्स और रिज पैरामीटर है $\lambda \geq 0$ क्षण मैट्रिक्स के विकर्णों को निरंतर स्थानांतरित करने के रूप में कार्य करता है। यह दिखाया जा सकता है कि यह अनुमानक बाधा (गणित) के अधीन कम से कम वर्गों की समस्या का समाधान है $\beta ^{\mathsf {T}}\beta =c$, जिसे Lagrangian के रूप में व्यक्त किया जा सकता है:

$\underset{\mathrm{\beta <!--\; \beta \; -->}}{min}{(\mathbf{y}-<!--\; -\; -->\mathbf{X}\mathrm{\beta <!--\; \beta \; -->})}^{\mathsf{T}}(\mathbf{y}-<!--\; -\; -->\mathbf{X}$