रिज प्रतिगमन

रिज प्रतिगमन उन परिदृश्यों में बहु-प्रतिगमन मॉडल के गुणांकों का आकलन करने की एक विधि है जहां स्वतंत्र चर अत्यधिक सहसंबद्ध होते हैं। इसका उपयोग अर्थमिति, रसायन विज्ञान और इंजीनियरिंग सहित कई क्षेत्रों में किया गया है।इसे तिखोनोव नियमितीकरण के रूप में भी जाना जाता है, जिसका नाम एंड्री निकोलाइविच तिखोनोव के नाम पर रखा गया है, यह निष्क्रिय समस्याओं के नियमितीकरण (गणित) की एक विधि है। यह रैखिक प्रतिगमन में बहुसंरेखता की समस्या को कम करने के लिए विशेष रूप से उपयोगी है, जो सामान्यतः बड़ी संख्या में मापदंडों वाले मॉडल में होता है। सामान्यतः, विधि एक अनुमानक के पूर्वाग्रह की सहनीय राशि के बदले में मापदंड आकलन समस्याओं में बेहतर कुशल अनुमानक प्रदान करती है (पूर्वाग्रह-भिन्नता व्यापार देखें)।

इस सिद्धांत को पहली बार होर्ल और केनार्ड ने 1970 में अपने टेक्नोमेट्रिक्स पेपर "रिज प्रतिगमन: बायस्ड एस्टीमेशन ऑफ नॉनऑर्थोगोनल प्रॉब्लम्स" और "रिज प्रतिगमन: एप्लिकेशन्स इन नॉनऑर्थोगोनल प्रॉब्लम्स" में पेश किया था।यह रिज विश्लेषण के क्षेत्र में दस वर्षों के शोध का परिणाम था।

रिज प्रतिगमन को कम से कम वर्ग अनुमानकों की अशुद्धि के संभावित समाधान के रूप में विकसित किया गया था जब रैखिक प्रतिगमन मॉडल में कुछ बहुसंरेखीय (अत्यधिक सहसंबद्ध) स्वतंत्र चर होते हैं - एक रिज प्रतिगमन अनुमानक (आरआर) बनाकर यह एक अधिक यथार्थ रिज मापदंड अनुमान प्रदान करता है, क्योंकि इसके विचरण और माध्य वर्ग अनुमानक प्रायः पहले से प्राप्त कम से कम वर्ग अनुमानक से छोटे होते हैं।

अवलोकन

सबसे सरल प्रकरण में, एक विलक्षण मैट्रिसेस की समस्या निकट क्षण आव्यूह $(\mathbf {X} ^{\mathsf {T}}\mathbf {X} )$ मुख्य विकर्ण में सकारात्मक तत्वों को जोड़कर कम किया जाता है, जिससे इसकी स्थिति संख्या कम हो जाती है। सामान्य न्यूनतम वर्ग अनुमानक के अनुरूप, सरल रिज अनुमानक तब द्वारा दिया जाता है

${\hat {\beta }}_{R}=(\mathbf {X} ^{\mathsf {T}}\mathbf {X} +\lambda \mathbf {I} )^{-1}\mathbf {X} ^{\mathsf {T}}\mathbf {y}$

जहाँ $\mathbf {y}$ प्रतिगामी है, $\mathbf {X}$ डिजाइन आव्यूह है, $\mathbf {I}$ पहचान आव्यूह और रिज मापदंड है और $\lambda \geq 0$ क्षण आव्यूह के विकर्णों को निरंतर स्थानांतरित करने के रूप में कार्य करता है। यह रैखिक प्रतिगमन में बहुसंरेखता की समस्या को कम करने के लिए विशेष रूप से उपयोगी है, जो सामान्यतः बड़ी संख्या में मापदंडों वाले मॉडल में होता है। यह दिखाया जा सकता है कि यह अनुमानक बाधा (गणित) के अधीन कम से कम वर्गों की समस्या का समाधान है $\beta ^{\mathsf {T}}\beta =c$, जिसे लगरंगिआन के रूप में व्यक्त किया जा सकता है:

$\min _{\beta }\,(\mathbf {y} -\mathbf {X} \beta )^{\mathsf {T}}(\mathbf {y} -\mathbf {X} \beta )+\lambda (\beta ^{\mathsf {T}}\beta -c)$

जो दर्शाता है $\lambda$ बाधा के लैग्रेंज गुणक के अलावा और कुछ नहीं है। सामान्यतः, $\lambda$ एक अनुमानी कसौटी के अनुसार चुना जाता है, ताकि बाधा पूरी तरह से संतुष्ट न हो। विशेष रूप से के प्रकरण में $\lambda =0$, जिसमें गैर-बाध्यकारी बाधा है, रिज अनुमानक कम से कम साधारण वर्ग तक कम हो जाता है। तिखोनोव नियमितीकरण के लिए एक अधिक सामान्य दृष्टिकोण की चर्चा नीचे की गई है।

इतिहास

कई अलग-अलग संदर्भों में स्वतंत्र रूप से तिखोनोव नियमितीकरण का आविष्कार किया गया है। एंड्री निकोलायेविच तिखोनोव और डेविड एल फिलिप्स के कार्य से अभिन्न समीकरणों के लिए इसके अनुप्रयोग से व्यापक रूप से जाना जाने लगा। कुछ लेखक तिखोनोव-फिलिप्स नियमितीकरण शब्द का उपयोग करते हैं। आर्थर ई. होर्ल ने परिमित-आयामी प्रकरण की व्याख्या की, जिन्होंने एक सांख्यिकीय दृष्टिकोण अपनाया, और मानुस फोस्टर द्वारा, जिन्होंने इस विधि की व्याख्या क्रिगिंग वीनर-कोल्मोगोरोव (क्रिगिंग) फिल्टर के रूप में की। होर्ल के बाद, पहचान आव्यूह के विकर्ण के साथ आकृति के नाम पर यह सांख्यिकीय साहित्य में रिज प्रतिगमन के रूप में जाना जाता है। यह रैखिक प्रतिगमन में बहुसंरेखता की समस्या को कम करने के लिए विशेष रूप से उपयोगी है, जो सामान्यतः बड़ी संख्या में मापदंडों वाले मॉडल में होता है।

तिखोनोव नियमितीकरण

मान लीजिए कि एक ज्ञात आव्यूह के लिए $A$ और सदिश $\mathbf {b}$, हम एक सदिश $\mathbf {x}$ खोजना चाहते हैं, ऐसा है कि

$A\mathbf {x} =\mathbf {b} .$

मानक दृष्टिकोण साधारण न्यूनतम वर्ग रैखिक प्रतिगमन है। हालांकि, अगर $\mathbf {x}$ समीकरण या एक से अधिक को संतुष्ट नहीं करता है तो समाधान अद्वितीय नहीं है—समस्या को अच्छी तरह से प्रस्तुत समस्या कहा जाता है। ऐसे प्रकरणों में, सामान्य न्यूनतम वर्ग अनुमान एक अतिनिर्धारित प्रणाली की ओर जाता है, या अधिक बार समीकरणों की एक अनिर्धारित प्रणाली प्रणाली अधिकांश वास्तविक दुनिया की घटनाओं में लो-पास फिल्टर का प्रभाव होता है आगे की दिशा में जहां $A$ एमएपीएस $\mathbf {x}$ को $\mathbf {b}$ व्युत्क्रम-समस्या को हल करने में, व्युत्क्रम मानचित्रण एक उच्च पास फिल्टर के रूप में कार्य करता है जिसमें शोर को बढ़ाने की अवांछनीय प्रवृत्ति होती है (लगरंगिआन / एकल मान रिवर्स मैपिंग में सबसे बड़े होते हैं जहां वे आगे की मैपिंग में सबसे छोटे थे)। इसके अलावा, सामान्य कम से कम वर्ग के पुनर्निर्मित संस्करण के प्रत्येक तत्व को स्पष्ट रूप से $\mathbf {x}$ रद्द कर देता है, वह शून्य-स्थान $A$ में है, किसी मॉडल को पूर्व के रूप में उपयोग करने की अनुमति देने के बजाय $\mathbf {x}$ साधारण न्यूनतम वर्ग अवशिष्ट (संख्यात्मक विश्लेषण) के योग को कम करने का प्रयास करता है, जिसे संक्षिप्त रूप से लिखा जा सकता है

$\|A\mathbf {x} -\mathbf {b} \|_{2}^{2},$

जहाँ $\|\cdot \|_{2}$ नॉर्म (गणित) यूक्लिडियन मानदंड है।

वांछित गुणों वाले किसी विशेष समाधान को वरीयता देने के लिए, इस न्यूनीकरण में एक नियमितीकरण शब्द सम्मिलित किया जा सकता है:

$\|A\mathbf {x} -\mathbf {b} \|_{2}^{2}+\|\Gamma \mathbf {x} \|_{2}^{2}$

कुछ उपयुक्त रूप से चुने गए तिखोनोव आव्यूह के लिए $\Gamma$ कई प्रकरणों में, इस आव्यूह को आइडेंटिटी आव्यूह के स्केलर मल्टीपल के रूप में चुना जाता है ($\Gamma =\alpha I$), छोटे नॉर्म (गणित) के साथ नियमितीकरण समाधानों को वरीयता देना; इसे इस रूप में L₂ जाना जाता है। अन्य प्रकरणों में, उच्च-पास संचालक (उदाहरण के लिए, एक अंतर संचालक या भारित असतत फूरियर रूपांतरण) का उपयोग समतल पृष्ठ को लागू करने के लिए किया जा सकता है यदि अंतर्निहित सदिश अधिकतर निरंतर माना जाता है।

यह नियमितीकरण समस्या की अनुकूलन में सुधार करता है, इस प्रकार प्रत्यक्ष संख्यात्मक समाधान को सक्षम करता है। एक स्पष्ट समाधान, द्वारा निरूपित ${\hat {x}}$, द्वारा दिया गया है

${\hat {x}}=(A^{\top }A+\Gamma ^{\top }\Gamma )^{-1}A^{\top }\mathbf {b} .$

आव्यूह के पैमाने से नियमितीकरण का प्रभाव भिन्न हो सकता है, $\Gamma$ के लिए $\Gamma =0$ यह अनियमित न्यूनतम-वर्ग समाधान को कम करता है, बशर्ते कि (A^tA)⁻¹ उपस्थित है।

L₂ रैखिक प्रतिगमन से अलग कई संदर्भों में नियमितीकरण का उपयोग किया जाता है, जैसे कि संभार तन्त्र परावर्तन या समर्थन सदिश यंत्र के साथ सांख्यिकीय वर्गीकरण, और आव्यूह गुणनखंडन आदि।

सामान्यीकृत तिखोनोव नियमितीकरण

सामान्य बहुभिन्नरूपी सामान्य वितरण के लिए $x$ और डेटा त्रुटि, उपरोक्त प्रकरण को कम करने के लिए चर के परिवर्तन को लागू कर सकते हैं। समान रूप से, कोई $x$ कम करने के लिए

$\|Ax-b\|_{P}^{2}+\|x-x_{0}\|_{Q}^{2},$

जहां हमने $\|x\|_{Q}^{2}$ प्रयोग किया है, भारित मानक के होने के लिए $x^{\top }Qx$ (महालनोबिस दूरी के साथ तुलना करें) बायेसियन व्याख्या में $P$ का व्युत्क्रम सहप्रसरण आव्यूह $b$ है, $x_{0}$ का अपेक्षित मूल्य $x$ है, और $Q$ का व्युत्क्रम सहप्रसरण आव्यूह $x$ है, तिखोनोव आव्यूह को तब आव्यूह के गुणनखंड के रूप में दिया जाता है $Q=\Gamma ^{\top }\Gamma$ (उदाहरण के लिए चोलेस्की गुणनखंडन) और एक सापेक्ष परिवर्तन माना जाता है।

इस सामान्यीकृत समस्या का एक इष्टतम समाधान $x^{*}$ है, जिसे सूत्र द्वारा स्पष्ट रूप से लिखा जा सकता है

$x^{*}=(A^{\top }PA+Q)^{-1}(A^{\top }Pb+Qx_{0}),$

या समकक्ष

$x^{*}=x_{0}+(A^{\top }PA+Q)^{-1}(A^{\top }P(b-Ax_{0})).$

लावेरेंटयेव नियमितीकरण

कुछ स्थितियों में, ट्रांसपोज़ का उपयोग करने से बचा जा सकता है $A^{\top }$, जैसा कि प्रस्तावित किया गया मिखाइल लावेरेंटिव होगा। उदाहरण के लिए, यदि $A$ सममित सकारात्मक निश्चित है, अर्थात $A=A^{\top }>0$, तो इसका उलटा है $A^{-1}$, जिसका उपयोग इस प्रकार भारित मानदंड चुकता करने के लिए किया जा सकता है $\|x\|_{P}^{2}=x^{\top }A^{-1}x$ सामान्यीकृत तिखोनोव नियमितीकरण में, कम से कम करने के लिए अग्रणी यह रैखिक प्रतिगमन में बहुसंरेखता की समस्या को कम करने के लिए विशेष रूप से उपयोगी है, जो सामान्यतः बड़ी संख्या में मापदंडों वाले मॉडल में होता है।

$\|Ax-b\|_{A^{-1}}^{2}+\|x-x_{0}\|_{Q}^{2}$

या, समान रूप से एक स्थिर अवधि तक,

$x^{\top }(A+Q)x-2x^{\top }(b+Qx_{0})$.

इस न्यूनीकरण समस्या का एक इष्टतम समाधान है $x^{*}$ जिसे सूत्र द्वारा स्पष्ट रूप से लिखा जा सकता है

$x^{*}=(A+Q)^{-1}(b+Qx_{0})$,

जो और कुछ नहीं बल्कि सामान्यीकृत तिखोनोव समस्या का समाधान $A=A^{\top }=P^{-1}.$है,

लाव्रेंटएव नियमितीकरण, यदि लागू हो तो, मूल तिखोनोव नियमितीकरण के लिए फायदेमंद है, क्योंकि लाव्रेंटएव आव्यूह $A+Q$ तिखोनोव आव्यूह की तुलना में बेहतर स्थिति में हो सकता है, अर्थात, एक छोटी स्थिति संख्या $A^{\top }A+\Gamma ^{\top }\Gamma .$हो सकती है।

हिल्बर्ट समतल में नियमितीकरण

विशिष्ट रूप से असतत रेखीय निष्क्रिय-समस्याएं अभिन्न समीकरण के विवेक से उत्पन्न होती हैं, और मूल अनंत-आयामी संदर्भ में तिखोनोव नियमितीकरण तैयार कर सकते हैं। उपरोक्त में हम व्याख्या कर सकते हैं, $A$ हिल्बर्ट रिक्त स्थान पर एक सघन संचालक के रूप में, और $x$ और $b$ डोमेन और रेंज में तत्वों के रूप में $A$परिचालक $A^{*}A+\Gamma ^{\top }\Gamma$ तब एक हर्मिटियन संलग्न स्व-संलग्न परिबद्ध व्युत्क्रमणीय संकारक है।

एकल-मूल्य अपघटन और वीनर फ़िल्टर से संबंध

$\Gamma =\alpha I$, इस न्यूनतम-वर्ग समाधान का एकल-मूल्य अपघटन का उपयोग करके एक विशेष तरीके से विश्लेषण किया जा सकता है। एकल मूल्य अपघटन को देखते हुए

$A=U\Sigma V^{\top }$

विलक्षण मूल्यों के साथ $\sigma _{i}$तिखोनोव नियमित समाधान के रूप में व्यक्त किया जा सकता है

${\hat {x}}=VDU^{\top }b,$

जहाँ $D$ विकर्ण मान हैं

$D_{ii}={\frac {\sigma _{i}}{\sigma _{i}^{2}+\alpha ^{2}}}$

यह नियमित समस्या की स्थिति संख्या पर तिखोनोव मापदंड के प्रभाव को प्रदर्शित करता है। सामान्यीकृत प्रकरण के लिए, सामान्यीकृत एकल-मूल्य अपघटन का उपयोग करके एक समान प्रतिनिधित्व प्राप्त किया जा सकता है।

अंत में, यह विनीज़ फ़िल्टर से संबंधित है:

${\hat {x}}=\sum _{i=1}^{q}f_{i}{\frac {u_{i}^{\top }b}{\sigma _{i}}}v_{i},$

जहां वीनर भार $f_{i}={\frac {\sigma _{i}^{2}}{\sigma _{i}^{2}+\alpha ^{2}}}$ हैं और $q$ का कोटि (रैखिक बीजगणित) $A$ है।

तिखोनोव कारक का निर्धारण

इष्टतम नियमितीकरण मापदंड $\alpha$ सामान्यतः अज्ञात होता है और प्रायः व्यावहारिक समस्याओं में एक तदर्थ विधि द्वारा निर्धारित किया जाता है। एक संभावित दृष्टिकोण नीचे वर्णित बायेसियन व्याख्या पर निर्भर करता है। अन्य दृष्टिकोणों में विसंगति सिद्धांत, क्रॉस-सत्यापन (सांख्यिकी), क्रॉस-सत्यापन, एल-वक्र विधि सम्मिलित हैं। प्रतिबंधित अधिकतम संभावना और निष्पक्ष भविष्य कहने वाला जोखिम अनुमानक ग्रेस वाहबा ने प्रमाणित किया कि इष्टतम मापदंड, क्रॉस-वैलिडेशन (सांख्यिकी) के अर्थ में लीव-वन-आउट क्रॉस-वैलिडेशन लीव-वन-आउट क्रॉस-वैलिडेशन न्यूनतम निर्धारित करता है, यह रैखिक प्रतिगमन में बहुसंरेखता की समस्या को कम करने के लिए विशेष रूप से उपयोगी है, जो सामान्यतः बड़ी संख्या में मापदंडों वाले मॉडल में होता है।

$G={\frac {\operatorname {RSS} }{\tau ^{2}}}={\frac {\|X{\hat {\beta }}-y\|^{2}}{[\operatorname {Tr} (I-X(X^{T}X+\alpha ^{2}I)^{-1}X^{T})]^{2}}},$

जहाँ $\operatorname {RSS}$ वर्गों का अवशिष्ट योग है, और $\tau$ स्वतंत्रता की डिग्री की प्रभावी संख्या है।

पिछले SVD अपघटन का उपयोग करके, हम उपरोक्त अभिव्यक्ति को सरल बना सकते हैं:

$\operatorname {RSS} =\left\|y-\sum _{i=1}^{q}(u_{i}'b)u_{i}\right\|^{2}+\left\|\sum _{i=1}^{q}{\frac {\alpha ^{2}}{\sigma _{i}^{2}+\alpha ^{2}}}(u_{i}'b)u_{i}\right\|^{2},$

$\operatorname {RSS} =\operatorname {RSS} _{0}+\left\|\sum _{i=1}^{q}{\frac {\alpha ^{2}}{\sigma _{i}^{2}+\alpha ^{2}}}(u_{i}'b)u_{i}\right\|^{2},$

और

$\tau =m-\sum _{i=1}^{q}{\frac {\sigma _{i}^{2}}{\sigma _{i}^{2}+\alpha ^{2}}}=m-q+\sum _{i=1}^{q}{\frac {\alpha ^{2}}{\sigma _{i}^{2}+\alpha ^{2}}}.$

संभाव्य सूत्रीकरण से संबंध

एक व्युत्क्रम समस्या का संभाव्य सूत्रीकरण एक सहप्रसरण आव्यूह का परिचय देता है (जब सभी अनिश्चितताएं गॉसियन हैं) $C_{M}$ मॉडल मापदंडों पर एक प्राथमिक अनिश्चितता और एक सहप्रसरण आव्यूह का प्रतिनिधित्व $C_{D}$ देखे गए मापदंडों पर अनिश्चितताओं का प्रतिनिधित्व करना विशेष प्रकरण में जब ये दो आव्यूह विकर्ण और समदैशिक होते हैं, $C_{M}=\sigma _{M}^{2}I$ और $C_{D}=\sigma _{D}^{2}I$, और, इस प्रकरण में व्युत्क्रम सिद्धांत के समीकरण ऊपर $\alpha ={\sigma _{D}}/{\sigma _{M}}$.के समीकरणों को कम करते हैं।

बायेसियन व्याख्या

Main article: नियमितीकरण की बायेसियन व्याख्या

Further information: न्यूनतम औसत वर्ग त्रुटि §  रैखिक अवलोकन प्रक्रिया के लिए रैखिक एमएमएसई अनुमानक

हालाँकि पहली बार में इस नियमित समस्या के समाधान का विकल्प कृत्रिम और वास्तव में आव्यूह लग सकता है बल्कि $\Gamma$ मनमाना लगता है, इस प्रक्रिया को बायेसियन प्रायिकता से उचित ठहराया जा सकता है। ध्यान दें कि एक निष्क्रिय समस्या के लिए एक अद्वितीय समाधान प्राप्त करने के लिए कुछ अतिरिक्त मान्यताओं को अनिवार्य रूप से पेश करना चाहिए। सांख्यिकीय रूप से, $\Gamma$ का पूर्व संभाव्यता वितरण $x$ कभी-कभी बहुभिन्नरूपी सामान्य वितरण के रूप में लिया जाता है। यहाँ सरलता के लिए, निम्नलिखित धारणाएँ बनाई गई हैं: साधन शून्य हैं; उनके घटक स्वतंत्र हैं; घटकों में समान मानक विचलन $\sigma _{x}$ होता है, डेटा भी त्रुटियों के अधीन हैं, और त्रुटियों में $b$ को शून्य माध्य और मानक विचलन के साथ सांख्यिकीय स्वतंत्रता $\sigma _{b}$ भी माना जाता है, इन धारणाओं के तहत तिखोनोव-नियमित समाधान डेटा और प्राथमिकता वितरण को देखते हुए अधिकतम पश्च समाधान $x$ है।

बेयस प्रमेय के अनुसार, यदि सामान्य वितरण की धारणा को आँकड़ों में त्रुटियों और अवशिष्टों की समरूपता और असंबद्धता की धारणाओं द्वारा प्रतिस्थापित किया जाता है, और यदि कोई अभी भी शून्य माध्य मानता है, तो गॉस-मार्कोव प्रमेय का अर्थ है कि समाधान एक अनुमानक का न्यूनतम पूर्वाग्रह है।

यह भी देखें

• लस्सो (सांख्यिकी) आँकड़ों में एक और नियमितीकरण विधि है।
• लोचदार शुद्ध नियमितीकरण
• आव्यूह नियमितीकरण

अग्रिम पठन

• Gruber, Marvin (1998). Improving Efficiency by Shrinkage: The James–Stein and Ridge Regression Estimators. Boca Raton: CRC Press. ISBN 0-8247-0156-9.
• Kress, Rainer (1998). "Tikhonov Regularization". Numerical Analysis. New York: Springer. pp. 86–90. ISBN 0-387-98408-9.
• Press, W. H.; Teukolsky, S. A.; Vetterling, W. T.; Flannery, B. P. (2007). "Section 19.5. Linear Regularization Methods". Numerical Recipes: The Art of Scientific Computing (3rd ed.). New York: Cambridge University Press. ISBN 978-0-521-88068-8.
• Saleh, A. K. Md. Ehsanes; Arashi, Mohammad; Kibria, B. M. Golam (2019). Theory of Ridge Regression Estimation with Applications. New York: John Wiley & Sons. ISBN 978-1-118-64461-4.
• Taddy, Matt (2019). "Regularization". Business Data Science: Combining Machine Learning and Economics to Optimize, Automate, and Accelerate Business Decisions. New York: McGraw-Hill. pp. 69–104. ISBN 978-1-260-45277-8.