रिज प्रतिगमन: Difference between revisions

सबसे सरल प्रकरण में, एक विलक्षण मैट्रिसेस की समस्या निकट क्षण आव्यूह <math>(\mathbf{X}^\mathsf{T}\mathbf{X})</math> [[मुख्य विकर्ण]] में सकारात्मक तत्वों को जोड़कर कम किया जाता है, जिससे इसकी स्थिति संख्या कम हो जाती है। सामान्य न्यूनतम वर्ग अनुमानक के अनुरूप, सरल रिज अनुमानक तब द्वारा दिया जाता है

जहाँ <math>\mathbf{y}</math> प्रतिगामी है, <math>\mathbf{X}</math> [[डिजाइन मैट्रिक्स|डिजाइन आव्यूह]] है, <math>\mathbf{I}</math> पहचान आव्यूह और रिज मापदंड है और <math>\lambda \geq 0</math> क्षण आव्यूह के विकर्णों को निरंतर स्थानांतरित करने के रूप में कार्य करता है।<ref>For the choice of <math>\lambda</math> in practice, see {{cite journal |first1=Ghadban |last1=Khalaf |first2=Ghazi |last2=Shukur |title=Choosing Ridge Parameter for Regression Problems |journal=[[Communications in Statistics – Theory and Methods]] |volume=34 |year=2005 |issue=5 |pages=1177–1182 |doi=10.1081/STA-200056836 |s2cid=122983724 }}</ref> यह रैखिक प्रतिगमन में बहुसंरेखता की समस्या को कम करने के लिए विशेष रूप से उपयोगी है, जो सामान्यतः बड़ी संख्या में मापदंडों वाले मॉडल में होता है। यह दिखाया जा सकता है कि यह अनुमानक [[बाधा (गणित)]] के अधीन [[कम से कम वर्गों]] की समस्या का समाधान है <math>\beta^\mathsf{T}\beta = c</math>, जिसे लगरंगिआन के रूप में व्यक्त किया जा सकता है:

जो दर्शाता है <math>\lambda</math> बाधा के [[लैग्रेंज गुणक]] के अलावा और कुछ नहीं है। सामान्यतः, <math>\lambda</math> एक अनुमानी कसौटी के अनुसार चुना जाता है, ताकि बाधा पूरी तरह से संतुष्ट न हो। विशेष रूप से के प्रकरण में <math>\lambda = 0</math>, जिसमें [[गैर-बाध्यकारी बाधा]] है, रिज अनुमानक कम से कम साधारण वर्ग तक कम हो जाता है। तिखोनोव नियमितीकरण के लिए एक अधिक सामान्य दृष्टिकोण की चर्चा नीचे की गई है।

एंड्री निकोलायेविच तिखोनोव और डेविड एल फिलिप्स के कार्य से अभिन्न समीकरणों के लिए इसके अनुप्रयोग से व्यापक रूप से जाना जाने लगा<ref>{{Cite journal| last=Tikhonov | first=Andrey Nikolayevich | author-link=Andrey Nikolayevich Tikhonov | year=1943 | title=Об устойчивости обратных задач |trans-title=On the stability of inverse problems | journal=[[Doklady Akademii Nauk SSSR]] | volume=39 | issue=5 | pages=195–198|url=http://a-server.math.nsc.ru/IPP/BASE_WORK/tihon_en.html| archive-url=https://web.archive.org/web/20050227163812/http://a-server.math.nsc.ru/IPP/BASE_WORK/tihon_en.html | archive-date=2005-02-27 }}</ref><ref>{{Cite journal| last=Tikhonov | first=A. N. | year=1963 | title=О решении некорректно поставленных задач и методе регуляризации | journal=Doklady Akademii Nauk SSSR | volume=151 | pages=501–504}}. Translated in {{Cite journal| journal=Soviet Mathematics | volume=4 | pages=1035–1038 | title=Solution of incorrectly formulated problems and the regularization method }}</ref><ref>{{Cite book| last=Tikhonov | first=A. N. |author2=V. Y. Arsenin  | year=1977 | title=अशुभ समस्याओं का समाधान| publisher=Winston & Sons | location=Washington | isbn=0-470-99124-0}}</ref><ref>{{cite book |last1=Tikhonov |first1=Andrey Nikolayevich |last2=Goncharsky |first2=A. |last3=Stepanov |first3=V. V. |last4=Yagola |first4=Anatolij Grigorevic |title=अशुभ समस्याओं के समाधान के लिए संख्यात्मक तरीके|date=30 June 1995 |publisher=Springer Netherlands |location=Netherlands |isbn=079233583X |url=https://www.springer.com/us/book/9780792335832 |access-date=9 August 2018 |ref=TikhonovSpringer1995Numerical}}</ref><ref>{{cite book |last1=Tikhonov |first1=Andrey Nikolaevich |last2=Leonov |first2=Aleksandr S. |last3=Yagola |first3=Anatolij Grigorevic |title=गैर-रैखिक बीमार-समस्याएं|date=1998 |publisher=Chapman & Hall |location=London |isbn=0412786605 |url=https://www.springer.com/us/book/9789401751698 |access-date=9 August 2018 |ref=TikhonovChapmanHall1998Nonlinear}}</ref>।<ref>{{Cite journal | last1 = Phillips | first1 = D. L. | doi = 10.1145/321105.321114 | title = पहली तरह के कुछ अभिन्न समीकरणों के संख्यात्मक समाधान के लिए एक तकनीक| journal = Journal of the ACM | volume = 9 | pages = 84–97 | year = 1962 | s2cid = 35368397 }}</ref> कुछ लेखक तिखोनोव-फिलिप्स नियमितीकरण शब्द का उपयोग करते हैं। आर्थर ई. होर्ल ने परिमित-आयामी प्रकरण की व्याख्या की, जिन्होंने एक सांख्यिकीय दृष्टिकोण अपनाया,<ref>{{cite journal |last1=Hoerl |first1=Arthur E. |title=प्रतिगमन समस्याओं के लिए रिज विश्लेषण का अनुप्रयोग|journal=Chemical Engineering Progress |date=1962 |volume=58 |issue=3 |pages=54–59 |ref=AEHoerl1962V58I3}}</ref> और मानुस फोस्टर द्वारा, जिन्होंने इस विधि की व्याख्या क्रिगिंग वीनर-कोल्मोगोरोव (क्रिगिंग) फिल्टर के रूप में की।<ref>{{Cite journal | last1 = Foster | first1 = M. | title = मैट्रिक्स व्युत्क्रम के लिए वीनर-कोल्मोगोरोव स्मूथिंग थ्योरी का एक अनुप्रयोग| doi = 10.1137/0109031 | journal = Journal of the Society for Industrial and Applied Mathematics | volume = 9 | issue = 3 | pages = 387–392 | year = 1961 }}</ref> होर्ल के बाद, पहचान आव्यूह के विकर्ण के साथ आकृति के नाम पर यह सांख्यिकीय साहित्य में रिज प्रतिगमन के रूप में जाना जाता है<ref>{{cite journal | last = Hoerl | first = A. E. |author2=R. W. Kennard | year = 1970 | title=Ridge regression: Biased estimation for nonorthogonal problems | journal=Technometrics | volume=12 | issue=1 | pages = 55–67 | doi=10.1080/00401706.1970.10488634}}</ref>। यह रैखिक प्रतिगमन में बहुसंरेखता की समस्या को कम करने के लिए विशेष रूप से उपयोगी है, जो सामान्यतः बड़ी संख्या में मापदंडों वाले मॉडल में होता है।

मान लीजिए कि एक ज्ञात आव्यूह के लिए <math>A</math> और सदिश <math>\mathbf{b}</math>, हम एक सदिश <math>\mathbf{x}</math> खोजना चाहते हैं, ऐसा है कि{{Clarify|reason=what are the relative dimensions of A, b and x/ is A a square or non-square matrix?; are x and y of the same dimension|date=May 2020}}

मानक दृष्टिकोण साधारण न्यूनतम वर्ग रैखिक प्रतिगमन है।{{Clarify|reason=does this represent a system of linear equations (i.e. are x and b both of the same dimension as one side of the - supposedly square - matrix? then, as far as I know, the standard approach for solving it is any of a wide range of solvers ''not'' including linear regression|date=May 2020}} हालांकि, अगर <math>\mathbf{x}</math> समीकरण या एक से अधिक को संतुष्ट नहीं करता है तो समाधान अद्वितीय नहीं है—समस्या को [[अच्छी तरह से प्रस्तुत समस्या]] कहा जाता है। ऐसे प्रकरणों में, सामान्य न्यूनतम वर्ग अनुमान एक [[अतिनिर्धारित प्रणाली]] की ओर जाता है, या अधिक बार समीकरणों की एक अनिर्धारित प्रणाली प्रणाली अधिकांश वास्तविक दुनिया की घटनाओं में [[लो-पास फिल्टर]] का प्रभाव होता है{{Clarify|reason=If multiplying a matrix by x is a filter, what in A is a frequency, and what values correspond to high or low frequencies?|date=November 2022}} आगे की दिशा में जहां <math>A</math> एमएपीएस <math>\mathbf{x}</math> को <math>\mathbf{b}</math> व्युत्क्रम-समस्या को हल करने में, व्युत्क्रम मानचित्रण एक [[उच्च पास फिल्टर]] के रूप में कार्य करता है जिसमें शोर को बढ़ाने की अवांछनीय प्रवृत्ति होती है ([[eigenvalues|लगरंगिआन]] / एकल मान रिवर्स मैपिंग में सबसे बड़े होते हैं जहां वे आगे की मैपिंग में सबसे छोटे थे)। इसके अलावा, सामान्य कम से कम वर्ग के पुनर्निर्मित संस्करण के प्रत्येक तत्व को स्पष्ट रूप से <math>\mathbf{x}</math> रद्द कर देता है, वह शून्य-स्थान <math>A</math> में है, किसी मॉडल को पूर्व के रूप में उपयोग करने की अनुमति देने के बजाय <math>\mathbf{x}</math> साधारण न्यूनतम वर्ग [[अवशिष्ट (संख्यात्मक विश्लेषण)]] के योग को कम करने का प्रयास करता है, जिसे संक्षिप्त रूप से लिखा जा सकता है

जहाँ <math>\|\cdot\|_2</math> नॉर्म (गणित) यूक्लिडियन मानदंड है।

वांछित गुणों वाले किसी विशेष समाधान को वरीयता देने के लिए, इस न्यूनीकरण में एक नियमितीकरण शब्द सम्मिलित किया जा सकता है:

कुछ उपयुक्त रूप से चुने गए तिखोनोव आव्यूह के लिए <math>\Gamma </math> कई प्रकरणों में, इस आव्यूह को आइडेंटिटी आव्यूह के स्केलर मल्टीपल के रूप में चुना जाता है (<math>\Gamma = \alpha I</math>), छोटे नॉर्म (गणित) के साथ नियमितीकरण समाधानों को वरीयता देना; इसे इस रूप में {{math|''L''₂}} जाना जाता है।<ref>{{cite conference |first=Andrew Y. |last=Ng |author-link=Andrew Ng |year=2004 |title=Feature selection, L1 vs. L2 regularization, and rotational invariance |conference=Proc. [[International Conference on Machine Learning|ICML]] |url=https://icml.cc/Conferences/2004/proceedings/papers/354.pdf}}</ref> अन्य प्रकरणों में, उच्च-पास संचालक (उदाहरण के लिए, एक [[अंतर ऑपरेटर|अंतर संचालक]] या भारित [[असतत फूरियर रूपांतरण]]) का उपयोग समतल पृष्ठ को लागू करने के लिए किया जा सकता है यदि अंतर्निहित सदिश अधिकतर निरंतर माना जाता है।

 

यह नियमितीकरण समस्या की अनुकूलन में सुधार करता है, इस प्रकार प्रत्यक्ष संख्यात्मक समाधान को सक्षम करता है। एक स्पष्ट समाधान, द्वारा निरूपित <math>\hat{x}</math>, द्वारा दिया गया है

आव्यूह के पैमाने से नियमितीकरण का प्रभाव भिन्न हो सकता है, <math>\Gamma</math> के लिए <math>\Gamma = 0</math> यह अनियमित न्यूनतम-वर्ग समाधान को कम करता है, बशर्ते कि (A^tA)⁻¹ उपस्थित है।

 

सामान्य बहुभिन्नरूपी सामान्य वितरण के लिए <math>x</math> और डेटा त्रुटि, उपरोक्त प्रकरण को कम करने के लिए चर के परिवर्तन को लागू कर सकते हैं। समान रूप से, कोई <math>x</math> कम करने के लिए

जहां हमने <math>\|x\|_Q^2</math> प्रयोग किया है, भारित मानक के होने के लिए <math>x^\top Q x</math> (महालनोबिस दूरी के साथ तुलना करें) बायेसियन व्याख्या में <math>P</math> का व्युत्क्रम सहप्रसरण आव्यूह <math>b</math> है, <math>x_0</math> का [[अपेक्षित मूल्य]] <math>x</math> है, और <math>Q</math> का व्युत्क्रम सहप्रसरण आव्यूह <math>x</math> है, तिखोनोव आव्यूह को तब आव्यूह के गुणनखंड के रूप में दिया जाता है <math>Q = \Gamma^\top \Gamma</math> (उदाहरण के लिए चोलेस्की गुणनखंडन) और एक सापेक्ष परिवर्तन माना जाता है।

इस सामान्यीकृत समस्या का एक इष्टतम समाधान <math>x^*</math> है, जिसे सूत्र द्वारा स्पष्ट रूप से लिखा जा सकता है

कुछ स्थितियों में, ट्रांसपोज़ का उपयोग करने से बचा जा सकता है <math>A^\top</math>, जैसा कि प्रस्तावित किया गया [[मिखाइल लावेरेंटिव]] होगा।<ref>{{cite book |first=M. M. |last=Lavrentiev |title=गणितीय भौतिकी की कुछ अनुचित रूप से उत्पन्न समस्याएं|publisher=Springer |location=New York |year=1967 }}</ref> उदाहरण के लिए, यदि <math>A</math> सममित सकारात्मक निश्चित है, अर्थात <math>A = A^\top > 0</math>, तो इसका उलटा है <math>A^{-1}</math>, जिसका उपयोग इस प्रकार भारित मानदंड चुकता करने के लिए किया जा सकता है <math>\|x\|_P^2  = x^\top A^{-1} x</math> सामान्यीकृत तिखोनोव नियमितीकरण में, कम से कम करने के लिए अग्रणी यह रैखिक प्रतिगमन में बहुसंरेखता की समस्या को कम करने के लिए विशेष रूप से उपयोगी है, जो सामान्यतः बड़ी संख्या में मापदंडों वाले मॉडल में होता है।

जो और कुछ नहीं बल्कि सामान्यीकृत तिखोनोव समस्या का समाधान <math>A = A^\top =P^{-1}.</math>है,

 

लाव्रेंटएव नियमितीकरण, यदि लागू हो तो, मूल तिखोनोव नियमितीकरण के लिए फायदेमंद है, क्योंकि लाव्रेंटएव आव्यूह <math>A + Q</math> तिखोनोव आव्यूह की तुलना में बेहतर स्थिति में हो सकता है, अर्थात, एक छोटी स्थिति संख्या <math>A^\top A + \Gamma^\top \Gamma.</math>हो सकती है।

== हिल्बर्ट समतल में नियमितीकरण ==

 

== एकल-मूल्य अपघटन और वीनर फ़िल्टर से संबंध ==

<math>\Gamma = \alpha I</math>, इस न्यूनतम-वर्ग समाधान का एकल-मूल्य अपघटन का उपयोग करके एक विशेष तरीके से विश्लेषण किया जा सकता है। एकल मूल्य अपघटन को देखते हुए

जहाँ <math>D</math> विकर्ण मान हैं

यह नियमित समस्या की स्थिति संख्या पर तिखोनोव मापदंड के प्रभाव को प्रदर्शित करता है। सामान्यीकृत प्रकरण के लिए, [[सामान्यीकृत एकवचन-मूल्य अपघटन|सामान्यीकृत एकल-मूल्य अपघटन]] का उपयोग करके एक समान प्रतिनिधित्व प्राप्त किया जा सकता है।<ref name="Hansen_SIAM_1998">{{cite book |last1=Hansen |first1=Per Christian |title=रैंक-कमी और असतत बीमार समस्याएं: रैखिक उलटा के संख्यात्मक पहलू|date=Jan 1, 1998 |publisher=SIAM |location=Philadelphia, USA |isbn=9780898714036 |edition=1st }}</ref>

जहां वीनर भार <math>f_i = \frac{\sigma _i^2}{\sigma_i^2 + \alpha^2}</math> हैं और <math>q</math> का कोटि (रैखिक बीजगणित) <math>A</math> है।

इष्टतम नियमितीकरण मापदंड <math>\alpha</math> सामान्यतः अज्ञात होता है और प्रायः व्यावहारिक समस्याओं में एक तदर्थ विधि द्वारा निर्धारित किया जाता है। एक संभावित दृष्टिकोण नीचे वर्णित बायेसियन व्याख्या पर निर्भर करता है। अन्य दृष्टिकोणों में [[विसंगति सिद्धांत]], [[क्रॉस-सत्यापन (सांख्यिकी)]], क्रॉस-सत्यापन, [[एल-वक्र विधि]] सम्मिलित हैं।<ref>P. C. Hansen, "The L-curve and its use in the

numerical treatment of inverse problems", [https://www.sintef.no/globalassets/project/evitameeting/2005/lcurve.pdf]</ref> [[प्रतिबंधित अधिकतम संभावना]] और [[निष्पक्ष भविष्य कहनेवाला जोखिम अनुमानक|निष्पक्ष भविष्य कहने वाला जोखिम अनुमानक]] [[ग्रेस वाहबा]] ने प्रमाणित किया कि इष्टतम मापदंड, क्रॉस-वैलिडेशन (सांख्यिकी) के अर्थ में लीव-वन-आउट क्रॉस-वैलिडेशन लीव-वन-आउट क्रॉस-वैलिडेशन न्यूनतम निर्धारित करता है, यह रैखिक प्रतिगमन में बहुसंरेखता की समस्या को कम करने के लिए विशेष रूप से उपयोगी है, जो सामान्यतः बड़ी संख्या में मापदंडों वाले मॉडल में होता है।<ref>{{cite journal |last=Wahba |first=G. |year=1990 |title=अवलोकन डेटा के लिए तख़्ता मॉडल|journal=CBMS-NSF Regional Conference Series in Applied Mathematics |publisher=Society for Industrial and Applied Mathematics |bibcode=1990smod.conf.....W }}</ref><ref>{{cite journal |last3=Wahba |first3=G. |first1=G. |last1=Golub |first2=M. |last2=Heath |year=1979 |title=एक अच्छा रिज पैरामीटर चुनने की विधि के रूप में सामान्यीकृत क्रॉस-सत्यापन|journal=Technometrics |volume=21 |issue=2 |pages=215–223 |url=http://www.stat.wisc.edu/~wahba/ftp1/oldie/golub.heath.wahba.pdf |doi=10.1080/00401706.1979.10489751}}</ref>

जहाँ <math>\operatorname{RSS}</math> [[वर्गों का अवशिष्ट योग]] है, और <math>\tau</math> [[स्वतंत्रता की डिग्री की प्रभावी संख्या]] है।

एक व्युत्क्रम समस्या का संभाव्य सूत्रीकरण एक सहप्रसरण आव्यूह का परिचय देता है (जब सभी अनिश्चितताएं गॉसियन हैं) <math> C_M</math> मॉडल मापदंडों पर एक प्राथमिक अनिश्चितता और एक सहप्रसरण आव्यूह का प्रतिनिधित्व <math> C_D</math> देखे गए मापदंडों पर अनिश्चितताओं का प्रतिनिधित्व करना<ref>{{cite book |last1=Tarantola |first1=Albert |title=उलटा समस्या सिद्धांत और मॉडल पैरामीटर अनुमान के लिए तरीके|date=2005 |publisher=Society for Industrial and Applied Mathematics (SIAM) |location=Philadelphia |isbn=0898717922 |edition=1st |url=http://www.ipgp.jussieu.fr/~tarantola/Files/Professional/SIAM/index.html |access-date=9 August 2018 |ref=ATarantolaSIAM2004}}</ref> विशेष प्रकरण में जब ये दो आव्यूह विकर्ण और समदैशिक होते हैं, <math> C_M = \sigma_M^2 I </math> और <math> C_D = \sigma_D^2 I </math>, और, इस प्रकरण में व्युत्क्रम सिद्धांत के समीकरण ऊपर <math> \alpha = {\sigma_D}/{\sigma_M} </math>.के समीकरणों को कम करते हैं।

{{main|नियमितीकरण की बायेसियन व्याख्या}}

{{Further|न्यूनतम औसत वर्ग त्रुटि # रैखिक अवलोकन प्रक्रिया के लिए रैखिक एमएमएसई अनुमानक}}

 

हालाँकि पहली बार में इस नियमित समस्या के समाधान का विकल्प कृत्रिम और वास्तव में आव्यूह लग सकता है बल्कि <math>\Gamma</math> मनमाना लगता है, इस प्रक्रिया को बायेसियन प्रायिकता से उचित ठहराया जा सकता है। ध्यान दें कि एक निष्क्रिय समस्या के लिए एक अद्वितीय समाधान प्राप्त करने के लिए कुछ अतिरिक्त मान्यताओं को अनिवार्य रूप से पेश करना चाहिए। सांख्यिकीय रूप से, <math>\Gamma</math> का पूर्व संभाव्यता वितरण <math>x</math> कभी-कभी [[बहुभिन्नरूपी सामान्य वितरण]] के रूप में लिया जाता है। यहाँ सरलता के लिए, निम्नलिखित धारणाएँ बनाई गई हैं: साधन शून्य हैं; उनके घटक स्वतंत्र हैं; घट�