रिज प्रतिगमन: Difference between revisions

रिज प्रतिगमन उन परिदृश्यों में बहु-[[प्रतिगमन मॉडल]] के गुणांकों का आकलन करने की एक विधि है जहां स्वतंत्र चर अत्यधिक सहसंबद्ध होते हैं।<ref name=Hilt>{{cite book |last1=Hilt |first1=Donald E. |last2=Seegrist |first2=Donald W. |title=रिज, रिज प्रतिगमन अनुमानों की गणना के लिए एक कंप्यूटर प्रोग्राम|date=1977 |doi=10.5962/bhl.title.68934 |url=https://www.biodiversitylibrary.org/bibliography/68934 }}{{pn|date=April 2022}}</ref> इसका उपयोग अर्थमिति, रसायन विज्ञान और इंजीनियरिंग सहित कई क्षेत्रों में किया गया है।<ref name=Gruber />इसे तिखोनोव नियमितीकरण के रूप में भी जाना जाता है, जिसका नाम [[एंड्री निकोलाइविच तिखोनोव]] के नाम पर रखा गया है, यह निष्क्रिय समस्याओं के [[नियमितीकरण (गणित)]] की एक विधि है।{{efn|In [[statistics]], the method is known as '''ridge regression''', in [[machine learning]] it and its modifications are known as '''weight decay''', and with multiple independent discoveries, it is also variously known as the '''Tikhonov–Miller method''', the '''Phillips–Twomey method''', the '''constrained linear inversion''' method, '''{{math|''L''₂}} regularization''', and the method of '''linear regularization'''. It is related to the [[Levenberg–Marquardt algorithm]] for [[non-linear least squares|non-linear least-squares]] problems.}} यह रैखिक प्रतिगमन में बहुसंरेखता की समस्या को कम करने के लिए विशेष रूप से उपयोगी है, जो सामान्यतः बड़ी संख्या में मापदंडों वाले मॉडल में होता है।<ref>{{cite book |first=Peter |last=Kennedy |author-link=Peter Kennedy (economist) |title=अर्थमिति के लिए एक गाइड|location=Cambridge |publisher=The MIT Press |edition=Fifth |year=2003 |isbn=0-262-61183-X |pages=205–206 |url=https://books.google.com/books?id=B8I5SP69e4kC&pg=PA205 }}</ref> सामान्यतः, विधि एक अनुमानक के पूर्वाग्रह की सहनीय राशि के बदले में मापदंड आकलन समस्याओं में बेहतर [[कुशल अनुमानक]] प्रदान करती है (पूर्वाग्रह-भिन्नता व्यापार देखें)।<ref>{{cite book |first=Marvin |last=Gruber |title=Improving Efficiency by Shrinkage: The James–Stein and Ridge Regression Estimators |location=Boca Raton |publisher=CRC Press |year=1998 |pages=7–15 |isbn=0-8247-0156-9 |url=https://books.google.com/books?id=wmA_R3ZFrXYC&pg=PA7 }}</ref>

रिज प्रतिगमन को कम से कम वर्ग अनुमानकों की अशुद्धि के संभावित समाधान के रूप में विकसित किया गया था जब रैखिक प्रतिगमन मॉडल में कुछ बहुसंरेखीय (अत्यधिक सहसंबद्ध) स्वतंत्र चर होते हैं - एक रिज प्रतिगमन अनुमानक (आरआर) बनाकर यह एक अधिक यथार्थ रिज मापदंड अनुमान प्रदान करता है, क्योंकि इसके विचरण और माध्य वर्ग अनुमानक प्रायः पहले से प्राप्त कम से कम वर्ग अनुमानक से छोटे होते हैं।<ref name="Jolliffe">{{cite book |last1=Jolliffe |first1=I. T. |title=प्रमुख कंपोनेंट विश्लेषण|date=2006 |publisher=Springer Science & Business Media |isbn=978-0-387-22440-4 |page=178 |url=https://books.google.com/books?id=6ZUMBwAAQBAJ&pg=PA178 }}</ref><ref name="Gruber">{{cite book |last1=Gruber |first1=Marvin |title=Improving Efficiency by Shrinkage: The James--Stein and Ridge Regression Estimators |date=1998 |publisher=CRC Press |isbn=978-0-8247-0156-7 |page=2 |url=https://books.google.com/books?id=wmA_R3ZFrXYC&pg=PA2 }}</ref>

 

 

 

== अवलोकन ==

सबसे सरल प्रकरण में, एक विलक्षण मैट्रिसेस की समस्या निकट क्षण आव्यूह <math>(\mathbf{X}^\mathsf{T}\mathbf{X})</math> [[मुख्य विकर्ण]] में सकारात्मक तत्वों को जोड़कर कम किया जाता है, जिससे इसकी स्थिति संख्या कम हो जाती है। सामान्य न्यूनतम वर्ग अनुमानक के अनुरूप, सरल रिज अनुमानक तब द्वारा दिया जाता है

जहाँ <math>\mathbf{y}</math> प्रतिगामी है, <math>\mathbf{X}</math> [[डिजाइन मैट्रिक्स|डिजाइन आव्यूह]] है, <math>\mathbf{I}</math> पहचान आव्यूह और रिज मापदंड है और <math>\lambda \geq 0</math> क्षण आव्यूह के विकर्णों को निरंतर स्थानांतरित करने के रूप में कार्य करता है।<ref>For the choice of <math>\lambda</math> in practice, see {{cite journal |first1=Ghadban |last1=Khalaf |first2=Ghazi |last2=Shukur |title=Choosing Ridge Parameter for Regression Problems |journal=[[Communications in Statistics – Theory and Methods]] |volume=34 |year=2005 |issue=5 |pages=1177–1182 |doi=10.1081/STA-200056836 |s2cid=122983724 }}</ref> यह रैखिक प्रतिगमन में बहुसंरेखता की समस्या को कम करने के लिए विशेष रूप से उपयोगी है, जो सामान्यतः बड़ी संख्या में मापदंडों वाले मॉडल में होता है। यह दिखाया जा सकता है कि यह अनुमानक [[बाधा (गणित)]] के अधीन [[कम से कम वर्गों]] की समस्या का समाधान है <math>\beta^\mathsf{T}\beta = c</math>, जिसे लगरंगिआन के रूप में व्यक्त किया जा सकता है:

जो दर्शाता है <math>\lambda</math> बाधा के [[लैग्रेंज गुणक]] के अलावा और कुछ नहीं है। सामान्यतः, <math>\lambda</math> एक अनुमानी कसौटी के अनुसार चुना जाता है, ताकि बाधा पूरी तरह से संतुष्ट न हो। विशेष रूप से के प्रकरण में <math>\lambda = 0</math>, जिसमें [[गैर-बाध्यकारी बाधा]] है, रिज अनुमानक कम से कम साधारण वर्ग तक कम हो जाता है। तिखोनोव नियमितीकरण के लिए एक अधिक सामान्य दृष्टिकोण की चर्चा नीचे की गई है।

एंड्री निकोलायेविच तिखोनोव और डेविड एल फिलिप्स के कार्य से अभिन्न समीकरणों के लिए इसके अनुप्रयोग से व्यापक रूप से जाना जाने लगा<ref>{{Cite journal| last=Tikhonov | first=Andrey Nikolayevich | author-link=Andrey Nikolayevich Tikhonov | year=1943 | title=Об устойчивости обратных задач |trans-title=On the stability of inverse problems | journal=[[Doklady Akademii Nauk SSSR]] | volume=39 | issue=5 | pages=195–198|url=http://a-server.math.nsc.ru/IPP/BASE_WORK/tihon_en.html| archive-url=https://web.archive.org/web/20050227163812/http://a-server.math.nsc.ru/IPP/BASE_WORK/tihon_en.html | archive-date=2005-02-27 }}</ref><ref>{{Cite journal| last=Tikhonov | first=A. N. | year=1963 | title=О решении некорректно поставленных задач и методе регуляризации | journal=Doklady Akademii Nauk SSSR | volume=151 | pages=501–504}}. Translated in {{Cite journal| journal=Soviet Mathematics | volume=4 | pages=1035–1038 | title=Solution of incorrectly formulated problems and the regularization method }}</ref><ref>{{Cite book| last=Tikhonov | first=A. N. |author2=V. Y. Arsenin  | year=1977 | title=अशुभ समस्याओं का समाधान| publisher=Winston & Sons | location=Washington | isbn=0-470-99124-0}}</ref><ref>{{cite book |last1=Tikhonov |first1=Andrey Nikolayevich |last2=Goncharsky |first2=A. |last3=Stepanov |first3=V. V. |last4=Yagola |first4=Anatolij Grigorevic |title=अशुभ समस्याओं के समाधान के लिए संख्यात्मक तरीके|date=30 June 1995 |publisher=Springer Netherlands |location=Netherlands |isbn=079233583X |url=https://www.springer.com/us/book/9780792335832 |access-date=9 August 2018 |ref=TikhonovSpringer1995Numerical}}</ref><ref>{{cite book |last1=Tikhonov |first1=Andrey Nikolaevich |last2=Leonov |first2=Aleksandr S. |last3=Yagola |first3=Anatolij Grigorevic |title=गैर-रैखिक बीमार-समस्याएं|date=1998 |publisher=Chapman & Hall |location=London |isbn=0412786605 |url=https://www.springer.com/us/book/9789401751698 |access-date=9 August 2018 |ref=TikhonovChapmanHall1998Nonlinear}}</ref>।<ref>{{Cite journal | last1 = Phillips | first1 = D. L. | doi = 10.1145/321105.321114 | title = पहली तरह के कुछ अभिन्न समीकरणों के संख्यात्मक समाधान के लिए एक तकनीक| journal = Journal of the ACM | volume = 9 | pages = 84–97 | year = 1962 | s2cid = 35368397 }}</ref> कुछ लेखक तिखोनोव-फिलिप्स नियमितीकरण शब्द का उपयोग करते हैं। आर्थर ई. होर्ल ने परिमित-आयामी प्रकरण की व्याख्या की, जिन्होंने एक सांख्यिकीय दृष्टिकोण अपनाया,<ref>{{cite journal |last1=Hoerl |first1=Arthur E. |title=प्रतिगमन समस्याओं के लिए रिज विश्लेषण का अनुप्रयोग|journal=Chemical Engineering Progress |date=1962 |volume=58 |issue=3 |pages=54–59 |ref=AEHoerl1962V58I3}}</ref> और मानुस फोस्टर द्वारा, जिन्होंने इस विधि की व्याख्या क्रिगिंग वीनर-कोल्मोगोरोव (क्रिगिंग) फिल्टर के रूप में की।<ref>{{Cite journal | last1 = Foster | first1 = M. | title = मैट्रिक्स व्युत्क्रम के लिए वीनर-कोल्मोगोरोव स्मूथिंग थ्योरी का एक अनुप्रयोग| doi = 10.1137/0109031 | journal = Journal of the Society for Industrial and Applied Mathematics | volume = 9 | issue = 3 | pages = 387–392 | year = 1961 }}</ref> होर्ल के बाद, पहचान आव्यूह के विकर्ण के साथ आकृति के नाम पर यह सांख्यिकीय साहित्य में रिज प्रतिगमन के रूप में जाना जाता है<ref>{{cite journal | last = Hoerl | first = A. E. |author2=R. W. Kennard | year = 1970 | title=Ridge regression: Biased estimation for nonorthogonal problems | journal=Technometrics | volume=12 | issue=1 | pages = 55–67 | doi=10.1080/00401706.1970.10488634}}</ref>। यह रैखिक प्रतिगमन में बहुसंरेखता की समस्या को कम करने के लिए विशेष रूप से उपयोगी है, जो सामान्यतः बड़ी संख्या में मापदंडों वाले मॉडल में होता है।

मान लीजिए कि एक ज्ञात आव्यूह के लिए <math>A</math> और सदिश <math>\mathbf{b}</math>, हम एक सदिश <math>\mathbf{x}</math> खोजना चाहते हैं, ऐसा है कि{{Clarify|reason=what are the relative dimensions of A, b and x/ is A a square or non-square matrix?; are x and y of the same dimension|date=May 2020}}

मानक दृष्टिकोण साधारण न्यूनतम वर्ग रैखिक प्रतिगमन है।{{Clarify|reason=does this represent a system of linear equations (i.e. are x and b both of the same dimension as one side of the - supposedly square - matrix? then, as far as I know, the standard approach for solving it is any of a wide range of solvers ''not'' including linear regression|date=May 2020}} हालांकि, अगर <math>\mathbf{x}</math> समीकरण या एक से अधिक को संतुष्ट नहीं करता है तो समाधान अद्वितीय नहीं है—समस्या को [[अच्छी तरह से प्रस्तुत समस्या]] कहा जाता है। ऐसे प्रकरणों में, सामान्य न्यूनतम वर्ग अनुमान एक [[अतिनिर्धारित प्रणाली]] की ओर जाता है, या अधिक बार समीकरणों की एक अनिर्धारित प्रणाली प्रणाली अधिकांश वास्तविक दुनिया की घटनाओं में [[लो-पास फिल्टर]] का प्रभाव होता है{{Clarify|reason=If multiplying a matrix by x is a filter, what in A is a frequency, and what values correspond to high or low frequencies?|date=November 2022}} आगे की दिशा में जहां <math>A</math> एमएपीएस <math>\mathbf{x}</math> को <math>\mathbf{b}</math> व्युत्क्रम-समस्या को हल करने में, व्युत्क्रम मानचित्रण एक [[उच्च पास फिल्टर]] के रूप में कार्य करता है जिसमें शोर को बढ़ाने की अवांछनीय प्रवृत्ति होती है ([[eigenvalues|लगरंगिआन]] / एकल मान रिवर्स मैपिंग में सबसे बड़े होते हैं जहां वे आगे की मैपिंग में सबसे छोटे थे)। इसके अलावा, सामान्य कम से कम वर्ग के पुनर्निर्मित संस्करण के प्रत्येक तत्व को स्पष्ट रूप से <math>\mathbf{x}</math> रद्द कर देता है, वह शून्य-स्थान <math>A</math> में है, किसी मॉडल को पूर्व के रूप में उपयोग करने की अनुमति देने के बजाय <math>\mathbf{x}</math> साधारण न्यूनतम वर्ग [[अवशिष्ट (संख्यात्मक विश्लेषण)]] के योग को कम करने का प्रयास करता है, जिसे संक्षिप्त रूप से लिखा जा सकता है

जहाँ <math>\|\cdot\|_2</math> नॉर्म (गणित) यूक्लिडियन मानदंड है।

वांछित गुणों वाले किसी विशेष समाधान को वरीयता देने के लिए, इस न्यूनीकरण में एक नियमितीकरण शब्द सम्मिलित किया जा सकता है:

कुछ उपयुक्त रूप से चुने गए तिखोनोव आव्यूह के लिए <math>\Gamma </math> कई प्रकरणों में, इस आव्यूह को आइडेंटिटी आव्यूह के स्केलर मल्टीपल के रूप में चुना जाता है (<math>\Gamma = \alpha I</math>), छोटे नॉर्म (गणित) के साथ नियमितीकरण समाधानों को वरीयता देना; इसे इस रूप में {{math|''L''₂}} जाना जाता है।<ref>{{cite conference |first=Andrew Y. |last=Ng |author-link=Andrew Ng |year=2004 |title=Feature selection, L1 vs. L2 regularization, and rotational invariance |conference=Proc. [[International Conference on Machine Learning|ICML]] |url=https://icml.cc/Conferences/2004/proceedings/papers/354.pdf}}</ref> अन्य प्रकरणों में, उच्च-पास संचालक (उदाहरण के लिए, एक [[अंतर ऑपरेटर|अंतर संचालक]] या भारित [[असतत फूरियर रूपांतरण]]) का उपयोग समतल पृष्ठ को लागू करने के लिए किया जा सकता है यदि अंतर्निहित सदिश अधिकतर निरंतर माना जाता है।

 

यह नियमितीकरण समस्या की अनुकूलन में सुधार करता है, इस प्रकार प्रत्यक्ष संख्यात्मक समाधान को सक्षम करता है। एक स्पष्ट समाधान, द्वारा निरूपित <math>\hat{x}</math>, द्वारा दिया गया है

आव्यूह के पैमाने से नियमितीकरण का प्रभाव भिन्न हो सकता है, <math>\Gamma</math> के लिए <math>\Gamma = 0</math> यह अनियमित न्यूनतम-वर्ग समाधान को कम करता है, बशर्ते कि (A^tA)⁻¹ उपस्थित है।

 

सामान्य बहुभिन्नरूपी सामान्य वितरण के लिए <math>x</math> और डेटा त्रुटि, उपरोक्त प्रकरण को कम करने के लिए चर के परिवर्तन को लागू कर सकते हैं। समान रूप से, कोई <math>x</math> कम करने के लिए

जहां हमने <math>\|x\|_Q^2</math> प्रयोग किया है, भारित मानक के होने के लिए <math>x^\top Q x</math> (महालनोबिस दूरी के साथ तुलना करें) बायेसियन व्याख्या में <math>P</math> का व्युत्क्रम सहप्रसरण आव्यूह <math>b</math> है, <math>x_0</math> का [[अपेक्षित मूल्य]] <math>x</math> है, और <math>Q</math> का व्युत्क्रम सहप्रसरण आव्यूह <math>x</math> है, तिखोनोव आव्यूह को तब आव्यूह के गुणनखंड के रूप में दिया जाता है <math>Q = \Gamma^\top \Gamma</math> (उदाहरण के लिए चोलेस्की गुणनखंडन) और एक सापेक्ष परिवर्तन माना जाता है।

इस सामान्यीकृत समस्या का एक इष्टतम समाधान <math>x^*</math> है, जिसे सूत्र द्वारा स्पष्ट रूप से लिखा जा सकता है

कुछ स्थितियों में, ट्रांसपोज़ का उपयोग करने से बचा जा सकता है <math>A^\top</math>, जैसा कि प्रस्तावित किया गया [[मिखाइल लावेरेंटिव]] होगा।<ref>{{cite book |first=M. M. |last=Lavrentiev |title=गणितीय भौतिकी की कुछ अनुचित रूप से उत्पन्न समस्याएं|publisher=Springer |location=New York |year=1967 }}</ref> उदाहरण के लिए, यदि <math>A</math> सममित सकारात्मक निश्चित है, अर्थात <math>A = A^\top > 0</math>, तो इसका उलटा है <math>A^{-1}</math>, जिसका उपयोग इस प्रकार भारित मानदंड चुकता करने के लिए किया जा सकता है <math>\|x\|_P^2  = x^\top A^{-1} x</math> सामान्यीकृत तिखोनोव नियमितीकरण में, कम से कम करने के लिए अग्रणी यह रैखिक प्रतिगमन में बहुसंरेखता की समस्या को कम करने के लिए विशेष रूप से उपयोगी है, जो सामान्यतः बड़ी संख्या में मापदंडों वाले मॉडल में होता है।

जो और कुछ नहीं बल्कि सामान्यीकृत तिखोनोव समस्या का समाधान <math>A = A^\top =P^{-1}.</math>है,

 

 

== एकल-मूल्य अपघटन और वीनर फ़िल्टर से संबंध ==

<math>\Gamma = \alpha I</math>, इस न्यूनतम-वर्ग समाधान का एकल-मूल्य अपघटन का उपयोग करके एक विशेष तरीके से विश्लेषण किया जा सकता है। एकल मूल्य अपघटन को देखते हुए

जहाँ <math>D</math> विकर्ण मान हैं

यह नियमित समस्या की स्थिति संख्या पर तिखोनोव मापदंड के प्रभाव को प्रदर्शित करता है। सामान्यीकृत प्रकरण के लिए, [[सामान्यीकृत एकवचन-मूल्य अपघटन|सामान्यीकृत एकल-मूल्य अपघटन]] का उपयोग करके एक समान प्रतिनिधित्व प्राप्त किया जा सकता है।<ref name="Hansen_SIAM_1998">{{cite book |last1=Hansen |first1=Per Christian |title=रैंक-कमी और असतत बीमार समस्याएं: रैखिक उलटा के संख्यात्मक पहलू|date=Jan 1, 1998 |publisher=SIAM |location=Philadelphia, USA |isbn=9780898714036 |edition=1st }}</ref>

जहां वीनर भार <math>f_i = \frac{\sigma _i^2}{\sigma_i^2 + \alpha^2}</math> हैं और <math>q</math> का कोटि (रैखिक बीजगणित) <math>A</math> है।

इष्टतम नियमितीकरण मापदंड <math>\alpha</math> सामान्यतः अज्ञात होता है और प्रायः व्यावहारिक समस्याओं में एक तदर्थ विधि द्वारा निर्धारित किया जाता है। एक संभावित दृष्टिकोण नीचे वर्णित बायेसियन व्याख्या पर निर्भर करता है। अन्य दृष्टिकोणों में [[विसंगति सिद्धांत]], [[क्रॉस-सत्यापन (सांख्यिकी)]], क्रॉस-सत्यापन, [[एल-वक्र विधि]] सम्मिलित हैं।<ref>P. C. Hansen, "The L-curve and its use in the

numerical treatment of inverse problems", [https://www.sintef.no/globalassets/project/evitameeting/2005/lcurve.pdf]</ref> [[प्रतिबंधित अधिकतम संभावना]] और [[निष्पक्ष भविष्य कहनेवाला जोखिम अनुमानक|निष्पक्ष भविष्य कहने वाला जोखिम अनुमानक]] [[ग्रेस वाहब�