रिज प्रतिगमन: Difference between revisions
From Vigyanwiki
(Created page with "{{Short description|Regularization technique for ill-posed problems}} {{Regression bar}} रिज प्रतिगमन उन परिदृश्यों में ब...") |
No edit summary |
||
| Line 1: | Line 1: | ||
{{Short description|Regularization technique for ill-posed problems}} | {{Short description|Regularization technique for ill-posed problems}} | ||
{{Regression bar}} | {{Regression bar}} | ||
रिज प्रतिगमन उन परिदृश्यों में बहु-[[प्रतिगमन मॉडल]] के गुणांकों का आकलन करने की एक विधि है जहां स्वतंत्र चर अत्यधिक सहसंबद्ध होते हैं।<ref name=Hilt>{{cite book |last1=Hilt |first1=Donald E. |last2=Seegrist |first2=Donald W. |title=रिज, रिज प्रतिगमन अनुमानों की गणना के लिए एक कंप्यूटर प्रोग्राम|date=1977 |doi=10.5962/bhl.title.68934 |url=https://www.biodiversitylibrary.org/bibliography/68934 }}{{pn|date=April 2022}}</ref> इसका उपयोग अर्थमिति, रसायन विज्ञान और इंजीनियरिंग सहित कई क्षेत्रों में किया गया है।<ref name=Gruber />तिखोनोव नियमितीकरण के रूप में भी जाना जाता है, जिसका नाम [[एंड्री निकोलाइविच तिखोनोव]] के नाम पर रखा गया है, यह | रिज प्रतिगमन उन परिदृश्यों में बहु-[[प्रतिगमन मॉडल]] के गुणांकों का आकलन करने की एक विधि है जहां स्वतंत्र चर अत्यधिक सहसंबद्ध होते हैं।<ref name=Hilt>{{cite book |last1=Hilt |first1=Donald E. |last2=Seegrist |first2=Donald W. |title=रिज, रिज प्रतिगमन अनुमानों की गणना के लिए एक कंप्यूटर प्रोग्राम|date=1977 |doi=10.5962/bhl.title.68934 |url=https://www.biodiversitylibrary.org/bibliography/68934 }}{{pn|date=April 2022}}</ref> इसका उपयोग अर्थमिति, रसायन विज्ञान और इंजीनियरिंग सहित कई क्षेत्रों में किया गया है।<ref name=Gruber />इसे तिखोनोव नियमितीकरण के रूप में भी जाना जाता है, जिसका नाम [[एंड्री निकोलाइविच तिखोनोव]] के नाम पर रखा गया है, यह निष्क्रिय समस्याओं के [[नियमितीकरण (गणित)]] की एक विधि है।{{efn|In [[statistics]], the method is known as '''ridge regression''', in [[machine learning]] it and its modifications are known as '''weight decay''', and with multiple independent discoveries, it is also variously known as the '''Tikhonov–Miller method''', the '''Phillips–Twomey method''', the '''constrained linear inversion''' method, '''{{math|''L''<sub>2</sub>}} regularization''', and the method of '''linear regularization'''. It is related to the [[Levenberg–Marquardt algorithm]] for [[non-linear least squares|non-linear least-squares]] problems.}} यह रैखिक प्रतिगमन में बहुसंरेखता की समस्या को कम करने के लिए विशेष रूप से उपयोगी है, जो सामान्यतः बड़ी संख्या में मापदंडों वाले मॉडल में होता है।<ref>{{cite book |first=Peter |last=Kennedy |author-link=Peter Kennedy (economist) |title=अर्थमिति के लिए एक गाइड|location=Cambridge |publisher=The MIT Press |edition=Fifth |year=2003 |isbn=0-262-61183-X |pages=205–206 |url=https://books.google.com/books?id=B8I5SP69e4kC&pg=PA205 }}</ref> सामान्यतः, विधि एक अनुमानक के पूर्वाग्रह की सहनीय राशि के बदले में मापदंड आकलन समस्याओं में बेहतर [[कुशल अनुमानक]] प्रदान करती है (पूर्वाग्रह-भिन्नता व्यापार देखें)।<ref>{{cite book |first=Marvin |last=Gruber |title=Improving Efficiency by Shrinkage: The James–Stein and Ridge Regression Estimators |location=Boca Raton |publisher=CRC Press |year=1998 |pages=7–15 |isbn=0-8247-0156-9 |url=https://books.google.com/books?id=wmA_R3ZFrXYC&pg=PA7 }}</ref> | ||
इस सिद्धांत को पहली बार होर्ल और केनार्ड ने 1970 में अपने [[टेक्नोमेट्रिक्स]] पेपर "रिज प्रतिगमन: बायस्ड एस्टीमेशन ऑफ नॉनऑर्थोगोनल प्रॉब्लम्स" और "रिज प्रतिगमन: एप्लिकेशन्स इन नॉनऑर्थोगोनल प्रॉब्लम्स" में पेश किया था।<ref>{{cite journal |last1=Hoerl |first1=Arthur E. |last2=Kennard |first2=Robert W. |title=Ridge Regression: Biased Estimation for Nonorthogonal Problems |journal=Technometrics |date=1970 |volume=12 |issue=1 |pages=55–67 |doi=10.2307/1267351 |jstor=1267351 }}</ref><ref>{{cite journal |last1=Hoerl |first1=Arthur E. |last2=Kennard |first2=Robert W. |title=Ridge Regression: Applications to Nonorthogonal Problems |journal=Technometrics |date=1970 |volume=12 |issue=1 |pages=69–82 |doi=10.2307/1267352 |jstor=1267352 }}</ref><ref name="Hilt" />यह रिज विश्लेषण के क्षेत्र में दस वर्षों के शोध का परिणाम था।<ref name="Beck">{{cite book |last1=Beck |first1=James Vere |last2=Arnold |first2=Kenneth J. |title=इंजीनियरिंग और विज्ञान में पैरामीटर अनुमान|date=1977 |publisher=James Beck |isbn=978-0-471-06118-2 |page=287 |url=https://books.google.com/books?id=_qAYgYN87UQC&pg=PA287 }}</ref> | |||
== | रिज प्रतिगमन को कम से कम वर्ग अनुमानकों की अशुद्धि के संभावित समाधान के रूप में विकसित किया गया था जब रैखिक प्रतिगमन मॉडल में कुछ बहुसंरेखीय (अत्यधिक सहसंबद्ध) स्वतंत्र चर होते हैं - एक रिज प्रतिगमन अनुमानक (आरआर) बनाकर यह एक अधिक यथार्थ रिज मापदंड अनुमान प्रदान करता है, क्योंकि इसके विचरण और माध्य वर्ग अनुमानक प्रायः पहले से प्राप्त कम से कम वर्ग अनुमानक से छोटे होते हैं।<ref name="Jolliffe">{{cite book |last1=Jolliffe |first1=I. T. |title=प्रमुख कंपोनेंट विश्लेषण|date=2006 |publisher=Springer Science & Business Media |isbn=978-0-387-22440-4 |page=178 |url=https://books.google.com/books?id=6ZUMBwAAQBAJ&pg=PA178 }}</ref><ref name="Gruber">{{cite book |last1=Gruber |first1=Marvin |title=Improving Efficiency by Shrinkage: The James--Stein and Ridge Regression Estimators |date=1998 |publisher=CRC Press |isbn=978-0-8247-0156-7 |page=2 |url=https://books.google.com/books?id=wmA_R3ZFrXYC&pg=PA2 }}</ref> | ||
सबसे सरल मामले में, एक विलक्षण मैट्रिसेस की समस्या | निकट-एकवचन क्षण मैट्रिक्स <math>(\mathbf{X}^\mathsf{T}\mathbf{X})</math> [[मुख्य विकर्ण]] में सकारात्मक तत्वों को जोड़कर कम किया जाता है, जिससे इसकी स्थिति संख्या कम हो जाती है। सामान्य न्यूनतम वर्ग अनुमानक के अनुरूप, सरल रिज अनुमानक तब द्वारा दिया जाता है | |||
== अवलोकन == | |||
'''सबसे सरल मामले में''', एक विलक्षण मैट्रिसेस की समस्या | निकट-एकवचन क्षण मैट्रिक्स <math>(\mathbf{X}^\mathsf{T}\mathbf{X})</math> [[मुख्य विकर्ण]] में सकारात्मक तत्वों को जोड़कर कम किया जाता है, जिससे इसकी स्थिति संख्या कम हो जाती है। सामान्य न्यूनतम वर्ग अनुमानक के अनुरूप, सरल रिज अनुमानक तब द्वारा दिया जाता है | |||
:<math>\hat{\beta}_{R} = (\mathbf{X}^{\mathsf{T}} \mathbf{X} + \lambda \mathbf{I})^{-1} \mathbf{X}^{\mathsf{T}} \mathbf{y}</math> | :<math>\hat{\beta}_{R} = (\mathbf{X}^{\mathsf{T}} \mathbf{X} + \lambda \mathbf{I})^{-1} \mathbf{X}^{\mathsf{T}} \mathbf{y}</math> | ||
कहाँ <math>\mathbf{y}</math> प्रतिगामी है, <math>\mathbf{X}</math> [[डिजाइन मैट्रिक्स]] है, <math>\mathbf{I}</math> पहचान मैट्रिक्स और रिज | कहाँ <math>\mathbf{y}</math> प्रतिगामी है, <math>\mathbf{X}</math> [[डिजाइन मैट्रिक्स]] है, <math>\mathbf{I}</math> पहचान मैट्रिक्स और रिज मापदंड है <math>\lambda \geq 0</math> क्षण मैट्रिक्स के विकर्णों को निरंतर स्थानांतरित करने के रूप में कार्य करता है।<ref>For the choice of <math>\lambda</math> in practice, see {{cite journal |first1=Ghadban |last1=Khalaf |first2=Ghazi |last2=Shukur |title=Choosing Ridge Parameter for Regression Problems |journal=[[Communications in Statistics – Theory and Methods]] |volume=34 |year=2005 |issue=5 |pages=1177–1182 |doi=10.1081/STA-200056836 |s2cid=122983724 }}</ref> यह दिखाया जा सकता है कि यह अनुमानक [[बाधा (गणित)]] के अधीन [[कम से कम वर्गों]] की समस्या का समाधान है <math>\beta^\mathsf{T}\beta = c</math>, जिसे Lagrangian के रूप में व्यक्त किया जा सकता है: | ||
:<math>\min_{\beta} \, (\mathbf{y} - \mathbf{X} \beta)^\mathsf{T}(\mathbf{y} - \mathbf{X} \beta) + \lambda (\beta^\mathsf{T}\beta - c)</math> | :<math>\min_{\beta} \, (\mathbf{y} - \mathbf{X} \beta)^\mathsf{T}(\mathbf{y} - \mathbf{X} \beta) + \lambda (\beta^\mathsf{T}\beta - c)</math> | ||
जो दर्शाता है <math>\lambda</math> बाधा के [[लैग्रेंज गुणक]] के अलावा और कुछ नहीं है। | जो दर्शाता है <math>\lambda</math> बाधा के [[लैग्रेंज गुणक]] के अलावा और कुछ नहीं है। सामान्यतः, <math>\lambda</math> एक अनुमानी कसौटी के अनुसार चुना जाता है, ताकि बाधा पूरी तरह से संतुष्ट न हो। विशेष रूप से के मामले में <math>\lambda = 0</math>, जिसमें [[गैर-बाध्यकारी बाधा]] | बाधा गैर-बाध्यकारी है, रिज अनुमानक कम से कम साधारण वर्ग तक कम हो जाता है। तिखोनोव नियमितीकरण के लिए एक अधिक सामान्य दृष्टिकोण की चर्चा नीचे की गई है। | ||
== इतिहास == | == इतिहास == | ||
| Line 34: | Line 37: | ||
मैट्रिक्स के पैमाने से नियमितीकरण का प्रभाव भिन्न हो सकता है <math>\Gamma</math>. के लिए <math>\Gamma = 0</math> यह अनियमित न्यूनतम-वर्ग समाधान को कम करता है, बशर्ते कि (ए<sup>टी</sup>ए)<sup>−1</sup> मौजूद है। | मैट्रिक्स के पैमाने से नियमितीकरण का प्रभाव भिन्न हो सकता है <math>\Gamma</math>. के लिए <math>\Gamma = 0</math> यह अनियमित न्यूनतम-वर्ग समाधान को कम करता है, बशर्ते कि (ए<sup>टी</sup>ए)<sup>−1</sup> मौजूद है। | ||
{{math|''L''<sub>2</sub>}} रैखिक प्रतिगमन से अलग कई संदर्भों में नियमितीकरण का उपयोग किया जाता है, जैसे कि [[ संभार तन्त्र परावर्तन ]] या [[ समर्थन वेक्टर यंत्र ]] | {{math|''L''<sub>2</sub>}} रैखिक प्रतिगमन से अलग कई संदर्भों में नियमितीकरण का उपयोग किया जाता है, जैसे कि [[ संभार तन्त्र परावर्तन |संभार तन्त्र परावर्तन]] या [[ समर्थन वेक्टर यंत्र |समर्थन वेक्टर यंत्र]] के साथ [[सांख्यिकीय वर्गीकरण]],<ref>{{cite journal |author1=R.-E. Fan |author2=K.-W. Chang |author3=C.-J. Hsieh |author4=X.-R. Wang |author5=C.-J. Lin |title=LIBLINEAR: A library for large linear classification |journal=[[Journal of Machine Learning Research]] |volume=9 |pages=1871–1874 |year=2008}}</ref> और मैट्रिक्स गुणनखंडन।<ref>{{cite journal |last1=Guan |first1=Naiyang |first2=Dacheng |last2=Tao |first3=Zhigang |last3=Luo |first4=Bo |last4=Yuan |title=मजबूत स्टोचैस्टिक सन्निकटन के साथ ऑनलाइन गैर-नकारात्मक मैट्रिक्स गुणनखंडन|journal=IEEE Transactions on Neural Networks and Learning Systems |volume=23 |issue=7 |year=2012 |pages=1087–1099|doi=10.1109/TNNLS.2012.2197827 |pmid=24807135 |s2cid=8755408 }}</ref> | ||
| Line 66: | Line 69: | ||
== हिल्बर्ट अंतरिक्ष में नियमितीकरण == | == हिल्बर्ट अंतरिक्ष में नियमितीकरण == | ||
विशिष्ट रूप से असतत रेखीय | विशिष्ट रूप से असतत रेखीय निष्क्रिय-समस्याएं [[अभिन्न समीकरण]]ों के विवेक से उत्पन्न होती हैं, और मूल अनंत-आयामी संदर्भ में तिखोनोव नियमितीकरण तैयार कर सकते हैं। उपरोक्त में हम व्याख्या कर सकते हैं <math>A</math> हिल्बर्ट रिक्त स्थान पर एक [[कॉम्पैक्ट ऑपरेटर]] के रूप में, और <math>x</math> और <math>b</math> डोमेन और रेंज में तत्वों के रूप में <math>A</math>. परिचालक <math>A^* A + \Gamma^\top \Gamma </math> तब एक [[हर्मिटियन संलग्न]] | स्व-संलग्न परिबद्ध व्युत्क्रमणीय संकारक है। | ||
== एकवचन-मूल्य अपघटन और वीनर फ़िल्टर से संबंध == | == एकवचन-मूल्य अपघटन और वीनर फ़िल्टर से संबंध == | ||
| Line 78: | Line 81: | ||
:<math>D_{ii} = \frac{\sigma_i}{\sigma_i^2 + \alpha^2}</math> | :<math>D_{ii} = \frac{\sigma_i}{\sigma_i^2 + \alpha^2}</math> | ||
और कहीं शून्य है। यह नियमित समस्या की स्थिति संख्या पर तिखोनोव | और कहीं शून्य है। यह नियमित समस्या की स्थिति संख्या पर तिखोनोव मापदंड के प्रभाव को प्रदर्शित करता है। सामान्यीकृत मामले के लिए, [[सामान्यीकृत एकवचन-मूल्य अपघटन]] का उपयोग करके एक समान प्रतिनिधित्व प्राप्त किया जा सकता है।<ref name="Hansen_SIAM_1998">{{cite book |last1=Hansen |first1=Per Christian |title=रैंक-कमी और असतत बीमार समस्याएं: रैखिक उलटा के संख्यात्मक पहलू|date=Jan 1, 1998 |publisher=SIAM |location=Philadelphia, USA |isbn=9780898714036 |edition=1st }}</ref> | ||
अंत में, यह [[विनीज़ फ़िल्टर]] से संबंधित है: | अंत में, यह [[विनीज़ फ़िल्टर]] से संबंधित है: | ||
| Line 86: | Line 89: | ||
== तिखोनोव कारक का निर्धारण == | == तिखोनोव कारक का निर्धारण == | ||
इष्टतम नियमितीकरण | इष्टतम नियमितीकरण मापदंड <math>\alpha</math> सामान्यतः अज्ञात होता है और प्रायः व्यावहारिक समस्याओं में एक तदर्थ विधि द्वारा निर्धारित किया जाता है। एक संभावित दृष्टिकोण नीचे वर्णित बायेसियन व्याख्या पर निर्भर करता है। अन्य दृष्टिकोणों में [[विसंगति सिद्धांत]], [[क्रॉस-सत्यापन (सांख्यिकी)]] | क्रॉस-सत्यापन, [[एल-वक्र विधि]], शामिल हैं।<ref>P. C. Hansen, "The L-curve and its use in the | ||
numerical treatment of inverse problems", [https://www.sintef.no/globalassets/project/evitameeting/2005/lcurve.pdf]</ref> [[प्रतिबंधित अधिकतम संभावना]] और [[निष्पक्ष भविष्य कहनेवाला जोखिम अनुमानक]]। [[ग्रेस वाहबा]] ने साबित किया कि इष्टतम | numerical treatment of inverse problems", [https://www.sintef.no/globalassets/project/evitameeting/2005/lcurve.pdf]</ref> [[प्रतिबंधित अधिकतम संभावना]] और [[निष्पक्ष भविष्य कहनेवाला जोखिम अनुमानक]]। [[ग्रेस वाहबा]] ने साबित किया कि इष्टतम मापदंड, क्रॉस-वैलिडेशन (सांख्यिकी) के अर्थ में#लीव-वन-आउट क्रॉस-वैलिडेशन|लीव-वन-आउट क्रॉस-वैलिडेशन न्यूनतम करता है<ref>{{cite journal |last=Wahba |first=G. |year=1990 |title=अवलोकन डेटा के लिए तख़्ता मॉडल|journal=CBMS-NSF Regional Conference Series in Applied Mathematics |publisher=Society for Industrial and Applied Mathematics |bibcode=1990smod.conf.....W }}</ref><ref>{{cite journal |last3=Wahba |first3=G. |first1=G. |last1=Golub |first2=M. |last2=Heath |year=1979 |title=एक अच्छा रिज पैरामीटर चुनने की विधि के रूप में सामान्यीकृत क्रॉस-सत्यापन|journal=Technometrics |volume=21 |issue=2 |pages=215–223 |url=http://www.stat.wisc.edu/~wahba/ftp1/oldie/golub.heath.wahba.pdf |doi=10.1080/00401706.1979.10489751}}</ref> | ||
:<math>G = \frac{\operatorname{RSS}}{\tau^2} = \frac{\|X \hat{\beta} - y\|^2}{[\operatorname{Tr}(I - X(X^T X + \alpha^2 I)^{-1} X^T)]^2},</math> | :<math>G = \frac{\operatorname{RSS}}{\tau^2} = \frac{\|X \hat{\beta} - y\|^2}{[\operatorname{Tr}(I - X(X^T X + \alpha^2 I)^{-1} X^T)]^2},</math> | ||
कहाँ <math>\operatorname{RSS}</math> [[वर्गों का अवशिष्ट योग]] है, और <math>\tau</math> [[स्वतंत्रता की डिग्री की प्रभावी संख्या]] है। | कहाँ <math>\operatorname{RSS}</math> [[वर्गों का अवशिष्ट योग]] है, और <math>\tau</math> [[स्वतंत्रता की डिग्री की प्रभावी संख्या]] है। | ||
| Line 106: | Line 109: | ||
{{main|Bayesian interpretation of regularization}} | {{main|Bayesian interpretation of regularization}} | ||
{{Further|Minimum mean square error#Linear MMSE estimator for linear observation process}} | {{Further|Minimum mean square error#Linear MMSE estimator for linear observation process}} | ||
हालाँकि पहली बार में इस नियमित समस्या के समाधान का विकल्प कृत्रिम और वास्तव में मैट्रिक्स लग सकता है <math>\Gamma</math> बल्कि मनमाना लगता है, इस प्रक्रिया को बायेसियन प्रायिकता से उचित ठहराया जा सकता है। ध्यान दें कि एक | हालाँकि पहली बार में इस नियमित समस्या के समाधान का विकल्प कृत्रिम और वास्तव में मैट्रिक्स लग सकता है <math>\Gamma</math> बल्कि मनमाना लगता है, इस प्रक्रिया को बायेसियन प्रायिकता से उचित ठहराया जा सकता है। ध्यान दें कि एक निष्क्रिय समस्या के लिए एक अद्वितीय समाधान प्राप्त करने के लिए कुछ अतिरिक्त मान्यताओं को अनिवार्य रूप से पेश करना चाहिए। सांख्यिकीय रूप से, का पूर्व संभाव्यता वितरण <math>x</math> कभी-कभी [[बहुभिन्नरूपी सामान्य वितरण]] के रूप में लिया जाता है। यहाँ सरलता के लिए, निम्नलिखित धारणाएँ बनाई गई हैं: साधन शून्य हैं; उनके घटक स्वतंत्र हैं; घटकों में समान [[मानक विचलन]] होता है <math>\sigma _x</math>. डेटा भी त्रुटियों के अधीन हैं, और त्रुटियों में <math>b</math> को शून्य माध्य और मानक विचलन के साथ [[सांख्यिकीय स्वतंत्रता]] भी माना जाता है <math>\sigma _b</math>. इन धारणाओं के तहत तिखोनोव-नियमित समाधान डेटा और प्राथमिकता वितरण को देखते हुए अधिकतम पश्च समाधान है <math>x</math>, बेयस प्रमेय के अनुसार।<ref>{{cite book |author=Vogel, Curtis R. |title=व्युत्क्रम समस्याओं के लिए कम्प्यूटेशनल तरीके|publisher=Society for Industrial and Applied Mathematics |location=Philadelphia |year=2002 |isbn=0-89871-550-4 }}</ref> | ||
यदि [[सामान्य वितरण]] की धारणा को आँकड़ों में त्रुटियों और अवशिष्टों की समरूपता और असंबद्धता की धारणाओं द्वारा प्रतिस्थापित किया जाता है, और यदि कोई अभी भी शून्य माध्य मानता है, तो गॉस-मार्कोव प्रमेय का अर्थ है कि समाधान एक अनुमानक का न्यूनतम पूर्वाग्रह है।<ref>{{cite book |last=Amemiya |first=Takeshi |author-link=Takeshi Amemiya |year=1985 |title=उन्नत अर्थमिति|publisher=Harvard University Press |pages=[https://archive.org/details/advancedeconomet00amem/page/60 60–61] |isbn=0-674-00560-0 |url-access=registration |url=https://archive.org/details/advancedeconomet00amem/page/60 }}</ref> | यदि [[सामान्य वितरण]] की धारणा को आँकड़ों में त्रुटियों और अवशिष्टों की समरूपता और असंबद्धता की धारणाओं द्वारा प्रतिस्थापित किया जाता है, और यदि कोई अभी भी शून्य माध्य मानता है, तो गॉस-मार्कोव प्रमेय का अर्थ है कि समाधान एक अनुमानक का न्यूनतम पूर्वाग्रह है।<ref>{{cite book |last=Amemiya |first=Takeshi |author-link=Takeshi Amemiya |year=1985 |title=उन्नत अर्थमिति|publisher=Harvard University Press |pages=[https://archive.org/details/advancedeconomet00amem/page/60 60–61] |isbn=0-674-00560-0 |url-access=registration |url=https://archive.org/details/advancedeconomet00amem/page/60 }}</ref> | ||
| Line 129: | Line 132: | ||
* {{cite book |first1=A. K. Md. Ehsanes |last1=Saleh |first2=Mohammad |last2=Arashi |first3=B. M. Golam |last3=Kibria |title=Theory of Ridge Regression Estimation with Applications |location=New York |publisher=John Wiley & Sons |year=2019 |isbn=978-1-118-64461-4 |url=https://books.google.com/books?id=v0KCDwAAQBAJ }} | * {{cite book |first1=A. K. Md. Ehsanes |last1=Saleh |first2=Mohammad |last2=Arashi |first3=B. M. Golam |last3=Kibria |title=Theory of Ridge Regression Estimation with Applications |location=New York |publisher=John Wiley & Sons |year=2019 |isbn=978-1-118-64461-4 |url=https://books.google.com/books?id=v0KCDwAAQBAJ }} | ||
* {{cite book |first=Matt |last=Taddy |title=Business Data Science: Combining Machine Learning and Economics to Optimize, Automate, and Accelerate Business Decisions |chapter=Regularization |pages=69–104 |location=New York |publisher=McGraw-Hill |year=2019 |isbn=978-1-260-45277-8 |chapter-url=https://books.google.com/books?id=yPOUDwAAQBAJ&pg=PA69 }} | * {{cite book |first=Matt |last=Taddy |title=Business Data Science: Combining Machine Learning and Economics to Optimize, Automate, and Accelerate Business Decisions |chapter=Regularization |pages=69–104 |location=New York |publisher=McGraw-Hill |year=2019 |isbn=978-1-260-45277-8 |chapter-url=https://books.google.com/books?id=yPOUDwAAQBAJ&pg=PA69 }} | ||
{{Authority control}} | {{Authority control}} | ||
[[Category: लीनियर अलजेब्रा]] [[Category: अनुमान के तरीके]] [[Category: उलटा समस्याएं]] [[Category: प्रतिगमन विश्लेषण]] | [[Category: लीनियर अलजेब्रा]] [[Category: अनुमान के तरीके]] [[Category: उलटा समस्याएं]] [[Category: प्रतिगमन विश्लेषण]] | ||
Revision as of 23:43, 29 March 2023
| एक श्रृंखला का हिस्सा |
| प्रतिगमन विश्लेषण |
|---|
| मॉडल |
| अनुमान |
| पार्श्वभूमि |
|
|
रिज प्रतिगमन उन परिदृश्यों में बहु-प्रतिगमन मॉडल के गुणांकों का आकलन करने की एक विधि है जहां स्वतंत्र चर अत्यधिक सहसंबद्ध होते हैं।[1] इसका उपयोग अर्थमिति, रसायन विज्ञान और इंजीनियरिंग सहित कई क्षेत्रों में किया गया है।[2]इसे तिखोनोव नियमितीकरण के रूप में भी जाना जाता है, जिसका नाम एंड्री निकोलाइविच तिखोनोव के नाम पर रखा गया है, यह निष्क्रिय समस्याओं के नियमितीकरण (गणित) की एक विधि है।[lower-alpha 1] यह रैखिक प्रतिगमन में बहुसंरेखता की समस्या को कम करने के लिए विशेष रूप से उपयोगी है, जो सामान्यतः बड़ी संख्या में मापदंडों वाले मॉडल में होता है।[3] सामान्यतः, विधि एक अनुमानक के पूर्वाग्रह की सहनीय राशि के बदले में मापदंड आकलन समस्याओं में बेहतर कुशल अनुमानक प्रदान करती है (पूर्वाग्रह-भिन्नता व्यापार देखें)।[4]
इस सिद्धांत को पहली बार होर्ल और केनार्ड ने 1970 में अपने टेक्नोमेट्रिक्स पेपर "रिज प्रतिगमन: बायस्ड एस्टीमेशन ऑफ नॉनऑर्थोगोनल प्रॉब्लम्स" और "रिज प्रतिगमन: एप्लिकेशन्स इन नॉनऑर्थोगोनल प्रॉब्लम्स" में पेश किया था।[5][6][1]यह रिज विश्लेषण के क्षेत्र में दस वर्षों के शोध का परिणाम था।[7]
रिज प्रतिगमन को कम से कम वर्ग अनुमानकों की अशुद्धि के संभावित समाधान के रूप में विकसित किया गया था जब रैखिक प्रतिगमन मॉडल में कुछ बहुसंरेखीय (अत्यधिक सहसंबद्ध) स्वतंत्र चर होते हैं - एक रिज प्रतिगमन अनुमानक (आरआर) बनाकर यह एक अधिक यथार्थ रिज मापदंड अनुमान प्रदान करता है, क्योंकि इसके विचरण और माध्य वर्ग अनुमानक प्रायः पहले से प्राप्त कम से कम वर्ग अनुमानक से छोटे होते हैं।[8][2]
अवलोकन
सबसे सरल मामले में, एक विलक्षण मैट्रिसेस की समस्या | निकट-एकवचन क्षण मैट्रिक्स मुख्य विकर्ण में सकारात्मक तत्वों को जोड़कर कम किया जाता है, जिससे इसकी स्थिति संख्या कम हो जाती है। सामान्य न्यूनतम वर्ग अनुमानक के अनुरूप, सरल रिज अनुमानक तब द्वारा दिया जाता है
कहाँ प्रतिगामी है, डिजाइन मैट्रिक्स है, पहचान मैट्रिक्स और रिज मापदंड है क्षण मैट्रिक्स के विकर्णों को निरंतर स्थानांतरित करने के रूप में कार्य करता है।[9] यह दिखाया जा सकता है कि यह अनुमानक बाधा (गणित) के अधीन कम से कम वर्गों की समस्या का समाधान है , जिसे Lagrangian के रूप में व्यक्त किया जा सकता है: