प्रतिगमन विश्लेषण

सांख्यिकीय मॉडलिंग में, प्रतिगमन विश्लेषण एक आश्रित चर (अक्सर 'परिणाम' या 'प्रतिक्रिया' चर, या मशीन सीखने में 'लेबल') और एक या अधिक स्वतंत्र चर के बीच संबंधों का आकलन करने के लिए सांख्यिकीय प्रक्रियाओं का एक सेट है (जिसे अक्सर 'परिणाम' या 'प्रतिक्रिया' चर कहा जाता है) ( अक्सर 'भविष्यवक्ता', 'covariates', 'व्याख्यात्मक चर' या 'विशेषताएं') कहा जाता है। प्रतिगमन विश्लेषण का सबसे आम रूप रैखिक प्रतिगमन है, जिसमें कोई रेखा (या एक अधिक जटिल रैखिक संयोजन) पाता है जो एक विशिष्ट गणितीय मानदंड के अनुसार डेटा को सबसे अधिक फिट करता है। उदाहरण के लिए, साधारण कम से कम वर्गों की विधि अद्वितीय रेखा (या हाइपरप्लेन) की गणना करती है जो सही डेटा और उस लाइन (या हाइपरप्लेन) के बीच वर्ग अंतर के योग को कम करती है। विशिष्ट गणितीय कारणों के लिए (रैखिक प्रतिगमन देखें), यह शोधकर्ता को आश्रित चर की सशर्त अपेक्षा (या जनसंख्या औसत मूल्य) का अनुमान लगाने की अनुमति देता है जब स्वतंत्र चर मूल्यों के दिए गए सेट पर लेते हैं। प्रतिगमन के कम सामान्य रूप वैकल्पिक स्थान मापदंडों का अनुमान लगाने के लिए थोड़ा अलग प्रक्रियाओं का उपयोग करते हैं (जैसे, मात्रात्मक प्रतिगमन या आवश्यक स्थिति विश्लेषण या गैर-रैखिक मॉडल (जैसे, गैर-प्रतिगमन प्रतिगमन) के व्यापक संग्रह में सशर्त अपेक्षा का अनुमान लगाते हैं।

प्रतिगमन विश्लेषण मुख्य रूप से दो वैचारिक रूप से अलग उद्देश्यों के लिए उपयोग किया जाता है।

सबसे पहले, प्रतिगमन विश्लेषण का उपयोग व्यापक रूप से भविष्यवाणी और पूर्वानुमान के लिए किया जाता है, जहां इसके उपयोग में मशीन सीखने के क्षेत्र के साथ पर्याप्त ओवरलैप होता है।

दूसरा, कुछ स्थितियों में प्रतिगमन विश्लेषण का उपयोग स्वतंत्र और आश्रित चर के बीच कारण संबंधों का अनुमान लगाने के लिए किया जा सकता है। महत्वपूर्ण रूप से, स्वयं द्वारा प्रतिगमन केवल एक आश्रित चर और एक निश्चित डेटासेट में स्वतंत्र चर के संग्रह के बीच संबंधों को प्रकट करते हैं। भविष्यवाणी के लिए या कारण संबंधों का अनुमान लगाने के लिए, क्रमशः, एक शोधकर्ता को ध्यान से यह उचित ठहराना चाहिए कि मौजूदा रिश्तों में एक नए संदर्भ के लिए भविष्य कहनेवाला शक्ति क्यों है या दो चर के बीच संबंध में एक कारण व्याख्या क्यों है। उत्तरार्द्ध विशेष रूप से महत्वपूर्ण है जब शोधकर्ता अवलोकन डेटा का उपयोग करके कारण संबंधों का अनुमान लगाने की उम्मीद करते हैं।

इतिहास
प्रतिगमन का सबसे पहला रूप कम से कम वर्गों की विधि थी, जिसे 1805 में लीजेंड्रे द्वारा प्रकाशित किया गया था, और 1809 में गॉस द्वारा। लीजेंड्रे और गॉस दोनों ने खगोलीय अवलोकनों से, सूर्य के बारे में निकायों की कक्षाओं (ज्यादातर धूमकेतु, लेकिन बाद में तत्कालीन नए खोजे गए मामूली ग्रहों को भी निर्धारित करने की समस्या के लिए विधि लागू की।)।गॉस ने 1821 में कम से कम वर्गों के सिद्धांत का एक और विकास प्रकाशित किया, गॉस -मार्मोव प्रमेय का एक संस्करण सहित।

एक जैविक घटना का वर्णन करने के लिए 19 वीं शताब्दी में फ्रांसिस गैल्टन द्वारा प्रतिगमन शब्द का गढ़ा गया था।घटना यह थी कि लम्बे पूर्वजों के वंशजों की ऊंचाइयों को एक सामान्य औसत की ओर फिर से प्राप्त करना है (एक घटना जिसे भी माध्य के प्रति प्रतिगमन के रूप में जाना जाता है)। गैल्टन के लिए, प्रतिगमन का केवल यह जैविक अर्थ था,  लेकिन उनके काम को बाद में उडनी यूल और कार्ल पियर्सन द्वारा अधिक सामान्य सांख्यिकीय संदर्भ में बढ़ाया गया।  यूल और पियर्सन के काम में, प्रतिक्रिया और व्याख्यात्मक चर के संयुक्त वितरण को गौसियन माना जाता है।यह धारणा रोनाल्ड ए। फिशर द्वारा कमजोर हो गई थी। R.A1922 और 1925 के अपने कार्यों में फिशर। फिशर ने माना कि प्रतिक्रिया चर का सशर्त वितरण गौसियन है, लेकिन संयुक्त वितरण की आवश्यकता नहीं है।इस संबंध में, फिशर की धारणा 1821 के गॉस के निर्माण के करीब है।

1950 और 1960 के दशक में, अर्थशास्त्रियों ने प्रतिगमन की गणना करने के लिए इलेक्ट्रोमैकेनिकल डेस्क कैलकुलेटर का उपयोग किया।1970 से पहले, एक प्रतिगमन से परिणाम प्राप्त करने में कभी -कभी 24 घंटे तक का समय लगा।

प्रतिगमन विधियां सक्रिय अनुसंधान का एक क्षेत्र बनी हुई हैं।हाल के दशकों में, नए तरीकों को मजबूत प्रतिगमन के लिए विकसित किया गया है, प्रतिगमन को शामिल किया गया है, जिसमें समय श्रृंखला और विकास घटता, प्रतिगमन जैसे सहसंबद्ध प्रतिक्रियाएं शामिल हैं, जिसमें भविष्यवक्ता (स्वतंत्र चर) या प्रतिक्रिया चर घटता, चित्र, रेखांकन या अन्य जटिल डेटा ऑब्जेक्ट हैं,प्रतिगमन के तरीकों से विभिन्न प्रकार के लापता डेटा, नॉनपैमेट्रिक रिग्रेशन, प्रतिगमन के लिए बायेसियन तरीके, प्रतिगमन, प्रतिगमन के लिए पूर्वसूचक चर को त्रुटि के साथ मापा जाता है, टिप्पणियों की तुलना में अधिक भविष्यवक्ता चर के साथ प्रतिगमन, और प्रतिगमन के साथ कारण अनुमान।

प्रतिगमन मॉडल
व्यवहार में, शोधकर्ता पहले एक मॉडल का चयन करते हैं, जिसका वे अनुमान लगाना चाहते हैं और फिर उस मॉडल के मापदंडों का अनुमान लगाने के लिए अपनी चुनी हुई विधि (जैसे, साधारण कम से कम वर्गों) का उपयोग करते हैं।प्रतिगमन मॉडल में निम्नलिखित घटक शामिल हैं:
 * अज्ञात पैरामीटर, अक्सर एक स्केलर या वेक्टर के रूप में निरूपित किया जाता है $$\beta$$।
 * स्वतंत्र चर, जो डेटा में देखे जाते हैं और अक्सर एक वेक्टर के रूप में निरूपित किए जाते हैं $$X_i$$ (कहाँ पे $$i$$ डेटा की एक पंक्ति को दर्शाता है)।
 * आश्रित चर, जो डेटा में देखे जाते हैं और अक्सर स्केलर का उपयोग करके निरूपित किए जाते हैं $$Y_i$$।
 * त्रुटि शब्द, जो  नहीं  सीधे डेटा में देखे गए हैं और अक्सर स्केलर का उपयोग करके निरूपित किए जाते हैं $$e_i$$।

आवेदन के विभिन्न क्षेत्रों में, विभिन्न शब्दावली का उपयोग आश्रित और स्वतंत्र चर के स्थान पर किया जाता है।

अधिकांश प्रतिगमन मॉडल का प्रस्ताव है कि $$Y_i$$ का एक कार्य है $$X_i$$ तथा $$ \beta$$, साथ $$e_i$$ एक additive त्रुटि शब्द का प्रतिनिधित्व करना जो अन-मॉडल के लिए खड़े हो सकता है $$Y_i$$ या यादृच्छिक सांख्यिकीय शोर:


 * $$Y_i = f (X_i, \beta) + e_i$$

शोधकर्ताओं का लक्ष्य फ़ंक्शन का अनुमान लगाना है $$f(X_i, \beta)$$ यह सबसे बारीकी से डेटा फिट बैठता है।प्रतिगमन विश्लेषण करने के लिए, फ़ंक्शन का रूप $$f$$ निर्दिष्ट किया जाना चाहिए।कभी -कभी इस फ़ंक्शन का रूप के बीच संबंध के बारे में ज्ञान पर आधारित होता है $$Y_i$$ तथा $$X_i$$ यह डेटा पर भरोसा नहीं करता है।यदि ऐसा कोई ज्ञान उपलब्ध नहीं है, तो एक लचीला या सुविधाजनक रूप $$f$$ चुना जाता है।उदाहरण के लिए, एक साधारण अविभाज्य प्रतिगमन प्रस्तावित हो सकता है $$f(X_i, \beta) = \beta_0 + \beta_1 X_i$$, यह सुझाव देते हुए कि शोधकर्ता का मानना है $$Y_i = \beta_0 + \beta_1 X_i + e_i$$ डेटा उत्पन्न करने वाली सांख्यिकीय प्रक्रिया के लिए एक उचित सन्निकटन होना।

एक बार शोधकर्ता अपने पसंदीदा सांख्यिकीय मॉडल का निर्धारण करते हैं, प्रतिगमन विश्लेषण के विभिन्न रूप मापदंडों का अनुमान लगाने के लिए उपकरण प्रदान करते हैं $$\beta $$।उदाहरण के लिए, कम से कम वर्गों (इसके सबसे सामान्य संस्करण सहित, साधारण कम से कम वर्गों) का मूल्य पाता है $$\beta $$ यह चुकता त्रुटियों के योग को कम करता है $$\sum_i (Y_i - f(X_i, \beta))^2$$।एक दिया गया प्रतिगमन विधि अंततः एक अनुमान प्रदान करेगी $$\beta$$, आमतौर पर निरूपित $$\hat{\beta}$$ डेटा उत्पन्न करने वाले सच्चे (अज्ञात) पैरामीटर मान से अनुमान को अलग करने के लिए।इस अनुमान का उपयोग करते हुए, शोधकर्ता तब फिट किए गए मूल्य का उपयोग कर सकते हैं $$\hat{Y_i} = f(X_i,\hat{\beta})$$ भविष्यवाणी के लिए या डेटा को समझाने में मॉडल की सटीकता का आकलन करने के लिए।क्या शोधकर्ता आंतरिक रूप से अनुमान में रुचि रखता है $$\hat{\beta}$$ या अनुमानित मूल्य $$\hat{Y_i}$$ संदर्भ और उनके लक्ष्यों पर निर्भर करेगा।जैसा कि साधारण कम से कम वर्गों में वर्णित है, कम से कम वर्गों का व्यापक रूप से उपयोग किया जाता है क्योंकि अनुमानित फ़ंक्शन $$f(X_i, \hat{\beta})$$ सशर्त अपेक्षा का अनुमान लगाता है $$E(Y_i|X_i)$$. हालांकि, वैकल्पिक वेरिएंट (जैसे, कम से कम निरपेक्ष विचलन या मात्रात्मक प्रतिगमन) उपयोगी होते हैं जब शोधकर्ता अन्य कार्यों को मॉडल करना चाहते हैं $$f(X_i,\beta)$$।

यह ध्यान रखना महत्वपूर्ण है कि एक प्रतिगमन मॉडल का अनुमान लगाने के लिए पर्याप्त डेटा होना चाहिए।उदाहरण के लिए, मान लीजिए कि एक शोधकर्ता के पास पहुंच है $$N$$ एक आश्रित और दो स्वतंत्र चर के साथ डेटा की पंक्तियाँ: $$(Y_i, X_{1i}, X_{2i})$$।आगे मान लीजिए कि शोधकर्ता कम से कम वर्गों के माध्यम से एक द्विभाजित रैखिक मॉडल का अनुमान लगाना चाहता है: $$Y_i = \beta_0 + \beta_1 X_{1i} + \beta_2 X_{2i} + e_i$$।यदि शोधकर्ता के पास केवल पहुंच है $$N=2$$ डेटा पॉइंट, तब वे असीम रूप से कई संयोजन पा सकते थे $$(\hat{\beta}_0, \hat{\beta}_1, \hat{\beta}_2)$$ यह डेटा को समान रूप से अच्छी तरह से समझाता है: किसी भी संयोजन को चुना जा सकता है जो संतुष्ट करता है $$\hat{Y}_i = \hat{\beta}_0 + \hat{\beta}_1 X_{1i} + \hat{\beta}_2 X_{2i}$$, जिनमें से सभी का नेतृत्व करते हैं $$\sum_i \hat{e}_i^2 = \sum_i (\hat{Y}_i - (\hat{\beta}_0 + \hat{\beta}_1 X_{1i} + \hat{\beta}_2 X_{2i}))^2 = 0$$ और इसलिए वैध समाधान हैं जो वर्ग अवशिष्टों के योग को कम करते हैं।यह समझने के लिए कि असीम रूप से कई विकल्प क्यों हैं, ध्यान दें कि सिस्टम $$N=2$$ समीकरणों को 3 अज्ञात के लिए हल किया जाना है, जो सिस्टम को कम करके आंका जाता है।वैकल्पिक रूप से, कोई भी असीम रूप से कई 3-आयामी विमानों की कल्पना कर सकता है जो गुजरते हैं $$N=2$$ फिक्स्ड पॉइंट्स।

अधिक आम तौर पर, कम से कम वर्गों के मॉडल का अनुमान लगाने के लिए $$k$$ अलग पैरामीटर, एक होना चाहिए $$N \geq k$$ अलग डेटा बिंदु।यदि $$N > k$$, तो आम तौर पर मापदंडों का एक सेट मौजूद नहीं होता है जो डेटा को पूरी तरह से फिट करेगा।मात्रा $$k-N$$ प्रतिगमन विश्लेषण में अक्सर दिखाई देता है, और मॉडल में स्वतंत्रता की डिग्री के रूप में संदर्भित किया जाता है।इसके अलावा, कम से कम वर्गों के मॉडल का अनुमान लगाने के लिए, स्वतंत्र चर $$(X_{1i}, X_{2i}, ..., X_{ki})$$ रैखिक रूप से स्वतंत्र होना चाहिए: शेष स्वतंत्र चर को जोड़कर और गुणा करके किसी भी स्वतंत्र चर को फिर से संगठित करने में सक्षम नहीं होना चाहिए।जैसा कि साधारण कम से कम वर्गों में चर्चा की गई है, यह स्थिति यह सुनिश्चित करती है कि $$X^{T}X$$ एक उलटा मैट्रिक्स है और इसलिए एक अद्वितीय समाधान है $$\hat{\beta}$$ मौजूद।

अंतर्निहित धारणाएँ
अपने आप में, एक प्रतिगमन डेटा का उपयोग करके केवल एक गणना है।वास्तविक दुनिया के संबंधों को मापने वाली एक सार्थक सांख्यिकीय मात्रा के रूप में प्रतिगमन के उत्पादन की व्याख्या करने के लिए, शोधकर्ता अक्सर कई शास्त्रीय मान्यताओं पर भरोसा करते हैं।इन धारणाओं में अक्सर शामिल होते हैं:


 * नमूना बड़े पैमाने पर आबादी का प्रतिनिधि है।
 * स्वतंत्र चर को बिना किसी त्रुटि के मापा जाता है।
 * मॉडल से विचलन में शून्य का अपेक्षित मूल्य है, कोवरिएट्स पर सशर्त: $$E(e_i | X_i) = 0$$
 * अवशिष्टों का विचरण $$e_i$$ अवलोकन (समरूपता) में निरंतर है।
 * अवशिष्ट $$e_i$$ एक दूसरे के साथ असंबंधित हैं।गणितीय रूप से, त्रुटियों का विचरण -covariance मैट्रिक्स विकर्ण है।

वांछनीय गुणों के अधिकारी होने के लिए कम से कम-वर्ग अनुमानक के लिए कुछ मुट्ठी भर स्थितियां पर्याप्त हैं: विशेष रूप से, गॉस-मार्मोव प्रमेय | गॉस-मेमार्कोव धारणाएं इसका मतलब है कि पैरामीटर अनुमान रैखिक निष्पक्ष अनुमानकों के वर्ग में निष्पक्ष, सुसंगत और कुशल होंगे।।प्रैक्टिशनर्स ने वास्तविक दुनिया की सेटिंग्स में इन सभी वांछनीय गुणों को बनाए रखने के लिए कई तरह के तरीके विकसित किए हैं, क्योंकि इन शास्त्रीय धारणाओं को वास्तव में रखने की संभावना नहीं है।उदाहरण के लिए, मॉडलिंग त्रुटियों-इन-वेरिएबल्स मॉडल | त्रुटियों-इन-वैरिएबल्स को उचित अनुमान हो सकता है कि स्वतंत्र चर त्रुटियों के साथ मापा जाता है।हेटेरोसेडैस्टिसिटी-संगत मानक त्रुटियां के विचरण की अनुमति देते हैं $$e_i$$ के मूल्यों को बदलने के लिए $$X_i$$।सहसंबद्ध त्रुटियां जो डेटा के सबसेट के भीतर मौजूद हैं या विशिष्ट पैटर्न का पालन करती हैं, उन्हें अन्य तकनीकों के बीच क्लस्टर मानक त्रुटियों, भौगोलिक भारित प्रतिगमन, या NEWEY -WEST अनुमानक | Newey -West मानक त्रुटियों का उपयोग करके संभाला जा सकता है।जब डेटा की पंक्तियाँ अंतरिक्ष में स्थानों के अनुरूप होती हैं, तो मॉडल कैसे करें $$e_i$$ भौगोलिक इकाइयों के भीतर महत्वपूर्ण परिणाम हो सकते हैं। इकोनोमेट्रिक्स का उपक्षेत्र काफी हद तक विकासशील तकनीकों पर केंद्रित है जो शोधकर्ताओं को वास्तविक दुनिया की सेटिंग्स में उचित वास्तविक दुनिया के निष्कर्ष बनाने की अनुमति देते हैं, जहां शास्त्रीय धारणाएं बिल्कुल नहीं रहती हैं।

रैखिक प्रतिगमन
रैखिक प्रतिगमन में, मॉडल विनिर्देश यह है कि आश्रित चर, $$ y_i $$ मापदंडों का एक रैखिक संयोजन है (लेकिन स्वतंत्र चर में रैखिक होने की आवश्यकता नहीं है)।उदाहरण के लिए, मॉडलिंग के लिए सरल रैखिक प्रतिगमन में $$ n $$ डेटा बिंदु एक स्वतंत्र चर है: $$ x_i $$, और दो पैरामीटर, $$\beta_0$$ तथा $$\beta_1$$:


 * सीधी रेखा: $$y_i=\beta_0 +\beta_1 x_i +\varepsilon_i,\quad i=1,\dots,n.\!$$

कई रैखिक प्रतिगमन में, स्वतंत्र चर के कई स्वतंत्र चर या कार्य हैं।

में एक शब्द जोड़ना $$x_i^2$$ पूर्ववर्ती प्रतिगमन देता है:


 * परबोला: $$y_i=\beta_0 +\beta_1 x_i +\beta_2 x_i^2+\varepsilon_i,\ i=1,\dots,n.\!$$

यह अभी भी रैखिक प्रतिगमन है;हालांकि दाहिने हाथ की ओर की अभिव्यक्ति स्वतंत्र चर में द्विघात है $$x_i$$, यह मापदंडों में रैखिक है $$\beta_0$$, $$\beta_1$$ तथा $$\beta_2.$$ दोनों ही मामलों में, $$\varepsilon_i$$ एक त्रुटि शब्द और सबस्क्रिप्ट है $$i$$ एक विशेष अवलोकन को अनुक्रमित करता है।

सीधी रेखा के मामले में अपना ध्यान आकर्षित करते हुए: आबादी से एक यादृच्छिक नमूना देखते हुए, हम जनसंख्या मापदंडों का अनुमान लगाते हैं और नमूना रैखिक प्रतिगमन मॉडल प्राप्त करते हैं:


 * $$ \widehat{y}_i = \widehat{\beta}_0 + \widehat{\beta}_1 x_i. $$

अवशिष्ट, $$ e_i = y_i - \widehat{y}_i $$, मॉडल द्वारा अनुमानित आश्रित चर के मूल्य के बीच का अंतर है, $$ \widehat{y}_i$$, और आश्रित चर का सही मूल्य, $$y_i$$।अनुमान की एक विधि साधारण कम से कम वर्ग हैं।यह विधि पैरामीटर अनुमान प्राप्त करती है जो वर्ग अवशिष्टों के योग को कम करती है, SSR:


 * $$SSR=\sum_{i=1}^n e_i^2. \, $$

इस फ़ंक्शन के न्यूनतमकरण के परिणामस्वरूप सामान्य समीकरणों का एक सेट होता है, मापदंडों में एक साथ रैखिक समीकरणों का एक सेट, जो पैरामीटर अनुमानक प्राप्त करने के लिए हल किया जाता है, $$\widehat{\beta}_0, \widehat{\beta}_1$$।

सरल प्रतिगमन के मामले में, कम से कम वर्गों के अनुमानों के लिए सूत्र हैं


 * $$\widehat{\beta}_1=\frac{\sum(x_i-\bar{x})(y_i-\bar{y})}{\sum(x_i-\bar{x})^2}$$
 * $$\widehat{\beta}_0=\bar{y}-\widehat{\beta}_1\bar{x}$$

कहाँ पे $$\bar{x}$$ का माध्य (औसत) है $$x$$ मान और $$\bar{y}$$ का मतलब है $$y$$ मान।

इस धारणा के तहत कि जनसंख्या त्रुटि शब्द में एक निरंतर विचरण होता है, उस विचरण का अनुमान द्वारा दिया जाता है:


 * $$ \hat{\sigma}^2_\varepsilon = \frac{SSR}{n-2}.\,$$

इसे प्रतिगमन का माध्य वर्ग त्रुटि (एमएसई) कहा जाता है।हर एक ही डेटा से अनुमानित मॉडल मापदंडों की संख्या से कम नमूना आकार है, $$(n-p)$$ के लिये $$p$$ regressors या $$(n-p-1)$$ यदि एक अवरोधन का उपयोग किया जाता है। इस मामले में, $$p=1$$ तो हर है $$n-2$$।

पैरामीटर अनुमानों की मानक त्रुटियां दी गई हैं


 * $$\hat\sigma_{\beta_1}=\hat\sigma_{\varepsilon} \sqrt{\frac{1}{\sum(x_i-\bar x)^2}}$$
 * $$\hat\sigma_{\beta_0}=\hat\sigma_\varepsilon \sqrt{\frac{1}{n} + \frac{\bar{x}^2}{\sum(x_i-\bar x)^2}}=\hat\sigma_{\beta_1} \sqrt{\frac{\sum x_i^2}{n}}. $$

आगे की धारणा के तहत कि जनसंख्या त्रुटि अवधि सामान्य रूप से वितरित की जाती है, शोधकर्ता इन अनुमानित मानक त्रुटियों का उपयोग आत्मविश्वास अंतराल बनाने और जनसंख्या मापदंडों के बारे में परिकल्पना परीक्षण करने के लिए कर सकते हैं।

सामान्य रैखिक मॉडल
अधिक सामान्य कई प्रतिगमन मॉडल में, वहाँ हैं $$p$$ स्वतंत्र प्रभावित करने वाली वस्तुएँ:


 * $$ y_i = \beta_1 x_{i1} + \beta_2 x_{i2} + \cdots + \beta_p x_{ip} + \varepsilon_i, \, $$

कहाँ पे $$x_{ij}$$ है $$i$$-th अवलोकन पर $$j$$-th स्वतंत्र चर। यदि पहला स्वतंत्र चर सभी के लिए मान 1 लेता है $$i$$, $$x_{i1} = 1$$, फिर $$\beta_1$$ प्रतिगमन अवरोधन कहा जाता है।

कम से कम वर्ग पैरामीटर अनुमान प्राप्त किए जाते हैं $$p$$ सामान्य समीकरण।अवशिष्ट के रूप में लिखा जा सकता है


 * $$\varepsilon_i=y_i - \hat\beta_1 x_{i1} - \cdots - \hat\beta_p x_{ip}.$$

सामान्य समीकरण हैं


 * $$\sum_{i=1}^n \sum_{k=1}^p x_{ij}x_{ik}\hat \beta_k=\sum_{i=1}^n x_{ij}y_i,\ j=1,\dots,p.\,$$

मैट्रिक्स संकेतन में, सामान्य समीकरणों को लिखा जाता है


 * $$\mathbf{(X^\top X )\hat{\boldsymbol{\beta}}= {}X^\top Y},\,$$

जहां $$ij$$ का तत्व $$\mathbf X$$ है $$x_{ij}$$, $$i$$ स्तंभ वेक्टर का तत्व $$Y$$ है $$y_i$$, और यह $$j$$ का तत्व $$\hat \boldsymbol \beta$$ है $$\hat \beta_j$$।इस प्रकार $$\mathbf X$$ है $$n \times p$$, $$Y$$ है $$n \times 1$$, तथा $$\hat \boldsymbol \beta$$ है $$p \times 1$$।समाधान है


 * $$\mathbf{\hat{\boldsymbol{\beta}}= (X^\top X )^{-1}X^\top Y}.\,$$

निदान
एक बार एक प्रतिगमन मॉडल का निर्माण होने के बाद, मॉडल के फिट की अच्छाई और अनुमानित मापदंडों के सांख्यिकीय महत्व की पुष्टि करना महत्वपूर्ण हो सकता है। फिट की अच्छाई की आमतौर पर इस्तेमाल की जाने वाली जांच में आर-स्क्वर्ड, अवशिष्ट और परिकल्पना परीक्षण के पैटर्न का विश्लेषण शामिल है। सांख्यिकीय महत्व को समग्र फिट के एक एफ-परीक्षण द्वारा जांचा जा सकता है, इसके बाद व्यक्तिगत मापदंडों के टी-परीक्षण।

इन नैदानिक ​​परीक्षणों की व्याख्या मॉडल की मान्यताओं पर भारी आराम करती है। यद्यपि अवशिष्टों की जांच का उपयोग एक मॉडल को अमान्य करने के लिए किया जा सकता है, एक टी-टेस्ट या एफ-टेस्ट के परिणामों को कभी-कभी व्याख्या करना अधिक कठिन होता है यदि मॉडल की धारणाओं का उल्लंघन किया जाता है। उदाहरण के लिए, यदि त्रुटि शब्द में सामान्य वितरण नहीं होता है, तो छोटे नमूनों में अनुमानित पैरामीटर सामान्य वितरण और जटिल अनुमान का पालन नहीं करेंगे। अपेक्षाकृत बड़े नमूनों के साथ, हालांकि, एक केंद्रीय सीमा प्रमेय को इस तरह से लागू किया जा सकता है कि परिकल्पना परीक्षण एसिम्प्टोटिक सन्निकटन का उपयोग करके आगे बढ़ सकता है।

सीमित आश्रित चर
सीमित आश्रित चर, जो प्रतिक्रिया चर हैं जो श्रेणीबद्ध चर हैं या केवल एक निश्चित सीमा में गिरने के लिए विवश चर हैं, अक्सर अर्थमिति में उत्पन्न होते हैं।

प्रतिक्रिया चर गैर-निरंतर हो सकता है (वास्तविक लाइन के कुछ सबसेट पर झूठ बोलने के लिए सीमित)। बाइनरी (शून्य या एक) चर के लिए, यदि विश्लेषण कम से कम-वर्ग रैखिक प्रतिगमन के साथ आगे बढ़ता है, तो मॉडल को रैखिक संभावना मॉडल कहा जाता है। बाइनरी आश्रित चर के लिए nonlinear मॉडल में प्रोबिट और लॉगिट मॉडल शामिल हैं। मल्टीवेरिएट प्रोबिट मॉडल कई बाइनरी आश्रित चर और कुछ स्वतंत्र चर के बीच एक संयुक्त संबंध का आकलन करने का एक मानक विधि है। दो से अधिक मूल्यों के साथ श्रेणीबद्ध चर के लिए बहुराष्ट्रीय लॉगिट है। दो से अधिक मूल्यों के साथ क्रमिक चर के लिए, आदेशित लॉगिट और ऑर्डर किए गए प्रोबिट मॉडल हैं। सेंसर किए गए प्रतिगमन मॉडल का उपयोग तब किया जा सकता है जब आश्रित चर केवल कभी -कभी मनाया जाता है, और हेकमैन सुधार प्रकार के मॉडल का उपयोग तब किया जा सकता है जब नमूना को ब्याज की आबादी से यादृच्छिक रूप से नहीं चुना जाता है। इस तरह की प्रक्रियाओं का एक विकल्प श्रेणीबद्ध चर के बीच पॉलीचोरिक सहसंबंध (या पॉलीसेरियल सहसंबंध) के आधार पर रैखिक प्रतिगमन है। इस तरह की प्रक्रियाएं आबादी में चर के वितरण के बारे में की गई मान्यताओं में भिन्न होती हैं। यदि चर कम मूल्यों के साथ सकारात्मक है और किसी घटना की घटना की पुनरावृत्ति का प्रतिनिधित्व करता है, तो पॉइसन रिग्रेशन जैसे मॉडल गिनें या नकारात्मक द्विपद मॉडल का उपयोग किया जा सकता है।

nonlinear प्रतिगमन
जब मॉडल फ़ंक्शन मापदंडों में रैखिक नहीं होता है, तो वर्गों के योग को एक पुनरावृत्त प्रक्रिया द्वारा कम से कम किया जाना चाहिए।यह कई जटिलताओं का परिचय देता है जो रैखिक और गैर-रैखिक कम से कम वर्गों के बीच अंतर में संक्षेपित हैं।

प्रक्षेप और एक्सट्रपलेशन
इस लाइन के ऊपर और नीचे के बिंदुओं के बीच सबसे अच्छा संतुलन sents।बिंदीदार रेखाएं दो चरम रेखाओं का प्रतिनिधित्व करती हैं।पहले घटता अनुमानित मूल्यों का प्रतिनिधित्व करता है।बाहरी घटता एक नए माप के लिए एक भविष्यवाणी का प्रतिनिधित्व करते हैं। प्रतिगमन मॉडल X चर के ज्ञात मान दिए गए y चर के मूल्य की भविष्यवाणी करते हैं।मॉडल-फिटिंग के लिए उपयोग किए जाने वाले डेटासेट में मूल्यों की सीमा के भीतर भविष्यवाणी को अनौपचारिक रूप से प्रक्षेप के रूप में जाना जाता है।डेटा की इस सीमा के बाहर की भविष्यवाणी को एक्सट्रपलेशन के रूप में जाना जाता है।एक्सट्रपलेशन करना प्रतिगमन मान्यताओं पर दृढ़ता से निर्भर करता है।आगे एक्सट्रपलेशन डेटा के बाहर जाता है, मॉडल के लिए उतना ही कमरा होता है जो मान्यताओं और नमूना डेटा या सही मूल्यों के बीच अंतर के कारण विफल होता है।

यह आम तौर पर सलाह दी जाती है एक्सट्रपलेशन करते समय, किसी को एक भविष्यवाणी अंतराल के साथ आश्रित चर के अनुमानित मूल्य के साथ अनिश्चितता का प्रतिनिधित्व करना चाहिए।इस तरह के अंतराल तेजी से विस्तार करते हैं क्योंकि स्वतंत्र चर (ओं) के मान मनाया गया डेटा द्वारा कवर रेंज के बाहर चले गए हैं।

ऐसे कारणों और अन्य लोगों के लिए, कुछ कहते हैं कि यह एक्सट्रपलेशन करने के लिए नासमझी हो सकती है।

हालांकि, यह मॉडलिंग त्रुटियों के पूर्ण सेट को कवर नहीं करता है जो बनाई जा सकती है: विशेष रूप से, वाई और एक्स के बीच संबंध के लिए एक विशेष रूप की धारणा। एक ठीक से आयोजित प्रतिगमन विश्लेषण में एक आकलन शामिल होगा कि ग्रहण किया गया रूप कितना अच्छा हैमनाया गया डेटा द्वारा मेल खाता है, लेकिन यह केवल वास्तव में उपलब्ध स्वतंत्र चर के मूल्यों की सीमा के भीतर ऐसा कर सकता है।इसका मतलब यह है कि कोई भी एक्सट्रपलेशन प्रतिगमन संबंध के संरचनात्मक रूप के बारे में की जा रही मान्यताओं पर विशेष रूप से निर्भर है।यहां सर्वश्रेष्ठ-प्रैक्टिस सलाह यह है कि एक रैखिक-इन-वैरिएबल्स और रैखिक-इन-पैरामीटर संबंध को केवल कम्प्यूटेशनल सुविधा के लिए नहीं चुना जाना चाहिए, लेकिन यह कि सभी उपलब्ध ज्ञान को एक प्रतिगमन मॉडल के निर्माण में तैनात किया जाना चाहिए।यदि इस ज्ञान में यह तथ्य शामिल है कि आश्रित चर मानों की एक निश्चित श्रेणी के बाहर नहीं जा सकता है, तो इसका उपयोग मॉडल का चयन करने में किया जा सकता है - भले ही मनाया डेटासेट में विशेष रूप से इस तरह की सीमा के पास कोई मान नहीं है।प्रतिगमन के लिए एक उपयुक्त कार्यात्मक रूप चुनने के इस चरण के निहितार्थों को तब महान हो सकता है जब एक्सट्रपलेशन पर विचार किया जाता है।कम से कम, यह सुनिश्चित कर सकता है कि एक फिट मॉडल से उत्पन्न होने वाला कोई भी एक्सट्रपलेशन यथार्थवादी है (या जो ज्ञात है उसके अनुरूप)।

शक्ति और नमूना आकार की गणना
मॉडल में स्वतंत्र चर की संख्या बनाम टिप्पणियों की संख्या से संबंधित कोई आम तौर पर सहमत तरीके नहीं हैं।अच्छे और हार्डिन द्वारा अनुमानित एक विधि है $$N=m^n$$, कहाँ पे $$N$$ नमूना आकार है, $$n$$ स्वतंत्र चर की संख्या है और $$m$$ यदि मॉडल में केवल एक स्वतंत्र चर था, तो वांछित सटीकता तक पहुंचने के लिए आवश्यक टिप्पणियों की संख्या है। उदाहरण के लिए, एक शोधकर्ता एक डेटासेट का उपयोग करके एक रैखिक प्रतिगमन मॉडल का निर्माण कर रहा है जिसमें 1000 रोगी होते हैं ($$N$$)।यदि शोधकर्ता यह तय करता है कि एक सीधी रेखा को परिभाषित करने के लिए पांच टिप्पणियों की आवश्यकता है ($$m$$), फिर स्वतंत्र चर की अधिकतम संख्या मॉडल का समर्थन कर सकता है 4 है, क्योंकि


 * $$\frac{\log 1000}{\log5}=4.29. $$

अन्य तरीके
यद्यपि एक प्रतिगमन मॉडल के मापदंडों को आमतौर पर कम से कम वर्गों की विधि का उपयोग करके अनुमानित किया जाता है, अन्य तरीकों का उपयोग किया गया है:
 * बायेसियन तरीके, उदा।बेयसियन रेखीय प्रतिगमन
 * प्रतिशत प्रतिगमन, उन स्थितियों के लिए जहां प्रतिशत त्रुटियों को कम करना अधिक उपयुक्त माना जाता है। * कम से कम निरपेक्ष विचलन, जो आउटलेर की उपस्थिति में अधिक मजबूत है, जिससे क्वांटाइल रिग्रेशन होता है
 * Nonparametric प्रतिगमन, बड़ी संख्या में टिप्पणियों की आवश्यकता है और कम्प्यूटेशनल रूप से गहन है
 * परिदृश्य अनुकूलन, अंतराल भविष्यवक्ता मॉडल के लिए अग्रणी
 * डिस्टेंस मीट्रिक लर्निंग, जो किसी दिए गए इनपुट स्पेस में एक सार्थक दूरी मीट्रिक की खोज से सीखा जाता है।

सॉफ्टवेयर
सभी प्रमुख सांख्यिकीय सॉफ्टवेयर पैकेज कम से कम वर्ग प्रतिगमन विश्लेषण और अनुमान प्रदर्शन करते हैं।कुछ स्प्रेडशीट अनुप्रयोगों और कुछ कैलकुलेटर पर कम से कम वर्गों का उपयोग करके सरल रैखिक प्रतिगमन और कई प्रतिगमन किया जा सकता है।जबकि कई सांख्यिकीय सॉफ़्टवेयर पैकेज विभिन्न प्रकार के नॉनप्रेमेट्रिक और मजबूत प्रतिगमन का प्रदर्शन कर सकते हैं, इन विधियों को कम मानकीकृत किया जाता है।विभिन्न सॉफ़्टवेयर पैकेज अलग -अलग तरीकों को लागू करते हैं, और किसी दिए गए नाम के साथ एक विधि को अलग -अलग पैकेजों में अलग -अलग तरीके से लागू किया जा सकता है।सर्वेक्षण विश्लेषण और न्यूरोइमेजिंग जैसे क्षेत्रों में उपयोग के लिए विशेष प्रतिगमन सॉफ्टवेयर विकसित किया गया है।

यह भी देखें

 * Anscombe की चौकड़ी
 * वक्र फिटिंग
 * अनुमान सिद्धांत
 * पूर्वानुमान
 * विचरण का अंश अस्पष्टीकृत
 * समारोह सन्निकटन
 * सामान्यीकृत रैखिक मॉडल
 * क्रिगिंग (एक रैखिक कम से कम वर्ग अनुमान एल्गोरिथ्म)
 * स्थानीय प्रतिगमन
 * परिवर्तनीय क्षेत्रीय इकाई समस्या
 * बहुभिन्नरूपी अनुकूली प्रतिगमन स्प्लिन
 * बहुभिन्नरूपी सामान्य वितरण
 * पियर्सन उत्पाद-पल सहसंबंध गुणांक
 * अर्ध-विमान
 * भविष्यवाणी अंतराल
 * प्रतिगमन सत्यापन
 * मजबूत प्रतिगमन
 * खंडित प्रतिगमन
 * संकेत का प्रक्रमण
 * स्टेपवाइज रिग्रेशन
 * टैक्सी ज्यामिति
 * प्रवृत्ति अनुमान

अग्रिम पठन

 * William H. Kruskal and Judith M. Tanur, ed. (1978), "Linear Hypotheses," International Encyclopedia of Statistics. Free Press, v. 1,
 * Evan J. Williams, "I. Regression," pp. 523–41.
 * Julian C. Stanley, "II. Analysis of Variance," pp. 541–554.


 * Lindley, D.V. (1987). "Regression and correlation analysis," New Palgrave: A Dictionary of Economics, v. 4, pp. 120–23.
 * Birkes, David and Dodge, Y., Alternative Methods of Regression. ISBN 0-471-56881-3
 * Chatfield, C. (1993) "Calculating Interval Forecasts," Journal of Business and Economic Statistics, 11. pp. 121–135.
 * Fox, J. (1997). Applied Regression Analysis, Linear Models and Related Methods. Sage
 * Hardle, W., Applied Nonparametric Regression (1990), ISBN 0-521-42950-1
 * A. Sen, M. Srivastava, Regression Analysis &mdash; Theory, Methods, and Applications, Springer-Verlag, Berlin, 2011 (4th printing).
 * T. Strutz: Data Fitting and Uncertainty (A practical introduction to weighted least squares and beyond). Vieweg+Teubner, ISBN 978-3-8348-1022-9.
 * Stulp, Freek, and Olivier Sigaud. Many Regression Algorithms, One Unified Model: A Review. Neural Networks, vol. 69, Sept. 2015, pp. 60–79. https://doi.org/10.1016/j.neunet.2015.05.005.
 * Malakooti, B. (2013). Operations and Production Systems with Multiple Objectives. John Wiley & Sons.
 * Stulp, Freek, and Olivier Sigaud. Many Regression Algorithms, One Unified Model: A Review. Neural Networks, vol. 69, Sept. 2015, pp. 60–79. https://doi.org/10.1016/j.neunet.2015.05.005.
 * Malakooti, B. (2013). Operations and Production Systems with Multiple Objectives. John Wiley & Sons.

बाहरी संबंध

 * Earliest Uses: Regression – basic history and references
 * What is multiple regression used for? – Multiple regression
 * Regression of Weakly Correlated Data – how linear regression mistakes can appear when Y-range is much smaller than X-range
 * Regression of Weakly Correlated Data – how linear regression mistakes can appear when Y-range is much smaller than X-range

]