रैखिक न्यूनतम वर्ग

रेखीय न्यूनतम वर्ग (LLS) डेटा के रैखिक कार्यों का न्यूनतम वर्ग सन्निकटन है। यह रेखीय प्रतिगमन में सम्मिलित सांख्यिकीय समस्याओं को हल करने के लिए योगों का एक सेट है, जिसमें सामान्य न्यूनतम वर्ग (अनवेटेड), भारित न्यूनतम वर्ग और सामान्यीकृत न्यूनतम वर्ग (सहसंबद्ध) अवशिष्ट (सांख्यिकी) सम्मिलित हैं। रेखीय कम से कम वर्गों के लिए संख्यात्मक तरीकों में सामान्य समीकरणों और मैट्रिक्स अपघटन विधियों के मैट्रिक्स को बदलना सम्मिलित है।

मुख्य फॉर्मूलेशन

तीन मुख्य रैखिक न्यूनतम वर्ग योग हैं:

• सामान्य न्यूनतम वर्ग (OLS) सबसे सामान्य अनुमानक है। ओएलएस अनुमानों का प्रयोग सामान्यतः प्रयोगात्मक और अवलोकन संबंधी अध्ययन डेटा दोनों का विश्लेषण करने के लिए किया जाता है।
  OLS पद्धति आँकड़ों में चुकता त्रुटियों और अवशिष्टों के योग को कम करती है, और अज्ञात पैरामीटर सदिश β के अनुमानित मान के लिए एक बंद-रूप अभिव्यक्ति की ओर ले जाती है:
  $${\hat {\boldsymbol {\beta }}}=(\mathbf {X} ^{\mathsf {T}}\mathbf {X} )^{-1}\mathbf {X} ^{\mathsf {T}}\mathbf {y} ,$$
  कहाँ $\mathbf {y}$ एक वेक्टर है जिसका ith तत्व निर्भर चर का ith अवलोकन है, और $\mathbf {X}$ एक आव्यूह है जिसका ij अवयव jवें स्वतंत्र चर का iवां प्रेक्षण है। अनुमानक एक अनुमानक और सुसंगत अनुमानक का पूर्वाग्रह है यदि त्रुटियों में परिमित विचरण है और प्रतिगामी के साथ असंबद्ध हैं:
  $$\operatorname {E} [\,\mathbf {x} _{i}\varepsilon _{i}\,]=0,$$
  कहाँ $\mathbf {x} _{i}$ मैट्रिक्स की पंक्ति i का स्थानान्तरण है $\mathbf {X} .$ यह धारणा के अनुसार दक्षता (सांख्यिकी) भी है कि त्रुटियों में परिमित विचरण है और समरूपता है, जिसका अर्थ है कि E[ε_i^{2</उप>|एक्स_i] i पर निर्भर नहीं है। यह स्थिति कि त्रुटियां प्रतिगमनकर्ताओं के साथ असंबद्ध हैं, सामान्यतः एक प्रयोग में संतुष्ट होंगी, लेकिन अवलोकन संबंधी डेटा के मामले में, छोड़े गए सहसंयोजक z की संभावना को बाहर करना मुश्किल है जो कि देखे गए सहसंयोजक और प्रतिक्रिया चर दोनों से संबंधित है . इस तरह के सहसंयोजक का अस्तित्व सामान्यतः प्रतिगामी और प्रतिक्रिया चर के बीच एक सहसंबंध की ओर ले जाएगा, और इसलिए 'β' के एक असंगत अनुमानक के लिए। समरूपता की स्थिति प्रयोगात्मक या अवलोकन संबंधी डेटा के साथ विफल हो सकती है। यदि लक्ष्य या तो अनुमान या भविष्य कहनेवाला मॉडलिंग है, तो बहुसंरेखता उपस्तिथ होने पर OLS अनुमानों का प्रदर्शन खराब हो सकता है, जब तक कि नमूना आकार बड़ा न हो।}
• 'भारित न्यूनतम वर्ग' (WLS) का उपयोग तब किया जाता है जब मॉडल की त्रुटि शर्तों में विषमलैंगिकता उपस्तिथ होती है।
• 'सामान्यीकृत न्यूनतम वर्ग' (जीएलएस) ओएलएस पद्धति का एक विस्तार है, जो β के कुशल अनुमान की अनुमति देता है जब या तो विषमलैंगिकता, या सहसंबंध, या दोनों मॉडल की त्रुटि शर्तों के बीच उपस्तिथ होते हैं, जब तक कि विषमलैंगिकता का रूप और सहसंबंध डेटा से स्वतंत्र रूप से जाना जाता है। विषमलैंगिकता को संभालने के लिए जब त्रुटि शब्द एक दूसरे के साथ असंबद्ध होते हैं, GLS भारित एनालॉग को OLS प्रतिगमन से चुकता अवशेषों के योग में कम कर देता है, जहां i के लिए वजन</supcase var(ε) के व्युत्क्रमानुपाती है_i). जीएलएस के इस विशेष मामले को भारित न्यूनतम वर्ग कहा जाता है। अनुमान समस्या का GLS समाधान है
  $${\hat {\boldsymbol {\beta }}}=(\mathbf {X} ^{\mathsf {T}}{\boldsymbol {\Omega }}^{-1}\mathbf {X} )^{-1}\mathbf {X} ^{\mathsf {T}}{\boldsymbol {\Omega }}^{-1}\mathbf {y} ,$$
  जहां Ω त्रुटियों का सहप्रसरण मैट्रिक्स है। जीएलएस को डेटा में एक रैखिक परिवर्तन लागू करने के रूप में देखा जा सकता है ताकि रूपांतरित डेटा के लिए ओएलएस की मान्यताओं को पूरा किया जा सके। जीएलएस को लागू करने के लिए, त्रुटियों की सहप्रसरण संरचना को गुणक स्थिरांक तक जाना जाना चाहिए।

वैकल्पिक फॉर्मूलेशन

अन्य योगों में सम्मिलित हैं:

• पुनरावर्ती रूप से कम से कम वर्गों को फिर से भारित किया गया (आईआरएलएस) का उपयोग तब किया जाता है जब विषमलैंगिकता, या सहसंबंध, या दोनों मॉडल की त्रुटि शर्तों के बीच उपस्तिथ होते हैं, लेकिन जहां डेटा से स्वतंत्र रूप से त्रुटियों की सहप्रसरण संरचना के बारे में बहुत कम जानकारी होती है। पहले पुनरावृत्ति में, OLS, या GLS एक अनंतिम सहप्रसरण संरचना के साथ किया जाता है, और अवशिष्टों को फिट से प्राप्त किया जाता है। अवशिष्टों के आधार पर, त्रुटियों की सहप्रसरण संरचना का एक बेहतर अनुमान सामान्यतः प्राप्त किया जा सकता है। वजन को परिभाषित करने के लिए त्रुटि संरचना के इस अनुमान का उपयोग करके बाद में जीएलएस पुनरावृत्ति का प्रदर्शन किया जाता है। प्रक्रिया को अभिसरण के लिए पुनरावृत्त किया जा सकता है, लेकिन कई स्थितियों में, केवल एक पुनरावृत्ति β के कुशल अनुमान को प्राप्त करने के लिए पर्याप्त है।
• वाद्य चर प्रतिगमन (IV) तब किया जा सकता है जब प्रतिगमन त्रुटियों के साथ सहसंबद्ध होते हैं। इस मामले में, हमें कुछ सहायक 'वाद्य चर' z के अस्तित्व की आवश्यकता है_i ऐसा है कि ई [जेड_iε_i] = 0। यदि Z उपकरणों का मैट्रिक्स है, तो अनुमानक को बंद रूप में दिया जा सकता है
  $${\hat {\boldsymbol {\beta }}}=(\mathbf {X} ^{\mathsf {T}}\mathbf {Z} (\mathbf {Z} ^{\mathsf {T}}\mathbf {Z} )^{-1}\mathbf {Z} ^{\mathsf {T}}\mathbf {X} )^{-1}\mathbf {X} ^{\mathsf {T}}\mathbf {Z} (\mathbf {Z} ^{\mathsf {T}}\mathbf {Z} )^{-1}\mathbf {Z} ^{\mathsf {T}}\mathbf {y} .$$
  इष्टतम उपकरण प्रतिगमन उस स्थिति के लिए शास्त्रीय IV प्रतिगमन का विस्तार है जहां E[ε_i | z_i] = 0.
• कुल न्यूनतम वर्ग (TLS) रेखीय प्रतिगमन मॉडल के कम से कम वर्गों के अनुमान के लिए एक दृष्टिकोण है जो ओएलएस की तुलना में अधिक ज्यामितीय रूप से सममित तरीके से कोवरिएट्स और प्रतिक्रिया चर का इलाज करता है। यह चर समस्या में त्रुटियों को संभालने का एक तरीका है, और कभी-कभी इसका उपयोग तब भी किया जाता है जब सहसंयोजकों को त्रुटि-मुक्त माना जाता है।

• प्रतिशत न्यूनतम वर्ग प्रतिशत त्रुटियों को कम करने पर केंद्रित है, जो पूर्वानुमान या समय श्रृंखला विश्लेषण के क्षेत्र में उपयोगी है। यह उन स्थितियों में भी उपयोगी है जहां आश्रित चर की निरंतर विचरण के बिना एक विस्तृत श्रृंखला होती है, क्योंकि यदि ओएलएस का उपयोग किया जाता है तो सीमा के ऊपरी छोर पर बड़े अवशेष हावी होंगे। जब प्रतिशत या सापेक्ष त्रुटि सामान्य रूप से वितरित की जाती है, तो कम से कम वर्ग प्रतिशत प्रतिगमन अधिकतम संभावना अनुमान प्रदान करता है। प्रतिशत प्रतिगमन एक गुणक त्रुटि मॉडल से जुड़ा हुआ है, जबकि OLS एक योगात्मक त्रुटि शब्द वाले मॉडल से जुड़ा हुआ है।
• विवश न्यूनतम वर्ग, समाधान पर अतिरिक्त बाधाओं के साथ एक रैखिक न्यूनतम वर्ग समस्या को इंगित करता है।

उद्देश्य समारोह

ओएलएस में (अर्थात्, भारित टिप्पणियों को मानते हुए), गुणांक वेक्टर के लिए इष्टतम अभिव्यक्ति को प्रतिस्थापित करके उद्देश्य फ़ंक्शन का गणितीय अनुकूलन पाया जाता है:

$$S=\mathbf {y} ^{\mathsf {T}}(\mathbf {I} -\mathbf {H} )^{\mathsf {T}}(\mathbf {I} -\mathbf {H} )\mathbf {y} =\mathbf {y} ^{\mathsf {T}}(\mathbf {I} -\mathbf {H} )\mathbf {y} ,$$

कहाँ $\mathbf {H} =\mathbf {X} (\mathbf {X} ^{\mathsf {T}}\mathbf {X} )^{-1}\mathbf {X} ^{\mathsf {T}}$, बाद की समानता के बाद से $(\mathbf {I} -\mathbf {H} )$ सममित और idempotent है। इससे दिखाया जा सकता है वजन के एक उपयुक्त असाइनमेंट के अनुसार S का अपेक्षित मान m − n है। यदि इसके अतिरिक्त इकाई भार ग्रहण किया जाता है, तो S का अपेक्षित मान है $(m-n)\sigma ^{2}$, कहाँ $\sigma ^{2}$ प्रत्येक अवलोकन का विचरण है।

यदि यह माना जाता है कि अवशिष्ट एक सामान्य वितरण से संबंधित हैं, तो वस्तुनिष्ठ फलन, भारित वर्गित अवशिष्टों का योग होने के कारण, ची-वर्ग वितरण|ची-वर्ग से संबंधित होगा ($\chi ^{2}$) m − n स्वतंत्रता की डिग्री (सांख्यिकी) के साथ वितरण। के कुछ निदर्शी प्रतिशतक मान $\chi ^{2}$ निम्न तालिका में दिए गए हैं।

$m-n$	$\chi _{0.50}^{2}$	$\chi _{0.95}^{2}$	$\chi _{0.99}^{2}$
10	9.34	18.3	23.2
25	24.3	37.7	44.3
100	99.3	124	136

फिट होने की अच्छाई के लिए इन मूल्यों का उपयोग सांख्यिकीय मानदंड के लिए किया जा सकता है। जब इकाई भार का उपयोग किया जाता है, तो संख्याओं को प्रेक्षण के प्रसरण से विभाजित किया जाना चाहिए।

WLS के लिए, उपरोक्त सामान्य उद्देश्य फ़ंक्शन को अवशिष्टों के भारित औसत के लिए प्रतिस्थापित किया जाता है।

चर्चा

आंकड़ों और गणित में, रैखिक कम से कम वर्ग उन स्थितियों में डेटा के लिए गणितीय मॉडल या सांख्यिकीय मॉडल को फिट करने के लिए एक दृष्टिकोण है, जहां किसी डेटा बिंदु के लिए मॉडल द्वारा प्रदान किए गए आदर्श मूल्य को मॉडल के अज्ञात मापदंडों के संदर्भ में रैखिक रूप से व्यक्त किया [[आंकड़े]] है। परिणामी फिट किए गए मॉडल का उपयोग डेटा को वर्णनात्मक आंकड़ों के लिए किया जा सकता है, एक ही सिस्टम से अप्राप्य मूल्यों की भविष्यवाणी करने के लिए, और सिस्टम को समझने वाले तंत्र को समझने के लिए।

गणितीय रूप से, रैखिक न्यूनतम वर्ग रैखिक समीकरणों A x = b की एक अतिनिर्धारित प्रणाली को लगभग हल करने की समस्या है, जहाँ b मैट्रिक्स A के स्तंभ स्थान का एक तत्व नहीं है। अनुमानित समाधान को A x = के सटीक समाधान के रूप में महसूस किया जाता है। बी', जहां बी' ए के कॉलम स्पेस पर बी का प्रक्षेपण है। सबसे अच्छा सन्निकटन वह है जो डेटा मानों और उनके संबंधित मॉडल मूल्यों के बीच चुकता अंतरों के योग को कम करता है। दृष्टिकोण को 'रैखिक' 'कम से कम वर्ग कहा जाता है क्योंकि अनुमानित कार्य अनुमानित पैरामीटर में रैखिक है। रैखिक कम से कम वर्ग की समस्याएं उत्तल कार्य हैं और एक बंद-रूप अभिव्यक्ति है। बंद-रूप समाधान जो अद्वितीय है, बशर्ते कि फिटिंग के लिए उपयोग किए जाने वाले डेटा बिंदुओं की संख्या अज्ञात मापदंडों की संख्या के बराबर या उससे अधिक हो, विशेष पतित स्थितियों को छोड़कर। इसके विपरीत, गैर-रैखिक कम से कम वर्गों की समस्याओं को सामान्यतः पुनरावृत्त विधि द्वारा हल किया जाना चाहिए, और उद्देश्य फ़ंक्शन के लिए कई ऑप्टिमा के साथ समस्याएं गैर-उत्तल हो सकती हैं। यदि पूर्व वितरण उपलब्ध हैं, तो न्यूनतम औसत वर्ग त्रुटि का उपयोग करके एक कम निर्धारित प्रणाली को भी हल किया जा सकता है।

आँकड़ों में, रैखिक कम से कम वर्ग समस्याएँ विशेष रूप से महत्वपूर्ण प्रकार के सांख्यिकीय मॉडल के अनुरूप होती हैं जिन्हें रैखिक प्रतिगमन कहा जाता है जो प्रतिगमन विश्लेषण के एक विशेष रूप के रूप में उत्पन्न होता है। इस तरह के मॉडल का एक मूल रूप एक साधारण न्यूनतम वर्ग मॉडल है। वर्तमान लेख रैखिक कम से कम वर्गों की समस्याओं के गणितीय पहलुओं पर ध्यान केंद्रित करता है, सांख्यिकीय प्रतिगमन मॉडल के निर्माण और व्याख्या की चर्चा के साथ और इनसे संबंधित सांख्यिकीय अनुमानों को अभी उल्लिखित लेखों में निपटाया जा रहा है। विषय की रूपरेखा के लिए प्रतिगमन विश्लेषण की रूपरेखा देखें।

गुण

See also: Ordinary least squares § Properties

यदि प्रायोगिक त्रुटियां, $\varepsilon$, असंबंधित हैं, शून्य का मतलब है और निरंतर भिन्नता है, $\sigma$, गॉस-मार्कोव प्रमेय कहता है कि कम से कम वर्ग अनुमानक, ${\hat {\boldsymbol {\beta }}}$, सभी अनुमानकों का न्यूनतम विचरण है जो अवलोकनों के रैखिक संयोजन हैं। इस अर्थ में यह पैरामीटरों का सबसे अच्छा, या इष्टतम, अनुमानक है। विशेष रूप से ध्यान दें कि यह संपत्ति त्रुटियों के सांख्यिकीय संचयी वितरण समारोह से स्वतंत्र है। दूसरे शब्दों में, त्रुटियों का वितरण कार्य सामान्य वितरण नहीं होना चाहिए। चूंकि, कुछ प्रायिकता वितरणों के लिए, इस बात की कोई गारंटी नहीं है कि प्रेक्षणों को देखते हुए न्यूनतम वर्ग समाधान भी संभव है; फिर भी, ऐसे स्थितियों में यह सबसे अच्छा अनुमानक है जो रैखिक और निष्पक्ष दोनों है।

उदाहरण के लिए, यह दिखाना आसान है कि किसी मात्रा के माप के सेट का अंकगणितीय माध्य उस मात्रा के मान का न्यूनतम-वर्ग अनुमानक है। यदि गॉस-मार्कोव प्रमेय की शर्तें लागू होती हैं, तो अंकगणितीय माध्य इष्टतम होता है, माप की त्रुटियों का वितरण चाहे जो भी हो।

हालाँकि, इस मामले में कि प्रायोगिक त्रुटियाँ एक सामान्य वितरण से संबंधित हैं, न्यूनतम-वर्ग अनुमानक भी अधिकतम संभावना अनुमानक है। ये गुण सभी प्रकार के डेटा फ़िटिंग के लिए कम से कम वर्गों की विधि के उपयोग को रेखांकित करते हैं, तब भी जब धारणाएँ कड़ाई से मान्य नहीं हैं।

सीमाएं

ऊपर दिए गए उपचार में अंतर्निहित एक धारणा यह है कि स्वतंत्र चर, x, त्रुटि मुक्त है। व्यवहार में, स्वतंत्र चर के मापन में त्रुटियां सामान्यतः निर्भर चर पर त्रुटियों की तुलना में बहुत कम होती हैं और इसलिए इसे अनदेखा किया जा सकता है। जब ऐसा नहीं होता है, कुल कम से कम वर्ग या अधिक सामान्यतः त्रुटियों में चर मॉडल, या कठोर न्यूनतम वर्ग का उपयोग किया जाना चाहिए। यह निर्भर और स्वतंत्र चर दोनों पर त्रुटियों को ध्यान में रखते हुए भार योजना को समायोजित करके और फिर मानक प्रक्रिया का पालन करके किया जा सकता है। कुछ स्थितियों में (भारित) सामान्य समीकरण मैट्रिक्स X^TX बीमार है। बहुपदों को फ़िट करते समय सामान्य समीकरण मैट्रिक्स एक वैंडरमोंड मैट्रिक्स होता है। जैसे-जैसे मैट्रिक्स का क्रम बढ़ता है वैंडरमोंड मैट्रिसेस तेजी से बीमार होते जाते हैं। इन स्थितियों में, सबसे कम वर्ग का अनुमान माप शोर को बढ़ाता है और यह पूरी तरह से गलत हो सकता है। ऐसे स्थितियों में विभिन्न नियमितीकरण (गणित) तकनीकों को लागू किया जा सकता है, जिनमें से सबसे आम को तिखोनोव नियमितीकरण कहा जाता है। यदि पैरामीटर के बारे में अधिक जानकारी ज्ञात है, उदाहरण के लिए, संभावित मानों की एक श्रेणी $\mathbf {\hat {\boldsymbol {\beta }}}$, तो समाधान की स्थिरता को बढ़ाने के लिए विभिन्न तकनीकों का उपयोग किया जा सकता है। उदाहरण के लिए, #Constrained_linear_least_squares देखें।

कम से कम वर्गों के अनुमानक का एक और दोष यह तथ्य है कि अवशिष्टों का मानदंड, $\|\mathbf {y} -X{\hat {\boldsymbol {\beta }}}\|$ न्यूनतम किया जाता है, जबकि कुछ स्थितियों में पैरामीटर में छोटी त्रुटि प्राप्त करने में वास्तव में रुचि होती है $\mathbf {\hat {\boldsymbol {\beta }}}$, उदाहरण के लिए, का एक छोटा मान $\|{\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}}\|$. चूंकि, सही पैरामीटर के बाद से ${\boldsymbol {\beta }}$ आवश्यक रूप से अज्ञात है, इस मात्रा को सीधे कम नहीं किया जा सकता। यदि पूर्व संभावना चालू है ${\hat {\boldsymbol {\beta }}}$ ज्ञात है, तो औसत वर्ग त्रुटि को कम करने के लिए न्यूनतम औसत वर्ग त्रुटि का उपयोग किया जा सकता है, $E\left\{\|{\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}}\|^{2}\right\}$. कम से कम वर्ग विधि अधिकांशतःलागू होती है जब कोई पूर्व ज्ञात नहीं होता है। आश्चर्यजनक रूप से, जब कई मापदंडों का संयुक्त रूप से अनुमान लगाया जा रहा हो, तो बेहतर आकलनकर्ताओं का निर्माण किया जा सकता है, एक प्रभाव जिसे स्टीन की घटना के रूप में जाना जाता है। उदाहरण के लिए, यदि माप त्रुटि सामान्य वितरण है, तो कई अनुमानक ज्ञात हैं जो निर्णय नियम पर हावी हैं, या सबसे कम वर्ग तकनीक से बेहतर प्रदर्शन करते हैं; इनमें से सबसे प्रसिद्ध जेम्स-स्टीन अनुमानक है। यह अधिक सामान्य सिकुड़न अनुमानक का एक उदाहरण है जिसे प्रतिगमन समस्याओं पर लागू किया गया है।

अनुप्रयोग

See also: Linear regression § Applications

• बहुपद प्रतिगमन: मॉडल एक स्वतंत्र चर में बहुपद हैं, x:
  • सरल रेखा: $f(x,{\boldsymbol {\beta }})=\beta _{1}+\beta _{2}x$.
  • द्विघात: $f(x,{\boldsymbol {\beta }})=\beta _{1}+\beta _{2}x+\beta _{3}x^{2}$.
  • घन, चतुर्थक और उच्च बहुपद। बहुपद प्रतिगमन | उच्च-क्रम बहुपदों के साथ प्रतिगमन के लिए, ऑर्थोगोनल बहुपदों के उपयोग की सिफारिश की जाती है।
• संख्यात्मक चौरसाई और भेदभाव - यह बहुपद फिटिंग का एक अनुप्रयोग है।
• सतह फिटिंग सहित एक से अधिक स्वतंत्र चर में बहुपद
• बी-पट्टी के साथ कर्व फिटिंग* रसायन विज्ञान , अंशांकन वक्र, मानक जोड़, महान साजिश, बीयर-लैंबर्ट कानून # रासायनिक विश्लेषण

डेटा फिटिंग में उपयोग

रैखिक कम से कम वर्गों का प्राथमिक अनुप्रयोग डेटा फ़िटिंग में है। एम डेटा बिंदुओं के एक सेट को देखते हुए $y_{1},y_{2},\dots ,y_{m},$ एम मूल्यों पर लिए गए प्रयोगात्मक रूप से मापा मूल्यों से मिलकर $x_{1},x_{2},\dots ,x_{m}$ एक स्वतंत्र चर का ($x_{i}$ अदिश या सदिश राशियाँ हो सकती हैं), और एक मॉडल फ़ंक्शन दिया गया है $y=f(x,{\boldsymbol {\beta }}),$ साथ ${\boldsymbol {\beta }}=(\beta _{1},\beta _{2},\dots ,\beta _{n}),$ यह मापदंडों को खोजने के लिए वांछित है $\beta _{j}$ जैसे कि मॉडल फ़ंक्शन डेटा के लिए सबसे उपयुक्त है। रैखिक कम से कम वर्गों में, रैखिकता का मतलब मापदंडों के संबंध में होता है $\beta _{j},$ इसलिए

$$f(x,{\boldsymbol {\beta }})=\sum _{j=1}^{n}\beta _{j}\varphi _{j}(x).$$

यहाँ, कार्य $\varphi _{j}$ चर x के संबंध में अरैखिक हो सकता है।

आदर्श रूप से, मॉडल फ़ंक्शन डेटा को सटीक रूप से फिट करता है, इसलिए

$$y_{i}=f(x_{i},{\boldsymbol {\beta }})$$

सभी के लिए $i=1,2,\dots ,m.$ यह सामान्यतः व्यवहार में संभव नहीं है, क्योंकि निर्धारित किए जाने वाले मापदंडों की तुलना में अधिक डेटा बिंदु हैं। तब चुना गया दृष्टिकोण अवशिष्ट (सांख्यिकी) के वर्गों के योग का न्यूनतम संभव मान ज्ञात करना है

$$r_{i}({\boldsymbol {\beta }})=y_{i}-f(x_{i},{\boldsymbol {\beta }}),\ (i=1,2,\dots ,m)$$

इसलिए समारोह को कम करने के लिए

$$S({\boldsymbol {\beta }})=\sum _{i=1}^{m}r_{i}^{2}({\boldsymbol {\beta }}).$$

के लिए प्रतिस्थापित करने के बाद $r_{i}$ और फिर के लिए $f$, यह न्यूनीकरण समस्या उपरोक्त द्विघात न्यूनीकरण समस्या बन जाती है

$$X_{ij}=\varphi _{j}(x_{i}),$$

और सामान्य समीकरणों को हल करके सबसे उपयुक्त पाया जा सकता है।

उदाहरण

See also: Ordinary least squares § Example, and Simple linear regression § Example

Further information: Polynomial regression

डेटा बिंदुओं का एक प्लॉट (लाल रंग में), सर्वोत्तम फिट की कम से कम वर्ग रेखा (नीले रंग में), और अवशिष्ट (हरे रंग में)

एक प्रयोग के परिणामस्वरूप, चार $(x,y)$ डेटा बिंदु प्राप्त किए गए थे, $(1,6),$ $(2,5),$ $(3,7),$ और $(4,10)$ (दाईं ओर आरेख में लाल रंग में दिखाया गया है)। हमें लाइन मिलने की उम्मीद है $y=\beta _{1}+\beta _{2}x$ जो इन चार बिंदुओं के लिए सबसे उपयुक्त है। दूसरे शब्दों में, हम संख्याओं का पता लगाना चाहेंगे $\beta _{1}$ और $\beta _{2}$ यह लगभग अतिनिर्धारित रैखिक प्रणाली को हल करता है:

$${\begin{alignedat}{3}\beta _{1}+1\beta _{2}+r_{1}&&\;=\;&&6&\\\beta _{1}+2\beta _{2}+r_{2}&&\;=\;&&5&\\\beta _{1}+3\beta _{2}+r_{3}&&\;=\;&&7&\\\beta _{1}+4\beta _{2}+r_{4}&&\;=\;&&10&\\\end{alignedat}}$$

कुछ सर्वोत्तम अर्थों में दो अज्ञात में चार समीकरणों का।

$r$ वक्र फिट और डेटा के बीच, प्रत्येक बिंदु पर अवशिष्ट का प्रतिनिधित्व करता है:

$${\begin{alignedat}{3}r_{1}&&\;=\;&&6-(\beta _{1}+1\beta _{2})&\\r_{2}&&\;=\;&&5-(\beta _{1}+2\beta _{2})&\\r_{3}&&\;=\;&&7-(\beta _{1}+3\beta _{2})&\\r_{4}&&\;=\;&&10-(\beta _{1}+4\beta _{2})&\\\end{alignedat}}$$

इस समस्या को हल करने के लिए कम से कम वर्गों का दृष्टिकोण इन अवशेषों के वर्गों के योग को जितना संभव हो उतना छोटा करने का प्रयास करना है; वह है, समारोह की अधिकतमता और न्यूनतमता को खोजने के लिए:

$${\begin{aligned}S(\beta _{1},\beta _{2})&=r_{1}^{2}+r_{2}^{2}+r_{3}^{2}+r_{4}^{2}\\[6pt]&=[6-(\beta _{1}+1\beta _{2})]^{2}+[5-(\beta _{1}+2\beta _{2})]^{2}+[7-(\beta _{1}+3\beta _{2})]^{2}+[10-(\beta _{1}+4\beta _{2})]^{2}\\[6pt]&=4\beta _{1}^{2}+30\beta _{2}^{2}+20\beta _{1}\beta _{2}-56\beta _{1}-154\beta _{2}+210\\[6pt]\end{aligned}}$$

के आंशिक डेरिवेटिव की गणना करके न्यूनतम निर्धारित किया जाता है $S(\beta _{1},\beta _{2})$ इसके संबंध में $\beta _{1}$ और $\beta _{2}$ और उन्हें शून्य पर सेट करना:

$${\frac {\partial S}{\partial \beta _{1}}}=0=8\beta _{1}+20\beta _{2}-56$$

$${\frac {\partial S}{\partial \beta _{2}}}=0=20\beta _{1}+60\beta _{2}-154.$$

इसका परिणाम दो अज्ञात में दो समीकरणों की प्रणाली में होता है, जिसे सामान्य समीकरण कहा जाता है, जो हल करने पर देता है:

$$\beta _{1}=3.5$$

$$\beta _{2}=1.4$$

और समीकरण $y=3.5+1.4x$ सर्वश्रेष्ठ फिट की रेखा है। अवशिष्ट (सांख्यिकी), अर्थात्, के बीच अंतर $y$ प्रेक्षणों से मान और $y$ सर्वोत्तम फिट की रेखा का उपयोग करके अनुमानित चर, तब पाए जाते हैं $1.1,$ $-1.3,$ $-0.7,$ और $0.9$ (दाईं ओर आरेख देखें)। अवशिष्टों के वर्गों के योग का न्यूनतम मान है $S(3.5,1.4)=1.1^{2}+(-1.3)^{2}+(-0.7)^{2}+0.9^{2}=4.2.$ अधिक सामान्यतः, कोई भी हो सकता है $n$ प्रतिगामी $x_{j}$, और एक रैखिक मॉडल

$$y=\beta _{0}+\sum _{j=1}^{n}\beta _{j}x_{j}.$$

द्विघात मॉडल का प्रयोग

द्विघात फलन को फ़िट करने का परिणाम $y=\beta _{1}+\beta _{2}x+\beta _{3}x^{2}\,$ (नीले रंग में) डेटा बिंदुओं के एक सेट के माध्यम से $(x_{i},y_{i})$ (लाल)। रैखिक कम से कम वर्गों में फ़ंक्शन को तर्क में रैखिक होने की आवश्यकता नहीं है $x,$ लेकिन केवल मापदंडों में $\beta _{j}$ जो सर्वश्रेष्ठ फिट देने के लिए दृढ़ संकल्पित हैं।

महत्वपूर्ण रूप से, रैखिक न्यूनतम वर्गों में, हम उपरोक्त उदाहरण के रूप में एक रेखा को मॉडल के रूप में उपयोग करने तक सीमित नहीं हैं। उदाहरण के लिए, हम प्रतिबंधित द्विघात मॉडल को चुन सकते थे $y=\beta _{1}x^{2}$. यह मॉडल अभी भी रैखिक है $\beta _{1}$ पैरामीटर, इसलिए हम अभी भी समान विश्लेषण कर सकते हैं, डेटा बिंदुओं से समीकरणों की एक प्रणाली का निर्माण कर सकते हैं:

$${\begin{alignedat}{2}6&&\;=\beta _{1}(1)^{2}+r_{1}\\5&&\;=\beta _{1}(2)^{2}+r_{2}\\7&&\;=\beta _{1}(3)^{2}+r_{3}\\10&&\;=\beta _{1}(4)^{2}+r_{4}\\\end{alignedat}}$$

पैरामीटर के संबंध में आंशिक डेरिवेटिव (इस बार केवल एक ही है) की फिर से गणना की जाती है और 0 पर सेट किया जाता है:

$${\frac {\partial S}{\partial \beta _{1}}}=0=708\beta _{1}-498$$

और हल किया

$$\beta _{1}=0.703$$

परिणामी सर्वोत्तम फिट मॉडल के लिए अग्रणी $y=0.703x^{2}.$

यह भी देखें

• लाइन-लाइन चौराहा # गैर-प्रतिच्छेदी लाइनों के निकटतम बिंदु, एक आवेदन
• लाइन फिटिंग
• अरेखीय कम से कम वर्ग
• कम से कम वर्गों को नियमित करें
• सरल रेखीय प्रतिगमन
• आंशिक न्यूनतम वर्ग प्रतिगमन
• रैखिक प्रकार्य

अग्रिम पठन

• Bevington, Philip R.; Robinson, Keith D. (2003). Data Reduction and Error Analysis for the Physical Sciences. McGraw-Hill. ISBN 978-0-07-247227-1.

बाहरी संबंध

• Least Squares Fitting – From MathWorld
• Least Squares Fitting-Polynomial – From MathWorld