साधारण न्यूनतम वर्ग

आंकड़ों में, साधारण न्यूनतम वर्गों (ओएलएस) एक रैखिक प्रतिगमन मॉडल में अज्ञात सांख्यिकीय मापदंड को चुनने के लिए एक प्रकार की रैखिक न्यूनतम वर्ग विधि है (व्याख्यात्मक चर के समुच्चय के रैखिक फलन के निश्चित स्तर-एक प्रभाव के साथ) के सिद्धांत द्वारा न्यूनतम वर्ग: इनपुट आँकड़ा समुच्चय में देखे गए आश्रित चर (देखे जा रहे चर के मान) और स्वतंत्र चर के (रैखिक) फलन के आउटपुट के बीच अंतर के वर्गों के योग को कम करना है।

ज्यामितीय रूप से, इसे समुच्चय में प्रत्येक आँकड़े बिंदु और प्रतिगमन सतह पर संबंधित बिंदु के बीच, आश्रित चर के अक्ष के समानांतर, वर्ग दूरी के योग के रूप में देखा जाता है - अंतर जितना छोटा होगा, मॉडल आँकड़े में उतना ही बेहतर आसंजन होगा। परिणामी सांख्यिकीय अनुमान को सरल सूत्र द्वारा व्यक्त किया जा सकता है, विशेष रूप से साधारण रैखिक प्रतिगमन के स्थितियों में, जिसमें प्रतिगमन समीकरण के दाईं ओर एकल प्रतिगामी होता है।

ओएलएस अनुमानक स्तर-एक निश्चित प्रभावों के लिए सुसंगत अनुमानक है जब प्रतिगमन बहिर्वर्धन होते हैं और सही सरैखिता (श्रेणी स्थिति) बनाते हैं, जब प्रतिगमन के पास परिमित चौथा क्षण होता है तो अवशेषों के विचरण अनुमान के लिए सुसंगत होता है और गॉस-मार्कोव प्रमेय द्वारा - सबसे अच्छा रैखिक निष्पक्ष अनुमानक जब सांख्यिकीय त्रुटियां समरूप और स्वत: सहसंबंध होती हैं। इन शर्तों के अनुसार, ओएलएस की विधि न्यूनतम-विचरण माध्य-निष्पक्ष अनुमान प्रदान करती है जब त्रुटियों में सीमित भिन्नता होती है। अतिरिक्त धारणा के अनुसार कि त्रुटियां शून्य माध्य के साथ सामान्य वितरण हैं, ओएलएस अधिकतम संभावना अनुमानक है जो किसी भी गैर-रेखीय निष्पक्ष अनुमानक से बेहतर प्रदर्शन करता है।

रेखीय मॉडल
मान लीजिए कि आँकड़े में $$n$$ सांख्यिकीय इकाई $$\left\{\mathbf{x}_i, y_i\right\}_{i=1}^n$$ सम्मिलित हैं प्रत्येक अवलोकन $$i$$ अदिश प्रतिक्रिया $$y_i$$ सम्मिलित है और स्तंभ सदिश $$\mathbf{x}_i$$ का $$p$$ मापदंड (प्रतिगामी), अर्थात $$\mathbf{x}_i=\left[x_{i1}, x_{i2}, \dots, x_{ip}\right]^\mathsf{T}$$सम्मिलित है। रेखीय प्रतिगमन मॉडल में, प्रतिक्रिया चर, $$y_i$$, प्रतिगामी का रैखिक फलन है:


 * $$y_i = \beta_1\ x_{i1} + \beta_2\ x_{i2} + \cdots + \beta_p\ x_{ip} + \varepsilon_i,$$

या सदिश रूप में,
 * $$ y_i = \mathbf{x}_i^\mathsf{T} \boldsymbol{\beta} + \varepsilon_i, \, $$

जहाँ $$\mathbf{x}_i$$, जैसा कि पहले प्रस्तुत किया गया था, का स्तंभ सदिश है $$i$$-सभी व्याख्यात्मक चर का अवलोकन; $$\boldsymbol{\beta}$$, $$p \times 1$$ अज्ञात मापदंडों का सदिश है; और अदिश $$\varepsilon_i$$ $$i$$-वां अवलोकन के न देखे गए यादृच्छिक चर (आंकड़ों में त्रुटियां और अवशेष) का प्रतिनिधित्व करता है। $$\varepsilon_i$$, व्याख्यात्मक चर $$\mathbf{x}_i$$ के अतिरिक्त अन्य स्रोतों से प्रतिक्रियाओं $$y_i$$ पर पड़ने वाले प्रभावों का लेखा-जोखा रखता है। इस मॉडल को आव्यूह संकेतन में भी लिखा जा सकता है
 * $$ \mathbf{y} = \mathbf{X} \boldsymbol{\beta} + \boldsymbol{\varepsilon}, \, $$

जहाँ $$\mathbf{y}$$ और $$\boldsymbol{\varepsilon}$$, $$n \times 1$$ प्रतिक्रिया चर के सदिश और $$ n $$ अवलोकन की त्रुटियां हैं, और $$\mathbf{X}$$,  $$n \times p$$ प्रतिगामी का आव्यूह, जिसे कभी-कभी अभिकल्प आव्यूह भी कहा जाता है, जिसकी पंक्ति $$i$$,  $$\mathbf{x}_i^\mathsf{T}$$है और इसमें $$i$$-सभी व्याख्यात्मक चरों पर अवलोकन सम्मिलित है।

सामान्यतः, प्रतिगामी के समुच्चय $$\mathbf{X}$$ में स्थिर पद सम्मिलित होता है, कहो, $$x_{i1}=1$$ ले कर सभी $$i=1, \dots, n$$ के लिए है, गुणांक $$\beta_1$$ इस प्रतिगामी के अनुरूप को अवरोधन कहा जाता है। अवरोधन के बिना, $$x_i = \vec{0}$$ होने पर आसंजन की गई रेखा मूल बिंदु को पार करने के लिए सीमा होती है।

प्रतिगामी को स्वतंत्र होने की आवश्यकता नहीं है: प्रतिगामी के बीच कोई भी वांछित संबंध हो सकता है (जब तक कि यह एक रैखिक संबंध नहीं है)। उदाहरण के लिए, हमें संदेह हो सकता है कि प्रतिक्रिया मान और उसके वर्ग दोनों पर रैखिक रूप से निर्भर करती है; ऐसी स्थिति में हम प्रतिगामी को सम्मिलित करेंगे जिसका मान दूसरे प्रतिगामी का वर्ग मात्र है। उस स्थिति में, मॉडल दूसरे प्रतिगामी में द्विघात होगा, लेकिन फिर भी इसे रैखिक मॉडल माना जाता है क्योंकि मॉडल अभी भी मापदंडों ($$\boldsymbol{\beta}$$) में रैखिक है।

आव्यूह/सदिश सूत्रीकरण
अतिनिर्धारित प्रणाली पर विचार करें


 * $$\sum_{j=1}^{p} x_{ij} \beta_j = y_i,\ (i=1, 2, \dots, n),$$

$$p$$ अज्ञात गुणांक में $$ n $$ में रैखिक समीकरण का, $$ \beta_1, \beta_2, \dots, \beta_p  $$, साथ $$ n > p $$  है इसे आव्यूह (गणित) रूप में इस प्रकार लिखा जा सकता है


 * $$\mathbf{X} \boldsymbol{\beta} = \mathbf {y},$$

जहाँ


 * $$\mathbf{X} = \begin{bmatrix}

X_{11} & X_{12} & \cdots & X_{1p} \\ X_{21} & X_{22} & \cdots & X_{2p} \\ \vdots & \vdots & \ddots & \vdots \\ X_{n1} & X_{n2} & \cdots & X_{np} \end{bmatrix} ,\qquad \boldsymbol \beta = \begin{bmatrix} \beta_1 \\ \beta_2 \\ \vdots \\ \beta_p \end{bmatrix} ,\qquad \mathbf y = \begin{bmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{bmatrix}. $$ (ध्यान दें: ऊपर दिए गए रैखिक मॉडल के लिए, $$ \mathbf{X} $$ के सभी तत्वों में आँकड़े बिंदुओं पर जानकारी सम्मिलित है। पहला स्तम्भ भरा हुआ है, $$X_{i1} = 1$$। केवल अन्य स्तम्भ में वास्तविक आँकड़े होता है। तो ये रहा $$p$$ प्रतिगामी और एक की संख्या के बराबर है)।

ऐसी प्रणाली का सामान्यतः कोई सटीक समाधान नहीं होता है, इसलिए लक्ष्य इसके अतिरिक्त गुणांक $$\boldsymbol{\beta}$$ ढूंढना है, द्विघात रूप (सांख्यिकी) गणितीय अनुकूलन समस्या को हल करने के अर्थ में, जो समीकरणों के लिए सबसे उपयुक्त है


 * $$\hat{\boldsymbol{\beta}} = \underset{\boldsymbol{\beta}}{\operatorname{arg\,min}}\,S(\boldsymbol{\beta}), $$

जहां उद्देश्य फलन $$ S $$ द्वारा दिया गया है


 * $$S(\boldsymbol{\beta}) = \sum_{i=1}^n \left| y_i - \sum_{j=1}^p X_{ij}\beta_j\right|^2 = \left\|\mathbf y - \mathbf{X} \boldsymbol \beta \right\|^2.$$

इस मानदंड को चुनने का औचित्य नीचे गुणों में दिया गया है। इस न्यूनीकरण समस्या का एक अनूठा समाधान है, बशर्ते कि आव्यूह के $$p$$ स्तम्भ हों $$ \mathbf{X} $$ रैखिक रूप से स्वतंत्र हैं, तथाकथित सामान्य समीकरणों को हल करके दिए गए हैं:


 * $$\left( \mathbf{X}^{\mathsf T} \mathbf{X} \right)\hat{\boldsymbol{\beta}} = \mathbf{X}^{\mathsf T} \mathbf y\ .$$

आव्यूह $$\mathbf{X}^{\mathsf T} \mathbf{X}$$ को सामान्य आव्यूह या ग्राम आव्यूह और आव्यूह के रूप में जाना जाता है और आव्यूह $$\mathbf{X}^{\mathsf T} \mathbf y$$ को प्रतिगामी और प्रतिगामी के क्षण आव्यूह के रूप में जाना जाता है। आखिरकार, $$\hat{\boldsymbol{\beta}}$$ न्यूनतम-वर्ग अधिसमतल का गुणांक सदिश है, जिसे इस प्रकार व्यक्त किया जाता है


 * $$\hat{\boldsymbol{\beta}} = \left( \mathbf{X}^{\mathsf T} \mathbf{X} \right)^{-1} \mathbf{X}^{\mathsf T} \mathbf y.$$

या


 * $$\hat{\boldsymbol{\beta}} = \boldsymbol{\beta} + \left(\mathbf{X}^\mathsf{T} \mathbf{X}\right)^{-1}\mathbf {X}^\mathsf{T} \boldsymbol{\varepsilon}.$$

अनुमान
मान लीजिए b मापदंड सदिश β के लिए "उम्मीदवार" मान है। मात्रा $y_{i} − x_{i}^{T}b$, जिसे i-वें अवलोकन के आंकड़ों में त्रुटियां और अवशेष कहा जाता है, आँकड़े बिंदु $(x_{i}, y_{i})$ के बीच ऊर्ध्वाधर दूरी और अधिसमतल $y = x^{T}b$ को मापता है, और इस प्रकार वास्तविक आँकड़े और मॉडल के बीच आसंजन की डिग्री का आकलन करता है। वर्ग अवशेषों का योग (एसएसआर) (वर्गों का त्रुटि योग (ईएसएस) या वर्गों का अवशिष्ट योग (आरएसएस) भी कहा जाता है) समग्र मॉडल आसंजन का माप है:

S(b) = \sum_{i=1}^n (y_i - x_i ^\mathrm{T} b)^2 = (y-Xb)^\mathrm{T}(y-Xb), $$ जहां T आव्यूह परिवर्तन को दर्शाता है, और X की पंक्तियाँ, आश्रित चर के विशेष मान से जुड़े सभी स्वतंत्र चर के मान को दर्शाती हैं, Xi = xiT। b का मान जो इस योग को न्यूनतम करता है उसे β के लिए ओएलएस अनुमानक कहा जाता है। फलन S(b) धनात्मक-निश्चित हेस्सियन आव्यूह के साथ b में द्विघात है, और इसलिए इस फलन में अद्वितीय वैश्विक न्यूनतम है $$b =\hat\beta$$, जिसे स्पष्ट सूत्र द्वारा दिया जा सकता है:



\hat\beta = \operatorname{argmin}_{b\in\mathbb{R}^p} S(b) = (X^\mathrm{T}X)^{-1}X^\mathrm{T}y\. $$ उत्पाद N=XTX ग्राम आव्यूह है और इसका व्युत्क्रम, Q=N–1 है, β का सहकारक आव्यूह है,   इसके सहप्रसरण आव्यूह, Cβ से निकटता से संबंधित है। आव्यूह (XT X)–1 XT=Q XT को X का मूर-पेनरोज़ छद्म व्युत्क्रम आव्यूह कहा जाता है। यह सूत्रीकरण इस बिंदु पर प्रकाश डालता है कि अनुमान तब लगाया जा सकता है, और केवल तभी, जब व्याख्यात्मक चर के बीच कोई पूर्ण बहुसंरेखता न हो (जिसके कारण ग्राम आव्यूह खराब हो जाएगा) कोई व्युत्क्रम नहीं है)।

β का अनुमान लगाने के बाद, प्रतिगमन से आसंजन किए गए मान (या अनुमानित मान) होंगे

\hat{y} = X\hat\beta = Py, $$ जहां P = X(XTX)−1XT, X के स्तंभों द्वारा फैले स्थान V पर प्रक्षेपण आव्यूह है। इस आव्यूह P को कभी-कभी हैट आव्यूह भी कहा जाता है क्योंकि यह चर y पर "हैट लगाता है"।अन्य आव्यूह, जो P से निकटता से संबंधित है, विनाशक आव्यूह है $M = I_{n} − P$; यह V के लिए अंतरिक्ष लंबकोणीय पर प्रक्षेपण आव्यूह है। दोनों आव्यूह P और M सममित आव्यूह और निष्क्रिय आव्यूह हैं (जिसका अर्थ है कि $P^{2} = P$ और $M^{2} = M$), और पहचान के माध्यम से आँकड़े आव्यूह X से संबंधित हैं $PX = X$ और $MX = 0$। आव्यूह M प्रतिगमन से अवशेष बनाता है:

\hat\varepsilon = y - \hat y = y - X\hat\beta = My = M(X\beta+\varepsilon) = (MX)\beta + M\varepsilon = M\varepsilon. $$

इन अवशेषों का उपयोग करके हम σ 2 के मान का अनुमान लगा सकते हैं घटे हुए ची-वर्ग आँकड़े का उपयोग करना:

s^2 = \frac{\hat\varepsilon ^\mathrm{T} \hat\varepsilon}{n-p} = \frac{(My)^\mathrm{T} My}{n-p} = \frac{y^\mathrm{T} M^\mathrm{T}My}{n-p}= \frac{y ^\mathrm{T} My}{n-p} = \frac{S(\hat\beta)}{n-p},\qquad \hat\sigma^2 = \frac{n-p}{n}\;s^2 $$ हर, n−p, स्वतंत्रता की डिग्री (सांख्यिकी) है। पहली मात्रा, s2, σ2 के लिए ओएलएस अनुमान है, जबकि दूसरा,, σ2 के लिए एमएलई अनुमान है। बड़े नमूनों में दोनों अनुमानक काफी समान हैं; पहला अनुमानक हमेशा अनुमानक पूर्वाग्रह वाला होता है, जबकि दूसरा अनुमानक अभिनत होता है लेकिन इसमें छोटी माध्य वर्ग त्रुटि होती है। व्यवहार में s2 का उपयोग अधिक बार किया जाता है, क्योंकि यह परिकल्पना परीक्षण के लिए अधिक सुविधाजनक है। s2 का वर्गमूल को प्रतिगमन मानक त्रुटि, प्रतिगमन की मानक त्रुटि,  या समीकरण की मानक त्रुटि कहा जाता है।

ओएलएस प्रतिगमन की अच्छाई का आकलन यह तुलना करके करना आम है कि नमूने में प्रारंभिक भिन्नता को X पर पुनः प्राप्त करके कितना कम किया जा सकता है। निर्धारण गुणांक R2 को आश्रित चर y के कुल विचरण के स्पष्ट विचरण के अनुपात के रूप में परिभाषित किया गया है, ऐसे स्थितियों में जहां वर्गों का प्रतिगमन योग अवशेषों के वर्गों के योग के बराबर होता है:

R^2 = \frac{\sum(\hat y_i-\overline{y})^2}{\sum(y_i-\overline{y})^2} = \frac{y ^\mathrm{T} P ^\mathrm{T} LPy}{y ^\mathrm{T} Ly} = 1 - \frac{y ^\mathrm{T} My}{y ^\mathrm{T} Ly} = 1 - \frac{\rm RSS}{\rm TSS} $$ जहां टीएसएस आश्रित चर के लिए वर्गों का कुल योग है, $L=I_n-\frac{1}{n}J_n$, और $J_n$ इकाईयों का n×n आव्यूह है। ($$L$$ एक केन्द्रित आव्यूह है जो स्थिरांक पर प्रतिगमन के बराबर है; यह बस एक चर से माध्य घटा देता है।) R2 के सार्थक होने के लिए, प्रतिगमनकर्ताओं पर आँकड़े के आव्यूह X में स्थिरांक का प्रतिनिधित्व करने के लिए लोगों का स्तंभ सदिश होना चाहिए जिसका गुणांक प्रतिगमन अवरोधन है। उस स्थितियों में,  R2 हमेशा 0 और 1 के बीच की संख्या होगी, 1 के करीब मान अच्छी डिग्री के आसंजन का संकेत देता है।

आश्रित चर के फलन के रूप में स्वतंत्र चर की पूर्वाकलन में भिन्नता लेख बहुपद न्यूनतम वर्ग में दी गई है।

सरल रैखिक प्रतिगमन मॉडल
यदि आँकड़े आव्यूह X में केवल दो चर हैं, स्थिरांक और अदिश प्रतिगामी xi, तो इसे सरल प्रतिगमन मॉडल कहा जाता है। इस स्थितियों को अधिकांशतः प्रारंभिक सांख्यिकी कक्षाओं में माना जाता है, क्योंकि यह मैन्युअल गणना के लिए भी उपयुक्त बहुत सरल सूत्र प्रदान करता है। मापदण्ड को सामान्यतः इस प्रकार दर्शाया जाता है $(α, β)$:

y_i = \alpha + \beta x_i + \varepsilon_i. $$ इस स्थितियों में न्यूनतम वर्ग अनुमान सरल सूत्रों द्वारा दिए गए हैं
 * $$\begin{align}

\widehat\beta &= \frac{\sum_{i=1}^n{(x_i-\bar{x})(y_i-\bar{y})} }{ \sum_{i=1}^n{(x_i-\bar{x})^2}} \\[2pt] \widehat\alpha &= \bar{y} - \widehat\beta\,\bar{x}\ , \end{align}$$

वैकल्पिक व्युत्पत्तियाँ
पिछले अनुभाग में न्यूनतम वर्ग अनुमानक $$\hat\beta$$ एक ऐसे मान के रूप में प्राप्त किया गया था जो मॉडल के वर्ग अवशेषों के योग को न्यूनतम करता है। हालाँकि अन्य दृष्टिकोणों से समान अनुमानक प्राप्त करना भी संभव है। सभी स्थितियों में ओएलएस अनुमानक का सूत्र समान रहता है: $^ β = (X^{T}X)^{−1}X^{T}y$; एकमात्र अंतर यह है कि हम इस परिणाम की व्याख्या कैसे करते हैं।

प्रक्षेपण
गणितज्ञों के लिए, ओएलएस रैखिक समीकरणों की अतिनिर्धारित प्रणाली का अनुमानित समाधान है $Xβ ≈ y$, जहां β अज्ञात है। यह मानते हुए कि प्रणाली को सटीक रूप से हल नहीं किया जा सकता है (समीकरणों की संख्या n अज्ञात p की संख्या से बहुत बड़ी है), हम एक ऐसे समाधान की तलाश कर रहे हैं जो दाएं और बाएं पक्षों के बीच सबसे छोटी विसंगति प्रदान कर सके। दूसरे शब्दों में, हम उस समाधान की तलाश में हैं जो संतुष्ट करता हो

\hat\beta = {\rm arg}\min_\beta\,\lVert \mathbf{y} - \mathbf{X}\boldsymbol\beta \rVert, $$ जहाँ $\|·\|$ n-आयामी यूक्लिडियन स्पेस Rn में मानक L2 मानदंड है। अनुमानित मात्रा Xβ प्रतिगामी सदिशों का निश्चित रैखिक संयोजन मात्र है। इस प्रकार, अवशिष्ट सदिश $y − Xβ$ की लंबाई सबसे छोटी होगी जब y, X के स्तंभों द्वारा रैखिक उप-स्थान रैखिक विस्तार पर प्रक्षेपण (रैखिक बीजगणित) होगा। ओएलएस अनुमानक \hat\beta इस स्थितियों में सदिश अपघटन के गुणांक के रूप में X के आधार पर व्याख्या की जा सकती है$^ y = Py$।

दूसरे शब्दों में, न्यूनतम स्तर पर प्रवणता समीकरणों को इस प्रकार लिखा जा सकता है:


 * $$(\mathbf y - \mathbf{X} \hat{\boldsymbol{\beta}})^{\top} \mathbf{X}=0.$$

इन समीकरणों की ज्यामितीय व्याख्या यह है कि अवशेषों का सदिश, $$\mathbf y - X \hat{\boldsymbol{\beta}}$$ अदिश गुणनफल के बाद से, X के स्तंभ स्थान के लिए लंबकोणीय है $$(\mathbf y- \mathbf{X}\hat{\boldsymbol{\beta}})\cdot \mathbf{X} \mathbf v$$ किसी भी अनुरूप सदिश, v के लिए शून्य के बराबर है। इस का मतलब है कि $$\mathbf y - \mathbf{X} \boldsymbol{\hat \beta}$$ सभी संभावित सदिश में सबसे छोटा है $$\mathbf{y}- \mathbf{X} \boldsymbol \beta$$, अर्थात्, अवशेषों का विचरण न्यूनतम संभव है। इसे दाहिनी ओर चित्रित किया गया है।

परिचय $$\hat{\boldsymbol{\gamma}}$$ और आव्यूह K इस धारणा के साथ कि आव्यूह $$[\mathbf{X} \ \mathbf{K}]$$ व्युत्‍क्रमणीय है और KT X = 0 (सीएफ लंबकोणीय प्रक्षेपण), अवशिष्ट सदिश को निम्नलिखित समीकरण को संतुष्ट करना चाहिए:
 * $$\hat{\mathbf{r}} := \mathbf{y} - \mathbf{X} \hat{\boldsymbol{\beta}} = \mathbf{K} \hat.$$

रैखिक न्यूनतम वर्गों का समीकरण और समाधान इस प्रकार वर्णित है:
 * $$\begin{align}

\mathbf{y} &= \begin{bmatrix}\mathbf{X} & \mathbf{K}\end{bmatrix} \begin{bmatrix} \hat{\boldsymbol{\beta}} \\ \hat{\boldsymbol{\gamma}} \end{bmatrix}, \\ {}\Rightarrow \begin{bmatrix} \hat{\boldsymbol{\beta}} \\ \hat{\boldsymbol{\gamma}} \end{bmatrix} &= \begin{bmatrix}\mathbf{X} & \mathbf{K}\end{bmatrix}^{-1} \mathbf{y} = \begin{bmatrix} \left(\mathbf{X}^{\top} \mathbf{X}\right)^{-1} \mathbf{X}^{\top} \\ \left(\mathbf{K}^{\top} \mathbf{K}\right)^{-1} \mathbf{K}^\top \end{bmatrix} \mathbf{y}. \end{align}$$ इसे देखने का दूसरा तरीका यह है कि प्रतिगमन रेखा को डेटासेट में किन्हीं दो बिंदुओं के संयोजन से गुजरने वाली रेखाओं का भारित औसत माना जाए। यद्यपि गणना का यह तरीका संगणनात्मक रूप से अधिक महंगा है, यह ओएलएस पर बेहतर अंतर्ज्ञान प्रदान करता है।

अधिकतम संभावना
ओएलएस अनुमानक त्रुटि शर्तों के लिए सामान्यता धारणा के अनुसार अधिकतम संभावना अनुमानक (एमएलई) के समान है। इस सामान्यता धारणा का ऐतिहासिक महत्व है, क्योंकि इसने उडनी यूल और कार्ल पियर्सन द्वारा रैखिक प्रतिगमन विश्लेषण में प्रारंभिक कार्य के लिए आधार प्रदान किया। एमएलई के गुणों से, हम यह अनुमान लगा सकते हैं कि यदि सामान्यता धारणा संतुष्ट है तो ओएलएस अनुमानक स्पर्शोन्मुख रूप से कुशल है (विचरण के लिए सीमा क्रैमर-राव प्राप्त करने के अर्थ में)।

क्षणों की सामान्यीकृत विधि
आईआईडी स्थितियों में ओएलएस अनुमानक को क्षण स्थितियों से उत्पन्न होने वाले क्षण अनुमानक की सामान्यीकृत विधि के रूप में भी देखा जा सकता है

\mathrm{E}\big[\, x_i\left(y_i - x_i ^\mathsf{T} \beta\right) \,\big] = 0. $$ ये क्षणिक स्थितियाँ बताती हैं कि प्रतिगामी को त्रुटियों से असंबंधित होना चाहिए। चूंकि xi, p-सदिश है, क्षण स्थितियों की संख्या मापदंड सदिश β के आयाम के बराबर है, और इस प्रकार प्रणाली की सटीक पहचान की जाती है। यह तथाकथित प्राचीन जीएमएम मामला है, जब अनुमानक भारक आव्यूह की पसंद पर निर्भर नहीं होता है।

ध्यान दें कि मूल पूर्णतः बहिर्जातता धारणा $E[ε_{i}&thinsp;|&thinsp;x_{i}] = 0$ ऊपर बताए गए क्षण की तुलना में कहीं अधिक समृद्ध क्षण स्थितियों का तात्पर्य है। विशेष रूप से, इस धारणा का तात्पर्य यह है कि किसी भी सदिश-फलन के लिए $ƒ$, क्षणिक स्थिति $E[ƒ(x_{i})·ε_{i}] = 0$ रोक लेंगे। हालाँकि यह गॉस-मार्कोव प्रमेय का उपयोग करके दिखाया जा सकता है कि फलन $ƒ$ का इष्टतम $ƒ(x) = x$ विकल्प लेना है, जिसका परिणाम ऊपर प्रचार किए गए क्षणिक समीकरण में होता है।

धारणाएँ
ओएलएस तकनीक को लागू करने के लिए कई अलग-अलग ढांचे हैं जिनमें रैखिक प्रतिगमन मॉडल डाला जा सकता है। इनमें से प्रत्येक सेटिंग समान सूत्र और समान परिणाम उत्पन्न करती है। एकमात्र अंतर व्याख्या और धारणाओं का है जिन्हें सार्थक परिणाम देने की विधि के लिए लागू करना पड़ता है। लागू ढाँचे का चुनाव अधिकतर हाथ में सम्मिलित आँकड़े की प्रकृति और किए जाने वाले अनुमान फलन पर निर्भर करता है।

व्याख्या में अंतर की पंक्तियों में से यह है कि क्या प्रतिगामी को यादृच्छिक चर के रूप में, या पूर्वनिर्धारित स्थिरांक के रूप में माना जाए। पहले स्थितियों में (यादृच्छिक अभिकल्प) प्रतिगमन xi यादृच्छिक हैं और yi के साथ नमूना लिया गया है कुछ सांख्यिकीय जनसंख्या से, जैसा किअवलोकन अध्ययन में होता है। यह दृष्टिकोण अनुमानकर्ताओं के स्पर्शोन्मुख सिद्धांत (सांख्यिकी) के अधिक प्राकृतिक अध्ययन की अनुमति देता है। अन्य व्याख्या (निश्चित डिजाइन) में, प्रतिगामी X को प्रयोग के डिजाइन द्वारा निर्धारित ज्ञात स्थिरांक के रूप में माना जाता है, और Y को प्रयोग के रूप में X के मान पर सप्रतिबंध रूप से नमूना किया जाता है। व्यावहारिक उद्देश्यों के लिए, यह अंतर अधिकांशतः महत्वहीन होता है, क्योंकि X पर अनुकूलन करते समय आकलन और निष्कर्ष लगाया जाता है। इस आलेख में बताए गए सभी परिणाम यादृच्छिक अभिकल्प ढांचे के भीतर हैं।

प्राचीन रैखिक प्रतिगमन मॉडल
प्राचीन मॉडल परिमित नमूना आकलन और निष्कर्ष पर केंद्रित है, जिसका अर्थ है कि अवलोकनों की संख्या n निश्चित है। यह अन्य दृष्टिकोणों के विपरीत है, जो ओएलएस के स्पर्शोन्मुख सिद्धांत (सांख्यिकी) का अध्ययन करते हैं, और जिसमें अवलोकनों की संख्या को अनंत तक बढ़ने की अनुमति दी जाती है।


 * सही विशिष्टता। रैखिक कार्यात्मक रूप को वास्तविक आँकड़ा जनक प्रक्रिया के रूप से मेल खाना चाहिए।
 * पूर्णतः बहिर्जातता। प्रतिगमन में त्रुटियों की सप्रतिबंध अपेक्षा शून्य होनी चाहिए: $$\operatorname{E}[\,\varepsilon\mid X\,] = 0.$$ बहिर्जातता धारणा का तात्कालिक परिणाम यह है कि त्रुटियों का माध्य शून्य है: $E[ε] = 0$ (कुल अपेक्षा के नियम के लिए), और यह कि प्रतिगामी त्रुटियों से असंबंधित हैं: $E[X^{T}ε] = 0$। ओएलएस सिद्धांत के लिए बहिर्जातता धारणा महत्वपूर्ण है। यदि यह कायम रहता है तो प्रतिगामी चर को बहिर्वर्धन कहा जाता है। यदि ऐसा नहीं होता है, तो वे प्रतिगामी जो त्रुटि शब्द के साथ सहसंबद्ध होते हैं, अंतर्जात (अर्थमिति) कहलाते हैं। और ओएलएस अनुमानक अभिनत हो जाता है। ऐसे स्थितियों में वाद्य चर का उपयोग अनुमान लगाने के लिए किया जा सकता है।
 * कोई रैखिक निर्भरता नहीं X में सभी प्रतिगामी रैखिक रूप से स्वतंत्र होने चाहिए। गणितीय रूप से, इसका मतलब है कि आव्यूह X में लगभग निश्चित रूप से पूर्ण स्तंभ श्रेणी होना चाहिए: $$\Pr\!\big[\,\operatorname{rank}(X) = p\,\big] = 1.$$ सामान्यतः, यह भी माना जाता है कि प्रतिगामी के पास कम से कम दूसरे क्षण तक सीमित क्षण होते हैं। फिर आव्यूह $Q_{xx} = E[X^{T}X&thinsp;/&thinsp;n]$ परिमित और धनात्मक अर्ध-निश्चित है। जब इस धारणा का उल्लंघन किया जाता है तो प्रतिगामी को रैखिक रूप से निर्भर या बहुसंरेखता कहा जाता है। ऐसे स्थितियों में प्रतिगमन गुणांक β का मान सीखा नहीं जा सकता है, चूंकि समान रैखिक रूप से निर्भर उप-स्थान में स्थित प्रतिगमनकर्ताओं के नए मान के लिए y मानों की पूर्वाकलन अभी भी संभव है।
 * पूर्णांकन त्रुटियाँ: $$\operatorname{Var}[\,\varepsilon \mid X\,] = \sigma^2 I_n,$$ जहाँ $I_{n}$ आयाम n, और σ2 में तत्समक आव्यूह है एक मापदंड है जो प्रत्येक अवलोकन के विचरण को निर्धारित करता है। यह σ2 को मॉडल में बाधा मापदंड माना जाता है, चूंकि सामान्यतः इसका अनुमान भी लगाया जाता है। यदि इस धारणा का उल्लंघन किया जाता है तो ओएलएस अनुमान अभी भी वैध हैं, लेकिन अब प्रभावी नहीं हैं। इस धारणा को दो भागों में विभाजित करने की प्रथा है:
 * होमोसेदस्तीसिटी: $E[&thinsp;ε_{i}^{2}&thinsp;|&thinsp;X&thinsp;] = σ^{2}$, जिसका अर्थ है कि त्रुटि पद का प्रसरण प्रत्येक अवलोकन में σ2 समान है। जब इस आवश्यकता का उल्लंघन किया जाता है तो इसे होमोसेदस्तीसिटी कहा जाता है, ऐसे स्थितियों में अधिक कुशल अनुमानक भारित न्यूनतम वर्ग है। यदि त्रुटियों में अनंत भिन्नता है तो ओएलएस अनुमानों में भी अनंत भिन्नता होगी (चूंकि बड़ी संख्या के विधि के अनुसार वे तब तक सही मान की ओर अग्रसर होंगे जब तक त्रुटियों का शून्य माध्य हो)। इस स्थितियों में, सुदृढ़ प्रतिगमन तकनीकों की संस्तुति की जाती है।
 * कोई स्वत: सहसंबंध नहीं: त्रुटियाँ टिप्पणियों के बीच सहसंबंध हैं: $E[&thinsp;ε_{i}ε_{j}&thinsp;|&thinsp;X&thinsp;] = 0$ के लिए $i ≠ j$ के लिए। समय श्रृंखला आँकड़े, पैनल आँकड़े, स्तवक नमूने, पदानुक्रमित आँकड़े, दोहराया माप आँकड़े, अनुदैर्ध्य आँकड़े और निर्भरता वाले अन्य आँकड़े के संदर्भ में इस धारणा का उल्लंघन किया जा सकता है। ऐसे स्थितियों में सामान्यीकृत न्यूनतम वर्ग ओएलएस की तुलना में बेहतर विकल्प प्रदान करता है। स्वसहसंबंध के लिए अन्य अभिव्यक्ति क्रमिक सहसंबंध है।
 * सामान्यता. कभी-कभी यह अतिरिक्त रूप से मान लिया जाता है कि त्रुटियों में प्रतिगामी पर सप्रतिबंध बहुभिन्नरूपी सामान्य वितरण होता है: $$\varepsilon \mid X\sim \mathcal{N}(0, \sigma^2I_n).$$ओएलएस पद्धति की वैधता के लिए इस धारणा की आवश्यकता नहीं है, चूंकि ऐसा होने पर कुछ अतिरिक्त परिमित-नमूना गुण स्थापित किए जा सकते हैं (विशेषकर परिकल्पना परीक्षण के क्षेत्र में)। इसके अतिरिक्त जब त्रुटियां सामान्य होती हैं, तो ओएलएस अनुमानक अधिकतम संभावना अनुमानक (एमएलई) के बराबर होता है, और इसलिए यह सभी नियमित अनुमानक की कक्षा में स्पर्शोन्मुख रूप से कुशल होता है। महत्वपूर्ण बात यह है कि सामान्यता की धारणा केवल त्रुटि शर्तों पर लागू होती है; प्रचलित भ्रांति के विपरीत, प्रतिक्रिया (आश्रित) चर को सामान्य रूप से वितरित करने की आवश्यकता नहीं है।

स्वतंत्र और समान रूप से वितरित (आईआईडी)
कुछ अनुप्रयोगों में, विशेष रूप से अंतः वर्ग आँकड़े के साथ, अतिरिक्त धारणा लगाई जाती है - कि सभी अवलोकन स्वतंत्र और समान रूप से वितरित हैं। इसका मतलब यह है कि सभी अवलोकन यादृच्छिक नमूने से लिए गए हैं जो पहले सूचीबद्ध सभी मान्यताओं को सरल और व्याख्या करने में आसान बनाता है। साथ ही यह ढाँचा किसी को स्पर्शोन्मुख परिणाम (नमूना आकार के रूप में) बताने की अनुमति देता है $n&thinsp;→&thinsp;∞$), जिन्हें आँकड़े निर्माण प्रक्रिया से नए स्वतंत्र अवलोकन प्राप्त करने की सैद्धांतिक संभावना के रूप में समझा जाता है। इस स्थितियों में मान्यताओं की सूची है:
 * आईआईडी अवलोकन: (''xi, और yi) से स्वतंत्र यादृच्छिक चर है, और (x) के समान ही संभाव्यता वितरण है, और सभी के लिए i ≠ j;
 * कोई पूर्ण बहुसंरेखता नहीं: $Q_{xx} = E[&thinsp;x_{i}&thinsp;x_{i}^{T}&thinsp;]$ धनात्मक-निश्चित आव्यूह है;
 * बाह्यता: $E[&thinsp;ε_{i}&thinsp;|&thinsp;x_{i}&thinsp;] = 0;$
 * समरूपता: $Var[&thinsp;ε_{i}&thinsp;|&thinsp;x_{i}&thinsp;] = σ^{2}$।

समय श्रृंखला मॉडल

 * प्रसम्भाव्‍य प्रक्रम {xi, yi} स्थिर प्रक्रिया और एर्गोडिक प्रक्रिया है; यदि {xi, yi} गैर-स्थिर है, ओएलएस परिणाम अधिकांशतः अवांछित होते हैं जब तक कि {xi, yi} सह-एकीकरण है।
 * प्रतिगामी पूर्वनिर्धारित हैं: E[xiεi] = 0 सभी i = 1, ..., n के लिए है।
 * p×p आव्यूह $Q_{xx} = E[&thinsp;x_{i}&thinsp;x_{i}^{T}&thinsp;]$ पूर्ण श्रेणी का है, और इसलिए धनात्मक-निश्चित आव्यूह है।
 * {xiεi} मार्टिंगेल अंतर अनुक्रम है, जिसमें दूसरे क्षणों का सीमित आव्यूह होता है $Q_{xxε²} = E[&thinsp;ε_{i}^{2}x_{i}&thinsp;x_{i}^{T}&thinsp;]$।

परिमित नमूना गुण
सबसे पहले, पूर्णतः बहिर्जातता धारणा के अनुसार ओएलएस अनुमानक और s2 अनुमानक के पूर्वाग्रह हैं, जिसका अर्थ है कि उनके अपेक्षित मान मापदंडों के वास्तविक मान के साथ मेल खाते हैं: सामान्य न्यूनतम वर्ग वाले प्रमाण#।CE.B2।CC।82 की निष्पक्षता

\operatorname{E}[\, \hat\beta \mid X \,] = \beta, \quad \operatorname{E}[\,s^2 \mid X\,] = \sigma^2. $$ यदि पूर्णतः बहिर्जातता कायम नहीं रहती है (जैसा कि कई समय श्रृंखला मॉडल के स्थितियों में होता है, जहां बहिर्जातता केवल पिछले संक्षोभ के संबंध में मानी जाती है, लेकिन भविष्य के संक्षोभ के संबंध में नहीं), तो ये अनुमानकर्ता परिमित नमूनों में अभिनत होंगे।

विचरण-सहप्रसरण आव्यूह (या बस सहप्रसरण आव्यूह) के बराबर है

\operatorname{Var}[\, \hat\beta \mid X \,] = \sigma^2\left(X ^\mathsf{T} X\right)^{-1} = \sigma^2 Q. $$ विशेष रूप से, प्रत्येक गुणांक की मानक त्रुटि इस आव्यूह के j-वें विकर्ण तत्व के वर्गमूल के बराबर है। इस मानक त्रुटि का अनुमान अज्ञात मात्रा σ2 को प्रतिस्थापित करके इसके अनुमान s2 के साथ प्राप्त किया जाता है। इस प्रकार,

\widehat{\operatorname{s.\!e.}}(\hat{\beta}_j) = \sqrt{s^2 \left(X ^\mathsf{T} X\right)^{-1}_{jj}} $$ यह भी आसानी से दिखाया जा सकता है कि अनुमानक मॉडल के अवशेषों से असंबद्ध है: : $$ \operatorname{Cov}[\, \hat\beta,\hat\varepsilon \mid X\,] = 0. $$

गॉस-मार्कोव प्रमेय में कहा गया है कि पूर्णांकन त्रुटियों की धारणा के अनुसार (अर्थात, त्रुटियां असंबद्ध और समरूप होनी चाहिए) अनुमानक रैखिक निष्पक्ष अनुमानकों के वर्ग में कुशल है। इसे सर्वोत्तम रैखिक निष्पक्ष अनुमानक (ब्लू) कहा जाता है। दक्षता को ऐसे समझा जाना चाहिए जैसे कि हमें कोई अन्य अनुमानक मिल जाए  जो तब y में रैखिक और निष्पक्ष होगा : $$ \operatorname{Var}[\, \tilde\beta \mid X \,] - \operatorname{Var}[\, \hat\beta \mid X \,] \geq 0 $$

इस अर्थ में कि यह गैर-ऋणात्मक-निश्चित आव्यूह है। यह प्रमेय केवल रैखिक निष्पक्ष अनुमानकों के वर्ग में इष्टतमता स्थापित करता है, जो काफी प्रतिबंधात्मक है। त्रुटि शर्तों ε के वितरण के आधार पर, अन्य, गैर-रेखीय अनुमानक ओएलएस की तुलना में बेहतर परिणाम प्रदान कर सकते हैं।

सामान्यता मानना ​​
अब तक सूचीबद्ध सभी गुण त्रुटि शर्तों के अंतर्निहित वितरण की परवाह किए बिना मान्य हैं। हालाँकि, यदि आप यह मानने को तैयार हैं कि सामान्यता की धारणा कायम है (अर्थात, वह है $ε ~ N(0, σ^{2}I_{n})$), तो ओएलएस अनुमानकों की अतिरिक्त गुण बताई जा सकती हैं।

अनुमानक सामान्य रूप से माध्य और भिन्नता के साथ वितरित किया जाता है, जैसा कि पहले दिया गया है:

\hat\beta\ \sim\ \mathcal{N}\big(\beta,\ \sigma^2(X ^\mathrm{T} X)^{-1}\big). $$ यह अनुमानक मॉडल के लिए क्रैमर-राव सीमा तक पहुंचता है, और इस प्रकार सभी निष्पक्ष अनुमानकों की श्रेणी में इष्टतम है। ध्यान दें कि गॉस-मार्कोव प्रमेय के विपरीत, यह परिणाम रैखिक और गैर-रेखीय अनुमानकों दोनों के बीच इष्टतमता स्थापित करता है, लेकिन केवल सामान्य रूप से वितरित त्रुटि शर्तों के स्थितियों में स्थापित करता है।

अनुमानक s2 ची-वर्ग वितरण के समानुपाती होगा:

s^2\ \sim\ \frac{\sigma^2}{n-p} \cdot \chi^2_{n-p} $$ इस अनुमानक का विचरण बराबर है $2σ^{4}/(n&thinsp;−&thinsp;p)$, जो क्रैमर-राव सीमा $2σ^{4}/n$ को प्राप्त नहीं करता है। हालाँकि यह दिखाया गया कि σ2 का कोई निष्पक्ष अनुमानक की तुलना में छोटे विचरण के साथ नहीं है। यदि हम अभिनत अनुमानकों को अनुमति देने के इच्छुक हैं, और अनुमानकों के वर्ग पर विचार करते हैं जो मॉडल के वर्ग अवशेषों (एसएसआर) के योग के लिए आनुपातिक हैं, तो इस वर्ग में सबसे अच्छा (माध्य वर्ग त्रुटि के अर्थ में) अनुमानक होगा $~ σ^{2} = SSR&thinsp;/&thinsp;(n&thinsp;−&thinsp;p&thinsp;+&thinsp;2)$, जो केवल प्रतिगामी होने की स्थिति में क्रैमर-राव सीमा को भी उत्पन्न देता है (p = 1)।

इसके अतिरिक्त, आकलनकर्ता और s2 स्वतंत्र यादृच्छिक चर हैं, वह तथ्य जो प्रतिगमन के लिए t- और F-परीक्षणों का निर्माण करते समय उपयोगी होता है।

प्रभावशाली अवलोकन
जैसा कि पहले उल्लेख किया गया था, अनुमानक $$\hat\beta$$, y में रैखिक है, जिसका अर्थ है कि यह आश्रित चर yi के रैखिक संयोजन का प्रतिनिधित्व करता है। इस रैखिक संयोजन में भार प्रतिगामी X के फलन हैं, और सामान्यतः असमान होते हैं। उच्च भार वाले अवलोकनों को प्रभावशाली कहा जाता है क्योंकि उनका अनुमानकर्ता के मान पर अधिक स्पष्ट प्रभाव पड़ता है।

यह विश्लेषण करने के लिए कि कौन से अवलोकन प्रभावशाली हैं, हम विशिष्ट j-वें अवलोकन को हटाते हैं और विचार करते हैं कि अनुमानित मात्राएँ कितनी बदलने वाली हैं (जैकनाइफ़ विधि के समान)। यह दिखाया जा सकता है कि β के लिए ओएलएस अनुमानक में परिवर्तन बराबर होगा

\hat\beta^{(j)} - \hat\beta = - \frac{1}{1-h_j} (X ^\mathrm{T} X)^{-1}x_j ^\mathrm{T} \hat\varepsilon_j\,, $$ जहाँ $h_{j} = x_{j}^{T}&thinsp;(X^{T}X)^{−1}x_{j}$ हैट आव्यूह P, और xj का j-वां विकर्ण तत्व है j-वें अवलोकन के अनुरूप प्रतिगामी का सदिश है। इसी प्रकार, डेटासेट से उस अवलोकन को हटाने के परिणामस्वरूप j-वें अवलोकन के लिए अनुमानित मान में परिवर्तन बराबर होगा : $$ \hat{y}_j^{(j)} - \hat{y}_j = x_j ^\mathrm{T} \hat\beta^{(j)} - x_j ^T \hat\beta = - \frac{h_j}{1-h_j}\,\hat\varepsilon_j $$

हैट आव्यूह के गुणों से, $0 ≤ h_{j} ≤ 1$, और उनका योग p तक है, जिससे कि औसतन $h_{j} ≈ p/n$ है। ये मात्राएँ hj उत्तोलन कहलाते हैं, और उच्च hj वाले अवलोकन उत्तोलन बिंदु कहलाते हैं। सामान्यतः उच्च उत्तोलन वाले अवलोकनों की अधिक सावधानी से जांच की जानी चाहिए, यदि वे गलत हैं, या बाहरी हैं, या किसी अन्य तरीके से बाकी डेटासेट से असामान्य हैं।

विभाजित प्रतिगमन
कभी-कभी प्रतिगमन में चर और संबंधित मापदंडों को तार्किक रूप से दो समूहों में विभाजित किया जा सकता है, जिससे कि प्रतिगमन आकार ले सके

y = X_1\beta_1 + X_2\beta_2 + \varepsilon, $$ जहां X1 और X2 के आयाम n×p1, n×p2, और β1, β2 हैं, वे p1×1 और p2×1 हैं, जिनमें $p_{1} + p_{2} = p$ है।

फ्रिस्क-वॉ-लोवेल प्रमेय बताता है कि इस प्रतिगमन में अवशेष और ओएलएस अनुमान  संख्यात्मक रूप से अवशेषों और β2 के लिए ओएलएस अनुमान के समान होगा निम्नलिखित प्रतिगमन में:

M_1y = M_1X_2\beta_2 + \eta\,, $$ जहां M1 प्रतिगामी X1 के लिए विनाशक आव्यूह है।

प्रमेय का उपयोग कई सैद्धांतिक परिणामों को स्थापित करने के लिए किया जा सकता है। उदाहरण के लिए, स्थिरांक और अन्य प्रतिगामी के साथ प्रतिगमन होना आश्रित चर और प्रतिगामी से साधनों को घटाने और फिर अप्रतिष्ठित चर लेकिन स्थिर पद के बिना के लिए प्रतिगमन चलाने के बराबर है ।

सीमित अनुमान
मान लीजिए कि यह ज्ञात है कि प्रतिगमन में गुणांक रैखिक समीकरणों की प्रणाली को संतुष्ट करते हैं

A\colon\quad Q ^T \beta = c, \, $$ जहां Q पूर्ण श्रेणी का p×q आव्यूह है, और c ज्ञात स्थिरांक का q×1 सदिश है, जहां q&thinsp;<&thinsp;p है। इस स्थितियों में न्यूनतम वर्ग अनुमान, बाधा A के अधीन मॉडल के वर्ग अवशेषों के योग को न्यूनतम करने के बराबर है। सीमित न्यूनतम वर्ग (सीएलएस) अनुमानक स्पष्ट सूत्र द्वारा दिया जा सकता है:

\hat\beta^c = \hat\beta - (X ^T X)^{-1}Q\Big(Q ^T (X ^T X)^{-1}Q\Big)^{-1}(Q ^T \hat\beta - c). $$ सीमित अनुमानक के लिए यह अभिव्यक्ति आव्यूह XTX तक वैध है व्युत्क्रमणीय है। इस लेख की प्रारंभ से ही यह मान लिया गया था कि यह आव्यूह पूर्ण श्रेणी का है, और यह नोट किया गया था कि जब श्रेणी की स्थिति विफल हो जाती है, तो β की पहचान नहीं की जा सकेगी। हालाँकि ऐसा हो सकता है कि प्रतिबंध A जोड़ने से β पहचाने जाने योग्य हो जाता है, ऐसी स्थिति में कोई अनुमानक के लिए सूत्र ढूंढना चाहेगा। अनुमानक बराबर है

\hat\beta^c = R(R ^T X ^T XR)^{-1}R ^T X ^T y + \Big(I_p - R(R ^T X ^T XR)^{-1}R ^T X ^T X\Big)Q(Q ^T Q)^{-1}c, $$ जहां R एक p×(p − q) आव्यूह है जैसे कि आव्यूह [Q R] व्युत्‍क्रमणीय है, और RTQ = 0। ऐसा आव्यूह हमेशा पाया जा सकता है, हालाँकि सामान्यतः यह अद्वितीय नहीं होता है। XTX के स्थितियों में दूसरा सूत्र पहले के साथ मेल खाता है, व्युत्क्रमणीय है।

बड़ा नमूना गुण
न्यूनतम वर्ग अनुमानक रैखिक प्रतिगमन मॉडल मापदंड β के बिंदु अनुमान हैं। हालाँकि, सामान्यतः हम यह भी जानना चाहते हैं कि वे अनुमान मापदंडों के वास्तविक मान के कितने करीब हो सकते हैं। दूसरे शब्दों में, हम अंतराल अनुमान बनाना चाहते हैं।

चूँकि हमने त्रुटि पद εi के वितरण के बारे में कोई धारणा नहीं बनाई है, अनुमानकर्ताओं $$\hat\beta$$ और $$\hat\sigma^2$$ के वितरण का अनुमान लगाना असंभव है। फिर भी, हम उनके स्पर्शोन्मुख गुणों को प्राप्त करने के लिए केंद्रीय सीमा प्रमेय को लागू कर सकते हैं क्योंकि नमूना आकार n अनंत तक जाता है। जबकि नमूना आकार आवश्यक रूप से सीमित है, यह मानने की प्रथा है कि n "काफी बड़ा" है जिससे कि ओएलएस अनुमानक का वास्तविक वितरण इसकी स्पर्शोन्मुख सीमा के करीब है।

हम दिखा सकते हैं कि मॉडल मान्यताओं के अनुसार, β के लिए न्यूनतम वर्ग अनुमानक सुसंगत अनुमानक है (अर्थात् $$\hat\beta$$, β की प्रायिकता में अभिसरित होता है) और स्पर्शोन्मुख रूप से सामान्य:।CE.B2।CC।82 के सामान्य न्यूनतम वर्ग#संगति और स्पर्शोन्मुख सामान्यता वाले प्रमाण
 * $$(\hat\beta - \beta)\ \xrightarrow{d}\ \mathcal{N}\big(0,\;\sigma^2Q_{xx}^{-1}\big),$$

जहाँ $$Q_{xx} = X ^T X.$$

अंतराल
इस स्पर्शोन्मुख वितरण का उपयोग करते हुए, सदिश के j-वें घटक के लिए लगभग दो-तरफा विश्वस्यता अंतराल $$\hat{\beta}$$ के रूप में बनाया जा सकता है
 * $$\beta_j \in \bigg[\

\hat\beta_j \pm q^{\mathcal{N}(0, 1)}_{1 - \frac{\alpha}{2}}\!\sqrt{\hat{\sigma}^2 \left[Q_{xx}^{-1}\right]_{jj}}\ \bigg] $$ पर $1 − α$ विश्वस्यता स्तर, जहां q मानक सामान्य वितरण के मात्रात्मक फलन को दर्शाता है, और [·]jj आव्यूह का j-वां विकर्ण तत्व है।

इसी प्रकार, σ2 के लिए न्यूनतम वर्ग अनुमानक भी सुसंगत और स्पर्शोन्मुख रूप से सामान्य है (बशर्ते कि εi का चौथा क्षण सम्मिलित है) सीमित वितरण के साथ
 * $$(\hat{\sigma}^2 - \sigma^2)\ \xrightarrow{d}\ \mathcal{N} \left(0,\;\operatorname{E}\left[\varepsilon_i^4\right] - \sigma^4\right). $$

इन स्पर्शोन्मुख वितरणों का उपयोग पूर्वाकलन, परिकल्पनाओं का परीक्षण, अन्य अनुमानकों के निर्माण आदि के लिए किया जा सकता है। उदाहरण के तौर पर पूर्वाकलन की समस्या पर विचार करें। कल्पना करना $$x_0$$ प्रतिगामी के वितरण के क्षेत्र में कुछ बिंदु है, और कोई जानना चाहता है कि उस बिंदु पर प्रतिक्रिया चर क्या रहा होगा। माध्य प्रतिक्रिया मात्रा $$y_0 = x_0^\mathrm{T} \beta$$ है, जबकि अनुमानित प्रतिक्रिया $$\hat{y}_0 = x_0^\mathrm{T} \hat\beta$$ है। स्पष्ट रूप से अनुमानित प्रतिक्रिया यादृच्छिक चर है, इसका वितरण $$\hat{\beta}$$ उससे प्राप्त किया जा सकता है:
 * $$\left(\hat{y}_0 - y_0\right)\ \xrightarrow{d}\ \mathcal{N}\left(0,\;\sigma^2 x_0^\mathrm{T} Q_{xx}^{-1} x_0\right),$$

जो माध्य प्रतिक्रिया के लिए विश्वस्यता अंतराल बनाने की अनुमति देता है $$y_0$$ निर्माण किया जाना है:
 * $$y_0 \in \left[\ x_0^\mathrm{T} \hat{\beta} \pm q^{\mathcal{N}(0, 1)}_{1 - \frac{\alpha}{2}}\!\sqrt{\hat\sigma^2 x_0^\mathrm{T} Q_{xx}^{-1} x_0}\ \right]$$ पर $1 − α$ विश्वस्यता स्तर।

परिकल्पना परीक्षण
दो परिकल्पना परीक्षण विशेष रूप से व्यापक रूप से उपयोग किए जाते हैं। सबसे पहले, कोई यह जानना चाहता है कि क्या अनुमानित प्रतिगमन समीकरण केवल यह अनुमान लगाने से बेहतर है कि प्रतिक्रिया चर के सभी मान उसके नमूना माध्य के बराबर हैं (यदि नहीं, तो कहा जाता है कि इसमें कोई व्याख्यात्मक शक्ति नहीं है)। अनुमानित प्रतिगमन के किसी भी व्याख्यात्मक मान की शून्य परिकल्पना का परीक्षण F-परीक्षण का उपयोग करके किया जाता है। यदि गणना की गई F-मान पूर्व-चयनित महत्व के स्तर के लिए अपने महत्वपूर्ण मान से अधिक होने के लिए पर्याप्त बड़ी पाई जाती है, तो शून्य परिकल्पना अस्वीकार कर दी जाती है और वैकल्पिक परिकल्पना, कि प्रतिगमन में व्याख्यात्मक शक्ति होती है, स्वीकार की जाती है। अन्यथा, बिना किसी व्याख्यात्मक शक्ति वाली शून्य परिकल्पना स्वीकार की जाती है।

दूसरा, रुचि के प्रत्येक व्याख्यात्मक चर के लिए, कोई यह जानना चाहता है कि क्या इसका अनुमानित गुणांक शून्य से काफी भिन्न है - अर्थात, क्या इस विशेष व्याख्यात्मक चर में वास्तव में प्रतिक्रिया चर की पूर्वाकलन करने में व्याख्यात्मक शक्ति है। यहां शून्य परिकल्पना यह है कि वास्तविक गुणांक शून्य है। इस परिकल्पना का परीक्षण गुणांक के t-सांख्यिकी की गणना करके, गुणांक अनुमान के मानक त्रुटि के अनुपात के रूप में किया जाता है। यदि t-सांख्यिकी पूर्व निर्धारित मान से बड़ी है, तो शून्य परिकल्पना अस्वीकार कर दी जाती है और चर में व्याख्यात्मक शक्ति पाई जाती है, जिसका गुणांक शून्य से काफी भिन्न होता है। अन्यथा, वास्तविक गुणांक के शून्य मान की शून्य परिकल्पना स्वीकार की जाती है।

इसके अतिरिक्त, चाउ परीक्षण का उपयोग यह जांचने के लिए किया जाता है कि क्या दो उप-नमूनों में समान अंतर्निहित वास्तविक गुणांक मान हैं। प्रत्येक उपसमुच्चय और संयुक्त आँकड़े समुच्चय पर प्रतिगमन के वर्ग अवशेषों के योग की तुलना F-सांख्यिकी की गणना करके की जाती है; यदि यह एक महत्वपूर्ण मान से अधिक है, तो दो उपसमुच्चय के बीच कोई अंतर नहीं होने की शून्य परिकल्पना अस्वीकार कर दी जाती है; अन्यथा, यह स्वीकार किया जाता है।

वास्तविक आँकड़े के साथ उदाहरण
निम्नलिखित आँकड़े समुच्चय 30-39 आयु वर्ग की अमेरिकी महिलाओं के लिए औसत ऊंचाई और वजन देता है (स्रोत: द वर्ल्ड अल्मनैक एंड बुक ऑफ फैक्ट्स, 1975)।


 * {|class="wikitable" style="text-align:right;"

! style="text-align:left;" | ऊंचाई (मी) ! style="text-align:left;" |वजन (किलो) ! style="text-align:left;" | ऊंचाई (मी) ! style="text-align:left;" |वजन (किलो) ! style="text-align:left;" | ऊंचाई (मी) ! style="text-align:left;" |वजन (किलो) जब केवल आश्रित चर का प्रतिरूपण किया जा रहा है, तो प्रकीर्ण आरेख आश्रित चर और प्रतिगामी के बीच संबंध के रूप और गुण का सुझाव देगा। यह आउटलेर्स, होमोसेदस्तीसिटी और आँकड़े के अन्य पहलुओं को भी प्रकट कर सकता है जो फिट प्रतिगमन मॉडल की व्याख्या को जटिल बना सकता है। प्रकीर्ण आरेख से पता चलता है कि संबंध सुदृढ़ है और इसे द्विघात फलन के रूप में अनुमानित किया जा सकता है। ओएलएस प्रतिगमन को पेश करके गैर-रेखीय संबंधों को संभाल सकता है HEIGHT2 प्रतिगमन मॉडल तब बहुरेखीय मॉडल बन जाता है:
 * 1.47 || 1.50 || 1.52 || 1.55 || 1.57
 * rowspan="6" | OLS example weight vs height scatterplot.svg of the data, the relationship is slightly curved but close to linear]]
 * 52.21 || 53.12 || 54.48 || 55.84 || 57.20
 * 1.60 || 1.63 || 1.65 || 1.68 || 1.70
 * 58.57 || 59.93 || 61.29 || 63.11 || 64.47
 * 1.73 || 1.75 || 1.78 || 1.80 || 1.83
 * 66.28 || 68.10 || 69.92 || 72.19 || 74.46
 * }


 * $$w_i = \beta_1 + \beta_2 h_i + \beta_3 h_i^2 + \varepsilon_i.$$

सांख्यिकीय पैकेजों की सबसे प्रचलित सूची का आउटपुट इस जैसा दिखेगा:
 * {|style="border:1px solid #aaa; padding:2pt 10pt;"

! style="padding-left:0.5em; text-align:left;" |मापदंड ! style="padding-left:0.5em;" |मान ! style="padding-left:0.5em;" | एसटीडी त्रुटि ! style="padding-left:0.5em;" | t-सांख्यिकी ! style="padding-left:0.5em;" | पी-मान इस तालिका में:
 * विधि
 * colspan="4" |न्यूनतम वर्ग
 * आश्रित चर
 * colspan="4" |वज़न
 * अवलोकन
 * colspan="4" | 15
 * colspan="5" |
 * - style="text-align:right;"
 * colspan="4" | 15
 * colspan="5" |
 * - style="text-align:right;"
 * - style="text-align:right;"
 * colspan="5" |
 * - style="text-align:right;"
 * style="text-align:left;" | $$\beta_1$$
 * 128.8128 || 16.3083 || 7.8986 || 0.0000
 * - style="text-align:right;"
 * style="text-align:left;" | $$\beta_2$$
 * –143.1620 || 19.8332 || –7.2183 || 0.0000
 * - style="text-align:right;"
 * style="text-align:left;" | $$\beta_3$$
 * 61.9603 || 6.0084 || 10.3122 || 0.0000
 * colspan="5" |
 * R2   || style="text-align:right;" | 0.9989
 * colspan="2" |एस.ई. प्रतिगमन का
 * style="text-align:right;" | 0.2516
 * समायोजित R2                           || style="text-align:right;" | 0.9987
 * colspan="2" |मॉडल योग-वर्ग।
 * style="text-align:right;" | 692.61
 * लघुगणक जैसा
 * style="text-align:right;" | 1.0890
 * colspan="2" |वर्ग का अवशिष्ट योग।
 * style="text-align:right;" | 0.7595
 * डर्बिन-वाटसन स्टेट।  || style="text-align:right;" | 2.1013
 * colspan="2" |वर्ग का कुल योग।
 * style="text-align:right;" | 693.37
 * अकैके मानदंड || style="text-align:right;" | 0.2548
 * colspan="2" |F आंकड़ा
 * style="text-align:right;" | 5471.2
 * श्वार्ज़ मानदंड                            || style="text-align:right;" | 0.3964
 * colspan="2" |पी-मान (F-स्टेट)
 * style="text-align:right;" | 0.0000
 * }
 * अकैके मानदंड || style="text-align:right;" | 0.2548
 * colspan="2" |F आंकड़ा
 * style="text-align:right;" | 5471.2
 * श्वार्ज़ मानदंड                            || style="text-align:right;" | 0.3964
 * colspan="2" |पी-मान (F-स्टेट)
 * style="text-align:right;" | 0.0000
 * }
 * }
 * मान स्तम्भ मापदंड βj का न्यूनतम वर्ग अनुमान देता है
 * एसटीडी त्रुटि स्तम्भ प्रत्येक गुणांक अनुमान की मानक त्रुटि (सांख्यिकी) दिखाता है: $$\hat\sigma_j = \left(\hat{\sigma}^2\left[Q_{xx}^{-1}\right]_{jj}\right)^\frac{1}{2}$$
 * t-स्टेटिस्टिक और P-मान स्तम्भ परीक्षण कर रहे हैं कि क्या कोई गुणांक शून्य के बराबर हो सकता है। t-सांख्यिकी की गणना बस इस प्रकार की जाती है $$t=\hat\beta_j/\hat\sigma_j$$। यदि त्रुटियाँ ε सामान्य वितरण का अनुसरण करती हैं, तो t छात्र-t वितरण का अनुसरण करता है। कमजोर परिस्थितियों में, t स्पर्शोन्मुख रूप से सामान्य है। t के बड़े मान दर्शाते हैं कि शून्य परिकल्पना को अस्वीकार किया जा सकता है और संबंधित गुणांक शून्य नहीं है। दूसरा स्तम्भ, P-मान, परिकल्पना परीक्षण के परिणामों को सांख्यिकीय महत्व के रूप में व्यक्त करता है। परंपरागत रूप से, 0.05 से छोटे P-मान को इस बात के प्रमाण के रूप में लिया जाता है कि जनसंख्या गुणांक गैर-शून्य है।
 * R-वर्ग निर्धारण का गुणांक है जो प्रतिगमन की अच्छाई को दर्शाता है। यदि आसंजन सही है तो यह आँकड़ा एक के बराबर होगा, और जब प्रतिगमन X के पास कोई व्याख्यात्मक शक्ति नहीं होगी तो यह शून्य के बराबर होगा। यह जनसंख्या R-वर्ग का पक्षपातपूर्ण अनुमान है, और यदि अतिरिक्त प्रतिगमन जोड़े जाते हैं, तो भी उनमें कभी कमी नहीं होगी, भले ही वे अप्रासंगिक हों।
 * समायोजित R-वर्ग $$R^2$$ थोड़ा संशोधित संस्करण है, प्रतिगमनकर्ताओं की अधिक संख्या के लिए दंडित करने के लिए अभिकल्प किया गया है जो प्रतिगमन की व्याख्यात्मक शक्ति में नहीं जुड़ते हैं। यह आँकड़ा हमेशा $$R^2$$ से छोटा होता है, नए प्रतिगमन जुड़ने पर घट सकता है, और यहां तक ​​कि खराब समंजन वाले मॉडल के लिए ऋणात्मक भी हो सकता है:
 * $$\overline{R}^2 = 1 - \frac{n - 1}{n - p}(1 - R^2)$$


 * लॉग-संभावना की गणना इस धारणा के अनुसार की जाती है कि त्रुटियां सामान्य वितरण का पालन करती हैं। हालाँकि यह धारणा बहुत उचित नहीं है, फिर भी यह आँकड़ा एलआर परीक्षण आयोजित करने में अपना उपयोग पा सकता है।
 * डर्बिन-वाटसन आँकड़ा परीक्षण करता है कि क्या अवशेषों के बीच क्रमिक सहसंबंध का कोई सबूत है। सामान्य नियम के अनुसार, 2 से छोटा मान धनात्मक सहसंबंध का प्रमाण होगा।
 * मॉडल चयन के लिए अकाइक सूचना मानदंड और श्वार्ज़ मानदंड दोनों का उपयोग किया जाता है। सामान्यतः दो वैकल्पिक मॉडलों की तुलना करते समय, इनमें से किसी एक मानदंड का छोटा मान बेहतर मॉडल का संकेत देगा।
 * प्रतिगमन की मानक त्रुटि σ का अनुमान है, त्रुटि पद की मानक त्रुटि है।
 * वर्गों का कुल योग, वर्गों का मॉडल योग, और वर्गों का अवशिष्ट योग हमें बताता है कि नमूने में प्रारंभिक भिन्नता को प्रतिगमन द्वारा कितना समझाया गया था।
 * F-सांख्यिकी इस परिकल्पना का परीक्षण करने का प्रयास करती है कि सभी गुणांक (अवरोधन को छोड़कर) शून्य के बराबर हैं। इस आँकड़े में शून्य परिकल्पना और सामान्यता धारणा के अनुसार F(p-1,n-p) वितरण है, और इसका P-मान संभावना को इंगित करता है कि परिकल्पना वास्तव में सच है। ध्यान दें कि जब त्रुटियां सामान्य नहीं होती हैं तो यह आँकड़ा अमान्य हो जाता है, और अन्य परीक्षण जैसे वाल्ड परीक्षण या संभावना अनुपात परीक्षण का उपयोग किया जाना चाहिए।

सामान्य न्यूनतम वर्ग विश्लेषण में अधिकांशतः मॉडल के कल्पित रूप से आँकड़े के विचलन का पता लगाने के लिए अभिकल्प किए गए निदान प्लॉट का उपयोग सम्मिलित होता है। ये कुछ सामान्य निदान प्लॉट हैं:
 * मॉडल में व्याख्यात्मक चर के विरुद्ध अवशेष है। इन चरों के बीच गैर-रैखिक संबंध बताता है कि सप्रतिबंध माध्य फलन की रैखिकता कायम नहीं रह सकती है। व्याख्यात्मक चर के विभिन्न स्तरों के लिए अवशेषों में परिवर्तनशीलता के विभिन्न स्तर संभावित होमोसेदस्तीसिटी का सुझाव देते हैं।
 * व्याख्यात्मक चर के विरुद्ध अवशेष मॉडल में नहीं हैं। इन चरों के अवशेषों का कोई भी संबंध मॉडल में सम्मिलित करने के लिए इन चरों पर विचार करने का सुझाव देगा।
 * आसंजन मान के विरुद्ध अवशेष, $$\hat{y}$$।
 * पूर्ववर्ती अवशिष्ट के विरुद्ध अवशिष्ट है। यह कथानक अवशेषों में क्रमिक सहसंबंधों की पहचान कर सकता है।

प्रतिगमन मॉडल का उपयोग करके सांख्यिकीय अनुमान लगाते समय महत्वपूर्ण विचार यह है कि आँकड़े का नमूना कैसे लिया गया था। इस उदाहरण में, आँकड़े व्यक्तिगत महिलाओं पर माप के अतिरिक्त औसत हैं। मॉडल का आसंजन बहुत अच्छा है, लेकिन इसका मतलब यह नहीं है कि किसी महिला के वजन का अनुमान केवल उसकी ऊंचाई के आधार पर उच्च सटीकता के साथ लगाया जा सकता है।

पूर्णांकन के प्रति संवेदनशीलता
यह उदाहरण यह भी दर्शाता है कि इन गणनाओं द्वारा निर्धारित गुणांक इस बात के प्रति संवेदनशील हैं कि आँकड़े कैसे तैयार किया जाता है। ऊंचाई को मूल रूप से निकटतम इंच तक गोल किया गया था और अब इसे निकटतम सेंटीमीटर में परिवर्तित और गोल किया गया है। चूँकि रूपांतरण कारक एक इंच से 2.54 सेमी है, इसलिए यह सटीक रूपांतरण नहीं है। मूल इंच को पूर्णांकन (x/0.0254) द्वारा पुनर्प्राप्त किया जा सकता है और फिर बिना पूर्णांकन के मीट्रिक में परिवर्तित किया जा सकता है। यदि ऐसा किया जाता है तो परिणाम बन जाते हैं:

5' 6 (1.6764 मीटर) महिला के वजन की पूर्वाकलन करने के लिए इनमें से किसी भी समीकरण का उपयोग करने से समान मान मिलते हैं: पूर्णांकन के साथ 62.94 किलो बनाम बिना पूर्णांकन के 62.98 किलो। इस प्रकार आँकड़े में प्रतीत होने वाला छोटा सा बदलाव गुणांकों पर वास्तविक प्रभाव डालता है लेकिन समीकरण के परिणामों पर छोटा सा प्रभाव डालता है।

चूंकि यह आँकड़े सीमा के बीच में अहानिकर लग सकता है, यह चरम सीमा पर या ऐसे स्थितियों में महत्वपूर्ण हो सकता है जहां आसंजन किए गए मॉडल का उपयोग आँकड़े सीमा (बहिर्वेशन) के बाहर युक्ति करने के लिए किया जाता है।

यह सामान्य त्रुटि को उजागर करता है: यह उदाहरण ओएलएस का दुरुपयोग है जिसके लिए स्वाभाविक रूप से आवश्यक है कि स्वतंत्र चर (इस स्थितियों में ऊंचाई) में त्रुटियां शून्य या कम से कम नगण्य होंती है। निकटतम इंच की प्रारंभिक पूर्णांकन और कोई भी वास्तविक माप त्रुटि सीमित और गैर-नगण्य त्रुटि का गठन करती है। परिणामस्वरूप, आसंजन किए गए मापदंड वह सर्वोत्तम अनुमान नहीं हैं जो उन्हें माना जाता है। चूंकि अनुमान में त्रुटि पूरी तरह से अवांछित नहीं है, लेकिन यह x और y त्रुटियों के सापेक्ष आकार पर निर्भर करती है।

समस्या कथन
हम ध्रुवीय आधार निर्देशांक में दो पिंड कक्षाओं के समीकरण का पता लगाने के लिए न्यूनतम वर्ग तंत्र का उपयोग कर सकते हैं। सामान्यतः उपयोग किया जाने वाला समीकरण है $$r(\theta) = \frac{p}{1-e\cos(\theta)}$$ जहाँ $$r(\theta)$$ यह त्रिज्या है कि वस्तु किसी पिंड से कितनी दूर है। समीकरण में मापदंड $$p$$ और $$e$$ कक्षा का पथ निर्धारित करने के लिए उपयोग किया जाता है। हमने निम्नलिखित आँकड़े को मापा है। हमें न्यूनतम वर्ग सन्निकटन $$e$$ और $$p$$ दिए गए आँकड़े के लिए ज्ञात करना होगा ।

समाधान
सबसे पहले हमें e और p को रैखिक रूप में निरूपित करने की आवश्यकता है। इसलिए हम समीकरण को फिर से लिखने जा रहे हैं $$r(\theta)$$ जैसा $$\frac{1}{r(\theta)} = \frac{1}{p} - \frac{e}{p}\cos(\theta)$$। अब हम अपने अवलोकन आँकड़े को इस प्रकार दर्शाने के लिए इस फॉर्म का उपयोग कर सकते हैं:

$$A^{T}A \binom{x}{y} = A^{T}b $$ जहाँ $$x$$, $$\frac{1}{p}$$ है और $$y$$,  $$\frac{e}{p}$$ है और $$A$$ के गुणांक $$\frac{1}{p}$$ वाले पहले स्तम्भ द्वारा निर्मित किया गया है और दूसरा स्तम्भ का गुणांक $$\frac{e}{p}$$है  और $$b$$ संबंधित के लिए मान है $$\frac{1}{r(\theta)}$$ इसलिए   $$A = \begin{bmatrix} 1 & -0.731354\\1 & -0.707107\\1 & -0.615661\\1&\ 0.052336\\1& 0.309017\\1&0.438371 \end{bmatrix}$$ और $$b = \begin{bmatrix}  0.21220\\ 0.21958\\  0.24741\\   0.45071\\   0.52883\\   0.56820\end{bmatrix}.$$

हल करने पर हमें मिलता है $$\binom{x}{y} = \binom{0.43478}{0.30435}$$

इसलिए $$p=\frac{1}{x} = 2.3000$$ और $$e=p\cdot y = 0.70001$$

यह भी देखें

 * न्यूनतम माध्य वर्ग त्रुटि
 * फामा-मैकबेथ प्रतिगमन
 * अरैखिक न्यूनतम वर्ग
 * रैखिक न्यूनतम वर्गों के लिए संख्यात्मक विधियाँ
 * नॉनलाइनियर प्रणाली पहचान