न्यूनतम माध्य वर्ग त्रुटि: Difference between revisions

From Vigyanwiki
(Created page with "{{Use dmy dates|date=February 2020}} सांख्यिकी और संकेत आगे बढ़ाना में, न्यूनतम माध्य व...")
 
No edit summary
 
(40 intermediate revisions by 3 users not shown)
Line 1: Line 1:
{{Use dmy dates|date=February 2020}}
सांख्यिकी विज्ञान और [[ संकेत आगे बढ़ाना |संकेत]] प्रसंस्करण में, '''न्यूनतम माध्य वर्ग त्रुटि''' (एमएमएसई) अनुमानकर्ता एक अनुमानन पद्धति है जो एक निर्धारित चरण वाले प्रत्याप्त चर के लिए फिट किए गए मानों के औसत वर्ग त्रुटि (एमएसई) को कम करती है। एमएसई एक अनुमानकर्ता गुणवत्ता का एक सामान्य माप है।
सांख्यिकी और [[ संकेत आगे बढ़ाना ]] में, न्यूनतम माध्य वर्ग त्रुटि (एमएमएसई) अनुमानक एक अनुमान पद्धति है जो माध्य वर्ग त्रुटि (एमएसई) को कम करती है, जो एक आश्रित चर के फिट मूल्यों के अनुमानक गुणवत्ता का एक सामान्य माप है। [[बायेसियन अनुमानक]] सेटिंग में, एमएमएसई शब्द विशेष रूप से द्विघात हानि फ़ंक्शन के साथ अनुमान को संदर्भित करता है। ऐसे मामले में, एमएमएसई अनुमानक अनुमान लगाए जाने वाले पैरामीटर के पिछले माध्य द्वारा दिया जाता है। चूँकि पश्च माध्य की गणना करना बोझिल है, एमएमएसई अनुमानक का रूप आमतौर पर कार्यों के एक निश्चित वर्ग के भीतर होने के लिए बाध्य है। रैखिक एमएमएसई अनुमानक एक लोकप्रिय विकल्प हैं क्योंकि वे उपयोग में आसान, गणना करने में आसान और बहुत बहुमुखी हैं। इसने कई लोकप्रिय अनुमानकों को जन्म दिया है जैसे कि वीनर फ़िल्टर|वीनर-कोलमोगोरोव फ़िल्टर और [[कलमन फ़िल्टर]]
 
[[बायेसियन अनुमानक]] सेटिंग में, शब्द "एमएमएसई" विशेष रूप से वर्गीकरण त्रुटि फलन  के साथ अनुमानन को दर्शाता है। ऐसे स्थिति  में, एमएमएसई अनुमानकर्ता को अनुमानित पैरामीटर के उपांशीक्षांत मान द्वारा दिया जाता है। चूँकि उपांशीक्षांत मान को निर्धारित करना बहुत कठिन हो सकता है, इसलिए एमएमएसई अनुमानकर्ता का रूप सामान्यतः कुछ विशेष कक्षा के फलन  में होता है। रेखीय एमएमएसई अनुमानकर्ता एक लोकप्रिय चयन हैं क्योंकि उन्हें उपयोग करना सरल होता है, उन्हें गणना करना आसान होता है, और बहुत से उदाहरणों में उपयोगी होते हैं। इसने वेनर-कोलमोगोरोव फ़िल्टर और कालमन फ़िल्टर जैसे कई प्रसिद्ध अनुमानकर्ताओं को उत्पन्न किया है।


==प्रेरणा==
==प्रेरणा==
एमएमएसई शब्द विशेष रूप से द्विघात लागत फ़ंक्शन के साथ बायेसियन अनुमानक सेटिंग में अनुमान को संदर्भित करता है। अनुमान के लिए बायेसियन दृष्टिकोण के पीछे मूल विचार व्यावहारिक स्थितियों से उत्पन्न होता है जहां हमें अक्सर अनुमान लगाए जाने वाले पैरामीटर के बारे में कुछ पूर्व जानकारी होती है। उदाहरण के लिए, हमें उस सीमा के बारे में पूर्व जानकारी हो सकती है जिसे पैरामीटर मान सकता है; या हमारे पास उस पैरामीटर का पुराना अनुमान हो सकता है जिसे हम नया अवलोकन उपलब्ध होने पर संशोधित करना चाहते हैं; या भाषण जैसे वास्तविक यादृच्छिक संकेत के आँकड़े। यह [[न्यूनतम-विचरण निष्पक्ष अनुमानक]] (एमवीयूई) जैसे गैर-बायेसियन दृष्टिकोण के विपरीत है, जहां पैरामीटर के बारे में पहले से कुछ भी ज्ञात नहीं माना जाता है और जो ऐसी स्थितियों के लिए जिम्मेदार नहीं है। बायेसियन दृष्टिकोण में, ऐसी पूर्व जानकारी मापदंडों के पूर्व संभाव्यता घनत्व फ़ंक्शन द्वारा कैप्चर की जाती है; और सीधे [[बेयस प्रमेय]] पर आधारित, यह हमें अधिक अवलोकन उपलब्ध होने पर बेहतर पश्च अनुमान लगाने की अनुमति देता है। इस प्रकार गैर-बायेसियन दृष्टिकोण के विपरीत जहां रुचि के मापदंडों को नियतात्मक, लेकिन अज्ञात स्थिरांक माना जाता है, बायेसियन अनुमानक एक पैरामीटर का अनुमान लगाना चाहता है जो स्वयं एक यादृच्छिक चर है। इसके अलावा, बायेसियन अनुमान उन स्थितियों से भी निपट सकता है जहां अवलोकनों का क्रम आवश्यक रूप से स्वतंत्र नहीं है। इस प्रकार बायेसियन अनुमान एमवीयूई के लिए एक और विकल्प प्रदान करता है। यह तब उपयोगी होता है जब एमवीयूई मौजूद नहीं है या पाया नहीं जा सकता है।
एमएमएसई शब्द विशेष रूप से बेजियन सेटिंग में वर्गीकरण लागत फलन के साथ अनुमानन को दर्शाता है। अनुमानन के लिए बेजियन दृष्टिकोण के पीछे मूलभूत विचार का आधारीकरण व्यापक समस्याओं से होता है जहां हमें प्रायः अनुमानित पैरामीटर के बारे में कुछ पूर्व जानकारी होती है। उदाहरण के लिए, हमें अनुमानित पैरामीटर के रेंज के बारे में पूर्व जानकारी हो सकती है; या हमें अनुमानित पैरामीटर का पुराना अनुमान हो सकता है जिसे हम एक नई अवलोकन उपलब्ध करने पर संशोधित करना चाहते हैं; या बोलचाल जैसे एक वास्तविक यादृच्छिक संकेत के सांख्यिकीय हिस्से के बारे में जानकारी हो सकती है। यह [[न्यूनतम-विचरण निष्पक्ष अनुमानक]] (एमवीयूई) जैसे गैर-बायेसियन दृष्टिकोण के विपरीत है, जहां पैरामीटर के बारे में पहले से कुछ भी ज्ञात नहीं माना जाता है और जो ऐसी स्थितियों के लिए उत्तरदायी नहीं है। बायेसियन दृष्टिकोण में, ऐसी पूर्व जानकारी मापदंडों के पूर्व संभाव्यता घनत्व फलन द्वारा अधिकृत की जाती है; और सीधे [[बेयस प्रमेय]] पर आधारित, यह हमें अधिक अवलोकन उपलब्ध होने पर पश्च अनुमान लगाने की अनुमति देता है। इस प्रकार गैर-बायेसियन दृष्टिकोण के विपरीत जहां रुचि के मापदंडों को नियतात्मक, परंतु अज्ञात स्थिरांक माना जाता है, बायेसियन अनुमानक एक पैरामीटर का अनुमान लगाना चाहता है जो स्वयं एक यादृच्छिक चर है। इसके अतिरिक्त, बायेसियन अनुमान उन स्थितियों से भी निपट सकता है जहां अवलोकनों का क्रम आवश्यक रूप से स्वतंत्र नहीं है। इस प्रकार बायेसियन अनुमान एमवीयूई के लिए एक और विकल्प प्रदान करता है। यह तब उपयोगी होता है जब एमवीयूई उपस्थित नहीं है या पाया नहीं जा सकता है।


==परिभाषा==
==परिभाषा==
होने देना <math>x</math> एक हो <math>n \times 1</math> छिपा हुआ यादृच्छिक वेक्टर चर, और चलो <math>y</math> एक हो <math>m \times 1</math> ज्ञात यादृच्छिक वेक्टर चर (माप या अवलोकन), जरूरी नहीं कि दोनों एक ही आयाम के हों। एक अनुमानक <math>\hat{x}(y)</math> का <math>x</math> माप का कोई कार्य है <math>y</math>. अनुमान त्रुटि वेक्टर द्वारा दिया गया है <math>e = \hat{x} - x</math> और इसकी माध्य वर्ग त्रुटि (MSE) त्रुटि सहप्रसरण मैट्रिक्स के [[ट्रेस (रैखिक बीजगणित)]] द्वारा दी गई है
यहां, <math>x</math> एक <math>n \times 1</math> छिपा हुआ यादृच्छिक सदिश चर और <math>y</math> एक <math>m \times 1</math> ज्ञात यादृच्छिक सदिश चर है, जिनमें से दोनों सदिशो के आयाम आवश्यक रूप से एक समान नहीं हैं। एक अनुमानकर्ता <math>\hat{x}(y)</math> एक ऐसा फलन है जो मापन <math>y</math> का कोई भी फलन होता है। अनुमानन त्रुटि सदिश द्वारा दिया जाता है <math>e = \hat{x} - x</math> और इसका  "औसत वर्गमूल त्रुटि" (एमएसई) त्रुटि [[कवरियन्स मैट्रिक्स|सहप्रसरण आव्यूह]] के समापन से दिया जाता है।


: <math>\operatorname{MSE} = \operatorname{tr} \left\{ \operatorname{E}\{(\hat{x} - x)(\hat{x} - x)^T \} \right\} = \operatorname{E}\{(\hat{x} - x)^T(\hat{x} - x)\}, </math>
: <math>\operatorname{MSE} = \operatorname{tr} \left\{ \operatorname{E}\{(\hat{x} - x)(\hat{x} - x)^T \} \right\} = \operatorname{E}\{(\hat{x} - x)^T(\hat{x} - x)\}, </math>
जहां [[अपेक्षित मूल्य]] है <math>\operatorname{E}</math> पर कब्ज़ा कर लिया गया है <math>x</math> पर वातानुकूलित <math>y</math>. कब <math>x</math> एक अदिश चर है, एमएसई अभिव्यक्ति इसे सरल बनाती है <math>\operatorname{E} \left\{ (\hat{x} - x)^2 \right\}</math>. ध्यान दें कि एमएसई को समकक्ष रूप से अन्य तरीकों से परिभाषित किया जा सकता है
 
यहां, <math>x</math> के उपर लिया गया [[expected value|अपेक्षा]] <math>\operatorname{E}</math> <math>y</math> के शर्तबद्ध होता है। अर्थात, हम <math>x</math> के लिए अपेक्षित मान की गणना <math>y</math> पर शर्तबद्ध करके करते हैं। जब <math>x</math> एक स्केलर चर होता है, तो एमएसई अभिव्यक्ति यह सरल हो जाती है: <math>\operatorname{E} \left\{ (\hat{x} - x)^2 \right\}</math> इसमें <math>\hat{x}</math> अनुमानक चर है और <math>x</math> मूल चर है। यह अनुमानित चर और मूल चर के बीच विचलन का वर्ग होता है ध्यान दें कि एमएसई को अन्य विधियों से भी परिभाषित किया जा सकता है, क्योंकि
:<math>\operatorname{tr} \left\{ \operatorname{E}\{ee^T \} \right\} = \operatorname{E} \left\{ \operatorname{tr}\{ee^T \} \right\} = \operatorname{E}\{e^T e \} = \sum_{i=1}^n \operatorname{E}\{e_i^2\}.</math>
:<math>\operatorname{tr} \left\{ \operatorname{E}\{ee^T \} \right\} = \operatorname{E} \left\{ \operatorname{tr}\{ee^T \} \right\} = \operatorname{E}\{e^T e \} = \sum_{i=1}^n \operatorname{E}\{e_i^2\}.</math>
एमएमएसई अनुमानक को न्यूनतम एमएसई प्राप्त करने वाले अनुमानक के रूप में परिभाषित किया गया है:
एमएमएसई अनुमानक उस अनुमानक को कहते हैं जो न्यूनतम एमएसई को प्राप्त करता है:
:<math>\hat{x}_{\operatorname{MMSE}}(y) = \operatorname{argmin}_{\hat{x}} \operatorname{MSE}.</math>
:<math>\hat{x}{\operatorname{MMSE}}(y) = \operatorname{argmin}{\hat{x}} \operatorname{MSE}.</math>
 
 
 
 
 
 
 
 
 




==गुण==
==गुण==
* जब साधन और भिन्नताएं सीमित होती हैं, तो एमएमएसई अनुमानक को विशिष्ट रूप से परिभाषित किया जाता है<ref>{{Cite web|url=https://www.probabilitycourse.com/chapter9/9_1_5_mean_squared_error_MSE.php|title=माध्य चुकता त्रुटि (एमएसई)|website=www.probabilitycourse.com|language=en|access-date=2017-05-09}}</ref> और इसके द्वारा दिया गया है:
जब माध्य और चतुर्थिक अवरोध  सीमित होते हैं, तो एमएमएसई अनुमानक एकद्रव्य  परिभाषित होता है और यह निम्नलिखित रूप में होता है:
::<math>\hat{x}_{\operatorname{MMSE}}(y) = \operatorname{E} \{x \mid y\}.</math>
 
:दूसरे शब्दों में, एमएमएसई अनुमानक सशर्त अपेक्षा है <math>x</math> माप का ज्ञात प्रेक्षित मान दिया गया है। इसके अलावा, तब से <math>\hat{x}_{\mathrm{MMSE}}</math> पश्च माध्य, त्रुटि सहप्रसरण मैट्रिक्स है <math>C_e</math>पश्च सहप्रसरण के बराबर है <math>C_{X|Y}</math> आव्यूह,
<math>\hat{x}_{\operatorname{MMSE}}(y) = \operatorname{E} \{x \mid y\}.</math>
::<math>C_e = C_{X|Y}</math>.
:दूसरे शब्दों में,कहा जा सकता है कि एमएमएसई अनुमानकर्ता <math>x</math> की शर्ती अपेक्षा होता है। इसे अन्य शब्दों में, यह निर्धारित करता है कि जब हमें माप की गई मानवी या वार्तालापिक डेटा होता है, तो हमें अधिकतम संभावना के अनुसार  एमएमएसई अनुमानकर्ता <math>\hat{x}{\mathrm{MMSE}}</math> पश्च माध्य होता है और त्रुटि संवेदनशीलता मात्रिका <math>C_e</math> पश्च विकल्प मात्रिका <math>C{X|Y}</math> के बराबर होती है:
* एमएमएसई अनुमानक निष्पक्ष है (ऊपर उल्लिखित नियमितता मान्यताओं के तहत):
<math>\hat{x}{\mathrm{MMSE}} = \operatorname{E}(x|y)</math>
<math>C_e = C{X|Y}</math>
 
*ऊपर उल्लिखित नियमितता मान्यताओं के अंतर्गत एमएमएसई अनुमानक निष्पक्ष है :
::<math>\operatorname{E}\{\hat{x}_{\operatorname{MMSE}}(y)\} = \operatorname{E}\{\operatorname{E}\{x\mid y\}\} = \operatorname{E}\{x\}.</math>
::<math>\operatorname{E}\{\hat{x}_{\operatorname{MMSE}}(y)\} = \operatorname{E}\{\operatorname{E}\{x\mid y\}\} = \operatorname{E}\{x\}.</math>
* एमएमएसई अनुमानक असममित रूप से निष्पक्ष है और यह सामान्य वितरण में वितरण में परिवर्तित होता है:
*एमएमएसई अनुमानक असममित रूप से निष्पक्ष है और यह सामान्य वितरण में वितरण में परिवर्तित होता है:
::<math> \sqrt{n}(\hat{x}_{\operatorname{MMSE}} - x) \xrightarrow{d} \mathcal{N}\left(0 , I^{-1}(x)\right),</math>
::<math> \sqrt{n}(\hat{x}_{\operatorname{MMSE}} - x) \xrightarrow{d} \mathcal{N}\left(0 , I^{-1}(x)\right),</math>
:कहाँ <math>I(x)</math> की [[फिशर जानकारी]] है <math>x</math>. इस प्रकार, एमएमएसई अनुमानक [[दक्षता (सांख्यिकी)]] है।
:यहाँ <math>I(x)</math> की [[फिशर जानकारी]] है. इस प्रकार <math>x</math> एमएमएसई अनुमानक [[दक्षता (सांख्यिकी)|दक्षता]] है।
* [[रूढ़िवादिता सिद्धांत]]: कब <math>x</math> एक अदिश राशि है, एक अनुमानक जो निश्चित आकार का होने के लिए बाध्य है <math>\hat{x}=g(y)</math> एक इष्टतम अनुमानक है, यानी <math>\hat{x}_{\operatorname{MMSE}}=g^*(y),</math> अगर और केवल अगर
*[[रूढ़िवादिता सिद्धांत|रूढ़ीवाद सिद्धांत]]: जब <math>x</math> एक अदिश राशि है, एक अनुमानक जो निश्चित आकार <math>\hat{x}=g(y)</math> का होने के लिए बाध्य है एक इष्टतम अनुमानक है, अर्थात  <math>\hat{x}_{\operatorname{MMSE}}=g^*(y),</math> और यदि                                                                                                                                  <math>\operatorname{E} \{ (\hat{x}_{\operatorname{MMSE}}-x) g(y) \} = 0</math>  
::<math>\operatorname{E} \{ (\hat{x}_{\operatorname{MMSE}}-x) g(y) \} = 0</math> :सभी के लिए <math>g(y)</math> बंद, रैखिक उपस्थान में <math>\mathcal{V} = \{g(y)\mid  g:\mathbb{R}^m \rightarrow \mathbb{R}, \operatorname{E}\{g(y)^2\} < + \infty \}</math> माप का. यादृच्छिक वेक्टर के लिए, चूंकि एक यादृच्छिक वेक्टर के आकलन के लिए एमएसई निर्देशांक के एमएसई का योग है, एक यादृच्छिक वेक्टर के एमएमएसई अनुमानक को खोजने से एक्स के निर्देशांक के एमएमएसई अनुमानक को अलग से ढूंढने में विघटित हो जाता है:
*सभी के लिए <math>g(y)</math> बंद, रैखिक उपस्थान में <math>\mathcal{V} = \{g(y)\mid  g:\mathbb{R}^m \rightarrow \mathbb{R}, \operatorname{E}\{g(y)^2\} < + \infty \}</math> माप का यादृच्छिक सदिश  के लिए, चूंकि एक यादृच्छिक सदिश के आकलन के लिए एमएसई निर्देशांक के एमएसई का योग है, एक यादृच्छिक सदिश के एमएमएसई अनुमानक को खोजने से <math>x</math> के निर्देशांक के एमएमएसई अनुमानक को अलग से ढूंढने में विघटित हो जाता है:
::<math>\operatorname{E} \{ (g_i^*(y)-x_i) g_j(y) \} = 0,</math> :सभी i और j के लिए। अधिक संक्षेप में कहें तो, न्यूनतम अनुमान त्रुटि के बीच अंतर-सहसंबंध <math>\hat{x}_{\operatorname{MMSE}}-x</math> और अनुमानक <math>\hat{x}</math> शून्य होना चाहिए,
::<math>\operatorname{E} \{ (g_i^*(y)-x_i) g_j(y) \} = 0,</math> :सभी i और j के लिए अधिक संक्षेप में कहें तो, न्यूनतम अनुमान त्रुटि के बीच अंतर-सहसंबंध <math>\hat{x}_{\operatorname{MMSE}}-x</math> और अनुमानक <math>\hat{x}</math> शून्य होता है ,
::<math>\operatorname{E} \{ (\hat{x}_{\operatorname{MMSE}}-x)\hat{x}^T \} = 0.</math>
::<math>\operatorname{E} \{ (\hat{x}_{\operatorname{MMSE}}-x)\hat{x}^T \} = 0.</math>
* अगर <math>x</math> और <math>y</math> [[संयुक्त रूप से गाऊसी]] हैं, तो एमएमएसई अनुमानक रैखिक है, यानी, इसका रूप है <math>Wy+b</math> मैट्रिक्स के लिए <math>W</math> और स्थिर <math>b</math>. इसे बेयस प्रमेय का उपयोग करके सीधे दिखाया जा सकता है। परिणामस्वरूप, एमएमएसई अनुमानक को खोजने के लिए, रैखिक एमएमएसई अनुमानक को ढूंढना पर्याप्त है।
*यदि  <math>x</math> और <math>y</math> [[संयुक्त रूप से गाऊसी]] हैं, तो एमएमएसई अनुमानक रैखिक है, अर्थात, इसका रूप है <math>Wy+b</math> आव्यूह के लिए <math>W</math> और <math>b</math> स्थिर होते है। इसे बेयस प्रमेय का उपयोग करके सीधे दिखाया जा सकता है। परिणामस्वरूप, एमएमएसई अनुमानक को खोजने के लिए, रैखिक एमएमएसई अनुमानक को ढूंढना पर्याप्त है।
 
 
 
 
 
 
 
 
 
 


==रैखिक एमएमएसई अनुमानक==
==रैखिक एमएमएसई अनुमानक==
कई मामलों में, एमएमएसई अनुमानक की विश्लेषणात्मक अभिव्यक्ति निर्धारित करना संभव नहीं है। एमएमएसई अनुमान प्राप्त करने के लिए दो बुनियादी संख्यात्मक दृष्टिकोण या तो सशर्त अपेक्षा को खोजने पर निर्भर करते हैं <math>\operatorname{E}\{x\mid y\}</math> या एमएसई का मिनिमा ढूँढना। सशर्त अपेक्षा का प्रत्यक्ष संख्यात्मक मूल्यांकन कम्प्यूटेशनल रूप से महंगा है क्योंकि इसके लिए अक्सर बहुआयामी एकीकरण की आवश्यकता होती है जो आमतौर पर मोंटे कार्लो विधियों के माध्यम से किया जाता है। एक अन्य कम्प्यूटेशनल दृष्टिकोण [[ स्टोकेस्टिक ग्रेडिएंट डिसेंट ]] जैसी तकनीकों का उपयोग करके सीधे एमएसई की न्यूनतमता की तलाश करना है; लेकिन इस पद्धति को अभी भी अपेक्षा के मूल्यांकन की आवश्यकता है। हालाँकि ये संख्यात्मक विधियाँ उपयोगी रही हैं, फिर भी अगर हम कुछ समझौते करने के इच्छुक हैं तो एमएमएसई अनुमानक के लिए एक बंद फॉर्म अभिव्यक्ति संभव है।
कई स्थितियों में, एमएमएसई अनुमानक की विश्लेषणात्मक अभिव्यक्ति निर्धारित करना संभव नहीं है। एमएमएसई अनुमान प्राप्त करने के दो आसान आंकड़ीय विधि हैं जो निम्नलिखित कोणीय अपेक्षा <math>\operatorname{E}\{x\mid y\}</math> का पता लगाने पर निर्भर करते हैं  सशर्त अपेक्षा का प्रत्यक्ष संख्यात्मक मूल्यांकन कम्प्यूटेशनल रूप से महंगा है क्योंकि इसके लिए प्रायः बहुआयामी एकीकरण की आवश्यकता होती है जो सामान्यतः मोंटे कार्लो विधियों के माध्यम से किया जाता है। एक अन्य कम्प्यूटेशनल दृष्टिकोण [[ स्टोकेस्टिक ग्रेडिएंट डिसेंट |स्टोकेस्टिक ग्रेडिएंट डिसेंट]] जैसी तकनीकों का उपयोग करके सीधे एमएसई की न्यूनतमता की अंवेषण, करता है; परंतु इस पद्धति को अभी भी अपेक्षा के मूल्यांकन की आवश्यकता है। यद्यपि ये संख्यात्मक विधियाँ उपयोगी रही हैं, फिर भी यदि हम सहमति करने के इच्छुक हैं तो एमएमएसई अनुमानक के लिए एक बंद फॉर्म अभिव्यक्ति संभव है।


एक संभावना यह है कि पूर्ण इष्टतमता आवश्यकताओं को त्याग दिया जाए और अनुमानकों के एक विशेष वर्ग, जैसे कि रैखिक अनुमानकों के वर्ग, के भीतर एमएसई को न्यूनतम करने वाली तकनीक की तलाश की जाए। इस प्रकार, हम मानते हैं कि सशर्त अपेक्षा <math>x</math> दिया गया <math>y</math> का एक सरल रैखिक कार्य है <math>y</math>, <math>\operatorname{E}\{x\mid y\} = W y + b</math>, जहां माप <math>y</math> एक यादृच्छिक वेक्टर है, <math>W</math> एक मैट्रिक्स है और <math>b</math> एक वेक्टर है. इसे टेलर के प्रथम क्रम सन्निकटन के रूप में देखा जा सकता है <math>\operatorname{E}\{x\mid y\}</math>. रैखिक एमएमएसई अनुमानक ऐसे फॉर्म के सभी अनुमानकों के बीच न्यूनतम एमएसई प्राप्त करने वाला अनुमानक है। अर्थात्, यह निम्नलिखित अनुकूलन समस्या का समाधान करता है:
इसलिए, हम प्राधिकरण करते हैं कि <math>y</math> के दिए गए शर्ताधीन अपेक्षा <math>x</math> का शर्ताधीन अपेक्षा एक सरल रैखिक फलन है, <math>\operatorname{E}{x\mid y} = Wy + b</math>, जहाँ <math>y</math> एक यादृच्छिक सदिश    है, <math>W</math> एक आव्यूह    है और <math>b</math> एक सदिश    है। इसे <math>\operatorname{E}{x\mid y}</math> का पहले अवधि टेलर अनुमान के रूप में देखा जा सकता है। रैखिक एमएमएसई अनुमान एक अनुमानकर्ता है जो ऐसे रूप के सभी अनुमानों में मिनिमम MSE प्राप्त करता है। इसका अर्थ है, यह निम्नलिखित अनुक्रमणिक समस्या का समाधान करता है:
:<math>\min_{W,b} \operatorname{MSE} \qquad \text{s.t.} \qquad \hat{x} = W y + b.</math>
ऐसे रैखिक एमएमएसई अनुमानक का एक फायदा यह है कि पश्च संभाव्यता घनत्व फ़ंक्शन की स्पष्ट रूप से गणना करना आवश्यक नहीं है <math>x</math>. ऐसा रैखिक अनुमानक केवल पहले दो क्षणों पर निर्भर करता है <math>x</math> और <math>y</math>. हालाँकि यह मान लेना सुविधाजनक हो सकता है <math>x</math> और <math>y</math> संयुक्त रूप से गॉसियन हैं, यह धारणा बनाना आवश्यक नहीं है, जब तक कि अनुमानित वितरण ने पहले और दूसरे क्षणों को अच्छी तरह से परिभाषित नहीं किया है। रैखिक अनुमानक का रूप अनुमानित अंतर्निहित वितरण के प्रकार पर निर्भर नहीं करता है।


इष्टतम के लिए अभिव्यक्ति <math>b</math> और <math>W</math> द्वारा दिया गया है:
इस प्रकार के रैखिक एमएमएसई अनुमान का एक लाभ यह है कि इसके लिए <math>x</math> की प्रत्याश्रित प्राकृतिक घनत्व फलन को स्पष्ट रूप से गणना करने की आवश्यकता नहीं है। इस रैखिक अनुमानकर्ता केवल <math>x</math> और <math>y</math> के पहले दो केंद्रबिन्दु के आधार पर ही निर्भर करता है। इसलिए यह सुविधा होती है कि हम यह मानें कि <math>x</math> और <math>y</math> संयुक्त गौसियन हैं, परंतु इस अनुमान को करने के लिए यह ज़रूरी नहीं है, जिससे लंबित वितरण का अनुमान किया जा सके, जिसकी पहली और दूसरी केंद्रबिन्दु से अच्छी तरह परिभाषित हैं। रैखिक अनुमानकर्ता का रूप उस अनुमानित आधारित वितरण के प्रकार पर नहीं निर्भर करता है।:
:<math>b = \bar{x} - W \bar{y},</math> :<math> W = C_{XY}C^{-1}_{Y}.</math>
 
कहाँ <math>\bar{x} = \operatorname{E}\{x\}</math>, <math>\bar{y} = \operatorname{E}\{y\},</math>  <math>C_{XY}</math> के बीच क्रॉस-कोवेरिएंस मैट्रिक्स है <math>x</math> और <math>y</math>, <math>C_{Y}</math> का ऑटो-कोवेरिएंस मैट्रिक्स है <math>y</math>.
इष्टतम के लिए अभिव्यक्ति <math>b</math> और <math>W</math> द्वारा दिया गया है:  
:<math>b = \bar{x} - W \bar{y},</math>:<math> W = C_{XY}C^{-1}_{Y}.</math>
यहाँ <math>\bar{x} = \operatorname{E}\{x\}</math>, <math>\bar{y} = \operatorname{E}\{y\},</math>  <math>C_{XY}</math> के बीच क्रॉस-कोवेरिएंस <math>x</math> और <math>y</math>, आव्यूह है <math>C_{Y}</math> का ऑटो-कोवेरिएंस आव्यूह है .


इस प्रकार, रैखिक एमएमएसई अनुमानक, इसके माध्य और इसके ऑटो-सहप्रसरण के लिए अभिव्यक्ति दी गई है
इस प्रकार, रैखिक एमएमएसई अनुमानक, इसके माध्य और इसके ऑटो-सहप्रसरण के लिए अभिव्यक्ति दी गई है
Line 46: Line 70:
:<math>\operatorname{E}\{\hat{x}\} = \bar{x},</math>
:<math>\operatorname{E}\{\hat{x}\} = \bar{x},</math>
:<math>C_{\hat{X}} = C_{XY} C^{-1}_Y C_{YX},</math>
:<math>C_{\hat{X}} = C_{XY} C^{-1}_Y C_{YX},</math>
जहां <math>C_{YX}</math> के बीच क्रॉस-कोवेरिएंस मैट्रिक्स है <math>y</math> और <math>x</math>.
जहां <math>C_{YX}</math> के बीच क्रॉस-कोवेरिएंस आव्यूह  है <math>y</math> और <math>x</math>.


अंत में, ऐसे अनुमानक द्वारा प्राप्त होने वाली त्रुटि सहप्रसरण और न्यूनतम माध्य वर्ग त्रुटि है
अंत में, ऐसे अनुमानक द्वारा प्राप्त होने वाली त्रुटि सहप्रसरण और न्यूनतम माध्य वर्ग त्रुटि है
Line 53: Line 77:
:<math>\operatorname{LMMSE} = \operatorname{tr} \{C_e\}.</math>
:<math>\operatorname{LMMSE} = \operatorname{tr} \{C_e\}.</math>


{{hidden begin|border=1px #aaa solid|title={{center|Derivation using orthogonality principle}}}}
{{hidden begin|border=1px #aaa solid|title={{केंद्र|ऑर्थोगोनैलिटी सिद्धांत का उपयोग करके व्युत्पत्ति}}}}


आइए हमारे पास इष्टतम रैखिक एमएमएसई अनुमानक दिया गया है <math>\hat{x} = Wy+b</math>, जहां हमें इसके लिए अभिव्यक्ति ढूंढने की आवश्यकता होती है <math>W</math> और <math>b</math>. यह आवश्यक है कि एमएमएसई अनुमानक निष्पक्ष हो। इसका मतलब यह है,
आइए हमारे पास इष्टतम रैखिक एमएमएसई अनुमानक दिया गया है <math>\hat{x} = Wy+b</math>, जहां हमें इसके लिए अभिव्यक्ति ढूंढने की आवश्यकता होती है <math>W</math> और <math>b</math>. यह आवश्यक है कि एमएमएसई अनुमानक निष्पक्ष हो। इसका मतलब यह है,
Line 119: Line 143:
{{hidden end}}
{{hidden end}}


=== अविभाज्य मामला ===
===अविभाज्य स्थिति ===
विशेष मामले के लिए जब दोनों <math>x</math> और <math>y</math> अदिश हैं, उपरोक्त संबंध को सरल बनाते हैं
विशेष स्थिति के लिए जब दोनों <math>x</math> और <math>y</math> अदिश हैं, उपरोक्त संबंध को सरल बनाते हैं


:<math> \hat{x} = \frac{\sigma_{XY}}{\sigma_Y^2}(y-\bar{y}) + \bar{x} = \rho \frac{\sigma_{X}}{\sigma_Y}(y-\bar{y}) + \bar{x},</math> :<math>\sigma^2_e = \sigma_X^2 - \frac{\sigma_{XY}^2}{\sigma_Y^2} = (1 - \rho^2)\sigma_X^2,</math>
:<math> \hat{x} = \frac{\sigma_{XY}}{\sigma_Y^2}(y-\bar{y}) + \bar{x} = \rho \frac{\sigma_{X}}{\sigma_Y}(y-\bar{y}) + \bar{x},</math> :<math>\sigma^2_e = \sigma_X^2 - \frac{\sigma_{XY}^2}{\sigma_Y^2} = (1 - \rho^2)\sigma_X^2,</math>
कहाँ <math>\rho = \frac{\sigma_{XY}}{\sigma_X \sigma_Y}</math> के बीच पियर्सन का सहसंबंध गुणांक है <math>x</math> और <math>y</math>.
यहाँ <math>\rho = \frac{\sigma_{XY}}{\sigma_X \sigma_Y}</math> के बीच पियर्सन का सहसंबंध गुणांक <math>x</math> और <math>y</math> है


उपरोक्त दो समीकरण हमें सहसंबंध गुणांक की व्याख्या रैखिक प्रतिगमन के सामान्यीकृत ढलान के रूप में करने की अनुमति देते हैं
उपरोक्त दो समीकरण हमें सहसंबंध गुणांक की व्याख्या रैखिक प्रतिगमन के सामान्यीकृत ढलान के रूप में करने की अनुमति देते हैं
Line 132: Line 156:
:<math>\rho^2 = \frac{\sigma_X^2 - \sigma_e^2}{\sigma_X^2} = \frac{\sigma^2_{\hat{X}}}{\sigma^2_X}</math>.
:<math>\rho^2 = \frac{\sigma_X^2 - \sigma_e^2}{\sigma_X^2} = \frac{\sigma^2_{\hat{X}}}{\sigma^2_X}</math>.


कब <math>\rho = 0</math>, अपने पास <math>\hat{x} = \bar{x}</math> और <math>\sigma^2_e = \sigma_X^2</math>. इस मामले में, माप से कोई नई जानकारी नहीं मिलती है जो अनिश्चितता को कम कर सके <math>x</math>. दूसरी ओर, जब <math>\rho = \pm 1</math>, अपने पास <math>\hat{x} = \frac{\sigma_{XY}}{\sigma_Y}(y-\bar{y}) + \bar{x}</math> और <math>\sigma^2_e = 0</math>. यहाँ <math>x</math> द्वारा पूर्णतः निर्धारित होता है <math>y</math>, जैसा कि सीधी रेखा के समीकरण द्वारा दिया गया है।
तब <math>\rho = 0</math>, अपने पास <math>\hat{x} = \bar{x}</math> और <math>\sigma^2_e = \sigma_X^2</math>. इस स्थिति में, माप से कोई नई जानकारी नहीं मिलती है जो <math>x</math> अनिश्चितता को कम कर सके  दूसरी ओर, जब <math>\rho = \pm 1</math>, अपने पास <math>\hat{x} = \frac{\sigma_{XY}}{\sigma_Y}(y-\bar{y}) + \bar{x}</math> और <math>\sigma^2_e = 0</math>. यहाँ <math>x</math> द्वारा <math>y</math> पूर्णतः निर्धारित होता है, जैसा कि सीधी रेखा के समीकरण द्वारा दिया गया है।


===गणना===
===गणना===
मैट्रिक्स समीकरण को हल करने के लिए [[गॉस उन्मूलन]] जैसी मानक विधि का उपयोग किया जा सकता है <math>W</math>. [[क्यूआर अपघटन]] विधि द्वारा एक अधिक संख्यात्मक रूप से स्थिर विधि प्रदान की जाती है। मैट्रिक्स के बाद से <math>C_Y</math> एक सममित सकारात्मक निश्चित मैट्रिक्स है, <math>W</math> चोल्स्की अपघटन के साथ दोगुनी तेजी से हल किया जा सकता है, जबकि बड़ी विरल प्रणालियों के लिए संयुग्म ग्रेडिएंट विधि अधिक प्रभावी है। [[लेविंसन रिकर्सन]] एक तेज़ विधि है जब <math>C_Y</math> एक Toeplitz मैट्रिक्स भी है। ऐसा तब हो सकता है जब <math>y</math> एक [[व्यापक अर्थ स्थिर]] प्रक्रिया है. ऐसे स्थिर मामलों में, इन अनुमानकों को वीनर फ़िल्टर|वीनर-कोलमोगोरोव फ़िल्टर भी कहा जाता है।
सामान्य विधि जैसे [[गौस-समाप्ति]] का उपयोग <math>W</math> के लिए आव्यूह समीकरण को हल करने के लिए किया जा सकता है। एक और संख्यात्मक रूप से स्थिर विधि [[QR विघटन]] विधि द्वारा प्रदान किया जाता है। क्योंकि आव्यूह  <math>C_Y</math> एक संघात सकारात्मक निर्धारित आव्यूह है, इसलिए <math>W</math> को [[कोलेस्की विघटन]] के साथ दो बार तत्काल हल किया जा सकता है, जबकि बड़े विरल प्रणालियों के लिए [[संयुक्त अभियोजन विधि]] अधिक प्रभावी है। [[लेविन्सन पुनरावर्तन]] वह समयवेगीय विधि है जब <math>C_Y</math> एक भी [[टोएप्लिट्ज़ मैट्रिक्स|टोएप्लिट्ज़ आव्यूह]] है। यह इसलिए हो सकता है कि <math>y</math> एक [[वाइड सेंस स्थिर]] प्रक्रिया है। इस तरह के स्थिर केस में, इन अनुमानकर्ताओं को भी [[विनर फिल्टर|विनर-कोल्मोगोरोव फ़िल्टर]] भी कहा जाता है।
 
 
 
 
 
 
 
 
 
 


==रैखिक अवलोकन प्रक्रिया के लिए रैखिक एमएमएसई अनुमानक==
==रैखिक अवलोकन प्रक्रिया के लिए रैखिक एमएमएसई अनुमानक==
आइए हम अवलोकन की अंतर्निहित प्रक्रिया को एक रैखिक प्रक्रिया के रूप में आगे मॉडल करें: <math>y=Ax+z</math>, कहाँ <math>A</math> एक ज्ञात मैट्रिक्स है और <math>z</math> माध्य के साथ यादृच्छिक शोर वेक्टर है <math>\operatorname{E}\{z\}=0</math> और क्रॉस-सहप्रसरण <math>C_{XZ} = 0</math>. यहां आवश्यक माध्य और सहप्रसरण आव्यूह होंगे
आइए हम अवलोकन की अंतर्निहित प्रक्रिया को एक रैखिक प्रक्रिया के रूप में आगे प्रारूपित करें:
 
<math>y=Ax+z</math>, यहाँ <math>A</math> एक ज्ञात आव्यूह है और <math>z</math> माध्य के साथ यादृच्छिक शोर सदिश <math>\operatorname{E}\{z\}=0</math> और क्रॉस-सहप्रसरण <math>C_{XZ} = 0</math> है यहां आवश्यक माध्य और सहप्रसरण आव्यूह होंगे:


:<math>\operatorname{E}\{y\} = A\bar{x},</math>
:<math>\operatorname{E}\{y\} = A\bar{x},</math>
:<math>C_Y = AC_XA^T + C_Z,</math> :<math>C_{XY} = C_X A^T .</math>
:<math>C_Y = AC_XA^T + C_Z,</math> :<math>C_{XY} = C_X A^T .</math>
इस प्रकार रैखिक एमएमएसई अनुमानक मैट्रिक्स के लिए अभिव्यक्ति <math>W</math> आगे संशोधित करता है
इस प्रकार रैखिक एमएमएसई अनुमानक आव्यूह के लिए अभिव्यक्ति <math>W</math> आगे संशोधित करता है  


:<math>W = C_X A^T(AC_XA^T + C_Z)^{-1} .</math>
:<math>W = C_X A^T(AC_XA^T + C_Z)^{-1} .</math>
के लिए अभिव्यक्ति में सब कुछ डालना <math>\hat{x}</math>, हम पाते हैं
प्रत्येक वस्तु को <math>\hat{x}</math> के लिए एक अभिव्यक्ति में रखते हुए, हम निम्नलिखित प्राप्त करते हैं


:<math>\hat{x} = C_X A^T(AC_XA^T + C_Z)^{-1}(y-A\bar{x}) + \bar{x}.</math>
:<math>\hat{x} = C_X A^T(AC_XA^T + C_Z)^{-1}(y-A\bar{x}) + \bar{x}.</math>
Line 151: Line 187:


:<math>C_e = C_X - C_{\hat{X}} = C_X - C_X A^T(AC_XA^T + C_Z)^{-1}AC_X .</math>
:<math>C_e = C_X - C_{\hat{X}} = C_X - C_X A^T(AC_XA^T + C_Z)^{-1}AC_X .</math>
ऊपर दी गई अनुमान समस्या और न्यूनतम वर्गों और गॉस-मार्कोव प्रमेय | गॉस-मार्कोव अनुमान के बीच महत्वपूर्ण अंतर यह है कि अवलोकनों की संख्या एम, (यानी का आयाम) <math>y</math>) कम से कम अज्ञातों की संख्या जितनी बड़ी नहीं होनी चाहिए, n, (अर्थात् का आयाम)। <math>x</math>). रैखिक अवलोकन प्रक्रिया का अनुमान एम-बाय-एम मैट्रिक्स तक मौजूद रहता है <math>(AC_XA^T + C_Z)^{-1}</math> मौजूद; यह किसी भी एम के लिए मामला है, उदाहरण के लिए, <math>C_Z</math> सकारात्मक निश्चित है. भौतिक रूप से इस संपत्ति का कारण यह है कि तब से <math>x</math> अब एक यादृच्छिक चर है, बिना किसी माप के भी एक सार्थक अनुमान (अर्थात् इसका माध्य) बनाना संभव है। प्रत्येक नया माप बस अतिरिक्त जानकारी प्रदान करता है जो हमारे मूल अनुमान को संशोधित कर सकता है। इस अनुमान की एक अन्य विशेषता यह है कि m < n के लिए, कोई माप त्रुटि आवश्यक नहीं है। इस प्रकार, हमारे पास हो सकता है <math>C_Z = 0</math>, क्योंकि जब तक <math>AC_XA^T</math> सकारात्मक निश्चित है, अनुमान अभी भी मौजूद है। अंत में, यह तकनीक उन मामलों को संभाल सकती है जहां शोर सहसंबद्ध है।
ऊपर दी गई अनुमान समस्या और न्यूनतम वर्गों और गॉस-मार्कोव प्रमेय अनुमान के बीच महत्वपूर्ण अंतर यह है कि अवलोकनों की संख्या m, कम से कम n अज्ञातों की संख्या जितनी बड़ी नहीं होनी चाहिए, रैखिक अवलोकन प्रक्रिया का अनुमान m से m आव्यूह तक <math>(AC_XA^T + C_Z)^{-1}</math> उपस्थित रहता है, यह किसी भी m के लिए स्थिति है, उदाहरण के लिए, <math>C_Z</math> सकारात्मक निश्चित है भौतिक रूप से इस गुण का कारण यह है कि तब से <math>x</math> अब एक यादृच्छिक चर है, बिना किसी माप के भी एक सार्थक अनुमान अर्थात् इसका माध्य) बनाना संभव है। प्रत्येक नया माप बस अतिरिक्त जानकारी प्रदान करता है जो हमारे मूल अनुमान को संशोधित कर सकता है। इस अनुमान की एक अन्य विशेषता यह है कि m < n के लिए, कोई माप त्रुटि आवश्यक नहीं है। इस प्रकार, हमारे पास यह हो सकता है कि <math>C_Z = 0</math> क्योंकि जब तक<math>AC_XA^T</math> सकारात्मक प्रतिनिधि है, तब भी अनुमान बनता है। अंततः, यह तकनीक वहाँ भी उपयुक्त हो सकती है जहां शोर इकट्ठा होता है।


===वैकल्पिक रूप===
===वैकल्पिक रूप===
मैट्रिक्स पहचान का उपयोग करके अभिव्यक्ति का एक वैकल्पिक रूप प्राप्त किया जा सकता है
आव्यूह पहचान का उपयोग करके अभिव्यक्ति का एक वैकल्पिक रूप प्राप्त किया जा सकता है
:<math>C_X A^T(AC_XA^T + C_Z)^{-1} = (A^TC_Z^{-1}A + C_X^{-1})^{-1} A^T C_Z^{-1},</math>
:<math>C_X A^T(AC_XA^T + C_Z)^{-1} = (A^TC_Z^{-1}A + C_X^{-1})^{-1} A^T C_Z^{-1},</math>
जिसे बाद में गुणा करके स्थापित किया जा सकता है <math>(AC_XA^T + C_Z)</math> और पूर्व-गुणा करके <math>(A^TC_Z^{-1}A + C_X^{-1}),</math> प्राप्त करने के लिए
जिसे बाद में गुणा करके स्थापित किया जा सकता है <math>(AC_XA^T + C_Z)</math> और पूर्व-गुणा करके <math>(A^TC_Z^{-1}A + C_X^{-1}),</math> प्राप्त करने के लिए
Line 160: Line 196:
:<math>W = (A^TC_Z^{-1}A + C_X^{-1})^{-1} A^TC_Z^{-1},</math> और
:<math>W = (A^TC_Z^{-1}A + C_X^{-1})^{-1} A^TC_Z^{-1},</math> और
:<math>C_e = (A^TC_Z^{-1}A + C_X^{-1})^{-1}.</math>
:<math>C_e = (A^TC_Z^{-1}A + C_X^{-1})^{-1}.</math>
तब से <math>W</math> अब के संदर्भ में लिखा जा सकता है <math>C_e</math> जैसा <math>W = C_e A^T C_Z^{-1}</math>, हमें इसके लिए एक सरलीकृत अभिव्यक्ति मिलती है <math>\hat{x}</math> जैसा
तब से <math>W</math> अब के संदर्भ में लिखा जा सकता है <math>C_e</math> जैसा <math>W = C_e A^T C_Z^{-1}</math>, हमें इसके लिए एक सरलीकृत <math>\hat{x}</math> अभिव्यक्ति मिलती है  जैसा


:<math>\hat{x} = C_e A^T C_Z^{-1}(y-A\bar{x}) + \bar{x}.</math>
:<math>\hat{x} = C_e A^T C_Z^{-1}(y-A\bar{x}) + \bar{x}.</math>
इस रूप में उपरोक्त अभिव्यक्ति की तुलना न्यूनतम वर्ग#भारित न्यूनतम वर्ग और गॉस-मार्कोव प्रमेय|गॉस-मार्कोव अनुमान से आसानी से की जा सकती है। विशेषकर, जब <math>C_X^{-1}=0</math>, संबंधित पूर्ववर्ती जानकारी के अनंत भिन्नता के अनुरूप <math>x</math>, परिणाम <math>W = (A^TC_Z^{-1}A)^{-1} A^TC_Z^{-1}</math> भारित रैखिक न्यूनतम वर्ग अनुमान के समान है <math>C_Z^{-1}</math> वजन मैट्रिक्स के रूप में. इसके अलावा, यदि के घटक <math>z</math> असंबंधित हैं और इनमें समान भिन्नता है <math>C_Z = \sigma^2 I,</math> कहाँ <math>I</math> तो, एक पहचान मैट्रिक्स है <math>W = (A^TA)^{-1}A^T</math> सामान्य न्यूनतम वर्ग अनुमान के समान है।
इस रूप में उपरोक्त अभिव्यक्ति की तुलना न्यूनतम वर्ग भारित न्यूनतम वर्ग और गॉस-मार्कोव प्रमेय अनुमान सरलता से की जा सकती है। विशेषकर, जब <math>C_X^{-1}=0</math>, संबंधित पूर्ववर्ती जानकारी के अनंत भिन्नता <math>x</math> के अनुरूप, परिणाम <math>W = (A^TC_Z^{-1}A)^{-1} A^TC_Z^{-1}</math> भारित रैखिक न्यूनतम वर्ग अनुमान के समान <math>C_Z^{-1}</math> भारित आव्यूह के रूप में है।  इसके अतिरिक्त, यदि के घटक <math>z</math> असंबंधित हैं और इनमें समान भिन्नता <math>C_Z = \sigma^2 I,</math>है यहाँ <math>I</math> तो, एक पहचान आव्यूह <math>W = (A^TA)^{-1}A^T</math> है तो सामान्य न्यूनतम वर्ग अनुमान के समान है।


==अनुक्रमिक रैखिक एमएमएसई अनुमान==
==अनुक्रमिक रैखिक एमएमएसई अनुमान==
कई वास्तविक समय अनुप्रयोगों में, अवलोकन संबंधी डेटा एक ही बैच में उपलब्ध नहीं होता है। इसके बजाय अवलोकन एक क्रम में किए जाते हैं। एक संभावित दृष्टिकोण पुराने अनुमान को अद्यतन करने के लिए अनुक्रमिक अवलोकनों का उपयोग करना है क्योंकि अतिरिक्त डेटा उपलब्ध हो जाता है, जिससे बेहतर अनुमान प्राप्त होते हैं। बैच अनुमान और अनुक्रमिक अनुमान के बीच एक महत्वपूर्ण अंतर यह है कि अनुक्रमिक अनुमान के लिए अतिरिक्त मार्कोव धारणा की आवश्यकता होती है।
कई वास्तविक समय अनुप्रयोगों में, अवलोकन संबंधी डेटा एक ही बैच में उपलब्ध नहीं होता है। इसके अतिरिक्त अवलोकन एक क्रम में किए जाते हैं। एक संभावित दृष्टिकोण पुराने अनुमान को अद्यतन करने के लिए अनुक्रमिक अवलोकनों का उपयोग करना है क्योंकि अतिरिक्त डेटा उपलब्ध हो जाता है, जिससे बेहतर अनुमान प्राप्त होते हैं। बैच अनुमान और अनुक्रमिक अनुमान के बीच एक महत्वपूर्ण अंतर यह है कि अनुक्रमिक अनुमान के लिए अतिरिक्त मार्कोव धारणा की आवश्यकता होती है।


बायेसियन ढांचे में, बायेस नियम का उपयोग करके ऐसे पुनरावर्ती अनुमान को आसानी से सुविधाजनक बनाया जा सकता है। दिया गया <math>k</math> अवलोकन, <math>y_1, \ldots, y_k</math>, बेयस का नियम हमें पश्च घनत्व देता है <math>x_k</math> जैसा
बायेसियन ढांचे में, बायेस नियम का उपयोग करके ऐसे पुनरावर्ती अनुमान को सरलता से सुविधाजनक बनाया जा सकता है। दिया गया <math>k</math> अवलोकन, <math>y_1, \ldots, y_k</math>, बेयस का नियम हमें पश्च घनत्व <math>x_k</math> देता है जैसा


:<math>
:<math>
Line 177: Line 213:
</math>
</math>


  <math>p(x_k|y_1, \ldots, y_k)</math> h> को पश्च घनत्व कहा जाता है, <math>p(y_k|x_k)</math> संभाव्यता फलन कहलाता है, और <math>p(x_k|y_1, \ldots, y_{k-1})</math> k-वें समय चरण का पूर्व घनत्व है। यहां हमने सशर्त स्वतंत्रता की कल्पना की है <math>y_k</math> पिछले अवलोकनों से <math>y_1, \ldots, y_{k-1}</math> दिया गया <math>x</math> जैसा
  यहां <math>p(x_k|y_1, \ldots, y_k)</math> h> को पश्च घनत्व कहा जाता है, <math>p(y_k|x_k)</math> संभाव्यता फलन कहलाता है, और <math>p(x_k|y_1, \ldots, y_{k-1})</math> को k-वें समय-चरण का प्राथमिक घनत्व कहा जाता है। यहां हमने <math>y_k</math> को पूर्विक अवलोकन  <math>y_1, \ldots, y_{k-1}</math> दिए गए <math>x</math> के लिए शर्ताधीन स्वतंत्रता के रूप में मान लिया गया है।
 
:<math>p(y_k|x_k,y_1,\ldots,y_{k-1}) = p(y_k|x_k).</math> यह मार्कोव धारणा है.
 
एमएमएसई अनुमान <math>\hat{x}_k</math> यदि k-वें अवलोकन दिया गया है तो यह पश्च घनत्व का माध्य है <math>p(x_k|y_1,\ldots, y_k)</math>. राज्य कैसे है, इस पर गतिशील जानकारी की कमी के साथ <math>x</math> समय के साथ परिवर्तन, हम पूर्व के बारे में एक और स्थिरता की धारणा बनाएंगे:


:<math>p(y_k|x_k,y_1,\ldots,y_{k-1}) = p(y_k|x_k).</math>
:यह मार्कोव धारणा है:
:एमएमएसई अनुमान <math>\hat{x}_k</math> जो कि k-वें अवलोकन के आधार पर है, वह पश्च घनत्व  <math>p(x_k|y_1,\ldots, y_k)</math> का औसत है। यदि हमारे पास क्षेत्र, <math>x</math> के समय के साथ कैसे बदलता है के बारे में गतिशील जानकारी न हो, तो हम प्राथमिकता के बारे में एक अतिरिक्त स्थिरता कल्पना करेंगे:
:<math>p(x_k|y_1, \ldots, y_{k-1}) = p(x_{k-1}|y_1, \ldots, y_{k-1}).</math>
:<math>p(x_k|y_1, \ldots, y_{k-1}) = p(x_{k-1}|y_1, \ldots, y_{k-1}).</math>
इस प्रकार, k-वें समय चरण के लिए पूर्व घनत्व (k-1)-वें समय चरण का पश्च घनत्व है। यह संरचना हमें अनुमान के लिए एक पुनरावर्ती दृष्टिकोण तैयार करने की अनुमति देती है।
इस प्रकार, k-वें समय चरण के लिए पूर्व घनत्व (k-1)-वें समय चरण का पश्च घनत्व है। यह संरचना हमें अनुमान के लिए एक पुनरावर्ती दृष्टिकोण तैयार करने की अनुमति देती है।


रैखिक एमएमएसई अनुमानक के संदर्भ में, अनुमान के सूत्र का रूप पहले जैसा ही होगा: <math>\hat{x} = C_{XY}C^{-1}_{Y}(y-\bar{y}) + \bar{x}.</math> हालाँकि, माध्य और सहप्रसरण मैट्रिक्स <math>X</math> और <math>Y</math> पूर्व घनत्व वाले लोगों द्वारा प्रतिस्थापित करने की आवश्यकता होगी <math>p(x_k|y_1,\ldots, y_{k-1})</math> और संभावना <math>p(y_k|x_k)</math>, क्रमश।
रैखिक एमएमएसई अनुमानक के संदर्भ में, अनुमान के सूत्र का रूप पहले जैसा ही होगा: <math>\hat{x} = C_{XY}C^{-1}_{Y}(y-\bar{y}) + \bar{x}.</math>


पूर्व घनत्व के लिए <math>p(x_k|y_1, \ldots, y_{k-1})</math>, इसका माध्य पिछले एमएमएसई अनुमान द्वारा दिया गया है,
यद्यपि, माध्य और सहप्रसरण आव्यूह  <math>X</math> और <math>Y</math> पूर्व घनत्व वाले लोगों द्वारा प्रतिस्थापित करने की आवश्यकता होगी <math>p(x_k|y_1,\ldots, y_{k-1})</math> और संभावना <math>p(y_k|x_k)</math>, क्रमश पूर्व घनत्व के लिए <math>p(x_k|y_1, \ldots, y_{k-1})</math>, इसका माध्य पिछले एमएमएसई अनुमान द्वारा दिया गया है,


:<math>\bar{x}_{k}=\mathrm{E}[x_k|y_1,\ldots,y_{k-1}]=\mathrm{E}[x_{k-1}|y_1,\ldots,y_{k-1}]=\hat{x}_{k-1}</math>,
:<math>\bar{x}_{k}=\mathrm{E}[x_k|y_1,\ldots,y_{k-1}]=\mathrm{E}[x_{k-1}|y_1,\ldots,y_{k-1}]=\hat{x}_{k-1}</math>,


और इसका सहप्रसरण मैट्रिक्स पिछली त्रुटि सहप्रसरण मैट्रिक्स द्वारा दिया गया है,
और इसका सहप्रसरण आव्यूह पिछली त्रुटि सहप्रसरण आव्यूह द्वारा दिया गया है,


:<math>C_{X_k|Y_1,\ldots,Y_{k-1}} = C_{X_{k-1}|Y_1,\ldots,Y_{k-1}} = C_{e_{k-1}},</math> एमएमएसई अनुमानकों के गुणों और स्थिरता धारणा के अनुसार।
एमएमएसई अनुमानकों के गुणों और स्थिरता धारणा के अनुसार:


इसी प्रकार, रैखिक अवलोकन प्रक्रिया के लिए, संभावना का माध्य <math>p(y_k|x_k)</math> द्वारा दिया गया है <math>\bar{y}_k = A\bar{x}_k = A\hat{x}_{k-1}</math> और सहप्रसरण मैट्रिक्स पहले जैसा है
:<math>C_{X_k|Y_1,\ldots,Y_{k-1}} = C_{X_{k-1}|Y_1,\ldots,Y_{k-1}} = C_{e_{k-1}},</math>
 
इसी प्रकार, रैखिक अवलोकन प्रक्रिया के लिए, संभावना का माध्य <math>p(y_k|x_k)</math> द्वारा <math>\bar{y}_k = A\bar{x}_k = A\hat{x}_{k-1}</math> दिया गया है और सहप्रसरण आव्यूह पहले जैसा है  


:<math>
:<math>
Line 204: Line 241:
</math>.
</math>.


के अनुमानित मूल्य के बीच का अंतर <math>Y_k</math>, जैसा कि दिया गया है <math>\bar{y}_k = A\hat{x}_{k-1}</math>, और इसका अवलोकित मूल्य <math>y_k</math> भविष्यवाणी त्रुटि देता है <math>\tilde{y}_k = y_k - \bar{y}_k</math>, जिसे नवप्रवर्तन या अवशिष्ट भी कहा जाता है। भविष्यवाणी त्रुटि के संदर्भ में रैखिक एमएमएसई का प्रतिनिधित्व करना अधिक सुविधाजनक है, जिसका माध्य और सहप्रसरण हैं <math>\mathrm{E}[\tilde{y}_k] = 0</math> और <math>C_{\tilde{Y}_k} = C_{Y_k|X_k}</math>.
के अनुमानित मूल्य के बीच का अंतर <math>Y_k</math>, जैसा कि दिया गया है <math>\bar{y}_k = A\hat{x}_{k-1}</math>, और इसका अवलोकित मूल्य <math>y_k</math> भविष्यवाणी त्रुटि <math>\tilde{y}_k = y_k - \bar{y}_k</math>, देता है जिसे नवप्रवर्तन या अवशिष्ट भी कहा जाता है। भविष्यवाणी त्रुटि के संदर्भ में रैखिक एमएमएसई का प्रतिनिधित्व करना अधिक सुविधाजनक है, जिसका माध्य और सहप्रसरण <math>\mathrm{E}[\tilde{y}_k] = 0</math> और <math>C_{\tilde{Y}_k} = C_{Y_k|X_k}</math> हैं।


इसलिए, अनुमान अद्यतन सूत्र में, हमें प्रतिस्थापित करना चाहिए <math>\bar{x}</math> और <math>C_X</math> द्वारा <math>\hat{x}_{k-1}</math> और <math>C_{e_{k-1}}</math>, क्रमश। इसके अलावा, हमें प्रतिस्थापित करना चाहिए <math>\bar{y}</math> और <math>C_Y</math> द्वारा <math>\bar{y}_{k-1}</math> और <math>C_{\tilde{Y}_k}</math>. अंत में, हम प्रतिस्थापित करते हैं <math>C_{XY}</math> द्वारा
इसलिए, अनुमान अद्यतन सूत्र <math>\bar{x}</math> और <math>C_X</math> द्वारा <math>\hat{x}_{k-1}</math> और <math>C_{e_{k-1}}</math>, क्रमश हमें प्रतिस्थापित करना चाहिए। इसके अतिरिक्त, <math>\bar{y}</math> और <math>C_Y</math> द्वारा <math>\bar{y}_{k-1}</math> और <math>C_{\tilde{Y}_k}</math>. अंत में,<math>C_{XY}</math> द्वारा हम प्रतिस्थापित करते हैं:


:<math>
:<math>
Line 213: Line 250:
\end{align}
\end{align}
</math>
</math>
इस प्रकार, हमारे पास नया अनुमान नए अवलोकन के रूप में है <math>y_k</math> के रूप में आता है
इस प्रकार, हमारे पास नया अनुमान नए अवलोकन के रूप में <math>y_k</math>आता है
:<math>  
:<math>  
\begin{align}
\begin{align}
Line 222: Line 259:
और नई त्रुटि सहप्रसरण के रूप में
और नई त्रुटि सहप्रसरण के रूप में
:<math>C_{e_k} = C_{e_{k-1}} - C_{e_{k-1}}A^T(AC_{e_{k-1}}A^T + C_Z)^{-1}AC_{e_{k-1}}.</math>
:<math>C_{e_k} = C_{e_{k-1}} - C_{e_{k-1}}A^T(AC_{e_{k-1}}A^T + C_Z)^{-1}AC_{e_{k-1}}.</math>
रैखिक बीजगणित के दृष्टिकोण से, अनुक्रमिक अनुमान के लिए, यदि हमारे पास कोई अनुमान है <math>\hat{x}_1</math> माप के आधार पर स्थान उत्पन्न करना <math>Y_1</math>, फिर माप का एक और सेट प्राप्त करने के बाद, हमें इन मापों से वह हिस्सा घटा देना चाहिए जिसका पहले माप के परिणाम से अनुमान लगाया जा सकता है। दूसरे शब्दों में, अद्यतनीकरण नए डेटा के उस हिस्से पर आधारित होना चाहिए जो पुराने डेटा के लिए ऑर्थोगोनल है।
रैखिक बीजगणित के दृष्टिकोण से, अनुक्रमिक अनुमान के लिए, यदि हमारे पास कोई अनुमान <math>\hat{x}_1</math>है माप के आधार पर स्थान उत्पन्न करना <math>Y_1</math>, फिर माप का एक और समुच्चय प्राप्त करने के बाद, हमें इन मापों से वह भाग घटा देना चाहिए जिसका पहले माप के परिणाम से अनुमान लगाया जा सकता है। दूसरे शब्दों में, अद्यतनीकरण नए डेटा के उस हिस्से पर आधारित होना चाहिए जो पुराने डेटा के लिए ऑर्थोगोनल है।


अधिक अवलोकन उपलब्ध होने पर उपरोक्त दो समीकरणों का बार-बार उपयोग पुनरावर्ती अनुमान तकनीकों को जन्म देता है। भावों को अधिक संक्षिप्त रूप में लिखा जा सकता है
अधिक अवलोकन उपलब्ध होने पर उपरोक्त दो समीकरणों का बार-बार उपयोग पुनरावर्ती अनुमान तकनीकों को उत्पन्न करता है। तथा इन भावों को अधिक संक्षिप्त रूप में लिखा जा सकता है


:<math>W_{k} = C_{e_{k-1}} A^T(AC_{e_{k-1}}A^T + C_Z)^{-1},</math>
:<math>W_{k} = C_{e_{k-1}} A^T(AC_{e_{k-1}}A^T + C_Z)^{-1},</math>
:<math>\hat{x}_{k} = \hat{x}_{k-1} + W_{k} (y_{k}-A\hat{x}_{k-1}),</math>
:<math>\hat{x}_{k} = \hat{x}_{k-1} + W_{k} (y_{k}-A\hat{x}_{k-1}),</math>
:<math>C_{e_{k}} = (I - W_{k} A)C_{e_{k-1}}.</math>
:<math>C_{e_{k}} = (I - W_{k} A)C_{e_{k-1}}.</math>
गणित का सवाल <math>W_k</math> इसे अक्सर कलमन लाभ कारक के रूप में जाना जाता है। उपरोक्त एल्गोरिदम का वैकल्पिक सूत्रीकरण देगा
आव्यूह <math>W_k</math> इसे प्रायः कलमन लाभ कारक के रूप में जाना जाता है उपरोक्त कलन विधि का वैकल्पिक सूत्रीकरण देगा


:<math>C_{e_{k}}^{-1} = C_{e_{k-1}}^{-1} + A^T C_Z^{-1} A,</math>
:<math>C_{e_{k}}^{-1} = C_{e_{k-1}}^{-1} + A^T C_Z^{-1} A,</math>
:<math>W_{k} = C_{e_{k}} A^T C_Z^{-1},</math>
:<math>W_{k} = C_{e_{k}} A^T C_Z^{-1},</math>
:<math>\hat{x}_{k} = \hat{x}_{k-1} + W_{k} (y_{k}-A\hat{x}_{k-1}),</math>
:<math>\hat{x}_{k} = \hat{x}_{k-1} + W_{k} (y_{k}-A\hat{x}_{k-1}),</math>
अधिक डेटा उपलब्ध होने पर इन तीन चरणों की पुनरावृत्ति एक पुनरावृत्त अनुमान एल्गोरिदम की ओर ले जाती है। गैर-स्थिर मामलों में इस विचार का सामान्यीकरण कलमन फ़िल्टर को जन्म देता है। ऊपर उल्लिखित तीन अद्यतन चरण वास्तव में कलमन फ़िल्टर का अद्यतन चरण बनाते हैं।
अधिक डेटा उपलब्ध होने पर इन तीन चरणों की पुनरावृत्ति एक पुनरावृत्त अनुमान कलन विधि की ओर ले जाती है। गैर-स्थिर स्थितियों में इस विचार का सामान्यीकरण कलमन फ़िल्टर को जन्म देता है। ऊपर उल्लिखित तीन अद्यतन चरण वास्तव में कलमन फ़िल्टर का अद्यतन चरण बनाते हैं।


===विशेष मामला: अदिश प्रेक्षण===
=== विशेष स्थिति: अदिश प्रेक्षण===
एक महत्वपूर्ण विशेष मामले के रूप में, उपयोग में आसान पुनरावर्ती अभिव्यक्ति तब प्राप्त की जा सकती है जब प्रत्येक k-वें समय पर अंतर्निहित रैखिक अवलोकन प्रक्रिया एक स्केलर उत्पन्न करती है जैसे कि <math>y_k = a_k^T x_k + z_k</math>, कहाँ <math>a_k</math> n-by-1 ज्ञात कॉलम वेक्टर है जिसका मान समय के साथ बदल सकता है, <math>x_k</math> अनुमान लगाने के लिए एन-बाय-1 यादृच्छिक कॉलम वेक्टर है, और <math>z_k</math> विचरण के साथ अदिश शोर शब्द है <math>\sigma_k^2</math>. (k+1)-वें अवलोकन के बाद, उपरोक्त पुनरावर्ती समीकरणों का प्रत्यक्ष उपयोग अनुमान के लिए अभिव्यक्ति देता है <math>\hat{x}_{k+1}</math> जैसा:
एक महत्वपूर्ण विशेष स्थिति के रूप में, उपयोग में आसान पुनरावर्ती अभिव्यक्ति तब प्राप्त की जा सकती है जब प्रत्येक k-वें समय पर अंतर्निहित रैखिक अवलोकन प्रक्रिया एक स्केलर उत्पन्न करती है जैसे कि <math>y_k = a_k^T x_k + z_k</math>, यहाँ <math>a_k</math> n-by-1 ज्ञात कॉलम सदिश    है जिसका मान समय के साथ बदल सकता है, <math>x_k</math>का अनुमान लगाने के लिए n -1 तक यादृच्छिक कॉलम सदिश है, और <math>z_k</math> विचरण के साथ अदिश शोर शब्द <math>\sigma_k^2</math>. है (k+1)-वें अवलोकन के बाद, उपरोक्त पुनरावर्ती समीकरणों का प्रत्यक्ष उपयोग अनुमान के लिए अभिव्यक्ति <math>\hat{x}_{k+1}</math>देता है जैसे :
:<math>\hat{x}_{k+1} = \hat{x}_k + w_{k+1}(y_{k+1} - a^T_{k+1} \hat{x}_k)</math>
:<math>\hat{x}_{k+1} = \hat{x}_k + w_{k+1}(y_{k+1} - a^T_{k+1} \hat{x}_k)</math>
कहाँ <math>y_{k+1}</math> नया अदिश अवलोकन और लाभ कारक है <math>w_{k+1}</math> n-by-1 कॉलम वेक्टर द्वारा दिया गया है
यहाँ <math>y_{k+1}</math> नया अदिश अवलोकन और लाभ कारक है कॉलम सदिश द्वारा <math>w_{k+1}</math> n-1 तक दिया गया है
:<math>w_{k+1} = \frac{C_{e_k} a_{k+1}}{\sigma^2_{k+1} + a^T_{k+1}C_{e_k} a_{k+1}}.</math>  
:<math>w_{k+1} = \frac{C_{e_k} a_{k+1}}{\sigma^2_{k+1} + a^T_{k+1}C_{e_k} a_{k+1}}.</math>
  <math>C_{e_{k+1}}</math> h> द्वारा दिया गया n-by-n त्रुटि सहप्रसरण मैट्रिक्स है
  <math>C_{e_{k+1}}</math> h> द्वारा दिया गया n-n तक त्रुटि सहप्रसरण आव्यूह है
:<math>C_{e_{k+1}} = (I - w_{k+1}a^T_{k+1})C_{e_k} .</math>
:<math>C_{e_{k+1}} = (I - w_{k+1}a^T_{k+1})C_{e_k} .</math>
यहां, किसी मैट्रिक्स व्युत्क्रम की आवश्यकता नहीं है। इसके अलावा, लाभ कारक, <math>w_{k+1}</math>, नए डेटा नमूने में हमारे विश्वास पर निर्भर करता है, जैसा कि पिछले डेटा की तुलना में शोर भिन्नता द्वारा मापा जाता है। के प्रारंभिक मान <math>\hat{x}</math> और <math>C_e</math> पूर्व संभाव्यता घनत्व फ़ंक्शन का माध्य और सहप्रसरण माना जाता है <math>x</math>.
यहां, किसी आव्यूह व्युत्क्रम की आवश्यकता नहीं है। इसके अतिरिक्त, लाभ कारक, <math>w_{k+1}</math>, नए डेटा नमूने में हमारे विश्वास पर निर्भर करता है, जैसा कि पिछले डेटा की तुलना में शोर भिन्नता द्वारा मापा जाता है। के प्रारंभिक मान <math>\hat{x}</math> और <math>C_e</math> पूर्व संभाव्यता घनत्व <math>x</math> फलन  का माध्य और सहप्रसरण माना जाता है.


वैकल्पिक दृष्टिकोण: इस महत्वपूर्ण विशेष मामले ने कई अन्य पुनरावृत्त तरीकों (या [[अनुकूली फ़िल्टर]]) को भी जन्म दिया है, जैसे कि [[न्यूनतम माध्य वर्ग फ़िल्टर]] और [[पुनरावर्ती न्यूनतम वर्ग फ़िल्टर]], जो स्टोकेस्टिक ग्रेडिएंट डीसेंट का उपयोग करके मूल एमएसई अनुकूलन समस्या को सीधे हल करता है। हालाँकि, अनुमान त्रुटि के बाद से <math>e</math> सीधे तौर पर नहीं देखा जा सकता, ये विधियाँ माध्य वर्ग पूर्वानुमान त्रुटि को कम करने का प्रयास करती हैं <math>\mathrm{E}\{\tilde{y}^T \tilde{y}\}</math>. उदाहरण के लिए, अदिश प्रेक्षणों के मामले में, हमारे पास ग्रेडिएंट है <math>\nabla_{\hat{x}} \mathrm{E}\{\tilde{y}^2\} = -2 \mathrm{E}\{\tilde{y} a\}.</math> इस प्रकार, न्यूनतम माध्य वर्ग फ़िल्टर के लिए अद्यतन समीकरण इस प्रकार दिया गया है
'''विकल्प दृष्टिकोण:''' यह महत्वपूर्ण विशेष स्थिति ने भी अनेक अन्य अनुक्रमीणी विधियों का उद्भव किया है, जैसे कि न्यूनतम मान वाले फ़िल्टर और अनुक्रमीणी न्यूनतम मान फ़िल्टर, जो सीधे मूल मान वाले न्यूनतम मान समस्या को शास्त्रग्राह्यता से हल करते हैं, जिन्हें लवनीय विषमता के लिए स्टोकास्टिक अभिवृद्धि के उपयोग से सीधे समस्या को हल करने का प्रयास किया जाता है। इसके अतिरिक्त, क्योंकि अनुमानित त्रुटि <math>e</math> को सीधे नहीं देखा जा सकता, इन विधियों का प्रयास किया जाता है कि अर्थव्यवस्था मान अभिभविक्ति त्रुटि <math>\mathrm{E}{\tilde{y}^T \tilde{y}}</math> को न्यूनतम किया जाए। उदाहरण के लिए, एकल अवलोकन के स्थान से, हमारे पास बहुविमीय घना <math>\nabla_{\hat{x}} \mathrm{E}{\tilde{y}^2} = -2 \mathrm{E}{\tilde{y} a}</math> है। इस प्रकार, न्यूनतम मान वाले फ़िल्टर के अद्यतन समीकरण निम्नलिखित है:
:<math>\hat{x}_{k+1} = \hat{x}_k + \eta_k \mathrm{E}\{\tilde{y}_k a_k\},</math>
:<math>\hat{x}_{k+1} = \hat{x}_k + \eta_k \mathrm{E}\{\tilde{y}_k a_k\},</math>
कहाँ <math>\eta_k</math> अदिश चरण का आकार है और अपेक्षा का अनुमान तात्कालिक मान से लगाया जाता है <math>\mathrm{E}\{a_k \tilde{y}_k\} \approx a_k \tilde{y}_k</math>. जैसा कि हम देख सकते हैं, ये विधियाँ सहप्रसरण मैट्रिक्स की आवश्यकता को दरकिनार कर देती हैं।
यहां <math>\eta_k</math> एकल चरण आकार है और अपेक्षा <math>\mathrm{E}{a_k \tilde{y}_k} \approx a_k \tilde{y}_k</math> द्वारा की जाती है।


===विशेष मामला: असंबंधित शोर के साथ वेक्टर अवलोकन===
===विशेष स्थिति: असंबंधित शोर के साथ सदिश अवलोकन===
कई व्यावहारिक अनुप्रयोगों में, अवलोकन शोर असंबंधित है। वह है, <math>C_Z</math> एक विकर्ण मैट्रिक्स है. ऐसे मामलों में, इसके घटकों पर विचार करना लाभप्रद है <math>y</math> वेक्टर माप के बजाय स्वतंत्र अदिश माप के रूप में। यह हमें प्रसंस्करण करके गणना समय को कम करने की अनुमति देता है <math>m \times 1</math> माप वेक्टर के रूप में <math>m</math> अदिश माप. स्केलर अपडेट फॉर्मूला का उपयोग सहप्रसरण अद्यतन समीकरणों के कार्यान्वयन में मैट्रिक्स व्युत्क्रम से बचाता है, इस प्रकार राउंडऑफ त्रुटियों के खिलाफ संख्यात्मक मजबूती में सुधार करता है। अद्यतन को पुनरावर्ती रूप से इस प्रकार कार्यान्वित किया जा सकता है:
बहुत सारे व्यावसायिक अनुप्रयोगों में, अवलोकन ध्वनि बिना रहता है। अर्थात, <math>C_Z</math> एक डायगोनल आव्यूह है। ऐसे स्थिति में, हम <math>m \times 1</math> मापन सदिश के संघीय उपायोग के स्थान पर <math>m</math> एकल मापन के रूप में <math>y</math> के घटकों को विचार करने में लाभकारी होता है। यह हमें गणना समय कम करने देता है द्वारा <math>m</math> एकल मापन का प्रसंस्करण करने से <math>m \times m</math> आव्यूह के उलट कारणा, इसलिए गणना समय कम होता है। अपडेट अनुशासनता में संविदा के कार्यान्यवित में आव्यूह उलट नहीं करने के संबंध में संख्यात्मक मजबूती में सुधार करता है, इसलिए राउंडऑफ त्रुटियों के विपरीत अपडेट निरंतर रूप से कार्यान्वयन किया जा सकता है


:<math>w_{k+1}^{(\ell)} = \frac{ C_{e_k}^{(\ell)} A^{(\ell) T}_{k+1} }{ C_{Z_{k+1}}^{(\ell)} + A_{k+1}^{(\ell)} C_{e_k}^{(\ell)} (A^{(\ell) T}_{k+1}) }</math> :<math>C_{e_{k+1}}^{(\ell)} = (I - w_{k+1}^{(\ell)} A_{k+1}^{(\ell)})C_{e_k}^{(\ell)}</math>
:<math>w_{k+1}^{(\ell)} = \frac{ C_{e_k}^{(\ell)} A^{(\ell) T}_{k+1} }{ C_{Z_{k+1}}^{(\ell)} + A_{k+1}^{(\ell)} C_{e_k}^{(\ell)} (A^{(\ell) T}_{k+1}) }</math> :<math>C_{e_{k+1}}^{(\ell)} = (I - w_{k+1}^{(\ell)} A_{k+1}^{(\ell)})C_{e_k}^{(\ell)}</math>
:<math>\hat{x}_{k+1}^{(\ell)} = \hat{x}_k^{(\ell-1)} + w_{k+1}^{(\ell)}(y_{k+1}^{(\ell)} - A_{k+1}^{(\ell)} \hat{x}_k^{(\ell-1)})</math>
:<math>\hat{x}_{k+1}^{(\ell)} = \hat{x}_k^{(\ell-1)} + w_{k+1}^{(\ell)}(y_{k+1}^{(\ell)} - A_{k+1}^{(\ell)} \hat{x}_k^{(\ell-1)})</math>
कहाँ <math>\ell = 1, 2, \ldots, m</math>, प्रारंभिक मानों का उपयोग करते हुए <math>C_{e_{k+1}}^{(0)} = C_{e_{k}}</math> और <math>\hat{x}_{k+1}^{(0)} = \hat{x}_{k}</math>. मध्यवर्ती चर <math>C_{Z_{k+1}}^{(\ell)}</math> है <math>\ell</math>-के विकर्ण तत्व <math>m \times m</math> विकर्ण मैट्रिक्स <math>C_{Z_{k+1}}</math>; जबकि <math>A_{k+1}^{(\ell)}</math> है <math>\ell</math>-वीं पंक्ति <math>m \times n</math> आव्यूह <math>A_{k+1}</math>. अंतिम मान हैं <math>C_{e_{k+1}}^{(m)} = C_{e_{k+1}}</math> और <math>\hat{x}_{k+1}^{(m)} = \hat{x}_{k+1}</math>.
यहाँ <math>\ell = 1, 2, \ldots, m</math>, प्रारंभिक मानों का उपयोग करते हुए <math>C_{e_{k+1}}^{(0)} = C_{e_{k}}</math> और <math>\hat{x}_{k+1}^{(0)} = \hat{x}_{k}</math>. मध्यवर्ती चर <math>C_{Z_{k+1}}^{(\ell)}</math> है <math>\ell</math>-के विकर्ण तत्व <math>m \times m</math> विकर्ण आव्यूह  <math>C_{Z_{k+1}}</math>; जबकि <math>A_{k+1}^{(\ell)}</math> है <math>\ell</math>-वीं पंक्ति <math>m \times n</math> आव्यूह <math>A_{k+1}</math>. अंतिम मान हैं <math>C_{e_{k+1}}^{(m)} = C_{e_{k+1}}</math> और <math>\hat{x}_{k+1}^{(m)} = \hat{x}_{k+1}</math>होते हैं।
 
 
 
 
 
 
 
 
 
 


==उदाहरण==
==उदाहरण==


===उदाहरण 1===
===उदाहरण 1===
हम एक उदाहरण के रूप में एक [[रैखिक भविष्यवाणी]] समस्या लेंगे। मान लीजिए प्रेक्षित अदिश यादृच्छिक चरों का एक रैखिक संयोजन  <math>z_{1}, z_{2}</math> और <math>z_{3}</math> किसी अन्य भविष्य के अदिश यादृच्छिक चर का अनुमान लगाने के लिए उपयोग किया जाएगा <math>z_{4}</math> ऐसा है कि <math>\hat z_{4}=\sum_{i=1}^{3}w_{i}z_{i}</math>. यदि यादृच्छिक चर <math>z=[z_{1},z_{2},z_{3},z_{4}]^{T}</math> शून्य माध्य और इसके सहप्रसरण मैट्रिक्स के साथ वास्तविक गाऊसी यादृच्छिक चर हैं
 
हम एक उदाहरण के रूप में एक [[रैखिक भविष्यवाणी]] समस्या लेंगे। मान लीजिए कि प्रेक्षित अदिश यादृच्छिक चर <math>z_{1}, z_{2}</math> and <math>z_{3}</math> और  <math>z_{4}</math> के एक रैखिक संयोजन का उपयोग किसी अन्य भविष्य के अदिश यादृच्छिक चर  ऐसा कि <math>\hat z_{4}=\sum_{i=1}^{3}w_{i}z_{i}</math>. यदि यादृच्छिक चर <math>z=[z_{1},z_{2},z_{3},z_{4}]^{T}</math> शून्य माध्य और इसके सहप्रसरण मैट्रिक्स के साथ वास्तविक गाऊसी यादृच्छिक चर हैं द्वारा दिए गए
:<math>
:<math>
\operatorname{cov}(Z)=\operatorname{E}[zz^{T}]=\left[\begin{array}{cccc}
\operatorname{cov}(Z)=\operatorname{E}[zz^{T}]=\left[\begin{array}{cccc}
Line 266: Line 314:
3 & 8 & 6 & 10\\
3 & 8 & 6 & 10\\
4 & 9 & 10 & 15\end{array}\right],</math>
4 & 9 & 10 & 15\end{array}\right],</math>
तो हमारा कार्य गुणांक ज्ञात करना है <math>w_{i}</math> ऐसा कि यह एक इष्टतम रैखिक अनुमान प्राप्त करेगा <math>\hat z_{4}</math>.
तो हमारा कार्य गुणांक<math>w_{i}</math> ज्ञात करना है  ऐसा कि यह एक इष्टतम <math>\hat z_{4}</math>रैखिक अनुमान प्राप्त करेगा .


पिछले अनुभागों में विकसित शब्दावली के संदर्भ में, इस समस्या के लिए हमारे पास अवलोकन वेक्टर है <math>y = [z_1, z_2, z_3]^T</math>, अनुमानक मैट्रिक्स <math>W = [w_1, w_2, w_3]</math> एक पंक्ति वेक्टर और अनुमानित चर के रूप में <math>x = z_4</math> एक अदिश राशि के रूप में. स्वत:सहसंबंध मैट्रिक्स <math>C_Y</math> परिभाषित किया जाता है
पिछले अनुभागों में विकसित शब्दावली के संदर्भ में, इस समस्या के लिए हमारे पास अवलोकन सदिश है <math>y = [z_1, z_2, z_3]^T</math>, अनुमानक आव्यूह  <math>W = [w_1, w_2, w_3]</math> एक पंक्ति सदिश और अनुमानित चर के रूप में <math>x = z_4</math> एक अदिश राशि के रूप में स्वत:सहसंबंध आव्यूह  <math>C_Y</math> परिभाषित किया जाता है
:<math>C_Y=\left[\begin{array}{ccc}
:<math>C_Y=\left[\begin{array}{ccc}
E[z_{1},z_{1}] & E[z_{2},z_{1}] & E[z_{3},z_{1}]\\
E[z_{1},z_{1}] & E[z_{2},z_{1}] & E[z_{3},z_{1}]\\
Line 276: Line 324:
2 & 5 & 8\\
2 & 5 & 8\\
3 & 8 & 6\end{array}\right].</math>
3 & 8 & 6\end{array}\right].</math>
क्रॉस सहसंबंध मैट्रिक्स <math>C_{YX}</math> परिभाषित किया जाता है
क्रॉस सहसंबंध आव्यूह  <math>C_{YX}</math> परिभाषित किया जाता है
:<math>C_{YX}=\left[\begin{array}{c}
:<math>C_{YX}=\left[\begin{array}{c}
E[z_{4},z_{1}]\\
E[z_{4},z_{1}]\\
Line 295: Line 343:
-0.142\\
-0.142\\
0.5714\end{array}\right]=W^T.</math>
0.5714\end{array}\right]=W^T.</math>
तो हमारे पास <math>w_1=2.57,</math> <math>w_2=-0.142,</math> और <math>w_{3}=.5714</math>
यदि हम <math>w_1=2.57,</math> <math>w_2=-0.142,</math> और <math>w_{3}=.5714</math> को <math>\hat z_4</math> के लिए श्रेष्ठ वज़न मानते हैं, तो न्यूनतम माध्यमिक वाक्य त्रुटि की गणना करने से <math>\left\Vert e\right\Vert {\min}^2=\operatorname{E}[z_4 z_4]-WC{YX}=15-WC_{YX}=.2857</math> मिलता है। <ref>Moon and Stirling.</ref> ध्यान दें कि <math>W</math> के मान की गणना के लिए <math>C_Y</math> के एक निश्चित आव्यूह विपरीत की प्राप्ति अनिवार्य नहीं है। आव्यूह समीकरण को गौस समाधान विधि जैसे अच्छी जानी जाने वाली विधियों से हल किया जा सकता है। एक छोटी, गैर-संख्यात्मक उदाहरण [[orthogonality principle|रूढ़िवादिता सिद्धांत]] में देखा जा सकता है।
के लिए इष्टतम गुणांक के रूप में <math>\hat z_4</math>. न्यूनतम की गणना
 
तो माध्य वर्ग त्रुटि देता है <math>\left\Vert e\right\Vert _{\min}^2=\operatorname{E}[z_4 z_4]-WC_{YX}=15-WC_{YX}=.2857</math>.<ref>Moon and Stirling.</ref> ध्यान दें कि इसके विपरीत एक स्पष्ट मैट्रिक्स प्राप्त करना आवश्यक नहीं है <math>C_Y</math> के मूल्य की गणना करने के लिए <math>W</math>. मैट्रिक्स समीकरण को गॉस उन्मूलन विधि जैसी प्रसिद्ध विधियों द्वारा हल किया जा सकता है। ऑर्थोगोनैलिटी सिद्धांत में एक छोटा, गैर-संख्यात्मक उदाहरण पाया जा सकता है।
 
 
 
 
 
 
 
 
 


===उदाहरण 2===
===उदाहरण 2===
एक वेक्टर पर विचार करें <math>y</math> लेकर गठित किया गया <math>N</math> एक निश्चित लेकिन अज्ञात अदिश पैरामीटर का अवलोकन <math>x</math> सफ़ेद गॉसियन शोर से परेशान। हम इस प्रक्रिया का वर्णन एक रैखिक समीकरण द्वारा कर सकते हैं <math>y = 1x+ z</math>, कहाँ <math>1 = [1,1,\ldots,1]^T</math>. संदर्भ के आधार पर यह स्पष्ट होगा कि क्या <math>1</math> एक [[अदिश (गणित)]] या एक सदिश का प्रतिनिधित्व करता है। मान लीजिए कि हम जानते हैं <math>[-x_0,x_0]</math> वह सीमा होना जिसके भीतर का मान है <math>x</math> में गिरने वाला है। हम अपनी अनिश्चितता का मॉडल बना सकते हैं <math>x</math> एक अंतराल पर पूर्व [[समान वितरण (निरंतर)]] द्वारा <math>[-x_0,x_0]</math>, और इस तरह <math>x</math> का भिन्नता होगी <math>\sigma_X^2 = x_0^2/3.</math>. चलो शोर वेक्टर <math>z</math> सामान्य रूप से वितरित किया जाए <math>N(0,\sigma_Z^2I)</math> कहाँ <math>I</math> एक पहचान मैट्रिक्स है. भी <math>x</math> और <math>z</math> स्वतंत्र हैं और <math>C_{XZ} = 0</math>. यह देखना आसान है
विचार करें एक सदिश <math>y</math> जिसे स्थिर परंतु अज्ञात वैशिष्ट्यिक विभाजित किए जाने वाले स्केलर पैरामीटर <math>x</math> के <math>N</math> अवलोकनों का आधार बनाया गया है। हम इस प्रक्रिया को एक रैखिक समीकरण <math>y = 1x+ z</math> द्वारा वर्णित कर सकते हैं, जहां <math>1 = [1,1,\ldots,1]^T</math> है। संदर्भ के आधार पर यह स्पष्ट होगा कि क्या <math>1</math> एक [[Scalar (mathematics)|स्केलर]] या सदिश को प्रदर्शित करता है। समझें कि हम जानते हैं कि <math>[-x_0,x_0]</math> <math>x</math> की मूल्य जिस भी दी गई है। हम एक अप्रियोर [[Uniform distribution (continuous)|नियमित वितरण]] के द्वारा <math>x</math> की अनिश्चितता की प्रारूपित कर सकते हैं, और इसलिए <math>x</math> का विच्छेद <math>\sigma_X^2 = x_0^2/3.</math> करेगा। यहां <math>z</math> सदिश को <math>N(0,\sigma_Z^2I)</math> के रूप में सामान्य वितरित करते हैं, जहां <math>I</math> एक वैशिष्ट्य रूपी आव्यूह है। इसके अतिरिक्त <math>x</math> और <math>z</math> असंख्यात्मक हैं और <math>C_{XZ} = 0</math> है। इसे देखना आसान है  
:<math>
:<math>
\begin{align}
\begin{align}
Line 315: Line 371:
\end{align}
\end{align}
</math>
</math>
हम इसके वैकल्पिक रूप का उपयोग करके अभिव्यक्ति को सरल बना सकते हैं <math>W</math> जैसा
हम इसके वैकल्पिक रूप का उपयोग करके अभिव्यक्ति <math>W</math> को सरल बना सकते हैं  जैसे:
:<math>
:<math>
\begin{align}
\begin{align}
Line 323: Line 379:
\end{align}
\end{align}
</math>
</math>
कहाँ के लिए <math>y = [y_1,y_2,\ldots,y_N]^T </math> अपने पास <math>\bar{y} = \frac{1^Ty}{N} = \frac{\sum_{i=1}^N y_i}{N}.</math>
यहाँ के लिए <math>y = [y_1,y_2,\ldots,y_N]^T </math> अपने पास <math>\bar{y} = \frac{1^Ty}{N} = \frac{\sum_{i=1}^N y_i}{N}.</math>
इसी प्रकार, अनुमानक का विचरण है
 
इसी प्रकार, अनुमानक का विचरण है:
:<math>\sigma_{\hat{X}}^2 = C_{XY}C_Y^{-1}C_{YX} = \Big(\frac{\sigma_X^2}{\sigma_X^2 + \sigma_Z^2/N}\Big) \sigma_X^2.</math>
:<math>\sigma_{\hat{X}}^2 = C_{XY}C_Y^{-1}C_{YX} = \Big(\frac{\sigma_X^2}{\sigma_X^2 + \sigma_Z^2/N}\Big) \sigma_X^2.</math>
इस प्रकार इस रैखिक अनुमानक का एमएमएसई है
इस प्रकार इस रैखिक अनुमानक का एमएमएसई है
:<math>\operatorname{LMMSE} = \sigma_X^2 - \sigma_{\hat{X}}^2 = \Big(\frac{\sigma_Z^2}{\sigma_X^2 + \sigma_Z^2/N}\Big) \frac{\sigma_X^2} N.</math>
:<math>\operatorname{LMMSE} = \sigma_X^2 - \sigma_{\hat{X}}^2 = \Big(\frac{\sigma_Z^2}{\sigma_X^2 + \sigma_Z^2/N}\Big) \frac{\sigma_X^2} N.</math>
बहुत बड़े के लिए <math>N</math>, हम देखते हैं कि समान पूर्व वितरण वाले एक अदिश के एमएमएसई अनुमानक को सभी देखे गए डेटा के अंकगणितीय औसत द्वारा अनुमानित किया जा सकता है
बहुत बड़े के लिए <math>N</math>, हम देखते हैं कि समान पूर्व वितरण वाले एक अदिश के एमएमएसई अनुमानक को सभी देखे गए डेटा के अंकगणितीय औसत द्वारा अनुमानित किया जा सकता है  
:<math>\hat{x} = \frac 1 N \sum_{i=1}^N y_i,</math> जबकि विचरण डेटा से अप्रभावित रहेगा <math>\sigma_{\hat{X}}^2 = \sigma_{X}^2,</math> और अनुमान का एलएमएमएसई शून्य हो जाएगा।
:<math>\hat{x} = \frac 1 N \sum_{i=1}^N y_i,</math> जबकि विचरण डेटा से अप्रभावित रहेगा <math>\sigma_{\hat{X}}^2 = \sigma_{X}^2,</math> और अनुमान का एलएमएमएसई शून्य हो जाएगा।


हालाँकि, अनुमानक उप-इष्टतम है क्योंकि यह रैखिक होने के लिए बाध्य है। यादृच्छिक चर था <math>x</math> गॉसियन भी होता, तो अनुमानक इष्टतम होता। ध्यान दें, कि पूर्वानुमेय वितरण की परवाह किए बिना, अनुमानक का रूप अपरिवर्तित रहेगा <math>x</math>, जब तक कि इन वितरणों का माध्य और विचरण समान है।
यद्यपि, अनुमानक उप-इष्टतम है क्योंकि यह रैखिक होने के लिए बाध्य है। यादृच्छिक चर <math>x</math> था गॉसियन भी होता, तो अनुमानक इष्टतम होता है। ध्यान दें, कि पूर्वानुमेय वितरण की परवाह किए बिना, अनुमानक का रूप <math>x</math> अपरिवर्तित रहेगा , जब तक कि इन वितरणों का माध्य और विचरण समान है।


=== उदाहरण 3 ===
 
उपरोक्त उदाहरण की विविधता पर विचार करें: दो उम्मीदवार एक चुनाव के लिए खड़े हैं। बता दें कि चुनाव के दिन एक उम्मीदवार को वोटों का अंश प्राप्त होगा <math>x \in [0,1].</math> इस प्रकार दूसरे उम्मीदवार को वोटों का अंश प्राप्त होगा <math>1-x.</math> हम लेंगे <math>x</math> एक समान पूर्व वितरण के साथ एक यादृच्छिक चर के रूप में <math>[0,1]</math> ताकि इसका माध्य हो <math>\bar{x} = 1/2 </math> और विचरण है <math>\sigma_X^2 = 1/12.</math> चुनाव से कुछ हफ़्ते पहले, दो अलग-अलग सर्वेक्षणकर्ताओं द्वारा दो स्वतंत्र जनमत सर्वेक्षण आयोजित किए गए थे। पहले सर्वेक्षण से पता चला कि उम्मीदवार को मिलने की संभावना है <math>y_1</math> वोटों का अंश. चूंकि सीमित नमूने और अपनाई गई विशेष मतदान पद्धति के कारण कुछ त्रुटि हमेशा मौजूद रहती है, इसलिए पहला सर्वेक्षणकर्ता अपने अनुमान में त्रुटि होने की घोषणा करता है। <math>z_1</math> शून्य माध्य और विचरण के साथ <math>\sigma_{Z_1}^2.</math> इसी प्रकार, दूसरा सर्वेक्षणकर्ता अपना अनुमान घोषित करता है <math>y_2</math> एक त्रुटि के साथ <math>z_2</math> शून्य माध्य और विचरण के साथ <math> \sigma_{Z_2}^2. </math> ध्यान दें कि त्रुटि के माध्य और विचरण को छोड़कर, त्रुटि वितरण अनिर्दिष्ट है। किसी दिए गए उम्मीदवार के लिए मतदान की भविष्यवाणी प्राप्त करने के लिए दोनों सर्वेक्षणों को कैसे जोड़ा जाना चाहिए?
 
 
 
 
 
 
 
 
 
===उदाहरण 3===
चुनाव में दो प्रतिस्पर्धी उम्मीदवार हैं। जिस उम्मीदवार को चुनाव के दिन वोटों का एक भाग मिलेगा, उसका प्रतिशत <math>x \in [0, 1]</math> होगा। इससे दूसरे उम्मीदवार को मिलने वाले वोटों का प्रतिशत <math>1-x</math> होगा। हम <math>x</math> को एक यादृच्छिक चर बनाएंगे जिसका प्रारंभिक वितरण <math>[0, 1]</math> पर यूनिफ़ोर्म प्रायोजन वितरण होगा, जिससे इसका माध्य <math>\bar{x} = 1/2</math> और चर विस्तार <math>\sigma_X^2 = 1/12</math> होगा। चुनाव से कुछ हफ्ते पहले, दो अलग-अलग सर्वेक्षण संगठनों द्वारा दो अलग-अलग सर्वेक्षणों का आयोजन किया गया। पहले सर्वेक्षण ने यह दिखाया कि उम्मीदवार को वोटों का प्रतिशत <math>y_1</math> होने की संभावना है। क्योंकि कुछ त्रुटि हमेशा सम्भव होती है जिसका कारण सीमित प्रतिरूप लेने और विशेष सर्वेक्षण विधि के कारण होता है, इसलिए पहले सर्वेक्षक ने अपने अनुमान को त्रुटि <math>z_1</math> के साथ जारी रखा है जिसका माध्य शून्य है और चर विस्तार <math>\sigma_{Z_1}^2</math> है। उसी तरह, दूसरे सर्वेक्षक ने अपने अनुमान को <math>y_2</math> के साथ त्रुटि <math>z_2</math> के साथ जारी रखा है जिसका माध्य शून्य है और चर विस्तार <math> \sigma_{Z_2}^2</math> है। ध्यान दें कि मानव और विशेष सर्वेक्षण विधि के अलावा, त्रुटि वितरण का विवरण नहीं किया गया है। दिए गए ज्ञान के आधार पर, हम दो सर्वेक्षणों को कैसे संयोजित करेंगे ताकि दिए गए उम्मीदवार के वोटिंग के लिए भविष्यवाणी प्राप्त किया जा सके?


पिछले उदाहरण की तरह, हमारे पास है
पिछले उदाहरण की तरह, हमारे पास है
Line 345: Line 412:
यहाँ, दोनों <math>\operatorname{E}\{y_1\} = \operatorname{E}\{y_2\} = \bar{x} = 1/2</math>. इस प्रकार, हम एलएमएमएसई अनुमान को रैखिक संयोजन के रूप में प्राप्त कर सकते हैं <math>y_1</math> और <math>y_2</math> जैसा
यहाँ, दोनों <math>\operatorname{E}\{y_1\} = \operatorname{E}\{y_2\} = \bar{x} = 1/2</math>. इस प्रकार, हम एलएमएमएसई अनुमान को रैखिक संयोजन के रूप में प्राप्त कर सकते हैं <math>y_1</math> और <math>y_2</math> जैसा
:<math> \hat{x} = w_1 (y_1 - \bar{x}) + w_2 (y_2 - \bar{x}) + \bar{x}, </math>
:<math> \hat{x} = w_1 (y_1 - \bar{x}) + w_2 (y_2 - \bar{x}) + \bar{x}, </math>
जहां वजन दिया जाता है
जहां भारित दिया जाता है
:<math>  
:<math>  
\begin{align}
\begin{align}
Line 352: Line 419:
\end{align}
\end{align}
</math>
</math>
यहां, चूंकि हर पद स्थिर है, इसलिए चुनाव परिणाम की भविष्यवाणी करने के लिए कम त्रुटि वाले मतदान को अधिक महत्व दिया जाता है। अंत में, का विचरण <math>\hat{x}</math> द्वारा दिया गया है
चूंकि यहां प्रत्येक पद स्थिर है, इसलिए चुनाव परिणाम की भविष्यवाणी करने के लिए कम त्रुटि वाले मतदान को अधिक महत्व दिया जाता है। अंत में, <math>\hat{x}</math> विचरण द्वारा दिया गया है
:<math>
:<math>
\sigma_{\hat{X}}^2 = \frac{1/\sigma_{Z_1}^2 + 1/\sigma_{Z_2}^2}{1/\sigma_{Z_1}^2 + 1/\sigma_{Z_2}^2 + 1/\sigma_X^2} \sigma_X^2 ,
\sigma_{\hat{X}}^2 = \frac{1/\sigma_{Z_1}^2 + 1/\sigma_{Z_2}^2}{1/\sigma_{Z_1}^2 + 1/\sigma_{Z_2}^2 + 1/\sigma_X^2} \sigma_X^2 ,
</math>
</math>
किसने बनाया <math>\sigma_{\hat{X}}^2</math> तुलना में छोटा <math>\sigma_X^2.</math> इस प्रकार, एलएमएमएसई द्वारा दिया गया है
आप ने इस  <math>\sigma_{\hat{X}}^2</math> को एक यादृच्छिक चर बनाया है, जिसका प्रारंभिक वितरण <math>\sigma_X^2.</math>पर यूनिफ़ोर्म प्रायोजन वितरण है
:<math>\mathrm{LMMSE} = \sigma_{X}^2 - \sigma_{\hat{X}}^2 = \frac{1}{1/\sigma_{Z_1}^2 + 1/\sigma_{Z_2}^2 + 1/\sigma_X^2}.</math>
:<math>\mathrm{LMMSE} = \sigma_{X}^2 - \sigma_{\hat{X}}^2 = \frac{1}{1/\sigma_{Z_1}^2 + 1/\sigma_{Z_2}^2 + 1/\sigma_X^2}.</math>
सामान्य तौर पर, अगर हमारे पास है <math>N</math> फिर, प्रदूषक <math>\hat{x} = \sum_{i=1}^N w_i (y_i - \bar{x}) + \bar{x},</math> जहां आई-वें पोलस्टर के लिए वजन दिया गया है <math>w_i = \frac{1/\sigma_{Z_i}^2}{\sum_{j=1}^N 1/\sigma_{Z_j}^2 + 1/\sigma_X^2}</math> और एलएमएमएसई द्वारा दिया गया है <math>\mathrm{LMMSE} = \frac{1}{\sum_{j=1}^N 1/\sigma_{Z_j}^2 + 1/\sigma_X^2}.</math>
सामान्यतः यदि हमारे पास <math>N</math> है तो, प्रदूषक <math>\hat{x} = \sum_{i=1}^N w_i (y_i - \bar{x}) + \bar{x},</math> जहां आई-वें पोलस्टर के लिए भार दिया गया है <math>w_i = \frac{1/\sigma_{Z_i}^2}{\sum_{j=1}^N 1/\sigma_{Z_j}^2 + 1/\sigma_X^2}</math> और एलएमएमएसई द्वारा दिया गया है
 
<math>\mathrm{LMMSE} = \frac{1}{\sum_{j=1}^N 1/\sigma_{Z_j}^2 + 1/\sigma_X^2}.</math>
 
 
 
 
 
 
 
 
 




===उदाहरण 4===
===उदाहरण 4===
मान लीजिए कि एक संगीतकार एक वाद्ययंत्र बजा रहा है और ध्वनि दो माइक्रोफोनों द्वारा प्राप्त की जाती है, जिनमें से प्रत्येक दो अलग-अलग स्थानों पर स्थित हैं। प्रत्येक माइक्रोफ़ोन पर दूरी के कारण ध्वनि का क्षीणन होने दें <math>a_1</math> और <math>a_2</math>, जिन्हें ज्ञात स्थिरांक माना जाता है। इसी प्रकार, प्रत्येक माइक्रोफ़ोन पर शोर होने दें <math>z_1</math> और <math>z_2</math>, प्रत्येक शून्य माध्य और भिन्नता के साथ <math>\sigma_{Z_1}^2</math> और <math>\sigma_{Z_2}^2</math> क्रमश। होने देना <math>x</math> संगीतकार द्वारा उत्पादित ध्वनि को निरूपित करें, जो शून्य माध्य और विचरण के साथ एक यादृच्छिक चर है <math>\sigma_X^2.</math> इन दोनों माइक्रोफोनों से रिकॉर्ड किए गए संगीत को एक-दूसरे के साथ समन्वयित करने के बाद कैसे संयोजित किया जाना चाहिए?
मान लीजिए कि एक संगीतकार एक वाद्ययंत्र बजा रहा है और ध्वनि दो माइक्रोफोनों द्वारा प्राप्त की जाती है, जिनमें से प्रत्येक दो अलग-अलग स्थानों पर स्थित हैं। प्रत्येक माइक्रोफ़ोन पर दूरी के कारण ध्वनि <math>a_1</math> और <math>a_2</math>,का क्षीणन होने दें, जिन्हें ज्ञात स्थिरांक माना जाता है। इसी प्रकार, प्रत्येक माइक्रोफ़ोन पर ध्वनि <math>z_1</math> और <math>z_2</math>,  होने दें, प्रत्येक शून्य माध्य और भिन्नता के साथ <math>\sigma_{Z_1}^2</math> और <math>\sigma_{Z_2}^2</math> है तो <math>x</math> संगीतकार द्वारा उत्पादित ध्वनि को निरूपित करें, जो शून्य माध्य और विचरण के साथ एक यादृच्छिक चर <math>\sigma_X^2.</math>है, इन दोनों माइक्रोफोनों से रिकॉर्ड किए गए संगीत को एक-दूसरे के साथ समन्वयित करने के बाद कैसे संयोजित किया जाना चाहिए?


हम प्रत्येक माइक्रोफोन द्वारा प्राप्त ध्वनि को इस प्रकार मॉडल कर सकते हैं
हम प्रत्येक माइक्रोफोन द्वारा प्राप्त ध्वनि को इस प्रकार प्रारूपित कर सकते हैं
:<math>
:<math>
\begin{align}
\begin{align}
Line 379: Line 457:
==यह भी देखें==
==यह भी देखें==
*बायेसियन अनुमानक
*बायेसियन अनुमानक
*मतलब चुकता त्रुटि
*माध्य वर्गीकृत त्रुटि
*कम से कम वर्गों
*न्यूनतम क्वाड्रेट
*न्यूनतम-विचरण निष्पक्ष अनुमानक (एमवीयूई)
*न्यूनतम-विचरण निष्पक्ष अनुमानक (एमवीयूई)
*रूढ़िवादिता सिद्धांत
*रूढ़िवादिता सिद्धांत
Line 389: Line 467:


==टिप्पणियाँ==
==टिप्पणियाँ==
<references/>
<references />




Line 482: Line 560:
{{refend}}
{{refend}}


{{DEFAULTSORT:Minimum Mean Square Error}}[[Category: सांख्यिकीय विचलन और फैलाव]] [[Category: बिंदु अनुमान प्रदर्शन]] [[Category: संकेत अनुमान]]
{{DEFAULTSORT:Minimum Mean Square Error}}
 
 


[[Category: Machine Translated Page]]
[[Category:CS1 errors|Minimum Mean Square Error]]
[[Category:Created On 24/07/2023]]
[[Category:Created On 24/07/2023|Minimum Mean Square Error]]
[[Category:Machine Translated Page|Minimum Mean Square Error]]
[[Category:Pages with math errors|Minimum Mean Square Error]]
[[Category:Pages with math render errors|Minimum Mean Square Error]]
[[Category:Templates Vigyan Ready|Minimum Mean Square Error]]
[[Category:बिंदु अनुमान प्रदर्शन|Minimum Mean Square Error]]
[[Category:संकेत अनुमान|Minimum Mean Square Error]]
[[Category:सांख्यिकीय विचलन और फैलाव|Minimum Mean Square Error]]

Latest revision as of 17:57, 10 August 2023

सांख्यिकी विज्ञान और संकेत प्रसंस्करण में, न्यूनतम माध्य वर्ग त्रुटि (एमएमएसई) अनुमानकर्ता एक अनुमानन पद्धति है जो एक निर्धारित चरण वाले प्रत्याप्त चर के लिए फिट किए गए मानों के औसत वर्ग त्रुटि (एमएसई) को कम करती है। एमएसई एक अनुमानकर्ता गुणवत्ता का एक सामान्य माप है।

बायेसियन अनुमानक सेटिंग में, शब्द "एमएमएसई" विशेष रूप से वर्गीकरण त्रुटि फलन के साथ अनुमानन को दर्शाता है। ऐसे स्थिति में, एमएमएसई अनुमानकर्ता को अनुमानित पैरामीटर के उपांशीक्षांत मान द्वारा दिया जाता है। चूँकि उपांशीक्षांत मान को निर्धारित करना बहुत कठिन हो सकता है, इसलिए एमएमएसई अनुमानकर्ता का रूप सामान्यतः कुछ विशेष कक्षा के फलन में होता है। रेखीय एमएमएसई अनुमानकर्ता एक लोकप्रिय चयन हैं क्योंकि उन्हें उपयोग करना सरल होता है, उन्हें गणना करना आसान होता है, और बहुत से उदाहरणों में उपयोगी होते हैं। इसने वेनर-कोलमोगोरोव फ़िल्टर और कालमन फ़िल्टर जैसे कई प्रसिद्ध अनुमानकर्ताओं को उत्पन्न किया है।

प्रेरणा

एमएमएसई शब्द विशेष रूप से बेजियन सेटिंग में वर्गीकरण लागत फलन के साथ अनुमानन को दर्शाता है। अनुमानन के लिए बेजियन दृष्टिकोण के पीछे मूलभूत विचार का आधारीकरण व्यापक समस्याओं से होता है जहां हमें प्रायः अनुमानित पैरामीटर के बारे में कुछ पूर्व जानकारी होती है। उदाहरण के लिए, हमें अनुमानित पैरामीटर के रेंज के बारे में पूर्व जानकारी हो सकती है; या हमें अनुमानित पैरामीटर का पुराना अनुमान हो सकता है जिसे हम एक नई अवलोकन उपलब्ध करने पर संशोधित करना चाहते हैं; या बोलचाल जैसे एक वास्तविक यादृच्छिक संकेत के सांख्यिकीय हिस्से के बारे में जानकारी हो सकती है। यह न्यूनतम-विचरण निष्पक्ष अनुमानक (एमवीयूई) जैसे गैर-बायेसियन दृष्टिकोण के विपरीत है, जहां पैरामीटर के बारे में पहले से कुछ भी ज्ञात नहीं माना जाता है और जो ऐसी स्थितियों के लिए उत्तरदायी नहीं है। बायेसियन दृष्टिकोण में, ऐसी पूर्व जानकारी मापदंडों के पूर्व संभाव्यता घनत्व फलन द्वारा अधिकृत की जाती है; और सीधे बेयस प्रमेय पर आधारित, यह हमें अधिक अवलोकन उपलब्ध होने पर पश्च अनुमान लगाने की अनुमति देता है। इस प्रकार गैर-बायेसियन दृष्टिकोण के विपरीत जहां रुचि के मापदंडों को नियतात्मक, परंतु अज्ञात स्थिरांक माना जाता है, बायेसियन अनुमानक एक पैरामीटर का अनुमान लगाना चाहता है जो स्वयं एक यादृच्छिक चर है। इसके अतिरिक्त, बायेसियन अनुमान उन स्थितियों से भी निपट सकता है जहां अवलोकनों का क्रम आवश्यक रूप से स्वतंत्र नहीं है। इस प्रकार बायेसियन अनुमान एमवीयूई के लिए एक और विकल्प प्रदान करता है। यह तब उपयोगी होता है जब एमवीयूई उपस्थित नहीं है या पाया नहीं जा सकता है।

परिभाषा

यहां, एक छिपा हुआ यादृच्छिक सदिश चर और एक ज्ञात यादृच्छिक सदिश चर है, जिनमें से दोनों सदिशो के आयाम आवश्यक रूप से एक समान नहीं हैं। एक अनुमानकर्ता एक ऐसा फलन है जो मापन का कोई भी फलन होता है। अनुमानन त्रुटि सदिश द्वारा दिया जाता है और इसका "औसत वर्गमूल त्रुटि" (एमएसई) त्रुटि सहप्रसरण आव्यूह के समापन से दिया जाता है।

यहां, के उपर लिया गया अपेक्षा के शर्तबद्ध होता है। अर्थात, हम के लिए अपेक्षित मान की गणना पर शर्तबद्ध करके करते हैं। जब एक स्केलर चर होता है, तो एमएसई अभिव्यक्ति यह सरल हो जाती है: इसमें अनुमानक चर है और मूल चर है। यह अनुमानित चर और मूल चर के बीच विचलन का वर्ग होता है ध्यान दें कि एमएसई को अन्य विधियों से भी परिभाषित किया जा सकता है, क्योंकि

एमएमएसई अनुमानक उस अनुमानक को कहते हैं जो न्यूनतम एमएसई को प्राप्त करता है:






गुण

जब माध्य और चतुर्थिक अवरोध सीमित होते हैं, तो एमएमएसई अनुमानक एकद्रव्य परिभाषित होता है और यह निम्नलिखित रूप में होता है:

दूसरे शब्दों में,कहा जा सकता है कि एमएमएसई अनुमानकर्ता की शर्ती अपेक्षा होता है। इसे अन्य शब्दों में, यह निर्धारित करता है कि जब हमें माप की गई मानवी या वार्तालापिक डेटा होता है, तो हमें अधिकतम संभावना के अनुसार एमएमएसई अनुमानकर्ता पश्च माध्य होता है और त्रुटि संवेदनशीलता मात्रिका पश्च विकल्प मात्रिका के बराबर होती है:

  • ऊपर उल्लिखित नियमितता मान्यताओं के अंतर्गत एमएमएसई अनुमानक निष्पक्ष है :
  • एमएमएसई अनुमानक असममित रूप से निष्पक्ष है और यह सामान्य वितरण में वितरण में परिवर्तित होता है:
यहाँ की फिशर जानकारी है. इस प्रकार एमएमएसई अनुमानक दक्षता है।
  • रूढ़ीवाद सिद्धांत: जब एक अदिश राशि है, एक अनुमानक जो निश्चित आकार का होने के लिए बाध्य है एक इष्टतम अनुमानक है, अर्थात और यदि
  • सभी के लिए बंद, रैखिक उपस्थान में माप का यादृच्छिक सदिश के लिए, चूंकि एक यादृच्छिक सदिश के आकलन के लिए एमएसई निर्देशांक के एमएसई का योग है, एक यादृच्छिक सदिश के एमएमएसई अनुमानक को खोजने से के निर्देशांक के एमएमएसई अनुमानक को अलग से ढूंढने में विघटित हो जाता है:
:सभी i और j के लिए अधिक संक्षेप में कहें तो, न्यूनतम अनुमान त्रुटि के बीच अंतर-सहसंबंध और अनुमानक शून्य होता है ,
  • यदि और संयुक्त रूप से गाऊसी हैं, तो एमएमएसई अनुमानक रैखिक है, अर्थात, इसका रूप है आव्यूह के लिए और स्थिर होते है। इसे बेयस प्रमेय का उपयोग करके सीधे दिखाया जा सकता है। परिणामस्वरूप, एमएमएसई अनुमानक को खोजने के लिए, रैखिक एमएमएसई अनुमानक को ढूंढना पर्याप्त है।






रैखिक एमएमएसई अनुमानक

कई स्थितियों में, एमएमएसई अनुमानक की विश्लेषणात्मक अभिव्यक्ति निर्धारित करना संभव नहीं है। एमएमएसई अनुमान प्राप्त करने के दो आसान आंकड़ीय विधि हैं जो निम्नलिखित कोणीय अपेक्षा का पता लगाने पर निर्भर करते हैं सशर्त अपेक्षा का प्रत्यक्ष संख्यात्मक मूल्यांकन कम्प्यूटेशनल रूप से महंगा है क्योंकि इसके लिए प्रायः बहुआयामी एकीकरण की आवश्यकता होती है जो सामान्यतः मोंटे कार्लो विधियों के माध्यम से किया जाता है। एक अन्य कम्प्यूटेशनल दृष्टिकोण स्टोकेस्टिक ग्रेडिएंट डिसेंट जैसी तकनीकों का उपयोग करके सीधे एमएसई की न्यूनतमता की अंवेषण, करता है; परंतु इस पद्धति को अभी भी अपेक्षा के मूल्यांकन की आवश्यकता है। यद्यपि ये संख्यात्मक विधियाँ उपयोगी रही हैं, फिर भी यदि हम सहमति करने के इच्छुक हैं तो एमएमएसई अनुमानक के लिए एक बंद फॉर्म अभिव्यक्ति संभव है।

इसलिए, हम प्राधिकरण करते हैं कि के दिए गए शर्ताधीन अपेक्षा का शर्ताधीन अपेक्षा एक सरल रैखिक फलन है, , जहाँ एक यादृच्छिक सदिश है, एक आव्यूह है और एक सदिश है। इसे का पहले अवधि टेलर अनुमान के रूप में देखा जा सकता है। रैखिक एमएमएसई अनुमान एक अनुमानकर्ता है जो ऐसे रूप के सभी अनुमानों में मिनिमम MSE प्राप्त करता है। इसका अर्थ है, यह निम्नलिखित अनुक्रमणिक समस्या का समाधान करता है:

इस प्रकार के रैखिक एमएमएसई अनुमान का एक लाभ यह है कि इसके लिए की प्रत्याश्रित प्राकृतिक घनत्व फलन को स्पष्ट रूप से गणना करने की आवश्यकता नहीं है। इस रैखिक अनुमानकर्ता केवल और के पहले दो केंद्रबिन्दु के आधार पर ही निर्भर करता है। इसलिए यह सुविधा होती है कि हम यह मानें कि और संयुक्त गौसियन हैं, परंतु इस अनुमान को करने के लिए यह ज़रूरी नहीं है, जिससे लंबित वितरण का अनुमान किया जा सके, जिसकी पहली और दूसरी केंद्रबिन्दु से अच्छी तरह परिभाषित हैं। रैखिक अनुमानकर्ता का रूप उस अनुमानित आधारित वितरण के प्रकार पर नहीं निर्भर करता है।:

इष्टतम के लिए अभिव्यक्ति और द्वारा दिया गया है:

:

यहाँ , के बीच क्रॉस-कोवेरिएंस और , आव्यूह है का ऑटो-कोवेरिएंस आव्यूह है .

इस प्रकार, रैखिक एमएमएसई अनुमानक, इसके माध्य और इसके ऑटो-सहप्रसरण के लिए अभिव्यक्ति दी गई है

जहां के बीच क्रॉस-कोवेरिएंस आव्यूह है और .

अंत में, ऐसे अनुमानक द्वारा प्राप्त होने वाली त्रुटि सहप्रसरण और न्यूनतम माध्य वर्ग त्रुटि है

आइए हमारे पास इष्टतम रैखिक एमएमएसई अनुमानक दिया गया है , जहां हमें इसके लिए अभिव्यक्ति ढूंढने की आवश्यकता होती है और . यह आवश्यक है कि एमएमएसई अनुमानक निष्पक्ष हो। इसका मतलब यह है,

के लिए अभिव्यक्ति को प्लग करना उपरोक्त में, हम पाते हैं

कहाँ और . इस प्रकार हम अनुमानक को इस प्रकार पुनः लिख सकते हैं

और अनुमान त्रुटि की अभिव्यक्ति बन जाती है

रूढ़िवादिता सिद्धांत से, हम प्राप्त कर सकते हैं , हम कहाँ लेते हैं . यहाँ बायीं ओर का पद है

जब शून्य के बराबर किया जाता है, तो हमें वांछित अभिव्यक्ति प्राप्त होती है जैसा

 h> X और Y के बीच क्रॉस-कोवेरिएंस मैट्रिक्स है, और  Y का ऑटो-कोवरियन्स मैट्रिक्स है। चूँकि , अभिव्यक्ति को के संदर्भ में भी दोबारा लिखा जा सकता है  जैसा

इस प्रकार रैखिक एमएमएसई अनुमानक के लिए पूर्ण अभिव्यक्ति है

अनुमान के बाद से स्वयं एक यादृच्छिक चर है , हम इसका स्वतः सहप्रसरण भी प्राप्त कर सकते हैं

के लिए अभिव्यक्ति रख रहा हूँ और , हम पाते हैं

अंत में, रैखिक एमएमएसई अनुमान त्रुटि का सहप्रसरण तब दिया जाएगा

ऑर्थोगोनैलिटी सिद्धांत के कारण तीसरी पंक्ति में पहला पद शून्य है। तब से , हम पुनः लिख सकते हैं सहप्रसरण मैट्रिक्स के संदर्भ में

इसे हम वैसा ही मान सकते हैं इस प्रकार ऐसे रैखिक अनुमानक द्वारा प्राप्त की जाने वाली न्यूनतम माध्य वर्ग त्रुटि है

.

अविभाज्य स्थिति

विशेष स्थिति के लिए जब दोनों और अदिश हैं, उपरोक्त संबंध को सरल बनाते हैं

 :

यहाँ के बीच पियर्सन का सहसंबंध गुणांक और है

उपरोक्त दो समीकरण हमें सहसंबंध गुणांक की व्याख्या रैखिक प्रतिगमन के सामान्यीकृत ढलान के रूप में करने की अनुमति देते हैं

या दो प्रसरणों के अनुपात के वर्गमूल के रूप में

.

तब , अपने पास और . इस स्थिति में, माप से कोई नई जानकारी नहीं मिलती है जो अनिश्चितता को कम कर सके दूसरी ओर, जब , अपने पास और . यहाँ द्वारा पूर्णतः निर्धारित होता है, जैसा कि सीधी रेखा के समीकरण द्वारा दिया गया है।

गणना

सामान्य विधि जैसे गौस-समाप्ति का उपयोग के लिए आव्यूह समीकरण को हल करने के लिए किया जा सकता है। एक और संख्यात्मक रूप से स्थिर विधि QR विघटन विधि द्वारा प्रदान किया जाता है। क्योंकि आव्यूह एक संघात सकारात्मक निर्धारित आव्यूह है, इसलिए को कोलेस्की विघटन के साथ दो बार तत्काल हल किया जा सकता है, जबकि बड़े विरल प्रणालियों के लिए संयुक्त अभियोजन विधि अधिक प्रभावी है। लेविन्सन पुनरावर्तन वह समयवेगीय विधि है जब एक भी टोएप्लिट्ज़ आव्यूह है। यह इसलिए हो सकता है कि एक वाइड सेंस स्थिर प्रक्रिया है। इस तरह के स्थिर केस में, इन अनुमानकर्ताओं को भी विनर-कोल्मोगोरोव फ़िल्टर भी कहा जाता है।






रैखिक अवलोकन प्रक्रिया के लिए रैखिक एमएमएसई अनुमानक

आइए हम अवलोकन की अंतर्निहित प्रक्रिया को एक रैखिक प्रक्रिया के रूप में आगे प्रारूपित करें:

, यहाँ एक ज्ञात आव्यूह है और माध्य के साथ यादृच्छिक शोर सदिश और क्रॉस-सहप्रसरण है यहां आवश्यक माध्य और सहप्रसरण आव्यूह होंगे:

 :

इस प्रकार रैखिक एमएमएसई अनुमानक आव्यूह के लिए अभिव्यक्ति आगे संशोधित करता है

प्रत्येक वस्तु को के लिए एक अभिव्यक्ति में रखते हुए, हम निम्नलिखित प्राप्त करते हैं

अंत में, त्रुटि सहप्रसरण है

ऊपर दी गई अनुमान समस्या और न्यूनतम वर्गों और गॉस-मार्कोव प्रमेय अनुमान के बीच महत्वपूर्ण अंतर यह है कि अवलोकनों की संख्या m, कम से कम n अज्ञातों की संख्या जितनी बड़ी नहीं होनी चाहिए, रैखिक अवलोकन प्रक्रिया का अनुमान m से m आव्यूह तक उपस्थित रहता है, यह किसी भी m के लिए स्थिति है, उदाहरण के लिए, सकारात्मक निश्चित है भौतिक रूप से इस गुण का कारण यह है कि तब से अब एक यादृच्छिक चर है, बिना किसी माप के भी एक सार्थक अनुमान अर्थात् इसका माध्य) बनाना संभव है। प्रत्येक नया माप बस अतिरिक्त जानकारी प्रदान करता है जो हमारे मूल अनुमान को संशोधित कर सकता है। इस अनुमान की एक अन्य विशेषता यह है कि m < n के लिए, कोई माप त्रुटि आवश्यक नहीं है। इस प्रकार, हमारे पास यह हो सकता है कि क्योंकि जब तक सकारात्मक प्रतिनिधि है, तब भी अनुमान बनता है। अंततः, यह तकनीक वहाँ भी उपयुक्त हो सकती है जहां शोर इकट्ठा होता है।

वैकल्पिक रूप

आव्यूह पहचान का उपयोग करके अभिव्यक्ति का एक वैकल्पिक रूप प्राप्त किया जा सकता है

जिसे बाद में गुणा करके स्थापित किया जा सकता है और पूर्व-गुणा करके प्राप्त करने के लिए

और

तब से अब के संदर्भ में लिखा जा सकता है जैसा , हमें इसके लिए एक सरलीकृत अभिव्यक्ति मिलती है जैसा

इस रूप में उपरोक्त अभिव्यक्ति की तुलना न्यूनतम वर्ग भारित न्यूनतम वर्ग और गॉस-मार्कोव प्रमेय अनुमान सरलता से की जा सकती है। विशेषकर, जब , संबंधित पूर्ववर्ती जानकारी के अनंत भिन्नता के अनुरूप, परिणाम भारित रैखिक न्यूनतम वर्ग अनुमान के समान भारित आव्यूह के रूप में है। इसके अतिरिक्त, यदि के घटक असंबंधित हैं और इनमें समान भिन्नता है यहाँ तो, एक पहचान आव्यूह है तो सामान्य न्यूनतम वर्ग अनुमान के समान है।

अनुक्रमिक रैखिक एमएमएसई अनुमान

कई वास्तविक समय अनुप्रयोगों में, अवलोकन संबंधी डेटा एक ही बैच में उपलब्ध नहीं होता है। इसके अतिरिक्त अवलोकन एक क्रम में किए जाते हैं। एक संभावित दृष्टिकोण पुराने अनुमान को अद्यतन करने के लिए अनुक्रमिक अवलोकनों का उपयोग करना है क्योंकि अतिरिक्त डेटा उपलब्ध हो जाता है, जिससे बेहतर अनुमान प्राप्त होते हैं। बैच अनुमान और अनुक्रमिक अनुमान के बीच एक महत्वपूर्ण अंतर यह है कि अनुक्रमिक अनुमान के लिए अतिरिक्त मार्कोव धारणा की आवश्यकता होती है।

बायेसियन ढांचे में, बायेस नियम का उपयोग करके ऐसे पुनरावर्ती अनुमान को सरलता से सुविधाजनक बनाया जा सकता है। दिया गया अवलोकन, , बेयस का नियम हमें पश्च घनत्व देता है जैसा

यहां  h> को पश्च घनत्व कहा जाता है,  संभाव्यता फलन कहलाता है, और  को k-वें समय-चरण का प्राथमिक घनत्व कहा जाता है। यहां हमने  को पूर्विक अवलोकन   दिए गए  के लिए शर्ताधीन स्वतंत्रता के रूप में मान लिया गया है।
यह मार्कोव धारणा है:
एमएमएसई अनुमान जो कि k-वें अवलोकन के आधार पर है, वह पश्च घनत्व का औसत है। यदि हमारे पास क्षेत्र, के समय के साथ कैसे बदलता है के बारे में गतिशील जानकारी न हो, तो हम प्राथमिकता के बारे में एक अतिरिक्त स्थिरता कल्पना करेंगे:

इस प्रकार, k-वें समय चरण के लिए पूर्व घनत्व (k-1)-वें समय चरण का पश्च घनत्व है। यह संरचना हमें अनुमान के लिए एक पुनरावर्ती दृष्टिकोण तैयार करने की अनुमति देती है।

रैखिक एमएमएसई अनुमानक के संदर्भ में, अनुमान के सूत्र का रूप पहले जैसा ही होगा:

यद्यपि, माध्य और सहप्रसरण आव्यूह और पूर्व घनत्व वाले लोगों द्वारा प्रतिस्थापित करने की आवश्यकता होगी और संभावना , क्रमश पूर्व घनत्व के लिए , इसका माध्य पिछले एमएमएसई अनुमान द्वारा दिया गया है,

,

और इसका सहप्रसरण आव्यूह पिछली त्रुटि सहप्रसरण आव्यूह द्वारा दिया गया है,

एमएमएसई अनुमानकों के गुणों और स्थिरता धारणा के अनुसार:

इसी प्रकार, रैखिक अवलोकन प्रक्रिया के लिए, संभावना का माध्य द्वारा दिया गया है और सहप्रसरण आव्यूह पहले जैसा है

.

के अनुमानित मूल्य के बीच का अंतर , जैसा कि दिया गया है , और इसका अवलोकित मूल्य भविष्यवाणी त्रुटि , देता है जिसे नवप्रवर्तन या अवशिष्ट भी कहा जाता है। भविष्यवाणी त्रुटि के संदर्भ में रैखिक एमएमएसई का प्रतिनिधित्व करना अधिक सुविधाजनक है, जिसका माध्य और सहप्रसरण और हैं।

इसलिए, अनुमान अद्यतन सूत्र और द्वारा और , क्रमश हमें प्रतिस्थापित करना चाहिए। इसके अतिरिक्त, और द्वारा और . अंत में, द्वारा हम प्रतिस्थापित करते हैं:

इस प्रकार, हमारे पास नया अनुमान नए अवलोकन के रूप में आता है

और नई त्रुटि सहप्रसरण के रूप में

रैखिक बीजगणित के दृष्टिकोण से, अनुक्रमिक अनुमान के लिए, यदि हमारे पास कोई अनुमान है माप के आधार पर स्थान उत्पन्न करना , फिर माप का एक और समुच्चय प्राप्त करने के बाद, हमें इन मापों से वह भाग घटा देना चाहिए जिसका पहले माप के परिणाम से अनुमान लगाया जा सकता है। दूसरे शब्दों में, अद्यतनीकरण नए डेटा के उस हिस्से पर आधारित होना चाहिए जो पुराने डेटा के लिए ऑर्थोगोनल है।

अधिक अवलोकन उपलब्ध होने पर उपरोक्त दो समीकरणों का बार-बार उपयोग पुनरावर्ती अनुमान तकनीकों को उत्पन्न करता है। तथा इन भावों को अधिक संक्षिप्त रूप में लिखा जा सकता है

आव्यूह इसे प्रायः कलमन लाभ कारक के रूप में जाना जाता है उपरोक्त कलन विधि का वैकल्पिक सूत्रीकरण देगा

अधिक डेटा उपलब्ध होने पर इन तीन चरणों की पुनरावृत्ति एक पुनरावृत्त अनुमान कलन विधि की ओर ले जाती है। गैर-स्थिर स्थितियों में इस विचार का सामान्यीकरण कलमन फ़िल्टर को जन्म देता है। ऊपर उल्लिखित तीन अद्यतन चरण वास्तव में कलमन फ़िल्टर का अद्यतन चरण बनाते हैं।

विशेष स्थिति: अदिश प्रेक्षण

एक महत्वपूर्ण विशेष स्थिति के रूप में, उपयोग में आसान पुनरावर्ती अभिव्यक्ति तब प्राप्त की जा सकती है जब प्रत्येक k-वें समय पर अंतर्निहित रैखिक अवलोकन प्रक्रिया एक स्केलर उत्पन्न करती है जैसे कि , यहाँ n-by-1 ज्ञात कॉलम सदिश है जिसका मान समय के साथ बदल सकता है, का अनुमान लगाने के लिए n -1 तक यादृच्छिक कॉलम सदिश है, और विचरण के साथ अदिश शोर शब्द . है (k+1)-वें अवलोकन के बाद, उपरोक्त पुनरावर्ती समीकरणों का प्रत्यक्ष उपयोग अनुमान के लिए अभिव्यक्ति देता है जैसे :

यहाँ नया अदिश अवलोकन और लाभ कारक है कॉलम सदिश द्वारा n-1 तक दिया गया है

 h> द्वारा दिया गया n-n तक त्रुटि सहप्रसरण आव्यूह है

यहां, किसी आव्यूह व्युत्क्रम की आवश्यकता नहीं है। इसके अतिरिक्त, लाभ कारक, , नए डेटा नमूने में हमारे विश्वास पर निर्भर करता है, जैसा कि पिछले डेटा की तुलना में शोर भिन्नता द्वारा मापा जाता है। के प्रारंभिक मान और पूर्व संभाव्यता घनत्व फलन का माध्य और सहप्रसरण माना जाता है.

विकल्प दृष्टिकोण: यह महत्वपूर्ण विशेष स्थिति ने भी अनेक अन्य अनुक्रमीणी विधियों का उद्भव किया है, जैसे कि न्यूनतम मान वाले फ़िल्टर और अनुक्रमीणी न्यूनतम मान फ़िल्टर, जो सीधे मूल मान वाले न्यूनतम मान समस्या को शास्त्रग्राह्यता से हल करते हैं, जिन्हें लवनीय विषमता के लिए स्टोकास्टिक अभिवृद्धि के उपयोग से सीधे समस्या को हल करने का प्रयास किया जाता है। इसके अतिरिक्त, क्योंकि अनुमानित त्रुटि को सीधे नहीं देखा जा सकता, इन विधियों का प्रयास किया जाता है कि अर्थव्यवस्था मान अभिभविक्ति त्रुटि को न्यूनतम किया जाए। उदाहरण के लिए, एकल अवलोकन के स्थान से, हमारे पास बहुविमीय घना है। इस प्रकार, न्यूनतम मान वाले फ़िल्टर के अद्यतन समीकरण निम्नलिखित है:

यहां  एकल चरण आकार है और अपेक्षा  द्वारा की जाती है।

विशेष स्थिति: असंबंधित शोर के साथ सदिश अवलोकन

बहुत सारे व्यावसायिक अनुप्रयोगों में, अवलोकन ध्वनि बिना रहता है। अर्थात, एक डायगोनल आव्यूह है। ऐसे स्थिति में, हम मापन सदिश के संघीय उपायोग के स्थान पर एकल मापन के रूप में के घटकों को विचार करने में लाभकारी होता है। यह हमें गणना समय कम करने देता है द्वारा एकल मापन का प्रसंस्करण करने से आव्यूह के उलट कारणा, इसलिए गणना समय कम होता है। अपडेट अनुशासनता में संविदा के कार्यान्यवित में आव्यूह उलट नहीं करने के संबंध में संख्यात्मक मजबूती में सुधार करता है, इसलिए राउंडऑफ त्रुटियों के विपरीत अपडेट निरंतर रूप से कार्यान्वयन किया जा सकता है

 :

यहाँ , प्रारंभिक मानों का उपयोग करते हुए और . मध्यवर्ती चर है -के विकर्ण तत्व विकर्ण आव्यूह ; जबकि है -वीं पंक्ति आव्यूह . अंतिम मान हैं और होते हैं।






उदाहरण

उदाहरण 1

हम एक उदाहरण के रूप में एक रैखिक भविष्यवाणी समस्या लेंगे। मान लीजिए कि प्रेक्षित अदिश यादृच्छिक चर and और के एक रैखिक संयोजन का उपयोग किसी अन्य भविष्य के अदिश यादृच्छिक चर ऐसा कि . यदि यादृच्छिक चर शून्य माध्य और इसके सहप्रसरण मैट्रिक्स के साथ वास्तविक गाऊसी यादृच्छिक चर हैं द्वारा दिए गए

तो हमारा कार्य गुणांक ज्ञात करना है ऐसा कि यह एक इष्टतम रैखिक अनुमान प्राप्त करेगा .

पिछले अनुभागों में विकसित शब्दावली के संदर्भ में, इस समस्या के लिए हमारे पास अवलोकन सदिश है , अनुमानक आव्यूह एक पंक्ति सदिश और अनुमानित चर के रूप में एक अदिश राशि के रूप में स्वत:सहसंबंध आव्यूह परिभाषित किया जाता है

क्रॉस सहसंबंध आव्यूह परिभाषित किया जाता है

अब हम समीकरण हल करते हैं उलट कर और प्राप्त करने के लिए पूर्व-गुणा करना

यदि हम और को के लिए श्रेष्ठ वज़न मानते हैं, तो न्यूनतम माध्यमिक वाक्य त्रुटि की गणना करने से मिलता है। [1] ध्यान दें कि के मान की गणना के लिए के एक निश्चित आव्यूह विपरीत की प्राप्ति अनिवार्य नहीं है। आव्यूह समीकरण को गौस समाधान विधि जैसे अच्छी जानी जाने वाली विधियों से हल किया जा सकता है। एक छोटी, गैर-संख्यात्मक उदाहरण रूढ़िवादिता सिद्धांत में देखा जा सकता है।






उदाहरण 2

विचार करें एक सदिश जिसे स्थिर परंतु अज्ञात वैशिष्ट्यिक विभाजित किए जाने वाले स्केलर पैरामीटर के अवलोकनों का आधार बनाया गया है। हम इस प्रक्रिया को एक रैखिक समीकरण द्वारा वर्णित कर सकते हैं, जहां है। संदर्भ के आधार पर यह स्पष्ट होगा कि क्या एक स्केलर या सदिश को प्रदर्शित करता है। समझें कि हम जानते हैं कि की मूल्य जिस भी दी गई है। हम एक अप्रियोर नियमित वितरण के द्वारा की अनिश्चितता की प्रारूपित कर सकते हैं, और इसलिए का विच्छेद करेगा। यहां सदिश को के रूप में सामान्य वितरित करते हैं, जहां एक वैशिष्ट्य रूपी आव्यूह है। इसके अतिरिक्त और असंख्यात्मक हैं और है। इसे देखना आसान है

इस प्रकार, रैखिक एमएमएसई अनुमानक द्वारा दिया जाता है

हम इसके वैकल्पिक रूप का उपयोग करके अभिव्यक्ति को सरल बना सकते हैं जैसे:

यहाँ के लिए अपने पास

इसी प्रकार, अनुमानक का विचरण है:

इस प्रकार इस रैखिक अनुमानक का एमएमएसई है

बहुत बड़े के लिए , हम देखते हैं कि समान पूर्व वितरण वाले एक अदिश के एमएमएसई अनुमानक को सभी देखे गए डेटा के अंकगणितीय औसत द्वारा अनुमानित किया जा सकता है

जबकि विचरण डेटा से अप्रभावित रहेगा और अनुमान का एलएमएमएसई शून्य हो जाएगा।

यद्यपि, अनुमानक उप-इष्टतम है क्योंकि यह रैखिक होने के लिए बाध्य है। यादृच्छिक चर था गॉसियन भी होता, तो अनुमानक इष्टतम होता है। ध्यान दें, कि पूर्वानुमेय वितरण की परवाह किए बिना, अनुमानक का रूप अपरिवर्तित रहेगा , जब तक कि इन वितरणों का माध्य और विचरण समान है।






उदाहरण 3

चुनाव में दो प्रतिस्पर्धी उम्मीदवार हैं। जिस उम्मीदवार को चुनाव के दिन वोटों का एक भाग मिलेगा, उसका प्रतिशत होगा। इससे दूसरे उम्मीदवार को मिलने वाले वोटों का प्रतिशत होगा। हम को एक यादृच्छिक चर बनाएंगे जिसका प्रारंभिक वितरण पर यूनिफ़ोर्म प्रायोजन वितरण होगा, जिससे इसका माध्य और चर विस्तार होगा। चुनाव से कुछ हफ्ते पहले, दो अलग-अलग सर्वेक्षण संगठनों द्वारा दो अलग-अलग सर्वेक्षणों का आयोजन किया गया। पहले सर्वेक्षण ने यह दिखाया कि उम्मीदवार को वोटों का प्रतिशत होने की संभावना है। क्योंकि कुछ त्रुटि हमेशा सम्भव होती है जिसका कारण सीमित प्रतिरूप लेने और विशेष सर्वेक्षण विधि के कारण होता है, इसलिए पहले सर्वेक्षक ने अपने अनुमान को त्रुटि के साथ जारी रखा है जिसका माध्य शून्य है और चर विस्तार है। उसी तरह, दूसरे सर्वेक्षक ने अपने अनुमान को के साथ त्रुटि के साथ जारी रखा है जिसका माध्य शून्य है और चर विस्तार है। ध्यान दें कि मानव और विशेष सर्वेक्षण विधि के अलावा, त्रुटि वितरण का विवरण नहीं किया गया है। दिए गए ज्ञान के आधार पर, हम दो सर्वेक्षणों को कैसे संयोजित करेंगे ताकि दिए गए उम्मीदवार के वोटिंग के लिए भविष्यवाणी प्राप्त किया जा सके?

पिछले उदाहरण की तरह, हमारे पास है

यहाँ, दोनों . इस प्रकार, हम एलएमएमएसई अनुमान को रैखिक संयोजन के रूप में प्राप्त कर सकते हैं और जैसा

जहां भारित दिया जाता है

चूंकि यहां प्रत्येक पद स्थिर है, इसलिए चुनाव परिणाम की भविष्यवाणी करने के लिए कम त्रुटि वाले मतदान को अधिक महत्व दिया जाता है। अंत में, विचरण द्वारा दिया गया है

आप ने इस को एक यादृच्छिक चर बनाया है, जिसका प्रारंभिक वितरण पर यूनिफ़ोर्म प्रायोजन वितरण है

सामान्यतः यदि हमारे पास है तो, प्रदूषक जहां आई-वें पोलस्टर के लिए भार दिया गया है और एलएमएमएसई द्वारा दिया गया है






उदाहरण 4

मान लीजिए कि एक संगीतकार एक वाद्ययंत्र बजा रहा है और ध्वनि दो माइक्रोफोनों द्वारा प्राप्त की जाती है, जिनमें से प्रत्येक दो अलग-अलग स्थानों पर स्थित हैं। प्रत्येक माइक्रोफ़ोन पर दूरी के कारण ध्वनि और ,का क्षीणन होने दें, जिन्हें ज्ञात स्थिरांक माना जाता है। इसी प्रकार, प्रत्येक माइक्रोफ़ोन पर ध्वनि और , होने दें, प्रत्येक शून्य माध्य और भिन्नता के साथ और है तो संगीतकार द्वारा उत्पादित ध्वनि को निरूपित करें, जो शून्य माध्य और विचरण के साथ एक यादृच्छिक चर है, इन दोनों माइक्रोफोनों से रिकॉर्ड किए गए संगीत को एक-दूसरे के साथ समन्वयित करने के बाद कैसे संयोजित किया जाना चाहिए?

हम प्रत्येक माइक्रोफोन द्वारा प्राप्त ध्वनि को इस प्रकार प्रारूपित कर सकते हैं

यहाँ दोनों . इस प्रकार, हम दोनों ध्वनियों को इस प्रकार जोड़ सकते हैं

जहां i-वें भार इस प्रकार दिया गया है


यह भी देखें

  • बायेसियन अनुमानक
  • माध्य वर्गीकृत त्रुटि
  • न्यूनतम क्वाड्रेट
  • न्यूनतम-विचरण निष्पक्ष अनुमानक (एमवीयूई)
  • रूढ़िवादिता सिद्धांत
  • विनीज़ फ़िल्टर
  • कलमन फ़िल्टर
  • रैखिक भविष्यवाणी
  • शून्य-बल तुल्यकारक

टिप्पणियाँ

  1. Moon and Stirling.


अग्रिम पठन

  • Johnson, D. "Minimum Mean Squared Error Estimators". Connexions. Archived from Minimum Mean Squared Error Estimators the original on 25 July 2008. Retrieved 8 January 2013. {{cite web}}: Check |url= value (help)
  • Jaynes, E.T. (2003). Probability Theory: The Logic of Science. Cambridge University Press. ISBN 978-0521592710.
  • Bibby, J.; Toutenburg, H. (1977). Prediction and Improved Estimation in Linear Models. Wiley. ISBN 9780471016564.
  • Lehmann, E. L.; Casella, G. (1998). "Chapter 4". Theory of Point Estimation (2nd ed.). Springer. ISBN 0-387-98502-6.
  • Kay, S. M. (1993). Fundamentals of Statistical Signal Processing: Estimation Theory. Prentice Hall. pp. 344–350. ISBN 0-13-042268-1.
  • Luenberger, D.G. (1969). "Chapter 4, Least-squares estimation". Optimization by Vector Space Methods (1st ed.). Wiley. ISBN 978-0471181170.
  • Moon, T.K.; Stirling, W.C. (2000). Mathematical Methods and Algorithms for Signal Processing (1st ed.). Prentice Hall. ISBN 978-0201361865.
  • Van Trees, H. L. (1968). Detection, Estimation, and Modulation Theory, Part I. New York: Wiley. ISBN 0-471-09517-6.
  • Haykin, S.O. (2013). Adaptive Filter Theory (5th ed.). Prentice Hall. ISBN 978-0132671453.