फिशर संसूचना: Difference between revisions
From Vigyanwiki
No edit summary |
No edit summary |
||
| (13 intermediate revisions by 4 users not shown) | |||
| Line 1: | Line 1: | ||
{{Short description|Notion in statistics}} | {{Short description|Notion in statistics}} | ||
गणितीय आँकड़ों में, '''फ़िशर | गणितीय आँकड़ों में, '''फ़िशर संसूचना''' (कभी-कभी केवल सूचना कहलाती है<ref>Lehmann & Casella, p. 115</ref>) [[जानकारी|संसूचना]] की मात्रा को मापने का प्रकार है जो प्रेक्षण योग्य यादृच्छिक चर X वितरण के अज्ञात पैरामीटर θ के मॉडल X के विषय में होता है। औपचारिक रूप से, यह [[स्कोर (सांख्यिकी)|स्कोर]] की भिन्नता है, या देखी गई संसूचना का [[अपेक्षित मूल्य]] होता है। | ||
सांख्यिकीविद् [[रोनाल्ड फिशर]] ([[फ्रांसिस यसिड्रो एडगेवर्थ]] द्वारा कुछ प्रारंभिक परिणामों के पश्चात) द्वारा [[अधिकतम-संभावना अनुमान]] के स्पर्शोन्मुख सिद्धांत में | सांख्यिकीविद् [[रोनाल्ड फिशर]] ([[फ्रांसिस यसिड्रो एडगेवर्थ]] द्वारा कुछ प्रारंभिक परिणामों के पश्चात) द्वारा [[अधिकतम-संभावना अनुमान]] के स्पर्शोन्मुख सिद्धांत में फिशर संसूचना की भूमिका पर जोर दिया गया था। फिशर संसूचना आव्यूह का उपयोग अधिकतम-संभावना अनुमानों से जुड़े [[सहप्रसरण मैट्रिक्स|सहप्रसरण]] आव्यूह की गणना करने के लिए किया जाता है। इसका उपयोग परीक्षण आँकड़ों के निर्माण में जैसे [[वाल्ड परीक्षण]] किया जा सकता है। | ||
[[बायेसियन सांख्यिकी]] में, फिशर की | [[बायेसियन सांख्यिकी]] में, फिशर की संसूचना जेफ़रीज़ के नियम के अनुसार गैर-सूचनात्मक [[पूर्व वितरण|पूर्व वितरणों]] की व्युत्पत्ति में भूमिका निभाती है।<ref>{{cite book |first=Christian |last=Robert |title=द बायेसियन चॉइस|location= |publisher=Springer |edition=2nd |year=2007 |isbn=978-0-387-71598-8 |chapter=Noninformative prior distributions |pages=127–141 }}</ref> यह [[पश्च वितरण]] के बड़े-प्रारूप सहप्रसरण के रूप में भी प्रकट होता है, नियम यह है कि पूर्व पर्याप्त रूप से सुचारू हो (परिणाम जिसे बर्नस्टीन-वॉन मिज़ प्रमेय के रूप में जाना जाता है, जिसे [[घातीय परिवार|घातीय परिवारों]] के लिए [[लाप्लास]] द्वारा प्रत्याशित किया गया था)।<ref>{{cite book |first=Lucien |last=Le Cam |authorlink=Lucien Le Cam |year=1986 |title=सांख्यिकीय निर्णय सिद्धांत में स्पर्शोन्मुख तरीके|location=New York |publisher=Springer |pages=618–621 |isbn=0-387-96307-3 }}</ref> लाप्लास के सन्निकटन के साथ पोस्टीरियर का अनुमान लगाते समय उसी परिणाम का उपयोग किया जाता है, जहां फिशर की संसूचना फिटेड गॉसियन के सहप्रसरण के रूप में दिखाई देती है।<ref>{{cite book |first1=Robert E. |last1=Kass |first2=Luke |last2=Tierney |first3=Joseph B. |last3=Kadane |chapter=The Validity of Posterior Expansions Based on Laplace's Method |pages=473–488 |editor-first=S. |editor-last=Geisser |editor2-first=J. S. |editor2-last=Hodges |editor3-first=S. J. |editor3-last=Press |editor4-first=A. |editor4-last=Zellner |title=सांख्यिकी और अर्थमिति में बायेसियन और संभावना के तरीके|location= |publisher=Elsevier |year=1990 |isbn=0-444-88376-2 }}</ref> | ||
वैज्ञानिक प्रकृति (भौतिक, जैविक, आदि) की सांख्यिकीय प्रणालियाँ जिनके संभावित कार्य [[शिफ्ट-इनवेरिएंट सिस्टम|शिफ्ट-इनवेरिएंट]] का पालन करते हैं, उन्हें अधिकतम | वैज्ञानिक प्रकृति (भौतिक, जैविक, आदि) की सांख्यिकीय प्रणालियाँ जिनके संभावित कार्य [[शिफ्ट-इनवेरिएंट सिस्टम|शिफ्ट-इनवेरिएंट]] का पालन करते हैं, उन्हें अधिकतम फिशर संसूचना का पालन करने के लिए दिखाया गया है।<ref>Frieden & Gatenby (2013)</ref> अधिकतम स्तर प्रणाली बाधाओं की प्रकृति पर निर्भर करता है। | ||
== परिभाषा == | == परिभाषा == | ||
फ़िशर | फ़िशर संसूचना, संसूचना की मात्रा को मापने की विधि है जो अवलोकन योग्य यादृच्छिक चर है <math>X</math> में अज्ञात [[पैरामीटर]] है जिस पर <math>\theta</math> की संभावना है <math>X</math> निर्भर करता है। मान लीजिये <math>f(X;\theta)</math> के लिए प्रायिकता घनत्व फलन (या प्रायिकता द्रव्यमान फलन) <math>X</math> के मान पर प्रतिबंधित <math>\theta</math> होता है। यह संभावना का वर्णन करता है कि हम दिए गए परिणाम का निरीक्षण करते हैं <math>X</math>, का ज्ञात मान <math>\theta</math> दिया गया है। यदि <math>f</math> में परिवर्तनों के संबंध में तीव्रता से चरम पर <math>\theta</math> का उचित मान प्रदर्शित करना सरल है <math>\theta</math> डेटा से, या समकक्ष, कि डेटा <math>X</math> पैरामीटर <math>\theta</math> के विषय में अत्यधिक संसूचना प्रदान करता है। यदि <math>f</math> समतल और विस्तारित है, तो यह कई प्रतिरूप लेगा <math>X</math> के वास्तविक उचित मान का अनुमान लगाने के लिए वह <math>\theta</math> प्रतिचयन की जा रही संपूर्ण जनसंख्या का उपयोग करके प्राप्त किया जाएगा। यह <math>\theta</math> किसी प्रकार के विचरण के संबंध में अध्ययन करने का सुझाव देता है। | ||
औपचारिक रूप से, <math>\theta</math> के संबंध में [[आंशिक व्युत्पन्न]] प्रायिकता फलन के [[प्राकृतिक]] लघुगणक को स्कोर कहा जाता है। कुछ नियमितता प्रावधानों के अंतर्गत, यदि <math>\theta</math> उचित पैरामीटर है (अर्थात <math>X</math> वास्तव में <math>f(X;\theta)</math> के रूप में वितरित किया जाता है), यह दिखाया जा सकता है कि स्कोर का अपेक्षित मान (प्रथम क्षण), उचित पैरामीटर मान पर मूल्यांकन <math>\theta</math>, 0 किया गया है:<ref name=SubaRao>{{cite web|last=Suba Rao|title=सांख्यिकीय अनुमान पर व्याख्यान|url=http://www.stat.tamu.edu/~suhasini/teaching613/inference.pdf}}</ref> | औपचारिक रूप से, <math>\theta</math> के संबंध में [[आंशिक व्युत्पन्न]] प्रायिकता फलन के [[प्राकृतिक]] लघुगणक को स्कोर कहा जाता है। कुछ नियमितता प्रावधानों के अंतर्गत, यदि <math>\theta</math> उचित पैरामीटर है (अर्थात <math>X</math> वास्तव में <math>f(X;\theta)</math> के रूप में वितरित किया जाता है), यह दिखाया जा सकता है कि स्कोर का अपेक्षित मान (प्रथम क्षण), उचित पैरामीटर मान पर मूल्यांकन <math>\theta</math>, 0 किया गया है:<ref name=SubaRao>{{cite web|last=Suba Rao|title=सांख्यिकीय अनुमान पर व्याख्यान|url=http://www.stat.tamu.edu/~suhasini/teaching613/inference.pdf}}</ref> <math>\begin{align} | ||
\operatorname{E} \left[\left. \frac{\partial}{\partial\theta} \log f(X;\theta)\right|\theta \right] | \operatorname{E} \left[\left. \frac{\partial}{\partial\theta} \log f(X;\theta)\right|\theta \right] | ||
={} &\int_{\mathbb{R}} \frac{\frac{\partial}{\partial\theta} f(x;\theta)}{f(x; \theta)} f(x;\theta)\,dx \\[3pt] | ={} &\int_{\mathbb{R}} \frac{\frac{\partial}{\partial\theta} f(x;\theta)}{f(x; \theta)} f(x;\theta)\,dx \\[3pt] | ||
| Line 19: | Line 19: | ||
\end{align}</math> | \end{align}</math> | ||
फिशर | फिशर संसूचना को स्कोर के विचरण के रूप में परिभाषित किया गया है:<ref>Fisher (1922)</ref> | ||
:<math> \mathcal{I}(\theta) = \operatorname{E} \left[\left. \left(\frac{\partial}{\partial\theta} \log f(X;\theta)\right)^2\right|\theta \right] = \int_{\mathbb{R}} \left(\frac{\partial}{\partial\theta} \log f(x;\theta)\right)^2 f(x; \theta)\,dx,</math> | :<math> \mathcal{I}(\theta) = \operatorname{E} \left[\left. \left(\frac{\partial}{\partial\theta} \log f(X;\theta)\right)^2\right|\theta \right] = \int_{\mathbb{R}} \left(\frac{\partial}{\partial\theta} \log f(x;\theta)\right)^2 f(x; \theta)\,dx,</math> | ||
ध्यान दें कि <math>0 \leq \mathcal{I}(\theta)</math> उच्च फिशर | ध्यान दें कि <math>0 \leq \mathcal{I}(\theta)</math> उच्च फिशर संसूचना वाले यादृच्छिक चर का अर्थ है कि स्कोर का निरपेक्ष मान प्रायः उच्च होता है। फिशर की संसूचना किसी विशेष अवलोकन का कार्य नहीं है, क्योंकि यादृच्छिक चर X को औसत कर दिया गया है। | ||
यदि {{nowrap|log ''f''(''x''; ''θ'')}} θ के संबंध में दो बार अवकलनीय है, और कुछ नियमितता प्रावधानों के अंतर्गत, फ़िशर | यदि {{nowrap|log ''f''(''x''; ''θ'')}} θ के संबंध में दो बार अवकलनीय है, और कुछ नियमितता प्रावधानों के अंतर्गत, फ़िशर संसूचना को इस रूप में भी लिखा जा सकता है:<ref>Lehmann & Casella, eq. (2.5.16), Lemma 5.3, p.116.</ref> | ||
:<math> \mathcal{I}(\theta) = - \operatorname{E} \left[\left. \frac{\partial^2}{\partial\theta^2} \log f(X;\theta)\right|\theta \right],</math> | :<math> \mathcal{I}(\theta) = - \operatorname{E} \left[\left. \frac{\partial^2}{\partial\theta^2} \log f(X;\theta)\right|\theta \right],</math> | ||
तब से | तब से | ||
| Line 30: | Line 30: | ||
और | और | ||
:<math> \operatorname{E} \left[\left. \frac{\frac{\partial^2}{\partial\theta^2} f(X;\theta)}{f(X; \theta)}\right|\theta \right] = \frac{\partial^2}{\partial\theta^2} \int_{\mathbb{R}} f(x;\theta)\,dx = 0. </math> | :<math> \operatorname{E} \left[\left. \frac{\frac{\partial^2}{\partial\theta^2} f(X;\theta)}{f(X; \theta)}\right|\theta \right] = \frac{\partial^2}{\partial\theta^2} \int_{\mathbb{R}} f(x;\theta)\,dx = 0. </math> | ||
इस प्रकार, फिशर की | इस प्रकार, फिशर की संसूचना को [[समर्थन वक्र]] (लॉग-संभावना का ग्राफ) की वक्रता के रूप में देखा जा सकता है। अधिकतम संभावना अनुमान के निकट, अल्प फिशर संसूचना इसलिए प्रदर्शित करती है कि अधिकतम "ब्लंट" दिखाई देता है, अर्थात, अधिकतम उथला है और समान लॉग-संभावना के साथ निकट के कई मान हैं। इसके विपरीत, उच्च फिशर संसूचना प्रदर्शित करती है कि अधिकतम तीव्र है। | ||
=== नियमितता की स्थिति === | === नियमितता की स्थिति === | ||
नियमितता | नियमितता के नियम इस प्रकार हैं:<ref>{{Cite book|last=Schervish|first=Mark J.|url=https://www.worldcat.org/oclc/852790658|title=सांख्यिकी का सिद्धांत|date=1995|publisher=Springer New York|isbn=978-1-4612-4250-5|location=New York, NY|pages=111|oclc=852790658}}</ref> | ||
# θ के संबंध में f(X; θ) का आंशिक व्युत्पन्न [[लगभग हर जगह]] उपस्थित है। (यह | # θ के संबंध में f(X; θ) का आंशिक व्युत्पन्न [[लगभग हर जगह|लगभग प्रत्येक जगह]] उपस्थित है। (जब तक कि यह समुच्चय θ पर निर्भर नहीं करता है, तब तक यह शून्य समुच्चय पर उपस्थित नहीं हो सकता है।) | ||
# | # f(X; θ) के समाकल को θ के संबंध में समाकल चिह्न के अंतर्गत विभेदित किया जा सकता है। | ||
# f(X; θ) का [[समर्थन (गणित)]] θ पर निर्भर नहीं करता है। | # f(X; θ) का [[समर्थन (गणित)|समर्थन]] θ पर निर्भर नहीं करता है। | ||
यदि θ सदिश राशि है तो θ के प्रत्येक घटक के लिए नियमितता | यदि θ सदिश राशि है तो θ के प्रत्येक घटक के लिए नियमितता के नियम होने चाहिए। घनत्व का उदाहरण शोध करना सरल है जो नियमितता के नियमों को पूर्ण नहीं करता है: समान (0, θ) चर का घनत्व 1 और 3 के नियमों को पूर्ण करने में विफल रहता है। इस स्थिति में, उचित प्रकार से फिशर की संसूचना की गणना परिभाषा से की जा सकती है, इसमें वे गुण नहीं होंगे जो सामान्यतः माने जाते हैं। | ||
=== [[संभावना]] | === [[संभावना]] की दृष्टि से === | ||
चूँकि दिए गए X के θ की संभावना | चूँकि दिए गए X के θ की संभावना सदैव प्रायिकता f(X; θ) के समानुपाती होती है, उनके लघुगणक आवश्यक रूप से स्थिरांक से भिन्न होते हैं जो θ से स्वतंत्र होता है, और θ के संबंध में इन लघुगणकों के डेरिवेटिव आवश्यक रूप से समान होते हैं। इस प्रकार कोई फिशर संसूचना की परिभाषाओं में लॉग-लाइबिलिटी ''l''(θ; ''X'') के अतिरिक्त {{math|log ''f''(''X''; ''θ'')}} में स्थानापन्न कर सकता है। | ||
=== किसी भी आकार के | === किसी भी आकार के प्रतिरूप === | ||
मान X एकल वितरण से निकाले गए एकल | मान X एकल वितरण से निकाले गए एकल प्रतिरूप का प्रतिनिधित्व कर सकता है या वितरण के संग्रह से निकाले गए प्रतिरूपों के संग्रह का प्रतिनिधित्व कर सकता है। यदि n प्रतिरूप हैं और संबंधित n वितरण [[सांख्यिकीय रूप से स्वतंत्र]] हैं, तो फ़िशर संसूचना आवश्यक रूप से इसके वितरण से प्रत्येक एकल प्रतिरूप के लिए फ़िशर संसूचना मानों का योग होगी। विशेष रूप से, यदि n वितरण स्वतंत्र हैं और समान रूप से वितरित किए गए हैं, तो फ़िशर संसूचना आवश्यक रूप से सामान्य वितरण से एकल प्रतिरूप की फ़िशर संसूचना का n गुना होगी। | ||
===क्रैमर-राव बाउंड === | === क्रैमर-राव बाउंड की अनौपचारिक व्युत्पत्ति === | ||
क्रैमर-राव बाउंड<ref>Cramer (1946)</ref><ref>Rao (1945)</ref> कहता है कि फिशर संसूचना का व्युत्क्रम θ के किसी भी निष्पक्ष अनुमानक के विचरण पर निचली सीमा है। एच.एल. वैन ट्रीज़ (1968) और बी. रॉय फ्रीडेन (2004) क्रैमर-राव बाउंड प्राप्त करने की निम्नलिखित विधि प्रदान करते हैं, जिसके परिणामस्वरूप फिशर संसूचना के उपयोग का वर्णन होता है। | |||
अनौपचारिक रूप से, हम निष्पक्ष अनुमानक पर विचार करके | अनौपचारिक रूप से, हम निष्पक्ष अनुमानक पर विचार करके <math>\hat\theta(X)</math> प्रारंभ करते हैं, गणितीय रूप से, निष्पक्ष का अर्थ है कि; | ||
:<math> | :<math> | ||
| Line 55: | Line 55: | ||
= \int \left(\hat\theta(x) - \theta\right) \, f(x ;\theta) \, dx = 0 \text{ regardless of the value of } \theta. | = \int \left(\hat\theta(x) - \theta\right) \, f(x ;\theta) \, dx = 0 \text{ regardless of the value of } \theta. | ||
</math> | </math> | ||
यह अभिव्यक्ति θ से स्वतंत्र शून्य है, इसलिए θ के संबंध में इसका आंशिक व्युत्पन्न भी शून्य होना चाहिए। उत्पाद नियम के अनुसार, यह आंशिक अवकलज भी | यह अभिव्यक्ति θ से स्वतंत्र शून्य है, इसलिए θ के संबंध में इसका आंशिक व्युत्पन्न भी शून्य होना चाहिए। उत्पाद नियम के अनुसार, यह आंशिक अवकलज भी समान है: | ||
:<math> | :<math> | ||
| Line 61: | Line 61: | ||
= \int \left(\hat\theta(x)-\theta\right) \frac{\partial f}{\partial\theta} \, dx - \int f \,dx. | = \int \left(\hat\theta(x)-\theta\right) \frac{\partial f}{\partial\theta} \, dx - \int f \,dx. | ||
</math> | </math> | ||
प्रत्येक θ के लिए, प्रायिकता फलन प्रायिकता घनत्व फलन है, और इसलिए <math>\int f\,dx = 1</math> | प्रत्येक θ के लिए, प्रायिकता फलन प्रायिकता घनत्व फलन है, और इसलिए <math>\int f\,dx = 1</math> के आंशिक व्युत्पन्न पर [[श्रृंखला नियम]] का उपयोग करके <math>\log f</math> और पुनः विभाजित और <math>f(x;\theta)</math> गुणा करना, कोई इसे सत्यापित कर सकता है: | ||
:<math>\frac{\partial f}{\partial\theta} = f \, \frac{\partial \log f}{\partial\theta}.</math> | :<math>\frac{\partial f}{\partial\theta} = f \, \frac{\partial \log f}{\partial\theta}.</math> | ||
उपर्युक्त में इन दो तथ्यों का प्रयोग करने पर हमें प्राप्त होता है | उपर्युक्त में इन दो तथ्यों का प्रयोग करने पर हमें प्राप्त होता है: | ||
:<math> | :<math> | ||
\int \left(\hat\theta-\theta\right) f \, \frac{\partial \log f}{\partial\theta} \, dx = 1. | \int \left(\hat\theta-\theta\right) f \, \frac{\partial \log f}{\partial\theta} \, dx = 1. | ||
</math> | </math> | ||
इंटीग्रैंड देता है | इंटीग्रैंड फैक्टरिंग देता है: | ||
:<math> | :<math> | ||
\int \left(\left(\hat\theta-\theta\right) \sqrt{f} \right) \left( \sqrt{f} \, \frac{\partial \log f}{\partial\theta} \right) \, dx = 1. | \int \left(\left(\hat\theta-\theta\right) \sqrt{f} \right) \left( \sqrt{f} \, \frac{\partial \log f}{\partial\theta} \right) \, dx = 1. | ||
</math> | </math> | ||
समाकलन में व्यंजक का वर्ग करने पर कॉशी-श्वार्ज़ असमानता प्राप्त होती है | समाकलन में व्यंजक का वर्ग करने पर कॉशी-श्वार्ज़ असमानता प्राप्त होती है: | ||
:<math> | :<math> | ||
| Line 81: | Line 81: | ||
\left[ \int \left(\hat\theta - \theta\right)^2 f \, dx \right] \cdot \left[ \int \left( \frac{\partial \log f}{\partial\theta} \right)^2 f \, dx \right]. | \left[ \int \left(\hat\theta - \theta\right)^2 f \, dx \right] \cdot \left[ \int \left( \frac{\partial \log f}{\partial\theta} \right)^2 f \, dx \right]. | ||
</math> | </math> | ||
दूसरा ब्रैकेटेड कारक फिशर सूचना के रूप में परिभाषित किया गया है, जबकि | दूसरा ब्रैकेटेड कारक फिशर सूचना के रूप में परिभाषित किया गया है, जबकि प्रथम ब्रैकेटेड कारक अनुमानक की अपेक्षित माध्य-वर्ग त्रुटि <math>\hat\theta</math> है, पुनर्व्यवस्थित करके, असमानता हमें बताती है कि; | ||
:<math> | :<math> | ||
\operatorname{Var}\left(\hat\theta\right) \geq \frac{1}{\mathcal{I}\left(\theta\right)}. | \operatorname{Var}\left(\hat\theta\right) \geq \frac{1}{\mathcal{I}\left(\theta\right)}. | ||
</math> | </math> | ||
दूसरे शब्दों में, जिस | दूसरे शब्दों में, जिस त्रुटिहीनता का हम अनुमान लगा सकते हैं, वह मौलिक रूप से संभावित कार्य की फिशर संसूचना द्वारा सीमित है। | ||
वैकल्पिक रूप से, यादृच्छिक चर के लिए कॉची-श्वार्ज़ असमानता से सीधे ही निष्कर्ष प्राप्त किया जा सकता है, <math>|\operatorname{Cov}(AB)|^2 \le \operatorname{Var}(A)\operatorname{Var}(B)</math>, यादृच्छिक चर <math>\hat\theta(X)</math> और <math>\partial_\theta\log f(X;\theta)</math> पर प्रारम्भ होता है, और यह देखते हुए कि निष्पक्ष अनुमानक हैं:<math display="block">\operatorname{Cov}[\hat\theta(X)\partial_\theta \log f(X;\theta)] = | |||
वैकल्पिक रूप से, यादृच्छिक चर के लिए | |||
\int dx (\hat\theta(x)-\mathrm E[\hat\theta])\partial_\theta f(x;\theta) = \partial_\theta \mathrm E[\hat\theta] = 1.</math> | \int dx (\hat\theta(x)-\mathrm E[\hat\theta])\partial_\theta f(x;\theta) = \partial_\theta \mathrm E[\hat\theta] = 1.</math> | ||
===एकल-पैरामीटर बरनौली प्रयोग=== | ===एकल-पैरामीटर बरनौली प्रयोग=== | ||
[[बरनौली परीक्षण]] दो संभावित परिणामों, सफलता और असफलता के साथ यादृच्छिक चर है, जिसमें सफलता की संभावना θ है। परिणाम के विषय में सोचा जा सकता है कि सिक्का टॉस द्वारा निर्धारित किया जा सकता है, जिसमें हेड होने की संभावना θ और पूंछ होने की संभावना {{nowrap|1 − ''θ''}} है। | |||
मान लीजिये कि X बरनौली परीक्षण है। X में निहित फिशर संसूचना की गणना की जा सकती है: | |||
:<math>\begin{align} | :<math>\begin{align} | ||
\mathcal{I}(\theta) | \mathcal{I}(\theta) | ||
| Line 104: | Line 102: | ||
&= \frac{1}{\theta(1 - \theta)}. | &= \frac{1}{\theta(1 - \theta)}. | ||
\end{align}</math> | \end{align}</math> | ||
क्योंकि फिशर की | क्योंकि फिशर की संसूचना योगात्मक है, फिशर की संसूचना n स्वतंत्र बर्नौली परीक्षणों में निहित है: | ||
:<math>\mathcal{I}(\theta) = \frac{n}{\theta(1 - \theta)}.</math> | :<math>\mathcal{I}(\theta) = \frac{n}{\theta(1 - \theta)}.</math> | ||
यह | यह ''n'' बर्नौली परीक्षणों में सफलताओं की औसत संख्या के विचरण का पारस्परिक है, इसलिए इस स्थिति में, क्रैमर-राव बाउंड समानता है। | ||
== आव्यूह फॉर्म == | == आव्यूह फॉर्म == | ||
जब | जब ''N'' पैरामीटर हैं, तो θ {{nowrap|''N'' × 1}} [[कॉलम वेक्टर|सदिश]] <math>\theta = \begin{bmatrix}\theta_1 & \theta_2 & \dots & \theta_N\end{bmatrix}^\textsf{T}</math> है, तब फिशर संसूचना {{nowrap|''N'' × ''N''}} [[मैट्रिक्स (गणित)|आव्यूह]] का रूप ले लेती है। इस आव्यूह को फिशर इंफॉर्मेशन आव्यूह (एफआईएम) कहा जाता है और इसमें विशिष्ट तत्व होता है: | ||
:<math> | :<math> | ||
| Line 118: | Line 116: | ||
\right|\theta\right]. | \right|\theta\right]. | ||
</math> | </math> | ||
एफआईएम | एफआईएम {{nowrap|''N'' × ''N''}} [[सकारात्मक अर्ध निश्चित मैट्रिक्स|सकारात्मक अर्ध निश्चित आव्यूह है]]। यदि यह सकारात्मक निश्चित है, तो यह N-आयामी[[ पैरामीटर स्थान ]]पर [[रिमेंनियन मीट्रिक]] को परिभाषित करता है। विषय [[सूचना ज्यामिति]] इसका उपयोग फिशर संसूचना को [[अंतर ज्यामिति]] से जोड़ने के लिए करती है, और उस संदर्भ में, इस मीट्रिक को [[फिशर सूचना मीट्रिक|फिशर संसूचना मीट्रिक]] के रूप में जाना जाता है। | ||
कुछ निश्चित नियमितता | कुछ निश्चित नियमितता नियमों के अंतर्गत , फिशर संसूचना आव्यूह को इस रूप में भी लिखा जा सकता है: | ||
:<math> | :<math> | ||
| Line 128: | Line 126: | ||
\right|\theta\right]\,. | \right|\theta\right]\,. | ||
</math> | </math> | ||
परिणाम कई | परिणाम कई अर्थों में रोचक है: | ||
* इसे सापेक्ष एंट्रॉपी के [[हेसियन मैट्रिक्स|हेसियन]] आव्यूह के रूप में प्राप्त किया जा सकता है। | * इसे सापेक्ष एंट्रॉपी के [[हेसियन मैट्रिक्स|हेसियन]] आव्यूह के रूप में प्राप्त किया जा सकता है। | ||
*इसे सकारात्मक-निश्चित होने पर फिशर-राव ज्यामिति को परिभाषित करने के लिए रिमेंनियन मीट्रिक के रूप में उपयोग किया जा सकता है।<ref>{{cite journal | last1 = Nielsen | first1 = Frank | year = 2010 | | *इसे सकारात्मक-निश्चित होने पर फिशर-राव ज्यामिति को परिभाषित करने के लिए रिमेंनियन मीट्रिक के रूप में उपयोग किया जा सकता है।<ref>{{cite journal | last1 = Nielsen | first1 = Frank | year = 2010 | | ||
title = Cramer-Rao lower bound and information geometry | title = Cramer-Rao lower bound and information geometry | ||
| journal = Connected at Infinity II | pages = 18–37 | arxiv = 1301.3578 }}</ref> | | journal = Connected at Infinity II | pages = 18–37 | arxiv = 1301.3578 }}</ref> | ||
* चर के उपयुक्त परिवर्तन के | * चर के उपयुक्त परिवर्तन के पश्चात, इसे [[यूक्लिडियन मीट्रिक]] से प्रेरित मीट्रिक के रूप में समझा जा सकता है। | ||
*अपने जटिल-मूल्यवान रूप में, यह फ़ुबिनी-अध्ययन मीट्रिक है। | *अपने जटिल-मूल्यवान रूप में, यह फ़ुबिनी-अध्ययन मीट्रिक है। | ||
*यह विल्क्स प्रमेय के प्रमाण का प्रमुख | *यह विल्क्स प्रमेय के प्रमाण का प्रमुख भाग है, जो [[संभावना सिद्धांत]] की आवश्यकता के बिना विश्वास क्षेत्र अनुमानों को [[अधिकतम संभावना अनुमान]] (उन स्थितियों के लिए जिनके लिए यह प्रस्तावित होता है) की अनुमति देता है। | ||
* | *ऐसी स्थितियों में जहां उपरोक्त एफआईएम की विश्लेषणात्मक गणना कठिन है, एफआईएम के अनुमान के रूप में नकारात्मक लॉग-लाइबिलिटी फ़ंक्शन के हेसियन आव्यूह के सरल मोंटे कार्लो अनुमानों का औसत बनना संभव है।<ref>{{cite journal | last1 = Spall | first1 = J. C. | year = 2005 | title = गैर-मानक सेटिंग्स में फिशर सूचना मैट्रिक्स की मोंटे कार्लो संगणना| journal = Journal of Computational and Graphical Statistics | volume = 14 | issue = 4| pages = 889–909 | doi=10.1198/106186005X78800| s2cid = 16090098 }}</ref><ref>Spall, J. C. (2008), "Improved Methods for Monte Carlo Estimation of the Fisher Information Matrix," ''Proceedings of the American Control Conference'', Seattle, WA, 11–13 June 2008, pp. 2395–2400. https://doi.org/10.1109/ACC.2008.4586850</ref><ref>{{cite journal | last1 = Das | first1 = S. | last2 = Spall | first2 = J. C. | last3 = Ghanem | first3 = R. | year = 2010 | title = पूर्व सूचना का उपयोग करते हुए फिशर सूचना मैट्रिक्स की कुशल मोंटे कार्लो संगणना| journal = Computational Statistics and Data Analysis | volume = 54 | issue = 2| pages = 272–289 | doi=10.1016/j.csda.2009.09.018}}</ref> अनुमान नकारात्मक लॉग-संभावना फ़ंक्शन के मान या नकारात्मक लॉग-संभावना फ़ंक्शन के ग्रेडिएंट पर आधारित हो सकते हैं; नकारात्मक लॉग-संभावना फ़ंक्शन के हेस्सियन की कोई विश्लेषणात्मक गणना आवश्यक नहीं है। | ||
=== सूचना | === सूचना लंबकोणीय पैरामीटर === | ||
हम कहते हैं कि दो पैरामीटर घटक | |||