फिशर संसूचना: Difference between revisions

From Vigyanwiki
No edit summary
No edit summary
 
(17 intermediate revisions by 4 users not shown)
Line 1: Line 1:
{{Short description|Notion in statistics}}
{{Short description|Notion in statistics}}
गणितीय आँकड़ों में, '''फ़िशर जानकारी''' (कभी-कभी केवल सूचना कहलाती है<ref>Lehmann & Casella, p. 115</ref>) [[जानकारी]] की मात्रा को मापने का प्रकार है जो प्रेक्षण योग्य यादृच्छिक चर X वितरण के अज्ञात पैरामीटर θ के मॉडल X के विषय में होता है। औपचारिक रूप से, यह [[स्कोर (सांख्यिकी)|स्कोर]] की भिन्नता है, या देखी गई जानकारी का [[अपेक्षित मूल्य]] होता है।  
गणितीय आँकड़ों में, '''फ़िशर संसूचना''' (कभी-कभी केवल सूचना कहलाती है<ref>Lehmann & Casella, p. 115</ref>) [[जानकारी|संसूचना]] की मात्रा को मापने का प्रकार है जो प्रेक्षण योग्य यादृच्छिक चर X वितरण के अज्ञात पैरामीटर θ के मॉडल X के विषय में होता है। औपचारिक रूप से, यह [[स्कोर (सांख्यिकी)|स्कोर]] की भिन्नता है, या देखी गई संसूचना का [[अपेक्षित मूल्य]] होता है।  


सांख्यिकीविद् [[रोनाल्ड फिशर]] ([[फ्रांसिस यसिड्रो एडगेवर्थ]] द्वारा कुछ प्रारंभिक परिणामों के पश्चात) द्वारा [[अधिकतम-संभावना अनुमान]] के स्पर्शोन्मुख सिद्धांत में '''फिशर जानकारी''' की भूमिका पर जोर दिया गया था। फिशर जानकारी आव्यूह का उपयोग अधिकतम-संभावना अनुमानों से जुड़े [[सहप्रसरण मैट्रिक्स|सहप्रसरण]] आव्यूह की गणना करने के लिए किया जाता है। इसका उपयोग परीक्षण आँकड़ों के निर्माण में जैसे [[वाल्ड परीक्षण]] किया जा सकता है।  
सांख्यिकीविद् [[रोनाल्ड फिशर]] ([[फ्रांसिस यसिड्रो एडगेवर्थ]] द्वारा कुछ प्रारंभिक परिणामों के पश्चात) द्वारा [[अधिकतम-संभावना अनुमान]] के स्पर्शोन्मुख सिद्धांत में फिशर संसूचना की भूमिका पर जोर दिया गया था। फिशर संसूचना आव्यूह का उपयोग अधिकतम-संभावना अनुमानों से जुड़े [[सहप्रसरण मैट्रिक्स|सहप्रसरण]] आव्यूह की गणना करने के लिए किया जाता है। इसका उपयोग परीक्षण आँकड़ों के निर्माण में जैसे [[वाल्ड परीक्षण]] किया जा सकता है।  


[[बायेसियन सांख्यिकी]] में, फिशर की जानकारी जेफ़रीज़ के नियम के अनुसार गैर-सूचनात्मक [[पूर्व वितरण|पूर्व वितरणों]] की व्युत्पत्ति में भूमिका निभाती है।<ref>{{cite book |first=Christian |last=Robert |title=द बायेसियन चॉइस|location= |publisher=Springer |edition=2nd |year=2007 |isbn=978-0-387-71598-8 |chapter=Noninformative prior distributions |pages=127–141 }}</ref> यह [[पश्च वितरण]] के बड़े-प्रारूप सहप्रसरण के रूप में भी प्रकट होता है, नियम यह है कि पूर्व पर्याप्त रूप से सुचारू हो (परिणाम जिसे बर्नस्टीन-वॉन मिज़ प्रमेय के रूप में जाना जाता है, जिसे [[घातीय परिवार|घातीय परिवारों]] के लिए [[लाप्लास]] द्वारा प्रत्याशित किया गया था)।<ref>{{cite book |first=Lucien |last=Le Cam |authorlink=Lucien Le Cam |year=1986 |title=सांख्यिकीय निर्णय सिद्धांत में स्पर्शोन्मुख तरीके|location=New York |publisher=Springer |pages=618–621 |isbn=0-387-96307-3 }}</ref> लाप्लास के सन्निकटन के साथ पोस्टीरियर का अनुमान लगाते समय उसी परिणाम का उपयोग किया जाता है, जहां फिशर की जानकारी फिटेड गॉसियन के सहप्रसरण के रूप में दिखाई देती है।<ref>{{cite book |first1=Robert E. |last1=Kass |first2=Luke |last2=Tierney |first3=Joseph B. |last3=Kadane |chapter=The Validity of Posterior Expansions Based on Laplace's Method |pages=473–488 |editor-first=S. |editor-last=Geisser |editor2-first=J. S. |editor2-last=Hodges |editor3-first=S. J. |editor3-last=Press |editor4-first=A. |editor4-last=Zellner |title=सांख्यिकी और अर्थमिति में बायेसियन और संभावना के तरीके|location= |publisher=Elsevier |year=1990 |isbn=0-444-88376-2 }}</ref>
[[बायेसियन सांख्यिकी]] में, फिशर की संसूचना जेफ़रीज़ के नियम के अनुसार गैर-सूचनात्मक [[पूर्व वितरण|पूर्व वितरणों]] की व्युत्पत्ति में भूमिका निभाती है।<ref>{{cite book |first=Christian |last=Robert |title=द बायेसियन चॉइस|location= |publisher=Springer |edition=2nd |year=2007 |isbn=978-0-387-71598-8 |chapter=Noninformative prior distributions |pages=127–141 }}</ref> यह [[पश्च वितरण]] के बड़े-प्रारूप सहप्रसरण के रूप में भी प्रकट होता है, नियम यह है कि पूर्व पर्याप्त रूप से सुचारू हो (परिणाम जिसे बर्नस्टीन-वॉन मिज़ प्रमेय के रूप में जाना जाता है, जिसे [[घातीय परिवार|घातीय परिवारों]] के लिए [[लाप्लास]] द्वारा प्रत्याशित किया गया था)।<ref>{{cite book |first=Lucien |last=Le Cam |authorlink=Lucien Le Cam |year=1986 |title=सांख्यिकीय निर्णय सिद्धांत में स्पर्शोन्मुख तरीके|location=New York |publisher=Springer |pages=618–621 |isbn=0-387-96307-3 }}</ref> लाप्लास के सन्निकटन के साथ पोस्टीरियर का अनुमान लगाते समय उसी परिणाम का उपयोग किया जाता है, जहां फिशर की संसूचना फिटेड गॉसियन के सहप्रसरण के रूप में दिखाई देती है।<ref>{{cite book |first1=Robert E. |last1=Kass |first2=Luke |last2=Tierney |first3=Joseph B. |last3=Kadane |chapter=The Validity of Posterior Expansions Based on Laplace's Method |pages=473–488 |editor-first=S. |editor-last=Geisser |editor2-first=J. S. |editor2-last=Hodges |editor3-first=S. J. |editor3-last=Press |editor4-first=A. |editor4-last=Zellner |title=सांख्यिकी और अर्थमिति में बायेसियन और संभावना के तरीके|location= |publisher=Elsevier |year=1990 |isbn=0-444-88376-2 }}</ref>


वैज्ञानिक प्रकृति (भौतिक, जैविक, आदि) की सांख्यिकीय प्रणालियाँ जिनके संभावित कार्य [[शिफ्ट-इनवेरिएंट सिस्टम|शिफ्ट-इनवेरिएंट]] का पालन करते हैं, उन्हें अधिकतम '''फिशर जानकारी''' का पालन करने के लिए दिखाया गया है।<ref>Frieden & Gatenby (2013)</ref> अधिकतम का स्तर प्रणाली बाधाओं की प्रकृति पर निर्भर करता है।
वैज्ञानिक प्रकृति (भौतिक, जैविक, आदि) की सांख्यिकीय प्रणालियाँ जिनके संभावित कार्य [[शिफ्ट-इनवेरिएंट सिस्टम|शिफ्ट-इनवेरिएंट]] का पालन करते हैं, उन्हें अधिकतम फिशर संसूचना का पालन करने के लिए दिखाया गया है।<ref>Frieden & Gatenby (2013)</ref> अधिकतम स्तर प्रणाली बाधाओं की प्रकृति पर निर्भर करता है।


== परिभाषा ==
== परिभाषा ==
फ़िशर सूचना सूचना की मात्रा को मापने का तरीका है जो अवलोकन योग्य यादृच्छिक चर है <math>X</math> अज्ञात [[पैरामीटर]] के बारे में वहन करता है <math>\theta</math> जिस पर की संभावना है <math>X</math> निर्भर करता है। होने देना <math>f(X;\theta)</math> के लिए प्रायिकता घनत्व फलन (या प्रायिकता द्रव्यमान फलन) हो <math>X</math> के मूल्य पर वातानुकूलित <math>\theta</math>. यह संभावना का वर्णन करता है कि हम दिए गए परिणाम का निरीक्षण करते हैं <math>X</math>, का ज्ञात मान दिया गया है <math>\theta</math>. अगर <math>f</math> में परिवर्तनों के संबंध में तेजी से चरम पर है <math>\theta</math>, के सही मान को इंगित करना आसान है <math>\theta</math> डेटा से, या समकक्ष, कि डेटा <math>X</math> पैरामीटर के बारे में बहुत सारी जानकारी प्रदान करता है <math>\theta</math>. अगर <math>f</math> समतल और फैला हुआ है, तो यह कई नमूने लेगा <math>X</math> के वास्तविक वास्तविक मूल्य का अनुमान लगाने के लिए <math>\theta</math> जो पूरी आबादी के नमूने का उपयोग करके प्राप्त किया जाएगा। यह किसी प्रकार के विचरण के संबंध में अध्ययन करने का सुझाव देता है <math>\theta</math>.
फ़िशर संसूचना, संसूचना की मात्रा को मापने की विधि है जो अवलोकन योग्य यादृच्छिक चर है <math>X</math> में अज्ञात [[पैरामीटर]] है जिस पर <math>\theta</math> की संभावना है <math>X</math> निर्भर करता है। मान लीजिये <math>f(X;\theta)</math> के लिए प्रायिकता घनत्व फलन (या प्रायिकता द्रव्यमान फलन) <math>X</math> के मान पर प्रतिबंधित <math>\theta</math> होता है। यह संभावना का वर्णन करता है कि हम दिए गए परिणाम का निरीक्षण करते हैं <math>X</math>, का ज्ञात मान <math>\theta</math> दिया गया है। यदि <math>f</math> में परिवर्तनों के संबंध में तीव्रता से चरम पर <math>\theta</math> का उचित मान प्रदर्शित करना सरल है <math>\theta</math> डेटा से, या समकक्ष, कि डेटा <math>X</math> पैरामीटर <math>\theta</math> के विषय में अत्यधिक संसूचना प्रदान करता है। यदि <math>f</math> समतल और विस्तारित है, तो यह कई प्रतिरूप लेगा <math>X</math> के वास्तविक उचित मान का अनुमान लगाने के लिए वह <math>\theta</math> प्रतिचयन की जा रही संपूर्ण जनसंख्या का उपयोग करके प्राप्त किया जाएगा। यह <math>\theta</math> किसी प्रकार के विचरण के संबंध में अध्ययन करने का सुझाव देता है।


औपचारिक रूप से, के संबंध में [[आंशिक व्युत्पन्न]] <math>\theta</math> प्रायिकता फलन के [[प्राकृतिक]] लघुगणक को स्कोर (सांख्यिकी) कहा जाता है। कुछ नियमितता शर्तों के तहत, यदि <math>\theta</math> सही पैरामीटर है (यानी <math>X</math> वास्तव में के रूप में वितरित किया जाता है <math>f(X;\theta)</math>), यह दिखाया जा सकता है कि स्कोर का अपेक्षित मूल्य (पहला क्षण (गणित)), सही पैरामीटर मान पर मूल्यांकन किया गया <math>\theta</math>, 0 है:<ref name=SubaRao>{{cite web|last=Suba Rao|title=सांख्यिकीय अनुमान पर व्याख्यान|url=http://www.stat.tamu.edu/~suhasini/teaching613/inference.pdf}}</ref> :<math>\begin{align}
औपचारिक रूप से, <math>\theta</math> के संबंध में [[आंशिक व्युत्पन्न]] प्रायिकता फलन के [[प्राकृतिक]] लघुगणक को स्कोर कहा जाता है। कुछ नियमितता प्रावधानों के अंतर्गत, यदि <math>\theta</math> उचित पैरामीटर है (अर्थात <math>X</math> वास्तव में <math>f(X;\theta)</math> के रूप में वितरित किया जाता है), यह दिखाया जा सकता है कि स्कोर का अपेक्षित मान (प्रथम क्षण), उचित पैरामीटर मान पर मूल्यांकन <math>\theta</math>, 0 किया गया है:<ref name=SubaRao>{{cite web|last=Suba Rao|title=सांख्यिकीय अनुमान पर व्याख्यान|url=http://www.stat.tamu.edu/~suhasini/teaching613/inference.pdf}}</ref> <math>\begin{align}
       \operatorname{E} \left[\left. \frac{\partial}{\partial\theta} \log f(X;\theta)\right|\theta \right]  
       \operatorname{E} \left[\left. \frac{\partial}{\partial\theta} \log f(X;\theta)\right|\theta \right]  
   ={} &\int_{\mathbb{R}} \frac{\frac{\partial}{\partial\theta} f(x;\theta)}{f(x; \theta)} f(x;\theta)\,dx \\[3pt]
   ={} &\int_{\mathbb{R}} \frac{\frac{\partial}{\partial\theta} f(x;\theta)}{f(x; \theta)} f(x;\theta)\,dx \\[3pt]
Line 18: Line 18:
   ={} & 0.
   ={} & 0.
\end{align}</math>
\end{align}</math>
फिशर जानकारी को स्कोर के विचरण के रूप में परिभाषित किया गया है:<ref>Fisher (1922)</ref>
 
फिशर संसूचना को स्कोर के विचरण के रूप में परिभाषित किया गया है:<ref>Fisher (1922)</ref>
:<math> \mathcal{I}(\theta) = \operatorname{E} \left[\left. \left(\frac{\partial}{\partial\theta} \log f(X;\theta)\right)^2\right|\theta \right] = \int_{\mathbb{R}} \left(\frac{\partial}{\partial\theta} \log f(x;\theta)\right)^2 f(x; \theta)\,dx,</math>
:<math> \mathcal{I}(\theta) = \operatorname{E} \left[\left. \left(\frac{\partial}{\partial\theta} \log f(X;\theta)\right)^2\right|\theta \right] = \int_{\mathbb{R}} \left(\frac{\partial}{\partial\theta} \log f(x;\theta)\right)^2 f(x; \theta)\,dx,</math>
ध्यान दें कि <math>0 \leq \mathcal{I}(\theta)</math>. उच्च फिशर जानकारी वाले यादृच्छिक चर का अर्थ है कि स्कोर का निरपेक्ष मान अक्सर उच्च होता है। फिशर की जानकारी किसी विशेष अवलोकन का कार्य नहीं है, क्योंकि यादृच्छिक चर X को औसत कर दिया गया है।
ध्यान दें कि <math>0 \leq \mathcal{I}(\theta)</math> उच्च फिशर संसूचना वाले यादृच्छिक चर का अर्थ है कि स्कोर का निरपेक्ष मान प्रायः उच्च होता है। फिशर की संसूचना किसी विशेष अवलोकन का कार्य नहीं है, क्योंकि यादृच्छिक चर X को औसत कर दिया गया है।


अगर {{nowrap|log ''f''(''x''; ''θ'')}} θ के संबंध में दो बार अवकलनीय है, और कुछ नियमितता शर्तों के तहत, फ़िशर जानकारी को इस रूप में भी लिखा जा सकता है<ref>Lehmann & Casella, eq. (2.5.16), Lemma 5.3, p.116.</ref>
यदि {{nowrap|log ''f''(''x''; ''θ'')}} θ के संबंध में दो बार अवकलनीय है, और कुछ नियमितता प्रावधानों के अंतर्गत, फ़िशर संसूचना को इस रूप में भी लिखा जा सकता है:<ref>Lehmann & Casella, eq. (2.5.16), Lemma 5.3, p.116.</ref>
:<math> \mathcal{I}(\theta) = - \operatorname{E} \left[\left. \frac{\partial^2}{\partial\theta^2} \log f(X;\theta)\right|\theta \right],</math>
:<math> \mathcal{I}(\theta) = - \operatorname{E} \left[\left. \frac{\partial^2}{\partial\theta^2} \log f(X;\theta)\right|\theta \right],</math>
तब से
तब से
Line 29: Line 30:
और
और
:<math> \operatorname{E} \left[\left. \frac{\frac{\partial^2}{\partial\theta^2} f(X;\theta)}{f(X; \theta)}\right|\theta \right] = \frac{\partial^2}{\partial\theta^2} \int_{\mathbb{R}} f(x;\theta)\,dx = 0. </math>
:<math> \operatorname{E} \left[\left. \frac{\frac{\partial^2}{\partial\theta^2} f(X;\theta)}{f(X; \theta)}\right|\theta \right] = \frac{\partial^2}{\partial\theta^2} \int_{\mathbb{R}} f(x;\theta)\,dx = 0. </math>
इस प्रकार, फिशर की जानकारी को [[समर्थन वक्र]] (लॉग-संभावना का ग्राफ) की वक्रता के रूप में देखा जा सकता है। अधिकतम संभावना अनुमान के पास, कम फिशर जानकारी इसलिए इंगित करती है कि अधिकतम कुंद दिखाई देता है, अर्थात, अधिकतम उथला है और समान लॉग-संभावना वाले पास के कई मूल्य हैं। इसके विपरीत, उच्च फिशर जानकारी इंगित करती है कि अधिकतम तेज है।
इस प्रकार, फिशर की संसूचना को [[समर्थन वक्र]] (लॉग-संभावना का ग्राफ) की वक्रता के रूप में देखा जा सकता है। अधिकतम संभावना अनुमान के निकट, अल्प फिशर संसूचना इसलिए प्रदर्शित करती है कि अधिकतम "ब्लंट" दिखाई देता है, अर्थात, अधिकतम उथला है और समान लॉग-संभावना के साथ निकट के कई मान हैं। इसके विपरीत, उच्च फिशर संसूचना प्रदर्शित करती है कि अधिकतम तीव्र है।


=== नियमितता की स्थिति ===
=== नियमितता की स्थिति ===
नियमितता की शर्तें इस प्रकार हैं:<ref>{{Cite book|last=Schervish|first=Mark J.|url=https://www.worldcat.org/oclc/852790658|title=सांख्यिकी का सिद्धांत|date=1995|publisher=Springer New York|isbn=978-1-4612-4250-5|location=New York, NY|pages=111|oclc=852790658}}</ref>
नियमितता के नियम इस प्रकार हैं:<ref>{{Cite book|last=Schervish|first=Mark J.|url=https://www.worldcat.org/oclc/852790658|title=सांख्यिकी का सिद्धांत|date=1995|publisher=Springer New York|isbn=978-1-4612-4250-5|location=New York, NY|pages=111|oclc=852790658}}</ref>
# θ के संबंध में f(X; θ) का आंशिक व्युत्पन्न [[लगभग हर जगह]] मौजूद है। (यह शून्य सेट पर अस्तित्व में विफल हो सकता है, जब तक कि यह सेट θ पर निर्भर न हो।)
# θ के संबंध में f(X; θ) का आंशिक व्युत्पन्न [[लगभग हर जगह|लगभग प्रत्येक जगह]] उपस्थित है। (जब तक कि यह समुच्चय θ पर निर्भर नहीं करता है, तब तक यह शून्य समुच्चय पर उपस्थित नहीं हो सकता है।)
# एफ (एक्स; θ) का अभिन्न अंग θ के संबंध में अभिन्न चिह्न के तहत विभेदित किया जा सकता है।
# f(X; θ) के समाकल को θ के संबंध में समाकल चिह्न के अंतर्गत विभेदित किया जा सकता है।
# f(X; θ) का [[समर्थन (गणित)]] θ पर निर्भर नहीं करता है।
# f(X; θ) का [[समर्थन (गणित)|समर्थन]] θ पर निर्भर नहीं करता है।


यदि θ सदिश राशि है तो θ के प्रत्येक घटक के लिए नियमितता की शर्तें होनी चाहिए। घनत्व का उदाहरण खोजना आसान है जो नियमितता की शर्तों को पूरा नहीं करता है: समान (0, θ) चर का घनत्व 1 और 3 की शर्तों को पूरा करने में विफल रहता है। इस मामले में, भले ही फिशर की जानकारी से गणना की जा सकती है परिभाषा, इसमें वे गुण नहीं होंगे जो इसे आमतौर पर माना जाता है।
यदि θ सदिश राशि है तो θ के प्रत्येक घटक के लिए नियमितता के नियम होने चाहिए। घनत्व का उदाहरण शोध करना सरल है जो नियमितता के नियमों को पूर्ण नहीं करता है: समान (0, θ) चर का घनत्व 1 और 3 के नियमों को पूर्ण करने में विफल रहता है। इस स्थिति में, उचित प्रकार से फिशर की संसूचना की गणना परिभाषा से की जा सकती है, इसमें वे गुण नहीं होंगे जो सामान्यतः माने जाते हैं।


=== [[संभावना]] के संदर्भ में ===
=== [[संभावना]] की दृष्टि से ===
चूँकि दिए गए X के θ की संभावना हमेशा प्रायिकता f(X; θ) के समानुपाती होती है, उनके लघुगणक आवश्यक रूप से स्थिरांक से भिन्न होते हैं जो θ से स्वतंत्र होता है, और θ के संबंध में इन लघुगणकों के डेरिवेटिव आवश्यक रूप से बराबर होते हैं। इस प्रकार लॉग-लाइबिलिटी एल (θ; एक्स) के बजाय स्थानापन्न कर सकता है {{math|log ''f''(''X''; ''θ'')}} फिशर सूचना की परिभाषा में।
चूँकि दिए गए X के θ की संभावना सदैव प्रायिकता f(X; θ) के समानुपाती होती है, उनके लघुगणक आवश्यक रूप से स्थिरांक से भिन्न होते हैं जो θ से स्वतंत्र होता है, और θ के संबंध में इन लघुगणकों के डेरिवेटिव आवश्यक रूप से समान होते हैं। इस प्रकार कोई फिशर संसूचना की परिभाषाओं में लॉग-लाइबिलिटी ''l''(θ; ''X'') के अतिरिक्त {{math|log ''f''(''X''; ''θ'')}} में स्थानापन्न कर सकता है।


=== किसी भी आकार के नमूने ===
=== किसी भी आकार के प्रतिरूप ===
मान X एकल वितरण से निकाले गए एकल नमूने का प्रतिनिधित्व कर सकता है या वितरण के संग्रह से निकाले गए नमूनों के संग्रह का प्रतिनिधित्व कर सकता है। यदि n नमूने हैं और संबंधित n वितरण [[सांख्यिकीय रूप से स्वतंत्र]] हैं, तो फ़िशर जानकारी आवश्यक रूप से एकल-नमूना फ़िशर सूचना मानों का योग होगी, इसके वितरण से प्रत्येक एकल नमूने के लिए एक। विशेष रूप से, यदि n बंटन i.i.d. तो फ़िशर जानकारी आवश्यक रूप से सामान्य वितरण से एकल नमूने की फ़िशर जानकारी का n गुना होगी।
मान X एकल वितरण से निकाले गए एकल प्रतिरूप का प्रतिनिधित्व कर सकता है या वितरण के संग्रह से निकाले गए प्रतिरूपों के संग्रह का प्रतिनिधित्व कर सकता है। यदि n प्रतिरूप हैं और संबंधित n वितरण [[सांख्यिकीय रूप से स्वतंत्र]] हैं, तो फ़िशर संसूचना आवश्यक रूप से इसके वितरण से प्रत्येक एकल प्रतिरूप के लिए फ़िशर संसूचना मानों का योग होगी। विशेष रूप से, यदि n वितरण स्वतंत्र हैं और समान रूप से वितरित किए गए हैं, तो फ़िशर संसूचना आवश्यक रूप से सामान्य वितरण से एकल प्रतिरूप की फ़िशर संसूचना का n गुना होगी।


===क्रैमर-राव बाउंड === की अनौपचारिक व्युत्पत्ति
=== क्रैमर-राव बाउंड की अनौपचारिक व्युत्पत्ति ===
क्रैमर-राव बाउंड<ref>Cramer (1946)</ref><ref>Rao (1945)</ref> बताता है कि फिशर जानकारी का व्युत्क्रम θ के किसी भी निष्पक्ष अनुमानक के विचरण पर निचली सीमा है। एच.एल. वैन ट्रीज़ (1968) और बी. रॉय फ्रीडेन (2004) क्रैमर-राव बाउंड प्राप्त करने की निम्नलिखित विधि प्रदान करते हैं, जिसके परिणामस्वरूप फिशर जानकारी के उपयोग का वर्णन होता है।
क्रैमर-राव बाउंड<ref>Cramer (1946)</ref><ref>Rao (1945)</ref> कहता है कि फिशर संसूचना का व्युत्क्रम θ के किसी भी निष्पक्ष अनुमानक के विचरण पर निचली सीमा है। एच.एल. वैन ट्रीज़ (1968) और बी. रॉय फ्रीडेन (2004) क्रैमर-राव बाउंड प्राप्त करने की निम्नलिखित विधि प्रदान करते हैं, जिसके परिणामस्वरूप फिशर संसूचना के उपयोग का वर्णन होता है।


अनौपचारिक रूप से, हम निष्पक्ष अनुमानक पर विचार करके प्रारंभ करते हैं <math>\hat\theta(X)</math>. गणितीय रूप से, निष्पक्ष का अर्थ है कि
अनौपचारिक रूप से, हम निष्पक्ष अनुमानक पर विचार करके <math>\hat\theta(X)</math> प्रारंभ करते हैं, गणितीय रूप से, निष्पक्ष का अर्थ है कि;


:<math>
:<math>
Line 54: Line 55:
= \int \left(\hat\theta(x) - \theta\right) \, f(x ;\theta) \, dx = 0 \text{ regardless of the value of } \theta.
= \int \left(\hat\theta(x) - \theta\right) \, f(x ;\theta) \, dx = 0 \text{ regardless of the value of } \theta.
</math>
</math>
यह अभिव्यक्ति θ से स्वतंत्र शून्य है, इसलिए θ के संबंध में इसका आंशिक व्युत्पन्न भी शून्य होना चाहिए। उत्पाद नियम के अनुसार, यह आंशिक अवकलज भी बराबर है
यह अभिव्यक्ति θ से स्वतंत्र शून्य है, इसलिए θ के संबंध में इसका आंशिक व्युत्पन्न भी शून्य होना चाहिए। उत्पाद नियम के अनुसार, यह आंशिक अवकलज भी समान है:


:<math>
:<math>
Line 60: Line 61:
= \int \left(\hat\theta(x)-\theta\right) \frac{\partial f}{\partial\theta} \, dx - \int f \,dx.
= \int \left(\hat\theta(x)-\theta\right) \frac{\partial f}{\partial\theta} \, dx - \int f \,dx.
</math>
</math>
प्रत्येक θ के लिए, प्रायिकता फलन प्रायिकता घनत्व फलन है, और इसलिए <math>\int f\,dx = 1</math>. के आंशिक व्युत्पन्न पर [[श्रृंखला नियम]] का उपयोग करके <math>\log f</math> और फिर से विभाजित और गुणा करना <math>f(x;\theta)</math>, कोई इसे सत्यापित कर सकता है
प्रत्येक θ के लिए, प्रायिकता फलन प्रायिकता घनत्व फलन है, और इसलिए <math>\int f\,dx = 1</math> के आंशिक व्युत्पन्न पर [[श्रृंखला नियम]] का उपयोग करके <math>\log f</math> और पुनः विभाजित और <math>f(x;\theta)</math> गुणा करना, कोई इसे सत्यापित कर सकता है:


:<math>\frac{\partial f}{\partial\theta} = f \, \frac{\partial \log f}{\partial\theta}.</math>
:<math>\frac{\partial f}{\partial\theta} = f \, \frac{\partial \log f}{\partial\theta}.</math>
उपर्युक्त में इन दो तथ्यों का प्रयोग करने पर हमें प्राप्त होता है
उपर्युक्त में इन दो तथ्यों का प्रयोग करने पर हमें प्राप्त होता है:


:<math>
:<math>
\int \left(\hat\theta-\theta\right) f \, \frac{\partial \log f}{\partial\theta} \, dx = 1.
\int \left(\hat\theta-\theta\right) f \, \frac{\partial \log f}{\partial\theta} \, dx = 1.
</math>
</math>
इंटीग्रैंड देता है फैक्टरिंग
इंटीग्रैंड फैक्टरिंग देता है:
:<math>
:<math>
\int \left(\left(\hat\theta-\theta\right) \sqrt{f} \right) \left( \sqrt{f} \, \frac{\partial \log f}{\partial\theta} \right) \, dx = 1.
\int \left(\left(\hat\theta-\theta\right) \sqrt{f} \right) \left( \sqrt{f} \, \frac{\partial \log f}{\partial\theta} \right) \, dx = 1.
</math>
</math>
समाकलन में व्यंजक का वर्ग करने पर कॉशी-श्वार्ज़ असमानता प्राप्त होती है
समाकलन में व्यंजक का वर्ग करने पर कॉशी-श्वार्ज़ असमानता प्राप्त होती है:


:<math>
:<math>
Line 80: Line 81:
\left[ \int \left(\hat\theta - \theta\right)^2 f \, dx \right] \cdot \left[ \int \left( \frac{\partial \log f}{\partial\theta} \right)^2 f \, dx \right].
\left[ \int \left(\hat\theta - \theta\right)^2 f \, dx \right] \cdot \left[ \int \left( \frac{\partial \log f}{\partial\theta} \right)^2 f \, dx \right].
</math>
</math>
दूसरा ब्रैकेटेड कारक फिशर सूचना के रूप में परिभाषित किया गया है, जबकि पहला ब्रैकेटेड कारक अनुमानक की अपेक्षित माध्य-वर्ग त्रुटि है <math>\hat\theta</math>. पुनर्व्यवस्थित करके, असमानता हमें बताती है कि
दूसरा ब्रैकेटेड कारक फिशर सूचना के रूप में परिभाषित किया गया है, जबकि प्रथम ब्रैकेटेड कारक अनुमानक की अपेक्षित माध्य-वर्ग त्रुटि <math>\hat\theta</math> है, पुनर्व्यवस्थित करके, असमानता हमें बताती है कि;


:<math>
:<math>
\operatorname{Var}\left(\hat\theta\right) \geq \frac{1}{\mathcal{I}\left(\theta\right)}.
\operatorname{Var}\left(\hat\theta\right) \geq \frac{1}{\mathcal{I}\left(\theta\right)}.
</math>
</math>
दूसरे शब्दों में, जिस सटीकता का हम अनुमान लगा सकते हैं, वह मौलिक रूप से संभावित कार्य की फिशर जानकारी द्वारा सीमित है।
दूसरे शब्दों में, जिस त्रुटिहीनता का हम अनुमान लगा सकते हैं, वह मौलिक रूप से संभावित कार्य की फिशर संसूचना द्वारा सीमित है।
 
 


वैकल्पिक रूप से, यादृच्छिक चर के लिए कॉची-श्वार्ज़ असमानता | कॉची-श्वार्ज़ असमानता से सीधे ही निष्कर्ष प्राप्त किया जा सकता है, <math>|\operatorname{Cov}(AB)|^2 \le \operatorname{Var}(A)\operatorname{Var}(B)</math>, यादृच्छिक चर पर लागू होता है <math>\hat\theta(X)</math> और <math>\partial_\theta\log f(X;\theta)</math>, और यह देखते हुए कि हमारे पास निष्पक्ष अनुमानक हैं<math display="block">\operatorname{Cov}[\hat\theta(X)\partial_\theta \log f(X;\theta)] =
वैकल्पिक रूप से, यादृच्छिक चर के लिए कॉची-श्वार्ज़ असमानता से सीधे ही निष्कर्ष प्राप्त किया जा सकता है, <math>|\operatorname{Cov}(AB)|^2 \le \operatorname{Var}(A)\operatorname{Var}(B)</math>, यादृच्छिक चर <math>\hat\theta(X)</math> और <math>\partial_\theta\log f(X;\theta)</math> पर प्रारम्भ होता है, और यह देखते हुए कि निष्पक्ष अनुमानक हैं:<math display="block">\operatorname{Cov}[\hat\theta(X)\partial_\theta \log f(X;\theta)] =
\int dx (\hat\theta(x)-\mathrm E[\hat\theta])\partial_\theta f(x;\theta) = \partial_\theta \mathrm E[\hat\theta] = 1.</math>
\int dx (\hat\theta(x)-\mathrm E[\hat\theta])\partial_\theta f(x;\theta) = \partial_\theta \mathrm E[\hat\theta] = 1.</math>
===एकल-पैरामीटर बरनौली प्रयोग===
===एकल-पैरामीटर बरनौली प्रयोग===
एक [[बरनौली परीक्षण]] दो संभावित परिणामों, सफलता और असफलता के साथ यादृच्छिक चर है, जिसमें सफलता की संभावना θ है। परिणाम के बारे में सोचा जा सकता है कि सिक्का टॉस द्वारा निर्धारित किया जा सकता है, जिसमें हेड होने की संभावना θ और पूंछ होने की संभावना है {{nowrap|1 − ''θ''}}.
[[बरनौली परीक्षण]] दो संभावित परिणामों, सफलता और असफलता के साथ यादृच्छिक चर है, जिसमें सफलता की संभावना θ है। परिणाम के विषय में सोचा जा सकता है कि सिक्का टॉस द्वारा निर्धारित किया जा सकता है, जिसमें हेड होने की संभावना θ और पूंछ होने की संभावना {{nowrap|1 − ''θ''}} है।


बता दें कि एक्स बर्नौली परीक्षण है। X में निहित फिशर जानकारी की गणना की जा सकती है
मान लीजिये कि X बरनौली परीक्षण है। X में निहित फिशर संसूचना की गणना की जा सकती है:
:<math>\begin{align}
:<math>\begin{align}
   \mathcal{I}(\theta)
   \mathcal{I}(\theta)
Line 103: Line 102:
     &= \frac{1}{\theta(1 - \theta)}.
     &= \frac{1}{\theta(1 - \theta)}.
\end{align}</math>
\end{align}</math>
क्योंकि फिशर की जानकारी योगात्मक है, फिशर की जानकारी n स्वतंत्र बर्नौली परीक्षणों में निहित है
क्योंकि फिशर की संसूचना योगात्मक है, फिशर की संसूचना n स्वतंत्र बर्नौली परीक्षणों में निहित है:
:<math>\mathcal{I}(\theta) = \frac{n}{\theta(1 - \theta)}.</math>
:<math>\mathcal{I}(\theta) = \frac{n}{\theta(1 - \theta)}.</math>
यह एन बर्नौली परीक्षणों में सफलताओं की औसत संख्या के विचरण का पारस्परिक है, इसलिए इस मामले में, क्रैमर-राव बाउंड समानता है।
यह ''n'' बर्नौली परीक्षणों में सफलताओं की औसत संख्या के विचरण का पारस्परिक है, इसलिए इस स्थिति में, क्रैमर-राव बाउंड समानता है।


== आव्यूह फॉर्म ==
== आव्यूह फॉर्म ==
जब एन पैरामीटर हैं, तो θ है {{nowrap|''N'' × 1}} [[कॉलम वेक्टर]] <math>\theta = \begin{bmatrix}\theta_1 & \theta_2 & \dots & \theta_N\end{bmatrix}^\textsf{T},</math> तब फिशर जानकारी रूप लेती है {{nowrap|''N'' × ''N''}} [[मैट्रिक्स (गणित)|आव्यूह (गणित)]]इस आव्यूह को फिशर इंफॉर्मेशन आव्यूह (FIM) कहा जाता है और इसमें विशिष्ट तत्व होता है
जब ''N'' पैरामीटर हैं, तो θ {{nowrap|''N'' × 1}} [[कॉलम वेक्टर|सदिश]] <math>\theta = \begin{bmatrix}\theta_1 & \theta_2 & \dots & \theta_N\end{bmatrix}^\textsf{T}</math> है, तब फिशर संसूचना {{nowrap|''N'' × ''N''}} [[मैट्रिक्स (गणित)|आव्यूह]] का रूप ले लेती है। इस आव्यूह को फिशर इंफॉर्मेशन आव्यूह (एफआईएम) कहा जाता है और इसमें विशिष्ट तत्व होता है:


:<math>
:<math>
Line 117: Line 116:
   \right|\theta\right].
   \right|\theta\right].
</math>
</math>
एफआईएम है {{nowrap|''N'' × ''N''}} [[सकारात्मक अर्ध निश्चित मैट्रिक्स]]। यदि यह सकारात्मक निश्चित है, तो यह एन-डायमेंशनल [[ पैरामीटर स्थान ]] पर [[रिमेंनियन मीट्रिक]] को परिभाषित करता है। विषय [[सूचना ज्यामिति]] इसका उपयोग फिशर जानकारी को [[अंतर ज्यामिति]] से जोड़ने के लिए करती है, और उस संदर्भ में, इस मीट्रिक को [[फिशर सूचना मीट्रिक]] के रूप में जाना जाता है।
एफआईएम {{nowrap|''N'' × ''N''}} [[सकारात्मक अर्ध निश्चित मैट्रिक्स|सकारात्मक अर्ध निश्चित आव्यूह है]]। यदि यह सकारात्मक निश्चित है, तो यह N-आयामी[[ पैरामीटर स्थान ]]पर [[रिमेंनियन मीट्रिक]] को परिभाषित करता है। विषय [[सूचना ज्यामिति]] इसका उपयोग फिशर संसूचना को [[अंतर ज्यामिति]] से जोड़ने के लिए करती है, और उस संदर्भ में, इस मीट्रिक को [[फिशर सूचना मीट्रिक|फिशर संसूचना मीट्रिक]] के रूप में जाना जाता है।


कुछ निश्चित नियमितता शर्तों के तहत, फिशर सूचना आव्यूह को इस रूप में भी लिखा जा सकता है
कुछ निश्चित नियमितता नियमों  के अंतर्गत , फिशर संसूचना आव्यूह को इस रूप में भी लिखा जा सकता है:


:<math>
:<math>
Line 127: Line 126:
   \right|\theta\right]\,.
   \right|\theta\right]\,.
</math>
</math>
परिणाम कई मायनों में दिलचस्प है:
परिणाम कई अर्थों में रोचक है:
* इसे सापेक्ष एंट्रॉपी के [[हेसियन मैट्रिक्स|हेसियन]] आव्यूह के रूप में प्राप्त किया जा सकता है।
* इसे सापेक्ष एंट्रॉपी के [[हेसियन मैट्रिक्स|हेसियन]] आव्यूह के रूप में प्राप्त किया जा सकता है।
*इसे सकारात्मक-निश्चित होने पर फिशर-राव ज्यामिति को परिभाषित करने के लिए रिमेंनियन मीट्रिक के रूप में उपयोग किया जा सकता है।<ref>{{cite journal | last1 = Nielsen | first1 = Frank | year = 2010 |  
*इसे सकारात्मक-निश्चित होने पर फिशर-राव ज्यामिति को परिभाषित करने के लिए रिमेंनियन मीट्रिक के रूप में उपयोग किया जा सकता है।<ref>{{cite journal | last1 = Nielsen | first1 = Frank | year = 2010 |  
title = Cramer-Rao lower bound and information geometry  
title = Cramer-Rao lower bound and information geometry  
   | journal = Connected at Infinity II | pages = 18–37 | arxiv = 1301.3578 }}</ref>
   | journal = Connected at Infinity II | pages = 18–37 | arxiv = 1301.3578 }}</ref>
* चर के उपयुक्त परिवर्तन के बाद, इसे [[यूक्लिडियन मीट्रिक]] से प्रेरित मीट्रिक के रूप में समझा जा सकता है।
* चर के उपयुक्त परिवर्तन के पश्चात, इसे [[यूक्लिडियन मीट्रिक]] से प्रेरित मीट्रिक के रूप में समझा जा सकता है।
*अपने जटिल-मूल्यवान रूप में, यह फ़ुबिनी-अध्ययन मीट्रिक है।
*अपने जटिल-मूल्यवान रूप में, यह फ़ुबिनी-अध्ययन मीट्रिक है।
*यह विल्क्स प्रमेय के प्रमाण का प्रमुख हिस्सा है, जो [[संभावना सिद्धांत]] की आवश्यकता के बिना आत्मविश्वास क्षेत्र अनुमानों को [[अधिकतम संभावना अनुमान]] (उन स्थितियों के लिए जिनके लिए यह लागू होता है) की अनुमति देता है।
*यह विल्क्स प्रमेय के प्रमाण का प्रमुख भाग है, जो [[संभावना सिद्धांत]] की आवश्यकता के बिना विश्वास क्षेत्र अनुमानों को [[अधिकतम संभावना अनुमान]] (उन स्थितियों के लिए जिनके लिए यह प्रस्तावित होता है) की अनुमति देता है।
*ऐसे मामलों में जहां उपरोक्त एफआईएम की विश्लेषणात्मक गणना मुश्किल है, एफआईएम के अनुमान के रूप में नकारात्मक लॉग-लाइबिलिटी फ़ंक्शन के हेसियन आव्यूह के आसान मोंटे कार्लो अनुमानों का औसत बनाना संभव है।<ref>{{cite journal | last1 = Spall | first1 = J. C. | year = 2005 | title = गैर-मानक सेटिंग्स में फिशर सूचना मैट्रिक्स की मोंटे कार्लो संगणना| journal = Journal of Computational and Graphical Statistics | volume = 14 | issue = 4| pages = 889–909 | doi=10.1198/106186005X78800| s2cid = 16090098 }}</ref><ref>Spall, J. C. (2008), "Improved Methods for Monte Carlo Estimation of the Fisher Information Matrix," ''Proceedings of the American Control Conference'', Seattle, WA, 11–13 June 2008, pp. 2395–2400. https://doi.org/10.1109/ACC.2008.4586850</ref><ref>{{cite journal | last1 = Das | first1 = S. | last2 = Spall | first2 = J. C. | last3 = Ghanem | first3 = R. | year = 2010 | title = पूर्व सूचना का उपयोग करते हुए फिशर सूचना मैट्रिक्स की कुशल मोंटे कार्लो संगणना| journal = Computational Statistics and Data Analysis | volume = 54 | issue = 2| pages = 272–289 | doi=10.1016/j.csda.2009.09.018}}</ref> अनुमान नकारात्मक लॉग-संभावना फ़ंक्शन के मान या नकारात्मक लॉग-संभावना फ़ंक्शन के ग्रेडिएंट पर आधारित हो सकते हैं; नकारात्मक लॉग-संभावना फ़ंक्शन के हेस्सियन की कोई विश्लेषणात्मक गणना आवश्यक नहीं है।