फिशर संसूचना: Difference between revisions

From Vigyanwiki
No edit summary
No edit summary
 
(18 intermediate revisions by 4 users not shown)
Line 1: Line 1:
{{Short description|Notion in statistics}}
{{Short description|Notion in statistics}}
गणितीय आँकड़ों में, फ़िशर सूचना (कभी-कभी केवल सूचना कहलाती है<ref>Lehmann & Casella, p. 115</ref>) [[जानकारी]] की मात्रा को मापने का तरीका है जो प्रेक्षण योग्य यादृच्छिक चर X वितरण के अज्ञात पैरामीटर θ के बारे में रखता है जो कि मॉडल X है। औपचारिक रूप से, यह [[स्कोर (सांख्यिकी)]] का भिन्नता है, या देखी गई जानकारी का [[अपेक्षित मूल्य]] है .
गणितीय आँकड़ों में, '''फ़िशर संसूचना''' (कभी-कभी केवल सूचना कहलाती है<ref>Lehmann & Casella, p. 115</ref>) [[जानकारी|संसूचना]] की मात्रा को मापने का प्रकार है जो प्रेक्षण योग्य यादृच्छिक चर X वितरण के अज्ञात पैरामीटर θ के मॉडल X के विषय में होता है। औपचारिक रूप से, यह [[स्कोर (सांख्यिकी)|स्कोर]] की भिन्नता है, या देखी गई संसूचना का [[अपेक्षित मूल्य]] होता है।


सांख्यिकीविद् [[रोनाल्ड फिशर]] ([[फ्रांसिस यसिड्रो एडगेवर्थ]] द्वारा कुछ प्रारंभिक परिणामों के बाद) द्वारा [[अधिकतम-संभावना अनुमान]] के स्पर्शोन्मुख सिद्धांत में फिशर जानकारी की भूमिका पर जोर दिया गया था। फिशर सूचना मैट्रिक्स का उपयोग अधिकतम संभावना | अधिकतम-संभावना अनुमानक से जुड़े [[सहप्रसरण मैट्रिक्स]] की गणना करने के लिए किया जाता है। इसका उपयोग परीक्षण आँकड़ों के निर्माण में भी किया जा सकता है, जैसे [[वाल्ड परीक्षण]]
सांख्यिकीविद् [[रोनाल्ड फिशर]] ([[फ्रांसिस यसिड्रो एडगेवर्थ]] द्वारा कुछ प्रारंभिक परिणामों के पश्चात) द्वारा [[अधिकतम-संभावना अनुमान]] के स्पर्शोन्मुख सिद्धांत में फिशर संसूचना की भूमिका पर जोर दिया गया था। फिशर संसूचना आव्यूह का उपयोग अधिकतम-संभावना अनुमानों से जुड़े [[सहप्रसरण मैट्रिक्स|सहप्रसरण]] आव्यूह की गणना करने के लिए किया जाता है। इसका उपयोग परीक्षण आँकड़ों के निर्माण में जैसे [[वाल्ड परीक्षण]] किया जा सकता है।


[[बायेसियन सांख्यिकी]] में, फिशर की जानकारी जेफरीस प्रायर|जेफ्रीज के नियम के अनुसार गैर-सूचनात्मक [[पूर्व वितरण]] की व्युत्पत्ति में भूमिका निभाती है।<ref>{{cite book |first=Christian |last=Robert |title=द बायेसियन चॉइस|location= |publisher=Springer |edition=2nd |year=2007 |isbn=978-0-387-71598-8 |chapter=Noninformative prior distributions |pages=127–141 }}</ref> यह [[पश्च वितरण]] के बड़े-नमूने सहप्रसरण के रूप में भी प्रकट होता है, बशर्ते कि पूर्व पर्याप्त रूप से सुचारू हो (एक परिणाम जिसे बर्नस्टीन-वॉन मिज़ प्रमेय के रूप में जाना जाता है, जिसे [[घातीय परिवार]]ों के लिए [[लाप्लास]] द्वारा प्रत्याशित किया गया था)।<ref>{{cite book |first=Lucien |last=Le Cam |authorlink=Lucien Le Cam |year=1986 |title=सांख्यिकीय निर्णय सिद्धांत में स्पर्शोन्मुख तरीके|location=New York |publisher=Springer |pages=618–621 |isbn=0-387-96307-3 }}</ref> लाप्लास के सन्निकटन के साथ पोस्टीरियर का अनुमान लगाते समय उसी परिणाम का उपयोग किया जाता है, जहां फिशर की जानकारी फिटेड गॉसियन के सहप्रसरण के रूप में दिखाई देती है।<ref>{{cite book |first1=Robert E. |last1=Kass |first2=Luke |last2=Tierney |first3=Joseph B. |last3=Kadane |chapter=The Validity of Posterior Expansions Based on Laplace's Method |pages=473–488 |editor-first=S. |editor-last=Geisser |editor2-first=J. S. |editor2-last=Hodges |editor3-first=S. J. |editor3-last=Press |editor4-first=A. |editor4-last=Zellner |title=सांख्यिकी और अर्थमिति में बायेसियन और संभावना के तरीके|location= |publisher=Elsevier |year=1990 |isbn=0-444-88376-2 }}</ref>
[[बायेसियन सांख्यिकी]] में, फिशर की संसूचना जेफ़रीज़ के नियम के अनुसार गैर-सूचनात्मक [[पूर्व वितरण|पूर्व वितरणों]] की व्युत्पत्ति में भूमिका निभाती है।<ref>{{cite book |first=Christian |last=Robert |title=द बायेसियन चॉइस|location= |publisher=Springer |edition=2nd |year=2007 |isbn=978-0-387-71598-8 |chapter=Noninformative prior distributions |pages=127–141 }}</ref> यह [[पश्च वितरण]] के बड़े-प्रारूप सहप्रसरण के रूप में भी प्रकट होता है, नियम यह है कि पूर्व पर्याप्त रूप से सुचारू हो (परिणाम जिसे बर्नस्टीन-वॉन मिज़ प्रमेय के रूप में जाना जाता है, जिसे [[घातीय परिवार|घातीय परिवारों]] के लिए [[लाप्लास]] द्वारा प्रत्याशित किया गया था)।<ref>{{cite book |first=Lucien |last=Le Cam |authorlink=Lucien Le Cam |year=1986 |title=सांख्यिकीय निर्णय सिद्धांत में स्पर्शोन्मुख तरीके|location=New York |publisher=Springer |pages=618–621 |isbn=0-387-96307-3 }}</ref> लाप्लास के सन्निकटन के साथ पोस्टीरियर का अनुमान लगाते समय उसी परिणाम का उपयोग किया जाता है, जहां फिशर की संसूचना फिटेड गॉसियन के सहप्रसरण के रूप में दिखाई देती है।<ref>{{cite book |first1=Robert E. |last1=Kass |first2=Luke |last2=Tierney |first3=Joseph B. |last3=Kadane |chapter=The Validity of Posterior Expansions Based on Laplace's Method |pages=473–488 |editor-first=S. |editor-last=Geisser |editor2-first=J. S. |editor2-last=Hodges |editor3-first=S. J. |editor3-last=Press |editor4-first=A. |editor4-last=Zellner |title=सांख्यिकी और अर्थमिति में बायेसियन और संभावना के तरीके|location= |publisher=Elsevier |year=1990 |isbn=0-444-88376-2 }}</ref>
एक वैज्ञानिक प्रकृति (भौतिक, जैविक, आदि) की सांख्यिकीय प्रणालियाँ जिनके संभावित कार्य [[शिफ्ट-इनवेरिएंट सिस्टम]] का पालन करते हैं, उन्हें अधिकतम फिशर जानकारी का पालन करने के लिए दिखाया गया है।<ref>Frieden & Gatenby (2013)</ref> अधिकतम का स्तर सिस्टम बाधाओं की प्रकृति पर निर्भर करता है।
 
वैज्ञानिक प्रकृति (भौतिक, जैविक, आदि) की सांख्यिकीय प्रणालियाँ जिनके संभावित कार्य [[शिफ्ट-इनवेरिएंट सिस्टम|शिफ्ट-इनवेरिएंट]] का पालन करते हैं, उन्हें अधिकतम फिशर संसूचना का पालन करने के लिए दिखाया गया है।<ref>Frieden & Gatenby (2013)</ref> अधिकतम स्तर प्रणाली बाधाओं की प्रकृति पर निर्भर करता है।


== परिभाषा ==
== परिभाषा ==
फ़िशर सूचना सूचना की मात्रा को मापने का तरीका है जो अवलोकन योग्य यादृच्छिक चर है <math>X</math> अज्ञात [[पैरामीटर]] के बारे में वहन करता है <math>\theta</math> जिस पर की संभावना है <math>X</math> निर्भर करता है। होने देना <math>f(X;\theta)</math> के लिए प्रायिकता घनत्व फलन (या प्रायिकता द्रव्यमान फलन) हो <math>X</math> के मूल्य पर वातानुकूलित <math>\theta</math>. यह संभावना का वर्णन करता है कि हम दिए गए परिणाम का निरीक्षण करते हैं <math>X</math>, का ज्ञात मान दिया गया है <math>\theta</math>. अगर <math>f</math> में परिवर्तनों के संबंध में तेजी से चरम पर है <math>\theta</math>, के सही मान को इंगित करना आसान है <math>\theta</math> डेटा से, या समकक्ष, कि डेटा <math>X</math> पैरामीटर के बारे में बहुत सारी जानकारी प्रदान करता है <math>\theta</math>. अगर <math>f</math> समतल और फैला हुआ है, तो यह कई नमूने लेगा <math>X</math> के वास्तविक वास्तविक मूल्य का अनुमान लगाने के लिए <math>\theta</math> जो पूरी आबादी के नमूने का उपयोग करके प्राप्त किया जाएगा। यह किसी प्रकार के विचरण के संबंध में अध्ययन करने का सुझाव देता है <math>\theta</math>.
फ़िशर संसूचना, संसूचना की मात्रा को मापने की विधि है जो अवलोकन योग्य यादृच्छिक चर है <math>X</math> में अज्ञात [[पैरामीटर]] है जिस पर <math>\theta</math> की संभावना है <math>X</math> निर्भर करता है। मान लीजिये <math>f(X;\theta)</math> के लिए प्रायिकता घनत्व फलन (या प्रायिकता द्रव्यमान फलन) <math>X</math> के मान पर प्रतिबंधित <math>\theta</math> होता है। यह संभावना का वर्णन करता है कि हम दिए गए परिणाम का निरीक्षण करते हैं <math>X</math>, का ज्ञात मान <math>\theta</math> दिया गया है। यदि <math>f</math> में परिवर्तनों के संबंध में तीव्रता से चरम पर <math>\theta</math> का उचित मान प्रदर्शित करना सरल है <math>\theta</math> डेटा से, या समकक्ष, कि डेटा <math>X</math> पैरामीटर <math>\theta</math> के विषय में अत्यधिक संसूचना प्रदान करता है। यदि <math>f</math> समतल और विस्तारित है, तो यह कई प्रतिरूप लेगा <math>X</math> के वास्तविक उचित मान का अनुमान लगाने के लिए वह <math>\theta</math> प्रतिचयन की जा रही संपूर्ण जनसंख्या का उपयोग करके प्राप्त किया जाएगा। यह <math>\theta</math> किसी प्रकार के विचरण के संबंध में अध्ययन करने का सुझाव देता है।


औपचारिक रूप से, के संबंध में [[आंशिक व्युत्पन्न]] <math>\theta</math> प्रायिकता फलन के [[प्राकृतिक]] लघुगणक को स्कोर (सांख्यिकी) कहा जाता है। कुछ नियमितता शर्तों के तहत, यदि <math>\theta</math> सही पैरामीटर है (यानी <math>X</math> वास्तव में के रूप में वितरित किया जाता है <math>f(X;\theta)</math>), यह दिखाया जा सकता है कि स्कोर का अपेक्षित मूल्य (पहला क्षण (गणित)), सही पैरामीटर मान पर मूल्यांकन किया गया <math>\theta</math>, 0 है:<ref name=SubaRao>{{cite web|last=Suba Rao|title=सांख्यिकीय अनुमान पर व्याख्यान|url=http://www.stat.tamu.edu/~suhasini/teaching613/inference.pdf}}</ref> :<math>\begin{align}
औपचारिक रूप से, <math>\theta</math> के संबंध में [[आंशिक व्युत्पन्न]] प्रायिकता फलन के [[प्राकृतिक]] लघुगणक को स्कोर कहा जाता है। कुछ नियमितता प्रावधानों के अंतर्गत, यदि <math>\theta</math> उचित पैरामीटर है (अर्थात <math>X</math> वास्तव में <math>f(X;\theta)</math> के रूप में वितरित किया जाता है), यह दिखाया जा सकता है कि स्कोर का अपेक्षित मान (प्रथम क्षण), उचित पैरामीटर मान पर मूल्यांकन <math>\theta</math>, 0 किया गया है:<ref name=SubaRao>{{cite web|last=Suba Rao|title=सांख्यिकीय अनुमान पर व्याख्यान|url=http://www.stat.tamu.edu/~suhasini/teaching613/inference.pdf}}</ref> <math>\begin{align}
       \operatorname{E} \left[\left. \frac{\partial}{\partial\theta} \log f(X;\theta)\right|\theta \right]  
       \operatorname{E} \left[\left. \frac{\partial}{\partial\theta} \log f(X;\theta)\right|\theta \right]  
   ={} &\int_{\mathbb{R}} \frac{\frac{\partial}{\partial\theta} f(x;\theta)}{f(x; \theta)} f(x;\theta)\,dx \\[3pt]
   ={} &\int_{\mathbb{R}} \frac{\frac{\partial}{\partial\theta} f(x;\theta)}{f(x; \theta)} f(x;\theta)\,dx \\[3pt]
Line 17: Line 18:
   ={} & 0.
   ={} & 0.
\end{align}</math>
\end{align}</math>
फिशर जानकारी को स्कोर के विचरण के रूप में परिभाषित किया गया है:<ref>Fisher (1922)</ref>
 
फिशर संसूचना को स्कोर के विचरण के रूप में परिभाषित किया गया है:<ref>Fisher (1922)</ref>
:<math> \mathcal{I}(\theta) = \operatorname{E} \left[\left. \left(\frac{\partial}{\partial\theta} \log f(X;\theta)\right)^2\right|\theta \right] = \int_{\mathbb{R}} \left(\frac{\partial}{\partial\theta} \log f(x;\theta)\right)^2 f(x; \theta)\,dx,</math>
:<math> \mathcal{I}(\theta) = \operatorname{E} \left[\left. \left(\frac{\partial}{\partial\theta} \log f(X;\theta)\right)^2\right|\theta \right] = \int_{\mathbb{R}} \left(\frac{\partial}{\partial\theta} \log f(x;\theta)\right)^2 f(x; \theta)\,dx,</math>
ध्यान दें कि <math>0 \leq \mathcal{I}(\theta)</math>. उच्च फिशर जानकारी वाले यादृच्छिक चर का अर्थ है कि स्कोर का निरपेक्ष मान अक्सर उच्च होता है। फिशर की जानकारी किसी विशेष अवलोकन का कार्य नहीं है, क्योंकि यादृच्छिक चर X को औसत कर दिया गया है।
ध्यान दें कि <math>0 \leq \mathcal{I}(\theta)</math> उच्च फिशर संसूचना वाले यादृच्छिक चर का अर्थ है कि स्कोर का निरपेक्ष मान प्रायः उच्च होता है। फिशर की संसूचना किसी विशेष अवलोकन का कार्य नहीं है, क्योंकि यादृच्छिक चर X को औसत कर दिया गया है।


अगर {{nowrap|log ''f''(''x''; ''θ'')}} θ के संबंध में दो बार अवकलनीय है, और कुछ नियमितता शर्तों के तहत, फ़िशर जानकारी को इस रूप में भी लिखा जा सकता है<ref>Lehmann & Casella, eq. (2.5.16), Lemma 5.3, p.116.</ref>
यदि {{nowrap|log ''f''(''x''; ''θ'')}} θ के संबंध में दो बार अवकलनीय है, और कुछ नियमितता प्रावधानों के अंतर्गत, फ़िशर संसूचना को इस रूप में भी लिखा जा सकता है:<ref>Lehmann & Casella, eq. (2.5.16), Lemma 5.3, p.116.</ref>
:<math> \mathcal{I}(\theta) = - \operatorname{E} \left[\left. \frac{\partial^2}{\partial\theta^2} \log f(X;\theta)\right|\theta \right],</math>
:<math> \mathcal{I}(\theta) = - \operatorname{E} \left[\left. \frac{\partial^2}{\partial\theta^2} \log f(X;\theta)\right|\theta \right],</math>
तब से
तब से
Line 28: Line 30:
और
और
:<math> \operatorname{E} \left[\left. \frac{\frac{\partial^2}{\partial\theta^2} f(X;\theta)}{f(X; \theta)}\right|\theta \right] = \frac{\partial^2}{\partial\theta^2} \int_{\mathbb{R}} f(x;\theta)\,dx = 0. </math>
:<math> \operatorname{E} \left[\left. \frac{\frac{\partial^2}{\partial\theta^2} f(X;\theta)}{f(X; \theta)}\right|\theta \right] = \frac{\partial^2}{\partial\theta^2} \int_{\mathbb{R}} f(x;\theta)\,dx = 0. </math>
इस प्रकार, फिशर की जानकारी को [[समर्थन वक्र]] (लॉग-संभावना का ग्राफ) की वक्रता के रूप में देखा जा सकता है। अधिकतम संभावना अनुमान के पास, कम फिशर जानकारी इसलिए इंगित करती है कि अधिकतम कुंद दिखाई देता है, अर्थात, अधिकतम उथला है और समान लॉग-संभावना वाले पास के कई मूल्य हैं। इसके विपरीत, उच्च फिशर जानकारी इंगित करती है कि अधिकतम तेज है।
इस प्रकार, फिशर की संसूचना को [[समर्थन वक्र]] (लॉग-संभावना का ग्राफ) की वक्रता के रूप में देखा जा सकता है। अधिकतम संभावना अनुमान के निकट, अल्प फिशर संसूचना इसलिए प्रदर्शित करती है कि अधिकतम "ब्लंट" दिखाई देता है, अर्थात, अधिकतम उथला है और समान लॉग-संभावना के साथ निकट के कई मान हैं। इसके विपरीत, उच्च फिशर संसूचना प्रदर्शित करती है कि अधिकतम तीव्र है।


=== नियमितता की स्थिति ===
=== नियमितता की स्थिति ===
नियमितता की शर्तें इस प्रकार हैं:<ref>{{Cite book|last=Schervish|first=Mark J.|url=https://www.worldcat.org/oclc/852790658|title=सांख्यिकी का सिद्धांत|date=1995|publisher=Springer New York|isbn=978-1-4612-4250-5|location=New York, NY|pages=111|oclc=852790658}}</ref>
नियमितता के नियम इस प्रकार हैं:<ref>{{Cite book|last=Schervish|first=Mark J.|url=https://www.worldcat.org/oclc/852790658|title=सांख्यिकी का सिद्धांत|date=1995|publisher=Springer New York|isbn=978-1-4612-4250-5|location=New York, NY|pages=111|oclc=852790658}}</ref>
# θ के संबंध में f(X; θ) का आंशिक व्युत्पन्न [[लगभग हर जगह]] मौजूद है। (यह शून्य सेट पर अस्तित्व में विफल हो सकता है, जब तक कि यह सेट θ पर निर्भर न हो।)
# θ के संबंध में f(X; θ) का आंशिक व्युत्पन्न [[लगभग हर जगह|लगभग प्रत्येक जगह]] उपस्थित है। (जब तक कि यह समुच्चय θ पर निर्भर नहीं करता है, तब तक यह शून्य समुच्चय पर उपस्थित नहीं हो सकता है।)
# एफ (एक्स; θ) का अभिन्न अंग θ के संबंध में अभिन्न चिह्न के तहत विभेदित किया जा सकता है।
# f(X; θ) के समाकल को θ के संबंध में समाकल चिह्न के अंतर्गत विभेदित किया जा सकता है।
# f(X; θ) का [[समर्थन (गणित)]] θ पर निर्भर नहीं करता है।
# f(X; θ) का [[समर्थन (गणित)|समर्थन]] θ पर निर्भर नहीं करता है।


यदि θ सदिश राशि है तो θ के प्रत्येक घटक के लिए नियमितता की शर्तें होनी चाहिए। घनत्व का उदाहरण खोजना आसान है जो नियमितता की शर्तों को पूरा नहीं करता है: समान (0, θ) चर का घनत्व 1 और 3 की शर्तों को पूरा करने में विफल रहता है। इस मामले में, भले ही फिशर की जानकारी से गणना की जा सकती है परिभाषा, इसमें वे गुण नहीं होंगे जो इसे आमतौर पर माना जाता है।
यदि θ सदिश राशि है तो θ के प्रत्येक घटक के लिए नियमितता के नियम होने चाहिए। घनत्व का उदाहरण शोध करना सरल है जो नियमितता के नियमों को पूर्ण नहीं करता है: समान (0, θ) चर का घनत्व 1 और 3 के नियमों को पूर्ण करने में विफल रहता है। इस स्थिति में, उचित प्रकार से फिशर की संसूचना की गणना परिभाषा से की जा सकती है, इसमें वे गुण नहीं होंगे जो सामान्यतः माने जाते हैं।


=== [[संभावना]] के संदर्भ में ===
=== [[संभावना]] की दृष्टि से ===
चूँकि दिए गए X के θ की संभावना हमेशा प्रायिकता f(X; θ) के समानुपाती होती है, उनके लघुगणक आवश्यक रूप से स्थिरांक से भिन्न होते हैं जो θ से स्वतंत्र होता है, और θ के संबंध में इन लघुगणकों के डेरिवेटिव आवश्यक रूप से बराबर होते हैं। इस प्रकार लॉग-लाइबिलिटी एल (θ; एक्स) के बजाय स्थानापन्न कर सकता है {{math|log ''f''(''X''; ''θ'')}} फिशर सूचना की परिभाषा में।
चूँकि दिए गए X के θ की संभावना सदैव प्रायिकता f(X; θ) के समानुपाती होती है, उनके लघुगणक आवश्यक रूप से स्थिरांक से भिन्न होते हैं जो θ से स्वतंत्र होता है, और θ के संबंध में इन लघुगणकों के डेरिवेटिव आवश्यक रूप से समान होते हैं। इस प्रकार कोई फिशर संसूचना की परिभाषाओं में लॉग-लाइबिलिटी ''l''(θ; ''X'') के अतिरिक्त {{math|log ''f''(''X''; ''θ'')}} में स्थानापन्न कर सकता है।


=== किसी भी आकार के नमूने ===
=== किसी भी आकार के प्रतिरूप ===
मान X एकल वितरण से निकाले गए एकल नमूने का प्रतिनिधित्व कर सकता है या वितरण के संग्रह से निकाले गए नमूनों के संग्रह का प्रतिनिधित्व कर सकता है। यदि n नमूने हैं और संबंधित n वितरण [[सांख्यिकीय रूप से स्वतंत्र]] हैं, तो फ़िशर जानकारी आवश्यक रूप से एकल-नमूना फ़िशर सूचना मानों का योग होगी, इसके वितरण से प्रत्येक एकल नमूने के लिए एक। विशेष रूप से, यदि n बंटन i.i.d. तो फ़िशर जानकारी आवश्यक रूप से सामान्य वितरण से एकल नमूने की फ़िशर जानकारी का n गुना होगी।
मान X एकल वितरण से निकाले गए एकल प्रतिरूप का प्रतिनिधित्व कर सकता है या वितरण के संग्रह से निकाले गए प्रतिरूपों के संग्रह का प्रतिनिधित्व कर सकता है। यदि n प्रतिरूप हैं और संबंधित n वितरण [[सांख्यिकीय रूप से स्वतंत्र]] हैं, तो फ़िशर संसूचना आवश्यक रूप से इसके वितरण से प्रत्येक एकल प्रतिरूप के लिए फ़िशर संसूचना मानों का योग होगी। विशेष रूप से, यदि n वितरण स्वतंत्र हैं और समान रूप से वितरित किए गए हैं, तो फ़िशर संसूचना आवश्यक रूप से सामान्य वितरण से एकल प्रतिरूप की फ़िशर संसूचना का n गुना होगी।


===क्रैमर-राव बाउंड === की अनौपचारिक व्युत्पत्ति
=== क्रैमर-राव बाउंड की अनौपचारिक व्युत्पत्ति ===
क्रैमर-राव बाउंड<ref>Cramer (1946)</ref><ref>Rao (1945)</ref> बताता है कि फिशर जानकारी का व्युत्क्रम θ के किसी भी निष्पक्ष अनुमानक के विचरण पर निचली सीमा है। एच.एल. वैन ट्रीज़ (1968) और बी. रॉय फ्रीडेन (2004) क्रैमर-राव बाउंड प्राप्त करने की निम्नलिखित विधि प्रदान करते हैं, जिसके परिणामस्वरूप फिशर जानकारी के उपयोग का वर्णन होता है।
क्रैमर-राव बाउंड<ref>Cramer (1946)</ref><ref>Rao (1945)</ref> कहता है कि फिशर संसूचना का व्युत्क्रम θ के किसी भी निष्पक्ष अनुमानक के विचरण पर निचली सीमा है। एच.एल. वैन ट्रीज़ (1968) और बी. रॉय फ्रीडेन (2004) क्रैमर-राव बाउंड प्राप्त करने की निम्नलिखित विधि प्रदान करते हैं, जिसके परिणामस्वरूप फिशर संसूचना के उपयोग का वर्णन होता है।


अनौपचारिक रूप से, हम निष्पक्ष अनुमानक पर विचार करके प्रारंभ करते हैं <math>\hat\theta(X)</math>. गणितीय रूप से, निष्पक्ष का अर्थ है कि
अनौपचारिक रूप से, हम निष्पक्ष अनुमानक पर विचार करके <math>\hat\theta(X)</math> प्रारंभ करते हैं, गणितीय रूप से, निष्पक्ष का अर्थ है कि;


:<math>
:<math>
Line 53: Line 55:
= \int \left(\hat\theta(x) - \theta\right) \, f(x ;\theta) \, dx = 0 \text{ regardless of the value of } \theta.
= \int \left(\hat\theta(x) - \theta\right) \, f(x ;\theta) \, dx = 0 \text{ regardless of the value of } \theta.
</math>
</math>
यह अभिव्यक्ति θ से स्वतंत्र शून्य है, इसलिए θ के संबंध में इसका आंशिक व्युत्पन्न भी शून्य होना चाहिए। उत्पाद नियम के अनुसार, यह आंशिक अवकलज भी बराबर है
यह अभिव्यक्ति θ से स्वतंत्र शून्य है, इसलिए θ के संबंध में इसका आंशिक व्युत्पन्न भी शून्य होना चाहिए। उत्पाद नियम के अनुसार, यह आंशिक अवकलज भी समान है:


:<math>
:<math>
Line 59: Line 61:
= \int \left(\hat\theta(x)-\theta\right) \frac{\partial f}{\partial\theta} \, dx - \int f \,dx.
= \int \left(\hat\theta(x)-\theta\right) \frac{\partial f}{\partial\theta} \, dx - \int f \,dx.
</math>
</math>
प्रत्येक θ के लिए, प्रायिकता फलन प्रायिकता घनत्व फलन है, और इसलिए <math>\int f\,dx = 1</math>. के आंशिक व्युत्पन्न पर [[श्रृंखला नियम]] का उपयोग करके <math>\log f</math> और फिर से विभाजित और गुणा करना <math>f(x;\theta)</math>, कोई इसे सत्यापित कर सकता है
प्रत्येक θ के लिए, प्रायिकता फलन प्रायिकता घनत्व फलन है, और इसलिए <math>\int f\,dx = 1</math> के आंशिक व्युत्पन्न पर [[श्रृंखला नियम]] का उपयोग करके <math>\log f</math> और पुनः विभाजित और <math>f(x;\theta)</math> गुणा करना, कोई इसे सत्यापित कर सकता है:


:<math>\frac{\partial f}{\partial\theta} = f \, \frac{\partial \log f}{\partial\theta}.</math>
:<math>\frac{\partial f}{\partial\theta} = f \, \frac{\partial \log f}{\partial\theta}.</math>
उपर्युक्त में इन दो तथ्यों का प्रयोग करने पर हमें प्राप्त होता है
उपर्युक्त में इन दो तथ्यों का प्रयोग करने पर हमें प्राप्त होता है:


:<math>
:<math>
\int \left(\hat\theta-\theta\right) f \, \frac{\partial \log f}{\partial\theta} \, dx = 1.
\int \left(\hat\theta-\theta\right) f \, \frac{\partial \log f}{\partial\theta} \, dx = 1.
</math>
</math>
इंटीग्रैंड देता है फैक्टरिंग
इंटीग्रैंड फैक्टरिंग देता है:
:<math>
:<math>
\int \left(\left(\hat\theta-\theta\right) \sqrt{f} \right) \left( \sqrt{f} \, \frac{\partial \log f}{\partial\theta} \right) \, dx = 1.
\int \left(\left(\hat\theta-\theta\right) \sqrt{f} \right) \left( \sqrt{f} \, \frac{\partial \log f}{\partial\theta} \right) \, dx = 1.
</math>
</math>
समाकलन में व्यंजक का वर्ग करने पर कॉशी-श्वार्ज़ असमानता प्राप्त होती है
समाकलन में व्यंजक का वर्ग करने पर कॉशी-श्वार्ज़ असमानता प्राप्त होती है:


:<math>
:<math>
Line 79: Line 81:
\left[ \int \left(\hat\theta - \theta\right)^2 f \, dx \right] \cdot \left[ \int \left( \frac{\partial \log f}{\partial\theta} \right)^2 f \, dx \right].
\left[ \int \left(\hat\theta - \theta\right)^2 f \, dx \right] \cdot \left[ \int \left( \frac{\partial \log f}{\partial\theta} \right)^2 f \, dx \right].
</math>
</math>
दूसरा ब्रैकेटेड कारक फिशर सूचना के रूप में परिभाषित किया गया है, जबकि पहला ब्रैकेटेड कारक अनुमानक की अपेक्षित माध्य-वर्ग त्रुटि है <math>\hat\theta</math>. पुनर्व्यवस्थित करके, असमानता हमें बताती है कि
दूसरा ब्रैकेटेड कारक फिशर सूचना के रूप में परिभाषित किया गया है, जबकि प्रथम ब्रैकेटेड कारक अनुमानक की अपेक्षित माध्य-वर्ग त्रुटि <math>\hat\theta</math> है, पुनर्व्यवस्थित करके, असमानता हमें बताती है कि;


:<math>
:<math>
\operatorname{Var}\left(\hat\theta\right) \geq \frac{1}{\mathcal{I}\left(\theta\right)}.
\operatorname{Var}\left(\hat\theta\right) \geq \frac{1}{\mathcal{I}\left(\theta\right)}.
</math>
</math>
दूसरे शब्दों में, जिस सटीकता का हम अनुमान लगा सकते हैं, वह मौलिक रूप से संभावित कार्य की फिशर जानकारी द्वारा सीमित है।
दूसरे शब्दों में, जिस त्रुटिहीनता का हम अनुमान लगा सकते हैं, वह मौलिक रूप से संभावित कार्य की फिशर संसूचना द्वारा सीमित है।
 
 


वैकल्पिक रूप से, यादृच्छिक चर के लिए कॉची-श्वार्ज़ असमानता | कॉची-श्वार्ज़ असमानता से सीधे ही निष्कर्ष प्राप्त किया जा सकता है, <math>|\operatorname{Cov}(AB)|^2 \le \operatorname{Var}(A)\operatorname{Var}(B)</math>, यादृच्छिक चर पर लागू होता है <math>\hat\theta(X)</math> और <math>\partial_\theta\log f(X;\theta)</math>, और यह देखते हुए कि हमारे पास निष्पक्ष अनुमानक हैं<math display="block">\operatorname{Cov}[\hat\theta(X)\partial_\theta \log f(X;\theta)] =
वैकल्पिक रूप से, यादृच्छिक चर के लिए कॉची-श्वार्ज़ असमानता से सीधे ही निष्कर्ष प्राप्त किया जा सकता है, <math>|\operatorname{Cov}(AB)|^2 \le \operatorname{Var}(A)\operatorname{Var}(B)</math>, यादृच्छिक चर <math>\hat\theta(X)</math> और <math>\partial_\theta\log f(X;\theta)</math> पर प्रारम्भ होता है, और यह देखते हुए कि निष्पक्ष अनुमानक हैं:<math display="block">\operatorname{Cov}[\hat\theta(X)\partial_\theta \log f(X;\theta)] =
\int dx (\hat\theta(x)-\mathrm E[\hat\theta])\partial_\theta f(x;\theta) = \partial_\theta \mathrm E[\hat\theta] = 1.</math>
\int dx (\hat\theta(x)-\mathrm E[\hat\theta])\partial_\theta f(x;\theta) = \partial_\theta \mathrm E[\hat\theta] = 1.</math>
===एकल-पैरामीटर बरनौली प्रयोग===
===एकल-पैरामीटर बरनौली प्रयोग===
एक [[बरनौली परीक्षण]] दो संभावित परिणामों, सफलता और असफलता के साथ यादृच्छिक चर है, जिसमें सफलता की संभावना θ है। परिणाम के बारे में सोचा जा सकता है कि सिक्का टॉस द्वारा निर्धारित किया जा सकता है, जिसमें हेड होने की संभावना θ और पूंछ होने की संभावना है {{nowrap|1 − ''θ''}}.
[[बरनौली परीक्षण]] दो संभावित परिणामों, सफलता और असफलता के साथ यादृच्छिक चर है, जिसमें सफलता की संभावना θ है। परिणाम के विषय में सोचा जा सकता है कि सिक्का टॉस द्वारा निर्धारित किया जा सकता है, जिसमें हेड होने की संभावना θ और पूंछ होने की संभावना {{nowrap|1 − ''θ''}} है।


बता दें कि एक्स बर्नौली परीक्षण है। X में निहित फिशर जानकारी की गणना की जा सकती है
मान लीजिये कि X बरनौली परीक्षण है। X में निहित फिशर संसूचना की गणना की जा सकती है:
:<math>\begin{align}
:<math>\begin{align}
   \mathcal{I}(\theta)
   \mathcal{I}(\theta)
Line 102: Line 102:
     &= \frac{1}{\theta(1 - \theta)}.
     &= \frac{1}{\theta(1 - \theta)}.
\end{align}</math>
\end{align}</math>
क्योंकि फिशर की जानकारी योगात्मक है, फिशर की जानकारी n स्वतंत्र बर्नौली परीक्षणों में निहित है
क्योंकि फिशर की संसूचना योगात्मक है, फिशर की संसूचना n स्वतंत्र बर्नौली परीक्षणों में निहित है:
:<math>\mathcal{I}(\theta) = \frac{n}{\theta(1 - \theta)}.</math>
:<math>\mathcal{I}(\theta) = \frac{n}{\theta(1 - \theta)}.</math>
यह एन बर्नौली परीक्षणों में सफलताओं की औसत संख्या के विचरण का पारस्परिक है, इसलिए इस मामले में, क्रैमर-राव बाउंड समानता है।
यह ''n'' बर्नौली परीक्षणों में सफलताओं की औसत संख्या के विचरण का पारस्परिक है, इसलिए इस स्थिति में, क्रैमर-राव बाउंड समानता है।


== मैट्रिक्स फॉर्म ==
== आव्यूह फॉर्म ==
जब एन पैरामीटर हैं, तो θ है {{nowrap|''N'' × 1}} [[कॉलम वेक्टर]] <math>\theta = \begin{bmatrix}\theta_1 & \theta_2 & \dots & \theta_N\end{bmatrix}^\textsf{T},</math> तब फिशर जानकारी रूप लेती है {{nowrap|''N'' × ''N''}} [[मैट्रिक्स (गणित)]]इस मैट्रिक्स को फिशर इंफॉर्मेशन मैट्रिक्स (FIM) कहा जाता है और इसमें विशिष्ट तत्व होता है
जब ''N'' पैरामीटर हैं, तो θ {{nowrap|''N'' × 1}} [[कॉलम वेक्टर|सदिश]] <math>\theta = \begin{bmatrix}\theta_1 & \theta_2 & \dots & \theta_N\end{bmatrix}^\textsf{T}</math> है, तब फिशर संसूचना {{nowrap|''N'' × ''N''}} [[मैट्रिक्स (गणित)|आव्यूह]] का रूप ले लेती है। इस आव्यूह को फिशर इंफॉर्मेशन आव्यूह (एफआईएम) कहा जाता है और इसमें विशिष्ट तत्व होता है:


:<math>
:<math>
Line 116: Line 116:
   \right|\theta\right].
   \right|\theta\right].
</math>
</math>
एफआईएम है {{nowrap|''N'' × ''N''}} [[सकारात्मक अर्ध निश्चित मैट्रिक्स]]। यदि यह सकारात्मक निश्चित है, तो यह एन-डायमेंशनल [[ पैरामीटर स्थान ]] पर [[रिमेंनियन मीट्रिक]] को परिभाषित करता है। विषय [[सूचना ज्यामिति]] इसका उपयोग फिशर जानकारी को [[अंतर ज्यामिति]] से जोड़ने के लिए करती है, और उस संदर्भ में, इस मीट्रिक को [[फिशर सूचना मीट्रिक]] के रूप में जाना जाता है।
एफआईएम {{nowrap|''N'' × ''N''}} [[सकारात्मक अर्ध निश्चित मैट्रिक्स|सकारात्मक अर्ध निश्चित आव्यूह है]]। यदि यह सकारात्मक निश्चित है, तो यह N-आयामी[[ पैरामीटर स्थान ]]पर [[रिमेंनियन मीट्रिक]] को परिभाषित करता है। विषय [[सूचना ज्यामिति]] इसका उपयोग फिशर संसूचना को [[अंतर ज्यामिति]] से जोड़ने के लिए करती है, और उस संदर्भ में, इस मीट्रिक को [[फिशर सूचना मीट्रिक|फिशर संसूचना मीट्रिक]] के रूप में जाना जाता है।


कुछ निश्चित नियमितता शर्तों के तहत, फिशर सूचना मैट्रिक्स को इस रूप में भी लिखा जा सकता है
कुछ निश्चित नियमितता नियमों  के अंतर्गत , फिशर संसूचना आव्यूह को इस रूप में भी लिखा जा सकता है:


:<math>
:<math>
Line 126: Line 126:
   \right|\theta\right]\,.
   \right|\theta\right]\,.
</math>
</math>
परिणाम कई मायनों में दिलचस्प है:
परिणाम कई अर्थों में रोचक है:
* इसे सापेक्ष एंट्रॉपी के [[हेसियन मैट्रिक्स]] के रूप में प्राप्त किया जा सकता है।
* इसे सापेक्ष एंट्रॉपी के [[हेसियन मैट्रिक्स|हेसियन]] आव्यूह के रूप में प्राप्त किया जा सकता है।
*इसे सकारात्मक-निश्चित होने पर फिशर-राव ज्यामिति को परिभाषित करने के लिए रिमेंनियन मीट्रिक के रूप में उपयोग किया जा सकता है।<ref>{{cite journal | last1 = Nielsen | first1 = Frank | year = 2010 |  
*इसे सकारात्मक-निश्चित होने पर फिशर-राव ज्यामिति को परिभाषित करने के लिए रिमेंनियन मीट्रिक के रूप में उपयोग किया जा सकता है।<ref>{{cite journal | last1 = Nielsen | first1 = Frank | year = 2010 |  
title = Cramer-Rao lower bound and information geometry  
title = Cramer-Rao lower bound and information geometry  
   | journal = Connected at Infinity II | pages = 18–37 | arxiv = 1301.3578 }}</ref>
   | journal = Connected at Infinity II | pages = 18–37 | arxiv = 1301.3578 }}</ref>
* चर के उपयुक्त परिवर्तन के बाद, इसे [[यूक्लिडियन मीट्रिक]] से प्रेरित मीट्रिक के रूप में समझा जा सकता है।
* चर के उपयुक्त परिवर्तन के पश्चात, इसे [[यूक्लिडियन मीट्रिक]] से प्रेरित मीट्रिक के रूप में समझा जा सकता है।
*अपने जटिल-मूल्यवान रूप में, यह फ़ुबिनी-अध्ययन मीट्रिक है।
*अपने जटिल-मूल्यवान रूप में, यह फ़ुबिनी-अध्ययन मीट्रिक है।
*यह विल्क्स प्रमेय के प्रमाण का प्रमुख हिस्सा है, जो [[संभावना सिद्धांत]] की आवश्यकता के बिना आत्मविश्वास क्षेत्र अनुमानों को [[अधिकतम संभावना अनुमान]] (उन स्थितियों के लिए जिनके लिए यह लागू होता है) की अनुमति देता है।
*यह विल्क्स प्रमेय के प्रमाण का प्रमुख भाग है, जो [[संभावना सिद्धांत]] की आवश्यकता के बिना विश्वास क्षेत्र अनुमानों को [[अधिकतम संभावना अनुमान]] (उन स्थितियों के लिए जिनके लिए यह प्रस्तावित होता है) की अनुमति देता है।
*ऐसे मामलों में जहां उपरोक्त एफआईएम की विश्लेषणात्मक गणना मुश्किल है, एफआईएम के अनुमान के रूप में नकारात्मक लॉग-लाइबिलिटी फ़ंक्शन के हेसियन मैट्रिक्स के आसान मोंटे कार्लो अनुमानों का औसत बनाना संभव है।<ref>{{cite journal | last1 = Spall | first1 = J. C. | year = 2005 | title = गैर-मानक सेटिंग्स में फिशर सूचना मैट्रिक्स की मोंटे कार्लो संगणना| journal = Journal of Computational and Graphical Statistics | volume = 14 | issue = 4| pages = 889–909 | doi=10.1198/106186005X78800| s2cid = 16090098 }}</ref><ref>Spall, J. C. (2008), "Improved Methods for Monte Carlo Estimation of the Fisher Information Matrix," ''Proceedings of the American Control Conference'', Seattle, WA, 11–13 June 2008, pp. 2395–2400. https://doi.org/10.1109/ACC.2008.4586850</ref><ref>{{cite journal | last1 = Das | first1 = S. | last2 = Spall | first2 = J. C. | last3 = Ghanem | first3 = R. | year = 2010 | title = पूर्व सूचना का उपयोग करते हुए फिशर सूचना मैट्रिक्स की कुशल मोंटे कार्लो संगणना| journal = Computational Statistics and Data Analysis | volume = 54 | issue = 2| pages = 272–289 | doi=10.1016/j.csda.2009.09.018}}</ref> अनुमान नकारात्मक लॉग-संभावना फ़ंक्शन के मान या नकारात्मक लॉग-संभावना फ़ंक्शन के ग्रेडिएंट पर आधारित हो सकते हैं; नकारात्मक लॉग-संभावना फ़ंक्शन के हेस्सियन की कोई विश्लेषणात्मक गणना आवश्यक नहीं है।
*ऐसी स्थितियों में जहां उपरोक्त एफआईएम की विश्लेषणात्मक गणना कठिन है, एफआईएम के अनुमान के रूप में नकारात्मक लॉग-लाइबिलिटी फ़ंक्शन के हेसियन आव्यूह के सरल मोंटे कार्लो अनुमानों का औसत बनना संभव है।<ref>{{cite journal | last1 = Spall | first1 = J. C. | year = 2005 | title = गैर-मानक सेटिंग्स में फिशर सूचना मैट्रिक्स की मोंटे कार्लो संगणना| journal = Journal of Computational and Graphical Statistics | volume = 14 | issue = 4| pages = 889–909 | doi=10.1198/106186005X78800| s2cid = 16090098 }}</ref><ref>Spall, J. C. (2008), "Improved Methods for Monte Carlo Estimation of the Fisher Information Matrix," ''Proceedings of the American Control Conference'', Seattle, WA, 11–13 June 2008, pp. 2395–2400. https://doi.org/10.1109/ACC.2008.4586850</ref><ref>{{cite journal | last1 = Das | first1 = S. | last2 = Spall | first2 = J. C. | last3 = Ghanem | first3 = R. | year = 2010 | title = पूर्व सूचना का उपयोग करते हुए फिशर सूचना मैट्रिक्स की कुशल मोंटे कार्लो संगणना| journal = Computational Statistics and Data Analysis | volume = 54 | issue = 2| pages = 272–289 | doi=10.1016/j.csda.2009.09.018}}</ref> अनुमान नकारात्मक लॉग-संभावना फ़ंक्शन के मान या नकारात्मक लॉग-संभावना फ़ंक्शन के ग्रेडिएंट पर आधारित हो सकते हैं; नकारात्मक लॉग-संभावना फ़ंक्शन के हेस्सियन की कोई विश्लेषणात्मक गणना आवश्यक नहीं है।


=== सूचना ऑर्थोगोनल पैरामीटर ===
=== सूचना लंबकोणीय पैरामीटर ===
हम कहते हैं कि दो पैरामीटर घटक वैक्टर θ<sub>1</sub>और θ<sub>2</sub>सूचना ऑर्थोगोनल हैं यदि फिशर सूचना मैट्रिक्स अलग-अलग ब्लॉकों में इन घटकों के साथ ब्लॉक विकर्ण है।<ref>{{cite book |last1=Barndorff-Nielsen |first1=O. E. |last2=Cox |first2=D. R. |title=निष्कर्ष और स्पर्शोन्मुख|date=1994 |publisher=Chapman & Hall |isbn=9780412494406}}</ref> ऑर्थोगोनल मापदंडों को इस अर्थ में निपटाना आसान है कि उनकी अधिकतम संभावना स्पर्शोन्मुख रूप से असंबद्ध है। सांख्यिकीय मॉडल का विश्लेषण करने के बारे में विचार करते समय, मॉडेलर को सलाह दी जाती है कि वह मॉडल के ऑर्थोगोनल पैरामीट्रिजेशन की खोज में कुछ समय निवेश करे, विशेष रूप से जब ब्याज का पैरामीटर एक-आयामी है, लेकिन उपद्रव पैरामीटर का कोई आयाम हो सकता है।<ref>{{cite journal |last1=Cox |first1=D. R. |last2=Reid |first2=N. |title=पैरामीटर ऑर्थोगोनलिटी और अनुमानित सशर्त अनुमान (चर्चा के साथ)|journal=J. Royal Statistical Soc. B |date=1987 |volume=49 |pages=1-39}}</ref>
हम कहते हैं कि दो पैरामीटर घटक सदिश θ<sub>1</sub>और θ<sub>2</sub> सूचना लंबकोणीय हैं यदि फिशर संसूचना आव्यूह भिन्न-भिन्न ब्लॉकों में इन घटकों के साथ ब्लॉक विकर्ण है।<ref>{{cite book |last1=Barndorff-Nielsen |first1=O. E. |last2=Cox |first2=D. R. |title=निष्कर्ष और स्पर्शोन्मुख|date=1994 |publisher=Chapman & Hall |isbn=9780412494406}}</ref> लंबकोणीय मापदंडों को इस अर्थ में निपटाना सरल है कि उनके अधिकतम संभावना स्पर्शोन्मुख रूप से असंबद्ध है। सांख्यिकीय मॉडल का विश्लेषण करने के विषय में विचार करते समय, मॉडेलर को सलाह दी जाती है कि वह मॉडल के लंबकोणीय पैरामीट्रिजेशन के शोध में कुछ समय निवेश करते हैं, विशेष रूप से जब ब्याज का पैरामीटर एक-आयामी है, किन्तु उपद्रव पैरामीटर का कोई आयाम हो सकता है।<ref>{{cite journal |last1=Cox |first1=D. R. |last2=Reid |first2=N. |title=पैरामीटर ऑर्थोगोनलिटी और अनुमानित सशर्त अनुमान (चर्चा के साथ)|journal=J. Royal Statistical Soc. B |date=1987 |volume=49 |pages=1-39}}</ref>
=== एकवचन सांख्यिकीय मॉडल ===
=== एकवचन सांख्यिकीय मॉडल ===
{{see also|Regular parametric model}}
{{see also|नियमित पैरामीट्रिक मॉडल}}


यदि फिशर सूचना मैट्रिक्स सभी के लिए सकारात्मक निश्चित है {{mvar|θ}}, तो संबंधित [[सांख्यिकीय मॉडल]] को नियमित कहा जाता है; अन्यथा, सांख्यिकीय मॉडल को एकवचन कहा जाता है।<ref>{{Citation|first=S. | last= Watanabe | title= Algebraic geometrical method in singular statistical estimation | journal= Quantum Bio-Informatics | editor1-first= L. | editor2-first= W. | editor3-first= M. | editor1-last= Accardi | editor2-last= Freudenberg | editor3-last=Ohya | pages= 325–336 | year= 2008 | publisher= [[World Scientific]]| bibcode= 2008qbi..conf..325W | doi= 10.1142/9789812793171_0024 | isbn= 978-981-279-316-4 }}.</ref> एकवचन सांख्यिकीय मॉडल के उदाहरणों में निम्नलिखित शामिल हैं: सामान्य मिश्रण, द्विपद मिश्रण, बहुपद मिश्रण, बायेसियन नेटवर्क, तंत्रिका नेटवर्क, रेडियल आधार कार्य, छिपे हुए मार्कोव मॉडल, स्टोचैस्टिक संदर्भ-मुक्त व्याकरण, कम रैंक प्रतिगमन, बोल्ट्जमैन मशीन।
यदि फिशर संसूचना आव्यूह सभी {{mvar|θ}} के लिए सकारात्मक निश्चित है, तो संबंधित [[सांख्यिकीय मॉडल]] को नियमित कहा जाता है; अन्यथा, सांख्यिकीय मॉडल को एकवचन कहा जाता है।<ref>{{Citation|first=S. | last= Watanabe | title= Algebraic geometrical method in singular statistical estimation | journal= Quantum Bio-Informatics | editor1-first= L. | editor2-first= W. | editor3-first= M. | editor1-last= Accardi | editor2-last= Freudenberg | editor3-last=Ohya | pages= 325–336 | year= 2008 | publisher= [[World Scientific]]| bibcode= 2008qbi..conf..325W | doi= 10.1142/9789812793171_0024 | isbn= 978-981-279-316-4 }}.</ref> एकवचन सांख्यिकीय मॉडल के उदाहरणों में निम्नलिखित सम्मिलित हैं: सामान्य मिश्रण, द्विपद मिश्रण, बहुपद मिश्रण, बायेसियन नेटवर्क, तंत्रिका नेटवर्क, रेडियल आधार कार्य, छिपे हुए मार्कोव मॉडल, स्टोचैस्टिक संदर्भ-मुक्त व्याकरण, कम रैंक प्रतिगमन, बोल्ट्जमैन मशीन आदि हैं।


[[ यंत्र अधिगम ]] में, यदि सांख्यिकीय मॉडल तैयार किया जाता है ताकि यह यादृच्छिक घटना से छिपी हुई संरचना को निकाल सके, तो यह स्वाभाविक रूप से एकवचन बन जाता है।<ref>{{cite journal | last1 = Watanabe | first1 = S | year = 2013 | title = एक व्यापक रूप से लागू बायेसियन सूचना मानदंड| journal = [[Journal of Machine Learning Research]] | volume = 14 | pages = 867–897 }}</ref>
[[ यंत्र अधिगम |मशीन लर्निंग]] में, यदि सांख्यिकीय मॉडल प्रस्तुत किया जाता है जिससे कि यह यादृच्छिक घटना से छिपी हुई संरचना को निकाल सके, तो यह स्वाभाविक रूप से एकवचन बन जाता है।<ref>{{cite journal | last1 = Watanabe | first1 = S | year = 2013 | title = एक व्यापक रूप से लागू बायेसियन सूचना मानदंड| journal = [[Journal of Machine Learning Research]] | volume = 14 | pages = 867–897 }}</ref>
=== [[बहुभिन्नरूपी सामान्य वितरण]] ===
=== [[बहुभिन्नरूपी सामान्य वितरण]] ===
एन-वैरिएट बहुभिन्नरूपी सामान्य वितरण के लिए एफआईएम, <math>\,X \sim N\left(\mu(\theta),\, \Sigma(\theta)\right)</math> विशेष रूप होता है। पैरामीटर के के-आयामी वेक्टर होने दें <math>\theta = \begin{bmatrix} \theta_1 & \dots & \theta_K \end{bmatrix}^\textsf{T}</math> और यादृच्छिक सामान्य चर के वेक्टर हो <math>X = \begin{bmatrix} X_1 & \dots & X_N \end{bmatrix}^\textsf{T}</math>. मान लें कि इन यादृच्छिक चरों के माध्य मान हैं <math>\,\mu(\theta) = \begin{bmatrix} \mu_1(\theta) & \dots & \mu_N(\theta) \end{bmatrix}^\textsf{T}</math>, और जाने <math>\,\Sigma(\theta)</math> सहप्रसरण मैट्रिक्स हो। फिर, के लिए <math>1 \le m,\, n \le K</math>, (एम, एन) एफआईएम की प्रविष्टि है:<ref>{{cite book |title=स्टोचैस्टिक अनुकूलन के मद्देनजर गॉसियन वितरण की सूचना ज्यामिति|first1=Luigi |last1=Malagò |first2=Giovanni |last2=Pistone |journal=[[Proceedings of the 2015 ACM Conference on Foundations of Genetic Algorithms XIII]] |year=2015 |pages=150–162 |doi=10.1145/2725494.2725510 |isbn=9781450334341 |s2cid=693896 }}</ref>
''N''-वैरिएट बहुभिन्नरूपी सामान्य वितरण के लिए एफआईएम, <math>\,X \sim N\left(\mu(\theta),\, \Sigma(\theta)\right)</math> का विशेष रूप होता है। पैरामीटर के ''K''-आयामी सदिश मान लें कि <math>\theta = \begin{bmatrix} \theta_1 & \dots & \theta_K \end{bmatrix}^\textsf{T}</math> और यादृच्छिक सामान्य चर के सदिश <math>X = \begin{bmatrix} X_1 & \dots & X_N \end{bmatrix}^\textsf{T}</math>होता है। मान लें कि इन यादृच्छिक चरों के माध्य मान <math>\,\mu(\theta) = \begin{bmatrix} \mu_1(\theta) & \dots & \mu_N(\theta) \end{bmatrix}^\textsf{T}</math>हैं, और जाने <math>\,\Sigma(\theta)</math> सहप्रसरण आव्यूह हो। फिर, <math>1 \le m,\, n \le K</math>, (''m'', ''n'') एफआईएम की प्रविष्टि है:<ref>{{cite book |title=स्टोचैस्टिक अनुकूलन के मद्देनजर गॉसियन वितरण की सूचना ज्यामिति|first1=Luigi |last1=Malagò |first2=Giovanni |last2=Pistone |journal=[[Proceedings of the 2015 ACM Conference on Foundations of Genetic Algorithms XIII]] |year=2015 |pages=150–162 |doi=10.1145/2725494.2725510 |isbn=9781450334341 |s2cid=693896 }}</ref>
:<math>
:<math>
   \mathcal{I}_{m,n} =
   \mathcal{I}_{m,n} =
Line 155: Line 155:
   \right),
   \right),
</math>
</math>
कहाँ <math>(\cdot)^\textsf{T}</math> सदिश के स्थानान्तरण को दर्शाता है, <math>\operatorname{tr}(\cdot)</math> [[स्क्वायर मैट्रिक्स]] के [[ट्रेस (मैट्रिक्स)]] को दर्शाता है, और:
जहाँ <math>(\cdot)^\textsf{T}</math> सदिश के स्थानान्तरण को दर्शाता है, <math>\operatorname{tr}(\cdot)</math> [[स्क्वायर मैट्रिक्स|वर्ग]] आव्यूह के [[ट्रेस (मैट्रिक्स)|ट्रेस (आव्यूह )]] को दर्शाता है, और:


: <math>\begin{align}
: <math>\begin{align}
Line 182: Line 182:
   \end{bmatrix}.
   \end{bmatrix}.
\end{align}</math>
\end{align}</math>
ध्यान दें कि विशेष, लेकिन बहुत सामान्य मामला वह है जहां <math>\Sigma(\theta) = \Sigma</math>, निरंतर। तब
ध्यान दें कि विशेष, किन्तु अधिक सामान्य स्थिति वह है जहां <math>\Sigma(\theta) = \Sigma</math>, निरंतर है। तब,


:<math>
:<math>
Line 189: Line 189:
   \frac{\partial\mu}{\partial\theta_n}.\  
   \frac{\partial\mu}{\partial\theta_n}.\  
</math>
</math>
इस मामले में फिशर सूचना मैट्रिक्स को [[कम से कम वर्गों]] के आकलन सिद्धांत के [[सामान्य समीकरण]]ों के गुणांक मैट्रिक्स के साथ पहचाना जा सकता है।
इस स्थिति में फिशर संसूचना आव्यूह को [[कम से कम वर्गों]] के आकलन सिद्धांत के [[सामान्य समीकरण|सामान्य समीकरणों]] के गुणांक आव्यूह के साथ पहचाना जा सकता है।


एक और विशेष मामला तब होता है जब माध्य और सहप्रसरण दो अलग-अलग वेक्टर मापदंडों पर निर्भर करते हैं, कहते हैं, β और θ। यह विशेष रूप से स्थानिक डेटा के विश्लेषण में लोकप्रिय है, जो अक्सर सहसंबद्ध अवशेषों के साथ रैखिक मॉडल का उपयोग करता है। इस मामले में,<ref>{{cite journal |title=स्थानिक प्रतिगमन में अवशिष्ट सहप्रसरण के लिए मॉडलों का अधिकतम संभावना अनुमान|first1=K. V. |last1=Mardia |first2=R. J. |last2=Marshall |journal=[[Biometrika]] |year=1984 |volume=71 |issue=1 |pages=135–46 |doi=10.1093/biomet/71.1.135 }}</ref>
एक और विशेष स्थिति तब होती है जब माध्य और सहप्रसरण दो भिन्न-भिन्न सदिश मापदंडों पर निर्भर करते हैं, उन्हें β और θ कहते हैं। यह विशेष रूप से स्थानिक डेटा के विश्लेषण में लोकप्रिय है, जो प्रायः सहसंबद्ध अवशेषों के साथ रैखिक मॉडल का उपयोग करता है। इस स्थिति में,<ref>{{cite journal |title=स्थानिक प्रतिगमन में अवशिष्ट सहप्रसरण के लिए मॉडलों का अधिकतम संभावना अनुमान|first1=K. V. |last1=Mardia |first2=R. J. |last2=Marshall |journal=[[Biometrika]] |year=1984 |volume=71 |issue=1 |pages=135–46 |doi=10.1093/biomet/71.1.135 }}</ref>
: <math>\mathcal{I}(\beta, \theta) = \operatorname{diag}\left(\mathcal{I}(\beta), \mathcal{I}(\theta)\right)</math>
: <math>\mathcal{I}(\beta, \theta) = \operatorname{diag}\left(\mathcal{I}(\beta), \mathcal{I}(\theta)\right)</math>
कहाँ
जहाँ;
: <math>\begin{align}
: <math>\begin{align}
   \mathcal{I}{(\beta)_{m,n}} &= \frac{\partial\mu^\textsf{T}}{\partial\beta_m} \Sigma^{-1} \frac{\partial\mu}{\partial\beta_n}, \\[5pt]
   \mathcal{I}{(\beta)_{m,n}} &= \frac{\partial\mu^\textsf{T}}{\partial\beta_m} \Sigma^{-1} \frac{\partial\mu}{\partial\beta_n}, \\[5pt]
Line 201: Line 201:


=== श्रृंखला नियम ===
=== श्रृंखला नियम ===
एंट्रॉपी (सूचना सिद्धांत) के समान # अन्य गुण या पारस्परिक जानकारी # सशर्त पारस्परिक जानकारी, फिशर की जानकारी में श्रृंखला नियम अपघटन भी होता है। विशेष रूप से, यदि ''X'' और ''Y'' संयुक्त रूप से यादृच्छिक चर वितरित किए जाते हैं, तो यह इस प्रकार है:<ref>{{cite journal |title=डेटा प्रोसेसिंग तर्क के माध्यम से फिशर सूचना असमानता का प्रमाण|first=R. |last=Zamir |journal=[[IEEE Transactions on Information Theory]] |year=1998 |volume=44 |issue=3 |pages=1246–1250 |doi=10.1109/18.669301 |citeseerx=10.1.1.49.6628 }}</ref> :<math>\mathcal{I}_{X,Y}(\theta) = \mathcal{I}_X(\theta) + \mathcal{I}_{Y\mid X}(\theta),</math>
एंट्रॉपी या पारस्परिक संसूचना के समान फिशर की संसूचना में भी श्रृंखला नियम अपघटन होता है। विशेष रूप से, यदि ''X'' और ''Y'' संयुक्त रूप से यादृच्छिक चर वितरित किए जाते हैं, तो यह इस प्रकार है:<ref>{{cite journal |title=डेटा प्रोसेसिंग तर्क के माध्यम से फिशर सूचना असमानता का प्रमाण|first=R. |last=Zamir |journal=[[IEEE Transactions on Information Theory]] |year=1998 |volume=44 |issue=3 |pages=1246–1250 |doi=10.1109/18.669301 |citeseerx=10.1.1.49.6628 }}</ref>  
कहाँ <math>\mathcal{I}_{Y\mid X}(\theta) = \operatorname{E}_{X} \left[ \mathcal{I}_{Y\mid X = x}(\theta) \right] </math> और <math> \mathcal{I}_{Y\mid X = x}(\theta) </math> Y के सापेक्ष फिशर जानकारी है <math>\theta</math> विशिष्ट मान X = x दिए जाने पर Y के सशर्त घनत्व के संबंध में गणना की जाती है।
 
<math>\mathcal{I}_{X,Y}(\theta) = \mathcal{I}_X(\theta) + \mathcal{I}_{Y\mid X}(\theta)</math>
 
जहाँ <math>\mathcal{I}_{Y\mid X}(\theta) = \operatorname{E}_{X} \left[ \mathcal{I}_{Y\mid X = x}(\theta) \right] </math> और <math> \mathcal{I}_{Y\mid X = x}(\theta) </math> Y के सापेक्ष फिशर संसूचना <math>\theta</math> है, विशिष्ट मान X = x दिए जाने पर Y के नियमानुसार घनत्व के संबंध में गणना की जाती है।


एक विशेष मामले के रूप में, यदि दो यादृच्छिक चर [[सांख्यिकीय स्वतंत्रता]] हैं, तो दो यादृच्छिक चर द्वारा प्राप्त जानकारी प्रत्येक यादृच्छिक चर से अलग-अलग जानकारी का योग है:
विशेष स्थिति के रूप में, यदि दो यादृच्छिक चर [[सांख्यिकीय स्वतंत्रता|स्वतंत्रत]] हैं, तो दो यादृच्छिक चर द्वारा उत्पन्न संसूचना प्रत्येक यादृच्छिक चर से भिन्न-भिन्न संसूचना का योग है:
:<math>\mathcal{I}_{X,Y}(\theta) = \mathcal{I}_X(\theta) + \mathcal{I}_Y(\theta).</math>
:<math>\mathcal{I}_{X,Y}(\theta) = \mathcal{I}_X(\theta) + \mathcal{I}_Y(\theta).</math>
नतीजतन, n [[स्वतंत्र और समान रूप से वितरित यादृच्छिक चर]] अवलोकनों के यादृच्छिक नमूने में जानकारी आकार 1 के नमूने में जानकारी का n गुना है।
परिणामस्वरूप, n [[स्वतंत्र और समान रूप से वितरित यादृच्छिक चर]] अवलोकनों के यादृच्छिक प्रतिरूप  में संसूचना आकार 1 के प्रतिरूप में संसूचना का n गुना है।


=== [[एफ-विचलन]] ===
=== [[एफ-विचलन|F-विचलन]] ===
एक उत्तल समारोह दिया <math>f: [0, \infty)\to(-\infty, \infty]</math> वह <math>f(x)</math> सभी के लिए परिमित है <math>x > 0</math>, <math>f(1)=0</math>, और <math>f(0)=\lim_{t\to 0^+} f(t) </math>, (जो अनंत हो सकता है), यह f-विचलन को परिभाषित करता है <math>D_f</math>. तो अगर <math>f</math> सख्ती से उत्तल है <math>1</math>, फिर स्थानीय रूप से <math>\theta\in\Theta</math>, फिशर सूचना मैट्रिक्स मीट्रिक है, इस अर्थ में कि<ref name=":02">{{Cite web |last=Polyanskiy |first=Yury |date=2017 |title=Lecture notes on information theory, chapter 29, ECE563 (UIUC) |url=https://people.lids.mit.edu/yp/homepage/data/LN_stats.pdf |url-status=live |archive-url=https://web.archive.org/web/20220524014051/https://people.lids.mit.edu/yp/homepage/data/LN_stats.pdf |archive-date=2022-05-24 |access-date=2022-05-24 |website=Lecture notes on information theory}}</ref><math display="block">(\delta\theta)^T I(\theta) (\delta\theta) = \frac{1}{f''(1)}D_f(P_{\theta+\delta\theta} \| P_{\theta})</math>कहाँ <math>P_\theta</math> द्वारा पैरामीट्रिज्ड वितरण है <math>\theta</math>. यानी यह पीडीएफ के साथ वितरण है <math>f(x; \theta)</math>.
उत्तल फलन दिया <math>f: [0, \infty)\to(-\infty, \infty]</math> वह <math>f(x)</math> सभी के लिए परिमित है <math>x > 0</math>, <math>f(1)=0</math>, और <math>f(0)=\lim_{t\to 0^+} f(t) </math>, (जो अनंत हो सकता है), यह f-विचलन को <math>D_f</math> के रूप में परिभाषित करता है, तो यदि <math>f</math> सख्ती से उत्तल है <math>1</math>, फिर स्थानीय रूप से <math>\theta\in\Theta</math> होता है, फिशर संसूचना आव्यूह मीट्रिक है, इस अर्थ में कि;<ref name=":02">{{Cite web |last=Polyanskiy |first=Yury |date=2017 |title=Lecture notes on information theory, chapter 29, ECE563 (UIUC) |url=https://people.lids.mit.edu/yp/homepage/data/LN_stats.pdf |url-status=live |archive-url=https://web.archive.org/web/20220524014051/https://people.lids.mit.edu/yp/homepage/data/LN_stats.pdf |archive-date=2022-05-24 |access-date=2022-05-24 |website=Lecture notes on information theory}}</ref><math display="block">(\delta\theta)^T I(\theta) (\delta\theta) = \frac{1}{f''(1)}D_f(P_{\theta+\delta\theta} \| P_{\theta})</math>जहाँ <math>P_\theta</math> द्वारा पैरामीट्रिज्ड वितरण <math>\theta</math> है। अर्थात  यह पीडीएफ के साथ वितरण <math>f(x; \theta)</math>है।


इस रूप में, यह स्पष्ट है कि फिशर सूचना मैट्रिक्स रीमैनियन मीट्रिक है, और चर के परिवर्तन के तहत सही ढंग से भिन्न होता है। (रिपैरामेट्रिजेशन पर अनुभाग देखें)
इस रूप में, यह स्पष्ट है कि फिशर संसूचना आव्यूह रीमैनियन मीट्रिक है, और चर के परिवर्तन के अंतर्गत उचित रूप से भिन्न होता है। (रिपैरामेट्रिजेशन पर अनुभाग देखें)


=== पर्याप्त आंकड़े ===
=== पर्याप्त आंकड़े ===
एक [[पर्याप्तता (सांख्यिकी)]] द्वारा प्रदान की गई जानकारी नमूना एक्स के समान है। इसे पर्याप्त आंकड़े # फिशर-नेमैन गुणन प्रमेय का उपयोग करके देखा जा सकता है। पर्याप्त आंकड़े के लिए नेमैन का कारककरण मानदंड। यदि T(X) θ के लिए पर्याप्त है, तब
[[पर्याप्तता (सांख्यिकी)|पर्याप्त आंकड़े]] द्वारा प्रदान की गई संसूचना प्रतिरूप ''X'' के समान है। इसे पर्याप्त आँकड़ों के लिए नेमैन के गुणनखंडन का उपयोग करके देखा जा सकता है। यदि T(X) θ के लिए पर्याप्त है, तब;
:<math>f(X; \theta) = g(T(X), \theta) h(X)</math>
:<math>f(X; \theta) = g(T(X), \theta) h(X)</math>
कुछ कार्यों के लिए जी और एच। θ से h(X) की स्वतंत्रता का तात्पर्य है
कुछ फलनों के लिए ''g'' और ''h'' है। θ से h(X) की स्वतंत्रता का तात्पर्य है:
:<math>\frac{\partial}{\partial\theta} \log \left[f(X; \theta)\right] = \frac{\partial}{\partial\theta} \log\left[g(T(X);\theta)\right],</math>
:<math>\frac{\partial}{\partial\theta} \log \left[f(X; \theta)\right] = \frac{\partial}{\partial\theta} \log\left[g(T(X);\theta)\right],</math>
और सूचना की समानता फ़िशर सूचना की परिभाषा से अनुसरण करती है। अधिक सामान्यतः, यदि {{nowrap|''T {{=}} t''(''X'')}} तब आँकड़ा है
और सूचना की समानता फ़िशर संसूचना की परिभाषा से अनुसरण करती है। अधिक सामान्यतः, यदि {{nowrap|''T {{=}} t''(''X'')}} तब आँकड़ा है:


:<math> \mathcal{I}_T(\theta) \leq \mathcal{I}_X(\theta) </math>
:<math> \mathcal{I}_T(\theta) \leq \mathcal{I}_X(\theta) </math>
समानता के साथ [[अगर और केवल अगर]] टी पर्याप्त आंकड़ा है।<ref name="Schervish">{{cite book | last = Schervish | first = Mark J. |page=113| title = सिद्धांत सांख्यिकी| publisher=Springer-Verlag | year = 1995 }}</ref>
समानता के साथ [[अगर और केवल अगर|यदि और केवल]] ''T'' पर्याप्त आंकड़ा है।<ref name="Schervish">{{cite book | last = Schervish | first = Mark J. |page=113| title = सिद्धांत सांख्यिकी| publisher=Springer-Verlag | year = 1995 }}</ref>
===रिपैरामेट्रिजेशन ===
===रिपैरामेट्रिजेशन ===
फिशर की जानकारी समस्या के पैरामीट्रिजेशन पर निर्भर करती है। यदि θ और η अनुमान समस्या के दो स्केलर पैरामीट्रिजेशन हैं, और θ η का निरंतर अलग-अलग कार्य है, तो
फिशर की संसूचना समस्या के पैरामीट्रिजेशन पर निर्भर करती है। यदि θ और η अनुमान समस्या के दो अदिश पैरामीट्रिजेशन हैं, और θ η का निरंतर भिन्न-भिन्न फलन है, तो
:<math>{\mathcal I}_\eta(\eta) = {\mathcal I}_\theta(\theta(\eta)) \left( \frac{d\theta}{d\eta} \right)^2</math>
:<math>{\mathcal I}_\eta(\eta) = {\mathcal I}_\theta(\theta(\eta)) \left( \frac{d\theta}{d\eta} \right)^2</math>
कहाँ <math>{\mathcal I}_\eta</math> और <math>{\mathcal I}_\theta</math> क्रमशः η और θ के फिशर सूचना उपाय हैं।<ref>Lehmann & Casella, eq. (2.5.11).</ref>
जहाँ <math>{\mathcal I}_\eta</math> और <math>{\mathcal I}_\theta</math> क्रमशः η और θ के फिशर संसूचना उपाय हैं।<ref>Lehmann & Casella, eq. (2.5.11).</ref>
वेक्टर मामले में, मान लीजिए <math>{\boldsymbol \theta}</math> और <math>{\boldsymbol \eta}</math> k-वेक्टर हैं जो अनुमान समस्या को पैरामीट्रिज करते हैं, और मान लीजिए कि <math>{\boldsymbol \theta}</math> का सतत अवकलनीय फलन है <math>{\boldsymbol \eta}</math>, तब,<ref>Lehmann & Casella, eq. (2.6.16)</ref>
 
सदिश स्थिति में, मान लीजिए <math>{\boldsymbol \theta}</math> और <math>{\boldsymbol \eta}</math> k-सदिश हैं जो अनुमान समस्या को पैरामीट्रिज करते हैं, और मान लीजिए कि <math>{\boldsymbol \theta}</math> का सतत अवकलनीय फलन <math>{\boldsymbol \eta}</math> है, तब,<ref>Lehmann & Casella, eq. (2.6.16)</ref>
:<math>{\mathcal I}_{\boldsymbol \eta}({\boldsymbol \eta}) = {\boldsymbol J}^\textsf{T} {\mathcal I}_{\boldsymbol \theta} ({\boldsymbol \theta}({\boldsymbol \eta})) {\boldsymbol J}
:<math>{\mathcal I}_{\boldsymbol \eta}({\boldsymbol \eta}) = {\boldsymbol J}^\textsf{T} {\mathcal I}_{\boldsymbol \theta} ({\boldsymbol \theta}({\boldsymbol \eta})) {\boldsymbol J}
</math>
</math>
जहां (i, j) k × k [[जैकबियन मैट्रिक्स]] का वां तत्व <math>\boldsymbol J</math> द्वारा परिभाषित किया गया है
जहां k × k [[जैकबियन मैट्रिक्स|जैकबियन]] आव्यूह का (i, j)वां तत्व <math>\boldsymbol J</math> द्वारा परिभाषित किया गया है:
: <math>J_{ij} = \frac{\partial \theta_i}{\partial \eta_j},</math>
: <math>J_{ij} = \frac{\partial \theta_i}{\partial \eta_j},</math>
और कहाँ <math>{\boldsymbol J}^\textsf{T}</math> का मैट्रिक्स स्थानान्तरण है <math>{\boldsymbol J}.</math>
और जहां <math>{\boldsymbol J}^\textsf{T}</math> का आव्यूह स्थानान्तरण <math>{\boldsymbol J}</math> है।
सूचना ज्यामिति में, इसे [[रीमैनियन कई गुना]] पर निर्देशांक के परिवर्तन के रूप में देखा जाता है, और वक्रता के आंतरिक गुण विभिन्न पैरामीट्रिजेशन के तहत अपरिवर्तित होते हैं। सामान्य तौर पर, फिशर सूचना मैट्रिक्स थर्मोडायनामिक राज्यों के कई गुना के लिए रिमेंनियन मीट्रिक (अधिक सटीक, फिशर-राव मीट्रिक) प्रदान करता है, और [[चरण संक्रमण]]ों के वर्गीकरण के लिए सूचना-ज्यामितीय जटिलता माप के रूप में उपयोग किया जा सकता है, उदाहरण के लिए, स्केलर थर्मोडायनामिक मीट्रिक टेन्सर की वक्रता चरण संक्रमण बिंदु पर (और केवल) विचलन करती है।<ref>{{cite journal |first1=W. |last1=Janke |first2=D. A. |last2=Johnston |first3=R. |last3=Kenna |title=सूचना ज्यामिति और चरण संक्रमण|journal=Physica A |volume=336 |issue=1–2 |pages=181 |year=2004 |doi=10.1016/j.physa.2004.01.023 |arxiv=cond-mat/0401092 |bibcode=2004PhyA..336..181J |s2cid=119085942 }}</ref>
 
थर्मोडायनामिक संदर्भ में, फिशर सूचना मैट्रिक्स सीधे संबंधित ऑर्डर पैरामीटर # ऑर्डर पैरामीटर में परिवर्तन की दर से संबंधित है।<ref>{{cite journal |first1=M. |last1=Prokopenko |first3=J. T. |last3=Lizier |first4=O. |last4=Obst |first5=X. R. |last5=Wang |title=ऑर्डर पैरामीटर्स के लिए फिशर की जानकारी से संबंधित|journal=Physical Review E |volume=84 |issue= 4|pages=041116 |year=2011 |doi=10.1103/PhysRevE.84.041116 |last2=Lizier |first2=Joseph T. |pmid=22181096 |s2cid=18366894 |bibcode=2011PhRvE..84d1116P }}</ref> विशेष रूप से, ऐसे संबंध फिशर सूचना मैट्रिक्स के अलग-अलग तत्वों के विचलन के माध्यम से दूसरे क्रम के चरण संक्रमणों की पहचान करते हैं।
सूचना ज्यामिति में, इसे [[रीमैनियन कई गुना|रीमैनियन मैनिफोल्ड]] पर निर्देशांक के परिवर्तन के रूप में देखा जाता है, और वक्रता के आंतरिक गुण विभिन्न पैरामीट्रिजेशन के अंतर्गत अपरिवर्तित होते हैं। सामान्यतः, फिशर संसूचना आव्यूह उष्मागतिक अवस्था के मैनिफोल्ड के लिए रिमेंनियन मीट्रिक (अधिक त्रुटिहीन, फिशर-राव मीट्रिक) प्रदान करता है, और [[चरण संक्रमण|चरण संक्रमणों]] के वर्गीकरण के लिए सूचना-ज्यामितीय जटिलता माप के रूप में उपयोग किया जा सकता है, उदाहरण के लिए, अदिश उष्मागतिक मीट्रिक टेन्सर की वक्रता चरण संक्रमण बिंदु पर (और केवल) विचलन करती है।<ref>{{cite journal |first1=W. |last1=Janke |first2=D. A. |last2=Johnston |first3=R. |last3=Kenna |title=सूचना ज्यामिति और चरण संक्रमण|journal=Physica A |volume=336 |issue=1–2 |pages=181 |year=2004 |doi=10.1016/j.physa.2004.01.023 |arxiv=cond-mat/0401092 |bibcode=2004PhyA..336..181J |s2cid=119085942 }}</ref>
 
उष्मागतिक संदर्भ में, फिशर संसूचना आव्यूह संबंधित क्रम पैरामीटर में परिवर्तन की दर से संबंधित है।<ref>{{cite journal |first1=M. |last1=Prokopenko |first3=J. T. |last3=Lizier |first4=O. |last4=Obst |first5=X. R. |last5=Wang |title=ऑर्डर पैरामीटर्स के लिए फिशर की जानकारी से संबंधित|journal=Physical Review E |volume=84 |issue= 4|pages=041116 |year=2011 |doi=10.1103/PhysRevE.84.041116 |last2=Lizier |first2=Joseph T. |pmid=22181096 |s2cid=18366894 |bibcode=2011PhRvE..84d1116P }}</ref> विशेष रूप से, ऐसे संबंध फिशर सूचना आव्यूह के भिन्न-भिन्न तत्वों के विचलन के माध्यम से दूसरे क्रम के चरण संक्रमणों की पहचान करते हैं।


=== [[आइसोपेरिमेट्रिक असमानता]] ===
=== [[आइसोपेरिमेट्रिक असमानता]] ===
फिशर सूचना मैट्रिक्स आइसोपेरिमेट्रिक असमानता जैसी असमानता में भूमिका निभाता है।<ref>{{Cite journal|last1=Costa|first1=M.|last2=Cover|first2=T.|date=Nov 1984|title=एंट्रॉपी पावर असमानता और ब्रून-मिन्कोव्स्की असमानता की समानता पर|url=https://ieeexplore.ieee.org/document/1056983|journal=IEEE Transactions on Information Theory|volume=30|issue=6|pages=837–839|doi=10.1109/TIT.1984.1056983|issn=1557-9654}}</ref> किसी दिए गए एन्ट्रापी के साथ सभी प्रायिकता वितरणों में, जिसकी फिशर सूचना मैट्रिक्स में सबसे छोटा ट्रेस है, वह गॉसियन वितरण है। यह इस तरह है कि कैसे, दिए गए आयतन वाले सभी परिबद्ध सेटों में, गोले का पृष्ठीय क्षेत्रफल सबसे छोटा होता है।
फिशर संसूचना आव्यूह आइसोपेरिमेट्रिक असमानता जैसी असमानता में भूमिका निभाता है।<ref>{{Cite journal|last1=Costa|first1=M.|last2=Cover|first2=T.|date=Nov 1984|title=एंट्रॉपी पावर असमानता और ब्रून-मिन्कोव्स्की असमानता की समानता पर|url=https://ieeexplore.ieee.org/document/1056983|journal=IEEE Transactions on Information Theory|volume=30|issue=6|pages=837–839|doi=10.1109/TIT.1984.1056983|issn=1557-9654}}</ref> किसी दिए गए एन्ट्रापी के साथ सभी प्रायिकता वितरणों में, जिसकी फिशर सूचना आव्यूह में सबसे छोटा ट्रेस है, वह गॉसियन वितरण है। यह इस प्रकार है कि कैसे, दिए गए आयतन वाले सभी परिबद्ध समुच्चयों में, गोले का पृष्ठीय क्षेत्रफल सबसे छोटा होता है।


प्रमाण में बहुभिन्नरूपी यादृच्छिक चर लेना शामिल है <math>X</math> घनत्व समारोह के साथ <math>f</math> और घनत्व का परिवार बनाने के लिए स्थान पैरामीटर जोड़ना <math>\{f(x-\theta) \mid \theta \in \mathbb{R}^n\}</math>. फिर, मिन्कोव्स्की-स्टेनर सूत्र के अनुरूप, सतह क्षेत्र <math>X</math> होना परिभाषित किया गया है
प्रमाण में बहुभिन्नरूपी यादृच्छिक चर लेना सम्मिलित है <math>X</math> घनत्व फलन के साथ <math>f</math> और घनत्व का परिवार बनाने के लिए स्थान पैरामीटर <math>\{f(x-\theta) \mid \theta \in \mathbb{R}^n\}</math> जोड़ना होता है। फिर, मिन्कोव्स्की-स्टेनर सूत्र के अनुरूप, सतह क्षेत्र <math>X</math> होना परिभाषित किया गया है:
:<math>S(X) = \lim_{\varepsilon \to 0} \frac{e^{H(X+Z_\varepsilon)} - e^{H(X)}}{\varepsilon}</math>
:<math>S(X) = \lim_{\varepsilon \to 0} \frac{e^{H(X+Z_\varepsilon)} - e^{H(X)}}{\varepsilon}</math>
कहाँ <math>Z_\varepsilon</math> सहप्रसरण मैट्रिक्स वाला गॉसियन चर है <math>\varepsilon I</math>. सतह क्षेत्र नाम उपयुक्त है क्योंकि एंट्रॉपी शक्ति <math>e^{H(X)}</math> प्रभावी समर्थन सेट की मात्रा है,<ref>{{Cite book|last=Cover|first=Thomas M.|url=https://www.worldcat.org/oclc/59879802|title=सूचना सिद्धांत के तत्व|date=2006|publisher=Wiley-Interscience|others=Joy A. Thomas|isbn=0-471-24195-4|edition=2nd|location=Hoboken, N.J.|pages=256|oclc=59879802}}</ref> इसलिए <math>S(X)</math> प्रभावी समर्थन सेट की मात्रा का व्युत्पन्न है, बहुत कुछ मिन्कोव्स्की-स्टेनर सूत्र की तरह। प्रमाण का शेष भाग एंट्रॉपी शक्ति असमानता का उपयोग करता है, जो ब्रून-मिन्कोव्स्की प्रमेय की तरह है|ब्रून-मिन्कोव्स्की असमानता। फिशर इंफॉर्मेशन मैट्रिक्स का ट्रेस कारक के रूप में पाया जाता है <math>S(X)</math>.
जहां <math>Z_\varepsilon</math> सहप्रसरण आव्यूह वाला गॉसियन चर <math>\varepsilon I</math> है। सतह क्षेत्र नाम उपयुक्त है क्योंकि एंट्रॉपी शक्ति <math>e^{H(X)}</math> प्रभावी समर्थन समुच्चय की मात्रा है,<ref>{{Cite book|last=Cover|first=Thomas M.|url=https://www.worldcat.org/oclc/59879802|title=सूचना सिद्धांत के तत्व|date=2006|publisher=Wiley-Interscience|others=Joy A. Thomas|isbn=0-471-24195-4|edition=2nd|location=Hoboken, N.J.|pages=256|oclc=59879802}}</ref> इसलिए <math>S(X)</math> प्रभावी समर्थन समुच्चय की मात्रा का व्युत्पन्न है, बहुत कुछ मिन्कोव्स्की-स्टेनर सूत्र के जैसे होता है। प्रमाण का शेष भाग एंट्रॉपी शक्ति असमानता का उपयोग करता है, जो ब्रून-मिन्कोव्स्की प्रमेय के जैसे है। फिशर इंफॉर्मेशन आव्यूह का ट्रेस कारक के रूप में <math>S(X)</math> पाया जाता है।


== अनुप्रयोग ==
== अनुप्रयोग ==


=== प्रयोगों का [[इष्टतम डिजाइन]] ===
=== प्रयोगों का [[इष्टतम डिजाइन]] ===
इष्टतम डिजाइन में फिशर जानकारी का व्यापक रूप से उपयोग किया जाता है। अनुमानक-भिन्नता और फिशर जानकारी की पारस्परिकता के कारण, भिन्नता को कम करना सूचना को अधिकतम करने से मेल खाता है।
इष्टतम प्रयोगात्मक डिजाइन में फिशर संसूचना का व्यापक रूप से उपयोग किया जाता है। अनुमानक-भिन्नता और फिशर संसूचना की पारस्परिकता के कारण, भिन्नता को अल्प करना सूचना को अधिकतम करने से युग्मित होता है।
 
जब [[रैखिक मॉडल|रेखीय]] (या रेखीयकृत) सांख्यिकीय मॉडल में कई पैरामीटर होते हैं, तो पैरामीटर अनुमानक का माध्य सदिश  होता है और इसका सहप्रसरण आव्यूह होता है। विचरण आव्यूह के व्युत्क्रम को संसूचना आव्यूह कहा जाता है। चूंकि पैरामीटर सदिश  के अनुमानक का भिन्नता आव्यूह है, भिन्नता को अल्प करने की समस्या जटिल है। सांख्यिकीय [[सिद्ध|सिद्धांत]] का उपयोग करते हुए, सांख्यिकीविद् वास्तविक-मूल्यवान सारांश आँकड़ों का उपयोग करके सूचना-आव्यूह को संकुचित करते हैं; वास्तविक-मूल्यवान कार्य होने के कारण, इन सूचना मानदंडों को अधिकतम किया जा सकता है।


जब [[रैखिक मॉडल]] (या अरैखिक प्रतिगमन) सांख्यिकीय मॉडल में कई पैरामीटर होते हैं, तो पैरामीटर अनुमानक का अपेक्षित मान कॉलम वेक्टर होता है और इसका सहप्रसरण मैट्रिक्स मैट्रिक्स (गणित) होता है। विचरण मैट्रिक्स के व्युत्क्रम को सूचना मैट्रिक्स कहा जाता है। चूंकि पैरामीटर वेक्टर के अनुमानक का भिन्नता मैट्रिक्स है, भिन्नता को कम करने की समस्या जटिल है। सांख्यिकीय [[सिद्ध]]ांत का उपयोग करते हुए, सांख्यिकीविद् वास्तविक-मूल्यवान सारांश आँकड़ों का उपयोग करके सूचना-मैट्रिक्स को संकुचित करते हैं; वास्तविक-मूल्यवान कार्य होने के कारण, इन सूचना मानदंडों को अधिकतम किया जा सकता है।
परंपरागत रूप से, सांख्यिकीविदों ने सामान्यतः सकारात्मक वास्तविक मानों (जैसे निर्धारक या [[मैट्रिक्स ट्रेस|आव्यूह ट्रेस]]) सहप्रसरण आव्यूह (निष्पक्ष अनुमानक के) के कुछ सारांश आंकड़ों पर विचार करके अनुमानकों और डिजाइनों का मूल्यांकन किया है, सकारात्मक वास्तविक संख्याओं के साथ कार्य करने से कई लाभ मिलते हैं: यदि एकल पैरामीटर के अनुमानक में सकारात्मक भिन्नता है, तो भिन्नता और फिशर संसूचना दोनों सकारात्मक वास्तविक संख्याएं हैं; इसलिए वे गैर-ऋणात्मक वास्तविक संख्याओं के उत्तल शंकु के सदस्य हैं (जिनके शून्येतर सदस्य इसी शंकु में व्युत्क्रम हैं)।


परंपरागत रूप से, सांख्यिकीविदों ने सहप्रसरण मैट्रिक्स (एक निष्पक्ष अनुमानक के) के कुछ सारांश आंकड़ों पर विचार करके अनुमानकों और डिजाइनों का मूल्यांकन किया है, आमतौर पर सकारात्मक वास्तविक मूल्यों (जैसे निर्धारक या [[मैट्रिक्स ट्रेस]]) के साथ। सकारात्मक वास्तविक संख्याओं के साथ काम करने से कई फायदे मिलते हैं: यदि एकल पैरामीटर के अनुमानक में सकारात्मक भिन्नता है, तो भिन्नता और फिशर जानकारी दोनों सकारात्मक वास्तविक संख्याएं हैं; इसलिए वे गैर-ऋणात्मक वास्तविक संख्याओं के उत्तल शंकु के सदस्य हैं (जिनके शून्येतर सदस्य इसी शंकु में व्युत्क्रम हैं)।
कई मापदंडों के लिए, सहप्रसरण आव्यूह और संसूचना आव्यूह, [[चार्ल्स लोवेनर]] (लोवनर) के आदेश के अंतर्गत आंशिक क्रम में सदिश स्थान के आदेश में गैर-नकारात्मक-निश्चित सममित मैट्रिसेस के उत्तल शंकु के तत्व हैं। यह शंकु आव्यूह जोड़ और व्युत्क्रम के साथ-साथ सकारात्मक वास्तविक संख्याओं और आव्यूहों के गुणन के अंतर्गत संवृत है। आव्यूह थ्योरी और लोवेनर ऑर्डर की प्रदर्शनी पुकेलशेम में दिखाई देती है।<ref>{{cite book |first=Friedrick |last=Pukelsheim |title=प्रयोगों का इष्टतम डिजाइन|location=New York |publisher=Wiley |year=1993 |isbn=978-0-471-61971-0 }}</ref>


कई मापदंडों के लिए, सहप्रसरण मैट्रिसेस और सूचना मैट्रिसेस, [[चार्ल्स लोवेनर]] (लोवनर) के आदेश के तहत आंशिक क्रम में सदिश स्थान के आदेश में गैर-नकारात्मक-निश्चित सममित मैट्रिसेस के उत्तल शंकु के तत्व हैं। यह शंकु मैट्रिक्स जोड़ और व्युत्क्रम के साथ-साथ सकारात्मक वास्तविक संख्याओं और आव्यूहों के गुणन के तहत बंद है। मैट्रिक्स थ्योरी और लोवेनर ऑर्डर की प्रदर्शनी पुकेलशेम में दिखाई देती है।<ref>{{cite book |first=Friedrick |last=Pukelsheim |title=प्रयोगों का इष्टतम डिजाइन|location=New York |publisher=Wiley |year=1993 |isbn=978-0-471-61971-0 }}</ref>
[[अपरिवर्तनीय सिद्धांत]] के अर्थ में पारंपरिक इष्टतमता मानदंड सूचना आव्यूह के अपरिवर्तनीय हैं; बीजगणितीय रूप से, पारंपरिक इष्टतमता मानदंड (फिशर) सूचना आव्यूह (इष्टतम डिजाइन देखें) के [[eigenvalue|आइगेन मान]] ​​​​के [[कार्यात्मक (गणित)|कार्यात्मक]] हैं।
[[अपरिवर्तनीय सिद्धांत]] के अर्थ में पारंपरिक इष्टतमता मानदंड सूचना मैट्रिक्स के अपरिवर्तनीय हैं; बीजगणितीय रूप से, पारंपरिक इष्टतमता मानदंड (फिशर) सूचना मैट्रिक्स (इष्टतम डिजाइन देखें) के [[eigenvalue]]s ​​​​के [[कार्यात्मक (गणित)]] हैं।


=== बायेसियन सांख्यिकी में पूर्व जेफरीस ===
=== बायेसियन सांख्यिकी में पूर्व जेफ़रीज़ ===
बायेसियन सांख्यिकी में, फिशर की जानकारी का उपयोग जेफ़रीज़ पूर्व की गणना करने के लिए किया जाता है, जो कि निरंतर वितरण मापदंडों के लिए मानक, गैर-सूचनात्मक पूर्व है।<ref>{{cite book |title=बायेसियन थ्योरी|first1=Jose M. |last1=Bernardo |first2=Adrian F. M. |last2=Smith |location=New York |publisher=John Wiley & Sons |year=1994 |isbn=978-0-471-92416-6 }}</ref>
बायेसियन सांख्यिकी में, फिशर की संसूचना का उपयोग जेफ़रीज़ पूर्व की गणना करने के लिए किया जाता है, जो कि निरंतर वितरण मापदंडों के लिए मानक, गैर-सूचनात्मक पूर्व है।<ref>{{cite book |title=बायेसियन थ्योरी|first1=Jose M. |last1=Bernardo |first2=Adrian F. M. |last2=Smith |location=New York |publisher=John Wiley & Sons |year=1994 |isbn=978-0-471-92416-6 }}</ref>
=== कम्प्यूटेशनल न्यूरोसाइंस ===
=== कम्प्यूटेशनल न्यूरोसाइंस ===
फिशर की जानकारी का उपयोग न्यूरल कोड की सटीकता पर सीमाएं खोजने के लिए किया गया है। उस मामले में, एक्स आमतौर पर कम आयामी चर θ (जैसे उत्तेजना पैरामीटर) का प्रतिनिधित्व करने वाले कई न्यूरॉन्स की संयुक्त प्रतिक्रिया होती है। विशेष रूप से तंत्रिका प्रतिक्रियाओं के शोर में सहसंबंधों की भूमिका का अध्ययन किया गया है।<ref>{{cite journal |last1=Abbott |first1=Larry F. |first2=Peter |last2=Dayan |title=जनसंख्या कोड की सटीकता पर सहसंबद्ध परिवर्तनशीलता का प्रभाव|journal=Neural Computation |volume=11 |issue=1 |year=1999 |pages=91–101 |doi=10.1162/089976699300016827 |pmid=9950724 |s2cid=2958438 }}</ref>
फिशर की संसूचना का उपयोग न्यूरल कोड की त्रुटिहीनता पर सीमाओं के शोध करने के लिए किया गया है। उस स्थिति में, ''X'' सामान्यतः कम आयामी चर θ (जैसे उत्तेजना पैरामीटर) का प्रतिनिधित्व करने वाले कई न्यूरॉन्स की संयुक्त प्रतिक्रिया होती है। विशेष रूप से तंत्रिका प्रतिक्रियाओं के शोर में सहसंबंधों की भूमिका का अध्ययन किया गया है।<ref>{{cite journal |last1=Abbott |first1=Larry F. |first2=Peter |last2=Dayan |title=जनसंख्या कोड की सटीकता पर सहसंबद्ध परिवर्तनशीलता का प्रभाव|journal=Neural Computation |volume=11 |issue=1 |year=1999 |pages=91–101 |doi=10.1162/089976699300016827 |pmid=9950724 |s2cid=2958438 }}</ref>
===भौतिक नियमों की व्युत्पत्ति===
===भौतिक नियमों की व्युत्पत्ति===
भौतिक कानूनों के आधार के रूप में बी. रॉय फ्रीडेन द्वारा प्रस्तुत विवादास्पद सिद्धांत में फिशर की जानकारी केंद्रीय भूमिका निभाती है, ऐसा दावा जो विवादित रहा है।<ref>{{cite book|first=R. F.|last=Streater|title=भौतिकी में और उससे परे खोए हुए कारण|publisher=Springer|year=2007|isbn=978-3-540-36581-5|page=69}}</ref>
भौतिक कानूनों के आधार के रूप में बी. रॉय फ्रीडेन द्वारा प्रस्तुत विवादास्पद सिद्धांत में फिशर की संसूचना केंद्रीय भूमिका निभाती है, ऐसा दावा जो विवादित रहा है।<ref>{{cite book|first=R. F.|last=Streater|title=भौतिकी में और उससे परे खोए हुए कारण|publisher=Springer|year=2007|isbn=978-3-540-36581-5|page=69}}</ref>
=== मशीन लर्निंग ===
=== मशीन लर्निंग ===
फिशर की जानकारी का उपयोग मशीन सीखने की तकनीकों में किया जाता है जैसे कि विपत्तिपूर्ण हस्तक्षेप#लोचदार वजन समेकन,<ref>{{Cite journal|last1=Kirkpatrick|first1=James|last2=Pascanu|first2=Razvan|last3=Rabinowitz|first3=Neil|last4=Veness|first4=Joel|last5=Desjardins|first5=Guillaume|last6=Rusu|first6=Andrei A.|last7=Milan|first7=Kieran|last8=Quan|first8=John|last9=Ramalho|first9=Tiago|date=2017-03-28|title=तंत्रिका नेटवर्क में विपत्तिपूर्ण विस्मृति पर काबू पाना|journal=Proceedings of the National Academy of Sciences|language=en|volume=114|issue=13|pages=3521–3526|doi=10.1073/pnas.1611835114|issn=0027-8424|pmid=28292907|pmc=5380101|doi-access=free}}</ref> जो कृत्रिम तंत्रिका नेटवर्क में भयावह हस्तक्षेप को कम करता है।
फिशर की संसूचना का उपयोग मशीन सीखने की प्रौद्योगिकी में किया जाता है जैसे कि प्रत्यास्थ वजन संपिण्डन में किया जाता है,<ref>{{Cite journal|last1=Kirkpatrick|first1=James|last2=Pascanu|first2=Razvan|last3=Rabinowitz|first3=Neil|last4=Veness|first4=Joel|last5=Desjardins|first5=Guillaume|last6=Rusu|first6=Andrei A.|last7=Milan|first7=Kieran|last8=Quan|first8=John|last9=Ramalho|first9=Tiago|date=2017-03-28|title=तंत्रिका नेटवर्क में विपत्तिपूर्ण विस्मृति पर काबू पाना|journal=Proceedings of the National Academy of Sciences|language=en|volume=114|issue=13|pages=3521–3526|doi=10.1073/pnas.1611835114|issn=0027-8424|pmid=28292907|pmc=5380101|doi-access=free}}</ref> जो कृत्रिम तंत्रिका नेटवर्क में भयावह विस्मरण को अल्प करता है।


दूसरे क्रम के ग्रेडिएंट डिसेंट नेटवर्क प्रशिक्षण में फिशर की जानकारी को हानि समारोह के हेस्सियन के विकल्प के रूप में इस्तेमाल किया जा सकता है।<ref name="Martens2020">{{cite journal|last=Martens|first=James|title=प्राकृतिक ढाल पद्धति पर नई अंतर्दृष्टि और दृष्टिकोण|journal=Journal of Machine Learning Research|issue=21|date=August 2020|arxiv=1412.1193}}</ref>
दूसरे क्रम के ग्रेडिएंट डिसेंट नेटवर्क प्रशिक्षण में फिशर की संसूचना को हानि फ़ंक्शन के हेस्सियन के विकल्प के रूप में उपयोग किया जा सकता है।<ref name="Martens2020">{{cite journal|last=Martens|first=James|title=प्राकृतिक ढाल पद्धति पर नई अंतर्दृष्टि और दृष्टिकोण|journal=Journal of Machine Learning Research|issue=21|date=August 2020|arxiv=1412.1193}}</ref>
== सापेक्ष एन्ट्रापी से संबंध ==
== सापेक्ष एन्ट्रापी से संबंध ==
{{See also|Fisher information metric}}
{{See also|फिशर जानकारी मीट्रिक}}
फिशर की जानकारी सापेक्ष एन्ट्रॉपी से संबंधित है।<ref>[https://books.google.com/books?id=gqI-pAP2JZ8C&pg=PA87 Gourieroux & Montfort (1995), page 87]</ref> दो वितरणों के बीच सापेक्ष एन्ट्रॉपी, या कुल्बैक-लीब्लर विचलन <math>p</math> और <math>q</math> रूप में लिखा जा सकता है
फिशर की संसूचना सापेक्ष एन्ट्रॉपी से संबंधित है।<ref>[https://books.google.com/books?id=gqI-pAP2JZ8C&pg=PA87 Gourieroux & Montfort (1995), page 87]</ref> दो वितरणों के मध्य सापेक्ष एन्ट्रॉपी, या कुल्बैक-लीब्लर विचलन <math>p</math> और <math>q</math> रूप में लिखा जा सकता है:
:<math>KL(p:q) = \int p(x)\log\frac{p(x)}{q(x)} \, dx.</math>
:<math>KL(p:q) = \int p(x)\log\frac{p(x)}{q(x)} \, dx.</math>
अब संभाव्यता वितरण के परिवार पर विचार करें <math>f(x; \theta)</math> द्वारा पैरामीट्रिज्ड <math>\theta \in \Theta</math>. फिर परिवार में दो वितरणों के बीच कुल्बैक-लीब्लर विचलन को इस रूप में लिखा जा सकता है
अब संभाव्यता वितरण के परिवार पर विचार करें <math>f(x; \theta)</math> द्वारा पैरामीट्रिज्ड <math>\theta \in \Theta</math> होता है, फिर परिवार में दो वितरणों के मध्य कुल्बैक-लीब्लर विचलन को इस रूप में लिखा जा सकता है:
:<math>D(\theta,\theta') = KL(p({}\cdot{};\theta):p({}\cdot{};\theta'))= \int f(x; \theta)\log\frac{f(x;\theta)}{f(x; \theta')} \, dx.</math>
:<math>D(\theta,\theta') = KL(p({}\cdot{};\theta):p({}\cdot{};\theta'))= \int f(x; \theta)\log\frac{f(x;\theta)}{f(x; \theta')} \, dx.</math>
अगर <math>\theta</math> तय है, तो ही परिवार के दो वितरणों के बीच सापेक्ष एन्ट्रापी कम से कम हो जाती है <math>\theta'=\theta</math>. के लिए <math>\theta'</math> के करीब <math>\theta</math>, कोई किसी श्रृंखला में पिछले व्यंजक को दूसरे क्रम तक विस्तारित कर सकता है:
यदि <math>\theta</math> निश्चित है, तो एक ही परिवार के दो वितरणों के मध्य सापेक्ष एन्ट्रापी अल्प से अल्प <math>\theta'=\theta</math> हो जाती है, <math>\theta'</math> के लिए <math>\theta</math> के निकट श्रृंखला में पिछले व्यंजक को दूसरे क्रम तक विस्तारित कर सकता है:


:<math>D(\theta,\theta') = \frac{1}{2}(\theta' - \theta)^\textsf{T} \left(\frac{\partial^2}{\partial\theta'_i\, \partial\theta'_j} D(\theta,\theta')\right)_{\theta'=\theta}(\theta' - \theta) + o\left( (\theta'-\theta)^2 \right)</math>
:<math>D(\theta,\theta') = \frac{1}{2}(\theta' - \theta)^\textsf{T} \left(\frac{\partial^2}{\partial\theta'_i\, \partial\theta'_j} D(\theta,\theta')\right)_{\theta'=\theta}(\theta' - \theta) + o\left( (\theta'-\theta)^2 \right)</math>
लेकिन दूसरे क्रम के व्युत्पन्न को इस रूप में लिखा जा सकता है
किन्तु दूसरे क्रम के व्युत्पन्न को इस रूप में लिखा जा सकता है:
:<math> \left(\frac{\partial^2}{\partial\theta'_i\, \partial\theta'_j} D(\theta,\theta')\right)_{\theta'=\theta} = - \int  f(x; \theta) \left( \frac{\partial^2}{\partial\theta'_i\, \partial\theta'_j} \log(f(x; \theta'))\right)_{\theta'=\theta} \, dx = [\mathcal{I}(\theta)]_{i,j}. </math>
:<math> \left(\frac{\partial^2}{\partial\theta'_i\, \partial\theta'_j} D(\theta,\theta')\right)_{\theta'=\theta} = - \int  f(x; \theta) \left( \frac{\partial^2}{\partial\theta'_i\, \partial\theta'_j} \log(f(x; \theta'))\right)_{\theta'=\theta} \, dx = [\mathcal{I}(\theta)]_{i,j}. </math>
इस प्रकार फिशर जानकारी अपने मापदंडों के संबंध में सशर्त वितरण के सापेक्ष एन्ट्रापी की [[वक्रता]] का प्रतिनिधित्व करती है।
इस प्रकार फिशर संसूचना अपने मापदंडों के संबंध में नियमबद्ध वितरण के सापेक्ष एन्ट्रापी की [[वक्रता]] का प्रतिनिधित्व करती है।


== इतिहास ==
== इतिहास ==
फिशर जानकारी पर कई प्रारंभिक सांख्यिकीविदों द्वारा चर्चा की गई थी, विशेष रूप से फ्रांसिस य्सिड्रो एडगेवर्थ | एफ। वाई एडगेवर्थ।<ref>Savage (1976)</ref> उदाहरण के लिए, सैवेज<ref>Savage(1976), page 156</ref> कहते हैं: इसमें [फिशर जानकारी], वह [फिशर] कुछ हद तक प्रत्याशित था (एडगेवर्थ 1908–9 esp। 502, 507–8, 662, 677–8, 82–5 और संदर्भ वह [एडगेवर्थ] पियर्सन सहित उद्धृत करता है और फाइलन 1898 [...])। कई प्रारंभिक ऐतिहासिक स्रोत हैं<ref>Edgeworth (September 1908, December 1908)</ref> और इस प्रारंभिक कार्य की कई समीक्षाएँ।<ref>Pratt (1976)</ref><ref>Stigler (1978, 1986, 1999)</ref><ref>Hald (1998, 1999)</ref>
फिशर संसूचना पर कई प्रारंभिक सांख्यिकीविदों विशेष रूप से एफ वाई एडगेवर्थ द्वारा वर्णन किया गया था।<ref>Savage (1976)</ref> उदाहरण के लिए, सैवेज<ref>Savage(1976), page 156</ref> कहते हैं: इसमें [फिशर संसूचना], वह [फिशर] कुछ सीमा तक प्रत्याशित था (एजवर्थ 1908–9 esp। 502, 507–8, 662, 677–8, 82–5 और संदर्भ वह [एजवर्थ] पियर्सन और फिलोन 1898 [...] सहित उद्धृत करता है)। कई प्रारंभिक ऐतिहासिक स्रोत हैं<ref>Edgeworth (September 1908, December 1908)</ref> और इस प्रारंभिक कार्य की कई समीक्षाएँ हैं।<ref>Pratt (1976)</ref><ref>Stigler (1978, 1986, 1999)</ref><ref>Hald (1998, 1999)</ref>
== यह भी देखें ==
== यह भी देखें ==
*[[दक्षता (सांख्यिकी)]]
*[[दक्षता (सांख्यिकी)]]
*देखी गई जानकारी
*देखी गई संसूचना
*फिशर सूचना मीट्रिक
*फिशर सूचना मीट्रिक
* [[गठन मैट्रिक्स]]
* [[गठन मैट्रिक्स|गठन आव्यूह]]  
* सूचना ज्यामिति
* सूचना ज्यामिति
* जेफरीस पूर्व
* जेफरीस पूर्व
*क्रैमर-राव बाउंड
*क्रैमर-राव बाउंड
*[[न्यूनतम फिशर जानकारी]]
*[[न्यूनतम फिशर जानकारी|न्यूनतम फिशर संसूचना]]
* [[क्वांटम फिशर जानकारी]]
* [[क्वांटम फिशर जानकारी|क्वांटम फिशर संसूचना]]


[[सूचना सिद्धांत]] में नियोजित अन्य उपाय:
[[सूचना सिद्धांत]] में नियोजित अन्य उपाय:
Line 354: Line 361:
}}
}}


{{DEFAULTSORT:Fisher Information}}[[Category: अनुमान सिद्धांत]] [[Category: सूचना सिद्धांत]] [[Category: प्रयोगों की रूप रेखा]]
{{DEFAULTSORT:Fisher Information}}
 
 


[[Category: Machine Translated Page]]
[[Category:Articles with hatnote templates targeting a nonexistent page|Fisher Information]]
[[Category:Created On 30/05/2023]]
[[Category:Articles with invalid date parameter in template|Fisher Information]]
[[Category:CS1|Fisher Information]]
[[Category:CS1 English-language sources (en)]]
[[Category:Created On 30/05/2023|Fisher Information]]
[[Category:Lua-based templates|Fisher Information]]
[[Category:Machine Translated Page|Fisher Information]]
[[Category:Pages with script errors|Fisher Information]]
[[Category:Templates Vigyan Ready|Fisher Information]]
[[Category:Templates that add a tracking category|Fisher Information]]
[[Category:Templates that generate short descriptions|Fisher Information]]
[[Category:Templates using TemplateData|Fisher Information]]
[[Category:Wikipedia articles needing page number citations from February 2012|Fisher Information]]
[[Category:अनुमान सिद्धांत|Fisher Information]]
[[Category:प्रयोगों की रूप रेखा|Fisher Information]]
[[Category:सूचना सिद्धांत|Fisher Information]]

Latest revision as of 10:52, 23 June 2023

गणितीय आँकड़ों में, फ़िशर संसूचना (कभी-कभी केवल सूचना कहलाती है[1]) संसूचना की मात्रा को मापने का प्रकार है जो प्रेक्षण योग्य यादृच्छिक चर X वितरण के अज्ञात पैरामीटर θ के मॉडल X के विषय में होता है। औपचारिक रूप से, यह स्कोर की भिन्नता है, या देखी गई संसूचना का अपेक्षित मूल्य होता है।

सांख्यिकीविद् रोनाल्ड फिशर (फ्रांसिस यसिड्रो एडगेवर्थ द्वारा कुछ प्रारंभिक परिणामों के पश्चात) द्वारा अधिकतम-संभावना अनुमान के स्पर्शोन्मुख सिद्धांत में फिशर संसूचना की भूमिका पर जोर दिया गया था। फिशर संसूचना आव्यूह का उपयोग अधिकतम-संभावना अनुमानों से जुड़े सहप्रसरण आव्यूह की गणना करने के लिए किया जाता है। इसका उपयोग परीक्षण आँकड़ों के निर्माण में जैसे वाल्ड परीक्षण किया जा सकता है।

बायेसियन सांख्यिकी में, फिशर की संसूचना जेफ़रीज़ के नियम के अनुसार गैर-सूचनात्मक पूर्व वितरणों की व्युत्पत्ति में भूमिका निभाती है।[2] यह पश्च वितरण के बड़े-प्रारूप सहप्रसरण के रूप में भी प्रकट होता है, नियम यह है कि पूर्व पर्याप्त रूप से सुचारू हो (परिणाम जिसे बर्नस्टीन-वॉन मिज़ प्रमेय के रूप में जाना जाता है, जिसे घातीय परिवारों के लिए लाप्लास द्वारा प्रत्याशित किया गया था)।[3] लाप्लास के सन्निकटन के साथ पोस्टीरियर का अनुमान लगाते समय उसी परिणाम का उपयोग किया जाता है, जहां फिशर की संसूचना फिटेड गॉसियन के सहप्रसरण के रूप में दिखाई देती है।[4]

वैज्ञानिक प्रकृति (भौतिक, जैविक, आदि) की सांख्यिकीय प्रणालियाँ जिनके संभावित कार्य शिफ्ट-इनवेरिएंट का पालन करते हैं, उन्हें अधिकतम फिशर संसूचना का पालन करने के लिए दिखाया गया है।[5] अधिकतम स्तर प्रणाली बाधाओं की प्रकृति पर निर्भर करता है।

परिभाषा

फ़िशर संसूचना, संसूचना की मात्रा को मापने की विधि है जो अवलोकन योग्य यादृच्छिक चर है में अज्ञात पैरामीटर है जिस पर की संभावना है निर्भर करता है। मान लीजिये के लिए प्रायिकता घनत्व फलन (या प्रायिकता द्रव्यमान फलन) के मान पर प्रतिबंधित होता है। यह संभावना का वर्णन करता है कि हम दिए गए परिणाम का निरीक्षण करते हैं , का ज्ञात मान दिया गया है। यदि में परिवर्तनों के संबंध में तीव्रता से चरम पर का उचित मान प्रदर्शित करना सरल है डेटा से, या समकक्ष, कि डेटा पैरामीटर के विषय में अत्यधिक संसूचना प्रदान करता है। यदि समतल और विस्तारित है, तो यह कई प्रतिरूप लेगा के वास्तविक उचित मान का अनुमान लगाने के लिए वह प्रतिचयन की जा रही संपूर्ण जनसंख्या का उपयोग करके प्राप्त किया जाएगा। यह किसी प्रकार के विचरण के संबंध में अध्ययन करने का सुझाव देता है।

औपचारिक रूप से, के संबंध में आंशिक व्युत्पन्न प्रायिकता फलन के प्राकृतिक लघुगणक को स्कोर कहा जाता है। कुछ नियमितता प्रावधानों के अंतर्गत, यदि उचित पैरामीटर है (अर्थात वास्तव में के रूप में वितरित किया जाता है), यह दिखाया जा सकता है कि स्कोर का अपेक्षित मान (प्रथम क्षण), उचित पैरामीटर मान पर मूल्यांकन , 0 किया गया है:[6]

फिशर संसूचना को स्कोर के विचरण के रूप में परिभाषित किया गया है:[7]

ध्यान दें कि उच्च फिशर संसूचना वाले यादृच्छिक चर का अर्थ है कि स्कोर का निरपेक्ष मान प्रायः उच्च होता है। फिशर की संसूचना किसी विशेष अवलोकन का कार्य नहीं है, क्योंकि यादृच्छिक चर X को औसत कर दिया गया है।

यदि log f(x; θ) θ के संबंध में दो बार अवकलनीय है, और कुछ नियमितता प्रावधानों के अंतर्गत, फ़िशर संसूचना को इस रूप में भी लिखा जा सकता है:[8]

तब से

और

इस प्रकार, फिशर की संसूचना को समर्थन वक्र (लॉग-संभावना का ग्राफ) की वक्रता के रूप में देखा जा सकता है। अधिकतम संभावना अनुमान के निकट, अल्प फिशर संसूचना इसलिए प्रदर्शित करती है कि अधिकतम "ब्लंट" दिखाई देता है, अर्थात, अधिकतम उथला है और समान लॉग-संभावना के साथ निकट के कई मान हैं। इसके विपरीत, उच्च फिशर संसूचना प्रदर्शित करती है कि अधिकतम तीव्र है।

नियमितता की स्थिति

नियमितता के नियम इस प्रकार हैं:[9]

  1. θ के संबंध में f(X; θ) का आंशिक व्युत्पन्न लगभग प्रत्येक जगह उपस्थित है। (जब तक कि यह समुच्चय θ पर निर्भर नहीं करता है, तब तक यह शून्य समुच्चय पर उपस्थित नहीं हो सकता है।)
  2. f(X; θ) के समाकल को θ के संबंध में समाकल चिह्न के अंतर्गत विभेदित किया जा सकता है।
  3. f(X; θ) का समर्थन θ पर निर्भर नहीं करता है।

यदि θ सदिश राशि है तो θ के प्रत्येक घटक के लिए नियमितता के नियम होने चाहिए। घनत्व का उदाहरण शोध करना सरल है जो नियमितता के नियमों को पूर्ण नहीं करता है: समान (0, θ) चर का घनत्व 1 और 3 के नियमों को पूर्ण करने में विफल रहता है। इस स्थिति में, उचित प्रकार से फिशर की संसूचना की गणना परिभाषा से की जा सकती है, इसमें वे गुण नहीं होंगे जो सामान्यतः माने जाते हैं।

संभावना की दृष्टि से

चूँकि दिए गए X के θ की संभावना सदैव प्रायिकता f(X; θ) के समानुपाती होती है, उनके लघुगणक आवश्यक रूप से स्थिरांक से भिन्न होते हैं जो θ से स्वतंत्र होता है, और θ के संबंध में इन लघुगणकों के डेरिवेटिव आवश्यक रूप से समान होते हैं। इस प्रकार कोई फिशर संसूचना की परिभाषाओं में लॉग-लाइबिलिटी l(θ; X) के अतिरिक्त log f(X; θ) में स्थानापन्न कर सकता है।

किसी भी आकार के प्रतिरूप

मान X एकल वितरण से निकाले गए एकल प्रतिरूप का प्रतिनिधित्व कर सकता है या वितरण के संग्रह से निकाले गए प्रतिरूपों के संग्रह का प्रतिनिधित्व कर सकता है। यदि n प्रतिरूप हैं और संबंधित n वितरण सांख्यिकीय रूप से स्वतंत्र हैं, तो फ़िशर संसूचना आवश्यक रूप से इसके वितरण से प्रत्येक एकल प्रतिरूप के लिए फ़िशर संसूचना मानों का योग होगी। विशेष रूप से, यदि n वितरण स्वतंत्र हैं और समान रूप से वितरित किए गए हैं, तो फ़िशर संसूचना आवश्यक रूप से सामान्य वितरण से एकल प्रतिरूप की फ़िशर संसूचना का n गुना होगी।

क्रैमर-राव बाउंड की अनौपचारिक व्युत्पत्ति

क्रैमर-राव बाउंड[10][11] कहता है कि फिशर संसूचना का व्युत्क्रम θ के किसी भी निष्पक्ष अनुमानक के विचरण पर निचली सीमा है। एच.एल. वैन ट्रीज़ (1968) और बी. रॉय फ्रीडेन (2004) क्रैमर-राव बाउंड प्राप्त करने की निम्नलिखित विधि प्रदान करते हैं, जिसके परिणामस्वरूप फिशर संसूचना के उपयोग का वर्णन होता है।

अनौपचारिक रूप से, हम निष्पक्ष अनुमानक पर विचार करके प्रारंभ करते हैं, गणितीय रूप से, निष्पक्ष का अर्थ है कि;

यह अभिव्यक्ति θ से स्वतंत्र शून्य है, इसलिए θ के संबंध में इसका आंशिक व्युत्पन्न भी शून्य होना चाहिए। उत्पाद नियम के अनुसार, यह आंशिक अवकलज भी समान है:

प्रत्येक θ के लिए, प्रायिकता फलन प्रायिकता घनत्व फलन है, और इसलिए के आंशिक व्युत्पन्न पर श्रृंखला नियम का उपयोग करके और पुनः विभाजित और गुणा करना, कोई इसे सत्यापित कर सकता है:

उपर्युक्त में इन दो तथ्यों का प्रयोग करने पर हमें प्राप्त होता है:

इंटीग्रैंड फैक्टरिंग देता है:

समाकलन में व्यंजक का वर्ग करने पर कॉशी-श्वार्ज़ असमानता प्राप्त होती है:

दूसरा ब्रैकेटेड कारक फिशर सूचना के रूप में परिभाषित किया गया है, जबकि प्रथम ब्रैकेटेड कारक अनुमानक की अपेक्षित माध्य-वर्ग त्रुटि है, पुनर्व्यवस्थित करके, असमानता हमें बताती है कि;

दूसरे शब्दों में, जिस त्रुटिहीनता का हम अनुमान लगा सकते हैं, वह मौलिक रूप से संभावित कार्य की फिशर संसूचना द्वारा सीमित है।

वैकल्पिक रूप से, यादृच्छिक चर के लिए कॉची-श्वार्ज़ असमानता से सीधे ही निष्कर्ष प्राप्त किया जा सकता है, , यादृच्छिक चर और पर प्रारम्भ होता है, और यह देखते हुए कि निष्पक्ष अनुमानक हैं:

एकल-पैरामीटर बरनौली प्रयोग

बरनौली परीक्षण दो संभावित परिणामों, सफलता और असफलता के साथ यादृच्छिक चर है, जिसमें सफलता की संभावना θ है। परिणाम के विषय में सोचा जा सकता है कि सिक्का टॉस द्वारा निर्धारित किया जा सकता है, जिसमें हेड होने की संभावना θ और पूंछ होने की संभावना 1 − θ है।

मान लीजिये कि X बरनौली परीक्षण है। X में निहित फिशर संसूचना की गणना की जा सकती है:

क्योंकि फिशर की संसूचना योगात्मक है, फिशर की संसूचना n स्वतंत्र बर्नौली परीक्षणों में निहित है:

यह n बर्नौली परीक्षणों में सफलताओं की औसत संख्या के विचरण का पारस्परिक है, इसलिए इस स्थिति में, क्रैमर-राव बाउंड समानता है।

आव्यूह फॉर्म

जब N पैरामीटर हैं, तो θ N × 1 सदिश है, तब फिशर संसूचना N × N आव्यूह का रूप ले लेती है। इस आव्यूह को फिशर इंफॉर्मेशन आव्यूह (एफआईएम) कहा जाता है और इसमें विशिष्ट तत्व होता है:

एफआईएम N × N सकारात्मक अर्ध निश्चित आव्यूह है। यदि यह सकारात्मक निश्चित है, तो यह N-आयामीपैरामीटर स्थान पर रिमेंनियन मीट्रिक को परिभाषित करता है। विषय सूचना ज्यामिति इसका उपयोग फिशर संसूचना को अंतर ज्यामिति से जोड़ने के लिए करती है, और उस संदर्भ में, इस मीट्रिक को फिशर संसूचना मीट्रिक के रूप में जाना जाता है।

कुछ निश्चित नियमितता नियमों  के अंतर्गत , फिशर संसूचना आव्यूह को इस रूप में भी लिखा जा सकता है:

परिणाम कई अर्थों में रोचक है:

  • इसे सापेक्ष एंट्रॉपी के हेसियन आव्यूह के रूप में प्राप्त किया जा सकता है।
  • इसे सकारात्मक-निश्चित होने पर फिशर-राव ज्यामिति को परिभाषित करने के लिए रिमेंनियन मीट्रिक के रूप में उपयोग किया जा सकता है।[12]
  • चर के उपयुक्त परिवर्तन के पश्चात, इसे यूक्लिडियन मीट्रिक से प्रेरित मीट्रिक के रूप में समझा जा सकता है।
  • अपने जटिल-मूल्यवान रूप में, यह फ़ुबिनी-अध्ययन मीट्रिक है।
  • यह विल्क्स प्रमेय के प्रमाण का प्रमुख भाग है, जो संभावना सिद्धांत की आवश्यकता के बिना विश्वास क्षेत्र अनुमानों को अधिकतम संभावना अनुमान (उन स्थितियों के लिए जिनके लिए यह प्रस्तावित होता है) की अनुमति देता है।
  • ऐसी स्थितियों में जहां उपरोक्त एफआईएम की विश्लेषणात्मक गणना कठिन है, एफआईएम के अनुमान के रूप में नकारात्मक लॉग-लाइबिलिटी फ़ंक्शन के हेसियन आव्यूह के सरल मोंटे कार्लो अनुमानों का औसत बनना संभव है।[13][14][15] अनुमान नकारात्मक लॉग-संभावना फ़ंक्शन के मान या नकारात्मक लॉग-संभावना फ़ंक्शन के ग्रेडिएंट पर आधारित हो सकते हैं; नकारात्मक लॉग-संभावना फ़ंक्शन के हेस्सियन की कोई विश्लेषणात्मक गणना आवश्यक नहीं है।

सूचना लंबकोणीय पैरामीटर

हम कहते हैं कि दो पैरामीटर घटक सदिश θ1और θ2 सूचना लंबकोणीय हैं यदि फिशर संसूचना आव्यूह भिन्न-भिन्न ब्लॉकों में इन घटकों के साथ ब्लॉक विकर्ण है।[16] लंबकोणीय मापदंडों को इस अर्थ में निपटाना सरल है कि उनके अधिकतम संभावना स्पर्शोन्मुख रूप से असंबद्ध है। सांख्यिकीय मॉडल का विश्लेषण करने के विषय में विचार करते समय, मॉडेलर को सलाह दी जाती है कि वह मॉडल के लंबकोणीय पैरामीट्रिजेशन के शोध में कुछ समय निवेश करते हैं, विशेष रूप से जब ब्याज का पैरामीटर एक-आयामी है, किन्तु उपद्रव पैरामीटर का कोई आयाम हो सकता है।[17]

एकवचन सांख्यिकीय मॉडल

यदि फिशर संसूचना आव्यूह सभी θ के लिए सकारात्मक निश्चित है, तो संबंधित सांख्यिकीय मॉडल को नियमित कहा जाता है; अन्यथा, सांख्यिकीय मॉडल को एकवचन कहा जाता है।[18] एकवचन सांख्यिकीय मॉडल के उदाहरणों में निम्नलिखित सम्मिलित हैं: सामान्य मिश्रण, द्विपद मिश्रण, बहुपद मिश्रण, बायेसियन नेटवर्क, तंत्रिका नेटवर्क, रेडियल आधार कार्य, छिपे हुए मार्कोव मॉडल, स्टोचैस्टिक संदर्भ-मुक्त व्याकरण, कम रैंक प्रतिगमन, बोल्ट्जमैन मशीन आदि हैं।

मशीन लर्निंग में, यदि सांख्यिकीय मॉडल प्रस्तुत किया जाता है जिससे कि यह यादृच्छिक घटना से छिपी हुई संरचना को निकाल सके, तो यह स्वाभाविक रूप से एकवचन बन जाता है।[19]

बहुभिन्नरूपी सामान्य वितरण

N-वैरिएट बहुभिन्नरूपी सामान्य वितरण के लिए एफआईएम, का विशेष रूप होता है। पैरामीटर के K-आयामी सदिश मान लें कि और यादृच्छिक सामान्य चर के सदिश होता है। मान लें कि इन यादृच्छिक चरों के माध्य मान हैं, और जाने सहप्रसरण आव्यूह हो। फिर, , (m, n) एफआईएम की प्रविष्टि है:[20]

जहाँ सदिश के स्थानान्तरण को दर्शाता है, वर्ग आव्यूह के ट्रेस (आव्यूह ) को दर्शाता है, और:

ध्यान दें कि विशेष, किन्तु अधिक सामान्य स्थिति वह है जहां , निरंतर है। तब,

इस स्थिति में फिशर संसूचना आव्यूह को कम से कम वर्गों के आकलन सिद्धांत के सामान्य समीकरणों के गुणांक आव्यूह के साथ पहचाना जा सकता है।

एक और विशेष स्थिति तब होती है जब माध्य और सहप्रसरण दो भिन्न-भिन्न सदिश मापदंडों पर निर्भर करते हैं, उन्हें β और θ कहते हैं। यह विशेष रूप से स्थानिक डेटा के विश्लेषण में लोकप्रिय है, जो प्रायः सहसंबद्ध अवशेषों के साथ रैखिक मॉडल का उपयोग करता है। इस स्थिति में,[21]

जहाँ;

गुण

श्रृंखला नियम

एंट्रॉपी या पारस्परिक संसूचना के समान फिशर की संसूचना में भी श्रृंखला नियम अपघटन होता है। विशेष रूप से, यदि X और Y संयुक्त रूप से यादृच्छिक चर वितरित किए जाते हैं, तो यह इस प्रकार है:[22]

जहाँ और Y के सापेक्ष फिशर संसूचना है, विशिष्ट मान X = x दिए जाने पर Y के नियमानुसार घनत्व के संबंध में गणना की जाती है।

विशेष स्थिति के रूप में, यदि दो यादृच्छिक चर स्वतंत्रत हैं, तो दो यादृच्छिक चर द्वारा उत्पन्न संसूचना प्रत्येक यादृच्छिक चर से भिन्न-भिन्न संसूचना का योग है:

परिणामस्वरूप, n स्वतंत्र और समान रूप से वितरित यादृच्छिक चर अवलोकनों के यादृच्छिक प्रतिरूप में संसूचना आकार 1 के प्रतिरूप में संसूचना का n गुना है।

F-विचलन

उत्तल फलन दिया वह सभी के लिए परिमित है , , और , (जो अनंत हो सकता है), यह f-विचलन को के रूप में परिभाषित करता है, तो यदि सख्ती से उत्तल है , फिर स्थानीय रूप से होता है, फिशर संसूचना आव्यूह मीट्रिक है, इस अर्थ में कि;[23]

जहाँ द्वारा पैरामीट्रिज्ड वितरण है। अर्थात यह पीडीएफ के साथ वितरण है।

इस रूप में, यह स्पष्ट है कि फिशर संसूचना आव्यूह रीमैनियन मीट्रिक है, और चर के परिवर्तन के अंतर्गत उचित रूप से भिन्न होता है। (रिपैरामेट्रिजेशन पर अनुभाग देखें)

पर्याप्त आंकड़े

पर्याप्त आंकड़े द्वारा प्रदान की गई संसूचना प्रतिरूप X के समान है। इसे पर्याप्त आँकड़ों के लिए नेमैन के गुणनखंडन का उपयोग करके देखा जा सकता है। यदि T(X) θ के लिए पर्याप्त है, तब;

कुछ फलनों के लिए g और h है। θ से h(X) की स्वतंत्रता का तात्पर्य है:

और सूचना की समानता फ़िशर संसूचना की परिभाषा से अनुसरण करती है। अधिक सामान्यतः, यदि T = t(X) तब आँकड़ा है:

समानता के साथ यदि और केवल T पर्याप्त आंकड़ा है।[24]

रिपैरामेट्रिजेशन

फिशर की संसूचना समस्या के पैरामीट्रिजेशन पर निर्भर करती है। यदि θ और η अनुमान समस्या के दो अदिश पैरामीट्रिजेशन हैं, और θ η का निरंतर भिन्न-भिन्न फलन है, तो

जहाँ और क्रमशः η और θ के फिशर संसूचना उपाय हैं।[25]

सदिश स्थिति में, मान लीजिए और k-सदिश हैं जो अनुमान समस्या को पैरामीट्रिज करते हैं, और मान लीजिए कि का सतत अवकलनीय फलन है, तब,[26]

जहां k × k जैकबियन आव्यूह का (i, j)वां तत्व द्वारा परिभाषित किया गया है:

और जहां का आव्यूह स्थानान्तरण है।

सूचना ज्यामिति में, इसे रीमैनियन मैनिफोल्ड पर निर्देशांक के परिवर्तन के रूप में देखा जाता है, और वक्रता के आंतरिक गुण विभिन्न पैरामीट्रिजेशन के अंतर्गत अपरिवर्तित होते हैं। सामान्यतः, फिशर संसूचना आव्यूह उष्मागतिक अवस्था के मैनिफोल्ड के लिए रिमेंनियन मीट्रिक (अधिक त्रुटिहीन, फिशर-राव मीट्रिक) प्रदान करता है, और चरण संक्रमणों के वर्गीकरण के लिए सूचना-ज्यामितीय जटिलता माप के रूप में उपयोग किया जा सकता है, उदाहरण के लिए, अदिश उष्मागतिक मीट्रिक टेन्सर की वक्रता चरण संक्रमण बिंदु पर (और केवल) विचलन करती है।[27]

उष्मागतिक संदर्भ में, फिशर संसूचना आव्यूह संबंधित क्रम पैरामीटर में परिवर्तन की दर से संबंधित है।[28] विशेष रूप से, ऐसे संबंध फिशर सूचना आव्यूह के भिन्न-भिन्न तत्वों के विचलन के माध्यम से दूसरे क्रम के चरण संक्रमणों की पहचान करते हैं।

आइसोपेरिमेट्रिक असमानता

फिशर संसूचना आव्यूह आइसोपेरिमेट्रिक असमानता जैसी असमानता में भूमिका निभाता है।[29] किसी दिए गए एन्ट्रापी के साथ सभी प्रायिकता वितरणों में, जिसकी फिशर सूचना आव्यूह में सबसे छोटा ट्रेस है, वह गॉसियन वितरण है। यह इस प्रकार है कि कैसे, दिए गए आयतन वाले सभी परिबद्ध समुच्चयों में, गोले का पृष्ठीय क्षेत्रफल सबसे छोटा होता है।

प्रमाण में बहुभिन्नरूपी यादृच्छिक चर लेना सम्मिलित है घनत्व फलन के साथ और घनत्व का परिवार बनाने के लिए स्थान पैरामीटर जोड़ना होता है। फिर, मिन्कोव्स्की-स्टेनर सूत्र के अनुरूप, सतह क्षेत्र होना परिभाषित किया गया है:

जहां सहप्रसरण आव्यूह वाला गॉसियन चर है। सतह क्षेत्र नाम उपयुक्त है क्योंकि एंट्रॉपी शक्ति प्रभावी समर्थन समुच्चय की मात्रा है,[30] इसलिए प्रभावी समर्थन समुच्चय की मात्रा का व्युत्पन्न है, बहुत कुछ मिन्कोव्स्की-स्टेनर सूत्र के जैसे होता है। प्रमाण का शेष भाग एंट्रॉपी शक्ति असमानता का उपयोग करता है, जो ब्रून-मिन्कोव्स्की प्रमेय के जैसे है। फिशर इंफॉर्मेशन आव्यूह का ट्रेस कारक के रूप में पाया जाता है।

अनुप्रयोग

प्रयोगों का इष्टतम डिजाइन

इष्टतम प्रयोगात्मक डिजाइन में फिशर संसूचना का व्यापक रूप से उपयोग किया जाता है। अनुमानक-भिन्नता और फिशर संसूचना की पारस्परिकता के कारण, भिन्नता को अल्प करना सूचना को अधिकतम करने से युग्मित होता है।

जब रेखीय (या रेखीयकृत) सांख्यिकीय मॉडल में कई पैरामीटर होते हैं, तो पैरामीटर अनुमानक का माध्य सदिश होता है और इसका सहप्रसरण आव्यूह होता है। विचरण आव्यूह के व्युत्क्रम को संसूचना आव्यूह कहा जाता है। चूंकि पैरामीटर सदिश के अनुमानक का भिन्नता आव्यूह है, भिन्नता को अल्प करने की समस्या जटिल है। सांख्यिकीय सिद्धांत का उपयोग करते हुए, सांख्यिकीविद् वास्तविक-मूल्यवान सारांश आँकड़ों का उपयोग करके सूचना-आव्यूह को संकुचित करते हैं; वास्तविक-मूल्यवान कार्य होने के कारण, इन सूचना मानदंडों को अधिकतम किया जा सकता है।

परंपरागत रूप से, सांख्यिकीविदों ने सामान्यतः सकारात्मक वास्तविक मानों (जैसे निर्धारक या आव्यूह ट्रेस) सहप्रसरण आव्यूह (निष्पक्ष अनुमानक के) के कुछ सारांश आंकड़ों पर विचार करके अनुमानकों और डिजाइनों का मूल्यांकन किया है, सकारात्मक वास्तविक संख्याओं के साथ कार्य करने से कई लाभ मिलते हैं: यदि एकल पैरामीटर के अनुमानक में सकारात्मक भिन्नता है, तो भिन्नता और फिशर संसूचना दोनों सकारात्मक वास्तविक संख्याएं हैं; इसलिए वे गैर-ऋणात्मक वास्तविक संख्याओं के उत्तल शंकु के सदस्य हैं (जिनके शून्येतर सदस्य इसी शंकु में व्युत्क्रम हैं)।

कई मापदंडों के लिए, सहप्रसरण आव्यूह और संसूचना आव्यूह, चार्ल्स लोवेनर (लोवनर) के आदेश के अंतर्गत आंशिक क्रम में सदिश स्थान के आदेश में गैर-नकारात्मक-निश्चित सममित मैट्रिसेस के उत्तल शंकु के तत्व हैं। यह शंकु आव्यूह जोड़ और व्युत्क्रम के साथ-साथ सकारात्मक वास्तविक संख्याओं और आव्यूहों के गुणन के अंतर्गत संवृत है। आव्यूह थ्योरी और लोवेनर ऑर्डर की प्रदर्शनी पुकेलशेम में दिखाई देती है।[31]

अपरिवर्तनीय सिद्धांत के अर्थ में पारंपरिक इष्टतमता मानदंड सूचना आव्यूह के अपरिवर्तनीय हैं; बीजगणितीय रूप से, पारंपरिक इष्टतमता मानदंड (फिशर) सूचना आव्यूह (इष्टतम डिजाइन देखें) के आइगेन मान ​​​​के कार्यात्मक हैं।

बायेसियन सांख्यिकी में पूर्व जेफ़रीज़

बायेसियन सांख्यिकी में, फिशर की संसूचना का उपयोग जेफ़रीज़ पूर्व की गणना करने के लिए किया जाता है, जो कि निरंतर वितरण मापदंडों के लिए मानक, गैर-सूचनात्मक पूर्व है।[32]

कम्प्यूटेशनल न्यूरोसाइंस

फिशर की संसूचना का उपयोग न्यूरल कोड की त्रुटिहीनता पर सीमाओं के शोध करने के लिए किया गया है। उस स्थिति में, X सामान्यतः कम आयामी चर θ (जैसे उत्तेजना पैरामीटर) का प्रतिनिधित्व करने वाले कई न्यूरॉन्स की संयुक्त प्रतिक्रिया होती है। विशेष रूप से तंत्रिका प्रतिक्रियाओं के शोर में सहसंबंधों की भूमिका का अध्ययन किया गया है।[33]

भौतिक नियमों की व्युत्पत्ति

भौतिक कानूनों के आधार के रूप में बी. रॉय फ्रीडेन द्वारा प्रस्तुत विवादास्पद सिद्धांत में फिशर की संसूचना केंद्रीय भूमिका निभाती है, ऐसा दावा जो विवादित रहा है।[34]

मशीन लर्निंग

फिशर की संसूचना का उपयोग मशीन सीखने की प्रौद्योगिकी में किया जाता है जैसे कि प्रत्यास्थ वजन संपिण्डन में किया जाता है,[35] जो कृत्रिम तंत्रिका नेटवर्क में भयावह विस्मरण को अल्प करता है।

दूसरे क्रम के ग्रेडिएंट डिसेंट नेटवर्क प्रशिक्षण में फिशर की संसूचना को हानि फ़ंक्शन के हेस्सियन के विकल्प के रूप में उपयोग किया जा सकता है।[36]

सापेक्ष एन्ट्रापी से संबंध

फिशर की संसूचना सापेक्ष एन्ट्रॉपी से संबंधित है।[37] दो वितरणों के मध्य सापेक्ष एन्ट्रॉपी, या कुल्बैक-लीब्लर विचलन और रूप में लिखा जा सकता है:

अब संभाव्यता वितरण के परिवार पर विचार करें द्वारा पैरामीट्रिज्ड होता है, फिर परिवार में दो वितरणों के मध्य कुल्बैक-लीब्लर विचलन को इस रूप में लिखा जा सकता है:

यदि निश्चित है, तो एक ही परिवार के दो वितरणों के मध्य सापेक्ष एन्ट्रापी अल्प से अल्प हो जाती है, के लिए के निकट श्रृंखला में पिछले व्यंजक को दूसरे क्रम तक विस्तारित कर सकता है:

किन्तु दूसरे क्रम के व्युत्पन्न को इस रूप में लिखा जा सकता है:

इस प्रकार फिशर संसूचना अपने मापदंडों के संबंध में नियमबद्ध वितरण के सापेक्ष एन्ट्रापी की वक्रता का प्रतिनिधित्व करती है।

इतिहास

फिशर संसूचना पर कई प्रारंभिक सांख्यिकीविदों विशेष रूप से एफ वाई एडगेवर्थ द्वारा वर्णन किया गया था।[38] उदाहरण के लिए, सैवेज[39] कहते हैं: इसमें [फिशर संसूचना], वह [फिशर] कुछ सीमा तक प्रत्याशित था (एजवर्थ 1908–9 esp। 502, 507–8, 662, 677–8, 82–5 और संदर्भ वह [एजवर्थ] पियर्सन और फिलोन 1898 [...] सहित उद्धृत करता है)। कई प्रारंभिक ऐतिहासिक स्रोत हैं[40] और इस प्रारंभिक कार्य की कई समीक्षाएँ हैं।[41][42][43]

यह भी देखें

सूचना सिद्धांत में नियोजित अन्य उपाय:

टिप्पणियाँ

  1. Lehmann & Casella, p. 115
  2. Robert, Christian (2007). "Noninformative prior distributions". द बायेसियन चॉइस (2nd ed.). Springer. pp. 127–141. ISBN 978-0-387-71598-8.
  3. Le Cam, Lucien (1986). सांख्यिकीय निर्णय सिद्धांत में स्पर्शोन्मुख तरीके. New York: Springer. pp. 618–621. ISBN 0-387-96307-3.
  4. Kass, Robert E.; Tierney, Luke; Kadane, Joseph B. (1990). "The Validity of Posterior Expansions Based on Laplace's Method". In Geisser, S.; Hodges, J. S.; Press, S. J.; Zellner, A. (eds.). सांख्यिकी और अर्थमिति में बायेसियन और संभावना के तरीके. Elsevier. pp. 473–488. ISBN 0-444-88376-2.
  5. Frieden & Gatenby (2013)
  6. Suba Rao. "सांख्यिकीय अनुमान पर व्याख्यान" (PDF).
  7. Fisher (1922)
  8. Lehmann & Casella, eq. (2.5.16), Lemma 5.3, p.116.
  9. Schervish, Mark J. (1995). सांख्यिकी का सिद्धांत. New York, NY: Springer New York. p. 111. ISBN 978-1-4612-4250-5. OCLC 852790658.
  10. Cramer (1946)
  11. Rao (1945)
  12. Nielsen, Frank (2010). "Cramer-Rao lower bound and information geometry". Connected at Infinity II: 18–37. arXiv:1301.3578.
  13. Spall, J. C. (2005). "गैर-मानक सेटिंग्स में फिशर सूचना मैट्रिक्स की मोंटे कार्लो संगणना". Journal of Computational and Graphical Statistics. 14 (4): 889–909. doi:10.1198/106186005X78800. S2CID 16090098.
  14. Spall, J. C. (2008), "Improved Methods for Monte Carlo Estimation of the Fisher Information Matrix," Proceedings of the American Control Conference, Seattle, WA, 11–13 June 2008, pp. 2395–2400. https://doi.org/10.1109/ACC.2008.4586850
  15. Das, S.; Spall, J. C.; Ghanem, R. (2010). "पूर्व सूचना का उपयोग करते हुए फिशर सूचना मैट्रिक्स की कुशल मोंटे कार्लो संगणना". Computational Statistics and Data Analysis. 54 (2): 272–289. doi:10.1016/j.csda.2009.09.018.
  16. Barndorff-Nielsen, O. E.; Cox, D. R. (1994). निष्कर्ष और स्पर्शोन्मुख. Chapman & Hall. ISBN 9780412494406.
  17. Cox, D. R.; Reid, N. (1987). "पैरामीटर ऑर्थोगोनलिटी और अनुमानित सशर्त अनुमान (चर्चा के साथ)". J. Royal Statistical Soc. B. 49: 1–39.
  18. Watanabe, S. (2008), Accardi, L.; Freudenberg, W.; Ohya, M. (eds.), "Algebraic geometrical method in singular statistical estimation", Quantum Bio-Informatics, World Scientific: 325–336, Bibcode:2008qbi..conf..325W, doi:10.1142/9789812793171_0024, ISBN 978-981-279-316-4.
  19. Watanabe, S (2013). "एक व्यापक रूप से लागू बायेसियन सूचना मानदंड". Journal of Machine Learning Research. 14: 867–897.
  20. Malagò, Luigi; Pistone, Giovanni (2015). स्टोचैस्टिक अनुकूलन के मद्देनजर गॉसियन वितरण की सूचना ज्यामिति. pp. 150–162. doi:10.1145/2725494.2725510. ISBN 9781450334341. S2CID 693896. {{cite book}}: |journal= ignored (help)
  21. Mardia, K. V.; Marshall, R. J. (1984). "स्थानिक प्रतिगमन में अवशिष्ट सहप्रसरण के लिए मॉडलों का अधिकतम संभावना अनुमान". Biometrika. 71 (1): 135–46. doi:10.1093/biomet/71.1.135.
  22. Zamir, R. (1998). "डेटा प्रोसेसिंग तर्क के माध्यम से फिशर सूचना असमानता का प्रमाण". IEEE Transactions on Information Theory. 44 (3): 1246–1250. CiteSeerX 10.1.1.49.6628. doi:10.1109/18.669301.
  23. Polyanskiy, Yury (2017). "Lecture notes on information theory, chapter 29, ECE563 (UIUC)" (PDF). Lecture notes on information theory. Archived (PDF) from the original on 2022-05-24. Retrieved 2022-05-24.
  24. Schervish, Mark J. (1995). सिद्धांत सांख्यिकी. Springer-Verlag. p. 113.
  25. Lehmann & Casella, eq. (2.5.11).
  26. Lehmann & Casella, eq. (2.6.16)
  27. Janke, W.; Johnston, D. A.; Kenna, R. (2004). "सूचना ज्यामिति और चरण संक्रमण". Physica A. 336 (1–2): 181. arXiv:cond-mat/0401092. Bibcode:2004PhyA..336..181J. doi:10.1016/j.physa.2004.01.023. S2CID 119085942.
  28. Prokopenko, M.; Lizier, Joseph T.; Lizier, J. T.; Obst, O.; Wang, X. R. (2011). "ऑर्डर पैरामीटर्स के लिए फिशर की जानकारी से संबंधित". Physical Review E. 84 (4): 041116. Bibcode:2011PhRvE..84d1116P. doi:10.1103/PhysRevE.84.041116. PMID 22181096. S2CID 18366894.
  29. Costa, M.; Cover, T. (Nov 1984). "एंट्रॉपी पावर असमानता और ब्रून-मिन्कोव्स्की असमानता की समानता पर". IEEE Transactions on Information Theory. 30 (6): 837–839. doi:10.1109/TIT.1984.1056983. ISSN 1557-9654.
  30. Cover, Thomas M. (2006). सूचना सिद्धांत के तत्व. Joy A. Thomas (2nd ed.). Hoboken, N.J.: Wiley-Interscience. p. 256. ISBN 0-471-24195-4. OCLC 59879802.
  31. Pukelsheim, Friedrick (1993). प्रयोगों का इष्टतम डिजाइन. New York: Wiley. ISBN 978-0-471-61971-0.
  32. Bernardo, Jose M.; Smith, Adrian F. M. (1994). बायेसियन थ्योरी. New York: John Wiley & Sons. ISBN 978-0-471-92416-6.
  33. Abbott, Larry F.; Dayan, Peter (1999). "जनसंख्या कोड की सटीकता पर सहसंबद्ध परिवर्तनशीलता का प्रभाव". Neural Computation. 11 (1): 91–101. doi:10.1162/089976699300016827. PMID 9950724. S2CID 2958438.
  34. Streater, R. F. (2007). भौतिकी में और उससे परे खोए हुए कारण. Springer. p. 69. ISBN 978-3-540-36581-5.
  35. Kirkpatrick, James; Pascanu, Razvan; Rabinowitz, Neil; Veness, Joel; Desjardins, Guillaume; Rusu, Andrei A.; Milan, Kieran; Quan, John; Ramalho, Tiago (2017-03-28). "तंत्रिका नेटवर्क में विपत्तिपूर्ण विस्मृति पर काबू पाना". Proceedings of the National Academy of Sciences (in English). 114 (13): 3521–3526. doi:10.1073/pnas.1611835114. ISSN 0027-8424. PMC 5380101. PMID 28292907.
  36. Martens, James (August 2020). "प्राकृतिक ढाल पद्धति पर नई अंतर्दृष्टि और दृष्टिकोण". Journal of Machine Learning Research (21). arXiv:1412.1193.
  37. Gourieroux & Montfort (1995), page 87
  38. Savage (1976)
  39. Savage(1976), page 156
  40. Edgeworth (September 1908, December 1908)
  41. Pratt (1976)
  42. Stigler (1978, 1986, 1999)
  43. Hald (1998, 1999)

संदर्भ