फिशर संसूचना: Difference between revisions
From Vigyanwiki
No edit summary |
No edit summary |
||
| (4 intermediate revisions by 3 users not shown) | |||
| Line 1: | Line 1: | ||
{{Short description|Notion in statistics}} | {{Short description|Notion in statistics}} | ||
गणितीय आँकड़ों में, '''फ़िशर | गणितीय आँकड़ों में, '''फ़िशर संसूचना''' (कभी-कभी केवल सूचना कहलाती है<ref>Lehmann & Casella, p. 115</ref>) [[जानकारी|संसूचना]] की मात्रा को मापने का प्रकार है जो प्रेक्षण योग्य यादृच्छिक चर X वितरण के अज्ञात पैरामीटर θ के मॉडल X के विषय में होता है। औपचारिक रूप से, यह [[स्कोर (सांख्यिकी)|स्कोर]] की भिन्नता है, या देखी गई संसूचना का [[अपेक्षित मूल्य]] होता है। | ||
सांख्यिकीविद् [[रोनाल्ड फिशर]] ([[फ्रांसिस यसिड्रो एडगेवर्थ]] द्वारा कुछ प्रारंभिक परिणामों के पश्चात) द्वारा [[अधिकतम-संभावना अनुमान]] के स्पर्शोन्मुख सिद्धांत में | सांख्यिकीविद् [[रोनाल्ड फिशर]] ([[फ्रांसिस यसिड्रो एडगेवर्थ]] द्वारा कुछ प्रारंभिक परिणामों के पश्चात) द्वारा [[अधिकतम-संभावना अनुमान]] के स्पर्शोन्मुख सिद्धांत में फिशर संसूचना की भूमिका पर जोर दिया गया था। फिशर संसूचना आव्यूह का उपयोग अधिकतम-संभावना अनुमानों से जुड़े [[सहप्रसरण मैट्रिक्स|सहप्रसरण]] आव्यूह की गणना करने के लिए किया जाता है। इसका उपयोग परीक्षण आँकड़ों के निर्माण में जैसे [[वाल्ड परीक्षण]] किया जा सकता है। | ||
[[बायेसियन सांख्यिकी]] में, फिशर की | [[बायेसियन सांख्यिकी]] में, फिशर की संसूचना जेफ़रीज़ के नियम के अनुसार गैर-सूचनात्मक [[पूर्व वितरण|पूर्व वितरणों]] की व्युत्पत्ति में भूमिका निभाती है।<ref>{{cite book |first=Christian |last=Robert |title=द बायेसियन चॉइस|location= |publisher=Springer |edition=2nd |year=2007 |isbn=978-0-387-71598-8 |chapter=Noninformative prior distributions |pages=127–141 }}</ref> यह [[पश्च वितरण]] के बड़े-प्रारूप सहप्रसरण के रूप में भी प्रकट होता है, नियम यह है कि पूर्व पर्याप्त रूप से सुचारू हो (परिणाम जिसे बर्नस्टीन-वॉन मिज़ प्रमेय के रूप में जाना जाता है, जिसे [[घातीय परिवार|घातीय परिवारों]] के लिए [[लाप्लास]] द्वारा प्रत्याशित किया गया था)।<ref>{{cite book |first=Lucien |last=Le Cam |authorlink=Lucien Le Cam |year=1986 |title=सांख्यिकीय निर्णय सिद्धांत में स्पर्शोन्मुख तरीके|location=New York |publisher=Springer |pages=618–621 |isbn=0-387-96307-3 }}</ref> लाप्लास के सन्निकटन के साथ पोस्टीरियर का अनुमान लगाते समय उसी परिणाम का उपयोग किया जाता है, जहां फिशर की संसूचना फिटेड गॉसियन के सहप्रसरण के रूप में दिखाई देती है।<ref>{{cite book |first1=Robert E. |last1=Kass |first2=Luke |last2=Tierney |first3=Joseph B. |last3=Kadane |chapter=The Validity of Posterior Expansions Based on Laplace's Method |pages=473–488 |editor-first=S. |editor-last=Geisser |editor2-first=J. S. |editor2-last=Hodges |editor3-first=S. J. |editor3-last=Press |editor4-first=A. |editor4-last=Zellner |title=सांख्यिकी और अर्थमिति में बायेसियन और संभावना के तरीके|location= |publisher=Elsevier |year=1990 |isbn=0-444-88376-2 }}</ref> | ||
वैज्ञानिक प्रकृति (भौतिक, जैविक, आदि) की सांख्यिकीय प्रणालियाँ जिनके संभावित कार्य [[शिफ्ट-इनवेरिएंट सिस्टम|शिफ्ट-इनवेरिएंट]] का पालन करते हैं, उन्हें अधिकतम | वैज्ञानिक प्रकृति (भौतिक, जैविक, आदि) की सांख्यिकीय प्रणालियाँ जिनके संभावित कार्य [[शिफ्ट-इनवेरिएंट सिस्टम|शिफ्ट-इनवेरिएंट]] का पालन करते हैं, उन्हें अधिकतम फिशर संसूचना का पालन करने के लिए दिखाया गया है।<ref>Frieden & Gatenby (2013)</ref> अधिकतम स्तर प्रणाली बाधाओं की प्रकृति पर निर्भर करता है। | ||
== परिभाषा == | == परिभाषा == | ||
फ़िशर | फ़िशर संसूचना, संसूचना की मात्रा को मापने की विधि है जो अवलोकन योग्य यादृच्छिक चर है <math>X</math> में अज्ञात [[पैरामीटर]] है जिस पर <math>\theta</math> की संभावना है <math>X</math> निर्भर करता है। मान लीजिये <math>f(X;\theta)</math> के लिए प्रायिकता घनत्व फलन (या प्रायिकता द्रव्यमान फलन) <math>X</math> के मान पर प्रतिबंधित <math>\theta</math> होता है। यह संभावना का वर्णन करता है कि हम दिए गए परिणाम का निरीक्षण करते हैं <math>X</math>, का ज्ञात मान <math>\theta</math> दिया गया है। यदि <math>f</math> में परिवर्तनों के संबंध में तीव्रता से चरम पर <math>\theta</math> का उचित मान प्रदर्शित करना सरल है <math>\theta</math> डेटा से, या समकक्ष, कि डेटा <math>X</math> पैरामीटर <math>\theta</math> के विषय में अत्यधिक संसूचना प्रदान करता है। यदि <math>f</math> समतल और विस्तारित है, तो यह कई प्रतिरूप लेगा <math>X</math> के वास्तविक उचित मान का अनुमान लगाने के लिए वह <math>\theta</math> प्रतिचयन की जा रही संपूर्ण जनसंख्या का उपयोग करके प्राप्त किया जाएगा। यह <math>\theta</math> किसी प्रकार के विचरण के संबंध में अध्ययन करने का सुझाव देता है। | ||
औपचारिक रूप से, <math>\theta</math> के संबंध में [[आंशिक व्युत्पन्न]] प्रायिकता फलन के [[प्राकृतिक]] लघुगणक को स्कोर कहा जाता है। कुछ नियमितता प्रावधानों के अंतर्गत, यदि <math>\theta</math> उचित पैरामीटर है (अर्थात <math>X</math> वास्तव में <math>f(X;\theta)</math> के रूप में वितरित किया जाता है), यह दिखाया जा सकता है कि स्कोर का अपेक्षित मान (प्रथम क्षण), उचित पैरामीटर मान पर मूल्यांकन <math>\theta</math>, 0 किया गया है:<ref name=SubaRao>{{cite web|last=Suba Rao|title=सांख्यिकीय अनुमान पर व्याख्यान|url=http://www.stat.tamu.edu/~suhasini/teaching613/inference.pdf}}</ref> <math>\begin{align} | औपचारिक रूप से, <math>\theta</math> के संबंध में [[आंशिक व्युत्पन्न]] प्रायिकता फलन के [[प्राकृतिक]] लघुगणक को स्कोर कहा जाता है। कुछ नियमितता प्रावधानों के अंतर्गत, यदि <math>\theta</math> उचित पैरामीटर है (अर्थात <math>X</math> वास्तव में <math>f(X;\theta)</math> के रूप में वितरित किया जाता है), यह दिखाया जा सकता है कि स्कोर का अपेक्षित मान (प्रथम क्षण), उचित पैरामीटर मान पर मूल्यांकन <math>\theta</math>, 0 किया गया है:<ref name=SubaRao>{{cite web|last=Suba Rao|title=सांख्यिकीय अनुमान पर व्याख्यान|url=http://www.stat.tamu.edu/~suhasini/teaching613/inference.pdf}}</ref> <math>\begin{align} | ||
| Line 19: | Line 19: | ||
\end{align}</math> | \end{align}</math> | ||
फिशर | फिशर संसूचना को स्कोर के विचरण के रूप में परिभाषित किया गया है:<ref>Fisher (1922)</ref> | ||
:<math> \mathcal{I}(\theta) = \operatorname{E} \left[\left. \left(\frac{\partial}{\partial\theta} \log f(X;\theta)\right)^2\right|\theta \right] = \int_{\mathbb{R}} \left(\frac{\partial}{\partial\theta} \log f(x;\theta)\right)^2 f(x; \theta)\,dx,</math> | :<math> \mathcal{I}(\theta) = \operatorname{E} \left[\left. \left(\frac{\partial}{\partial\theta} \log f(X;\theta)\right)^2\right|\theta \right] = \int_{\mathbb{R}} \left(\frac{\partial}{\partial\theta} \log f(x;\theta)\right)^2 f(x; \theta)\,dx,</math> | ||
ध्यान दें कि <math>0 \leq \mathcal{I}(\theta)</math> उच्च फिशर | ध्यान दें कि <math>0 \leq \mathcal{I}(\theta)</math> उच्च फिशर संसूचना वाले यादृच्छिक चर का अर्थ है कि स्कोर का निरपेक्ष मान प्रायः उच्च होता है। फिशर की संसूचना किसी विशेष अवलोकन का कार्य नहीं है, क्योंकि यादृच्छिक चर X को औसत कर दिया गया है। | ||
यदि {{nowrap|log ''f''(''x''; ''θ'')}} θ के संबंध में दो बार अवकलनीय है, और कुछ नियमितता प्रावधानों के अंतर्गत, फ़िशर | यदि {{nowrap|log ''f''(''x''; ''θ'')}} θ के संबंध में दो बार अवकलनीय है, और कुछ नियमितता प्रावधानों के अंतर्गत, फ़िशर संसूचना को इस रूप में भी लिखा जा सकता है:<ref>Lehmann & Casella, eq. (2.5.16), Lemma 5.3, p.116.</ref> | ||
:<math> \mathcal{I}(\theta) = - \operatorname{E} \left[\left. \frac{\partial^2}{\partial\theta^2} \log f(X;\theta)\right|\theta \right],</math> | :<math> \mathcal{I}(\theta) = - \operatorname{E} \left[\left. \frac{\partial^2}{\partial\theta^2} \log f(X;\theta)\right|\theta \right],</math> | ||
तब से | तब से | ||
| Line 30: | Line 30: | ||
और | और | ||
:<math> \operatorname{E} \left[\left. \frac{\frac{\partial^2}{\partial\theta^2} f(X;\theta)}{f(X; \theta)}\right|\theta \right] = \frac{\partial^2}{\partial\theta^2} \int_{\mathbb{R}} f(x;\theta)\,dx = 0. </math> | :<math> \operatorname{E} \left[\left. \frac{\frac{\partial^2}{\partial\theta^2} f(X;\theta)}{f(X; \theta)}\right|\theta \right] = \frac{\partial^2}{\partial\theta^2} \int_{\mathbb{R}} f(x;\theta)\,dx = 0. </math> | ||
इस प्रकार, फिशर की | इस प्रकार, फिशर की संसूचना को [[समर्थन वक्र]] (लॉग-संभावना का ग्राफ) की वक्रता के रूप में देखा जा सकता है। अधिकतम संभावना अनुमान के निकट, अल्प फिशर संसूचना इसलिए प्रदर्शित करती है कि अधिकतम "ब्लंट" दिखाई देता है, अर्थात, अधिकतम उथला है और समान लॉग-संभावना के साथ निकट के कई मान हैं। इसके विपरीत, उच्च फिशर संसूचना प्रदर्शित करती है कि अधिकतम तीव्र है। | ||
=== नियमितता की स्थिति === | === नियमितता की स्थिति === | ||
| Line 38: | Line 38: | ||
# f(X; θ) का [[समर्थन (गणित)|समर्थन]] θ पर निर्भर नहीं करता है। | # f(X; θ) का [[समर्थन (गणित)|समर्थन]] θ पर निर्भर नहीं करता है। | ||
यदि θ सदिश राशि है तो θ के प्रत्येक घटक के लिए नियमितता के नियम होने चाहिए। घनत्व का उदाहरण शोध करना सरल है जो नियमितता के नियमों को पूर्ण नहीं करता है: समान (0, θ) चर का घनत्व 1 और 3 के नियमों को पूर्ण करने में विफल रहता है। इस स्थिति में, उचित प्रकार से फिशर की | यदि θ सदिश राशि है तो θ के प्रत्येक घटक के लिए नियमितता के नियम होने चाहिए। घनत्व का उदाहरण शोध करना सरल है जो नियमितता के नियमों को पूर्ण नहीं करता है: समान (0, θ) चर का घनत्व 1 और 3 के नियमों को पूर्ण करने में विफल रहता है। इस स्थिति में, उचित प्रकार से फिशर की संसूचना की गणना परिभाषा से की जा सकती है, इसमें वे गुण नहीं होंगे जो सामान्यतः माने जाते हैं। | ||
=== [[संभावना]] की दृष्टि से === | === [[संभावना]] की दृष्टि से === | ||
चूँकि दिए गए X के θ की संभावना सदैव प्रायिकता f(X; θ) के समानुपाती होती है, उनके लघुगणक आवश्यक रूप से स्थिरांक से भिन्न होते हैं जो θ से स्वतंत्र होता है, और θ के संबंध में इन लघुगणकों के डेरिवेटिव आवश्यक रूप से समान होते हैं। इस प्रकार कोई फिशर | चूँकि दिए गए X के θ की संभावना सदैव प्रायिकता f(X; θ) के समानुपाती होती है, उनके लघुगणक आवश्यक रूप से स्थिरांक से भिन्न होते हैं जो θ से स्वतंत्र होता है, और θ के संबंध में इन लघुगणकों के डेरिवेटिव आवश्यक रूप से समान होते हैं। इस प्रकार कोई फिशर संसूचना की परिभाषाओं में लॉग-लाइबिलिटी ''l''(θ; ''X'') के अतिरिक्त {{math|log ''f''(''X''; ''θ'')}} में स्थानापन्न कर सकता है। | ||
=== किसी भी आकार के प्रतिरूप === | === किसी भी आकार के प्रतिरूप === | ||
मान X एकल वितरण से निकाले गए एकल प्रतिरूप का प्रतिनिधित्व कर सकता है या वितरण के संग्रह से निकाले गए प्रतिरूपों के संग्रह का प्रतिनिधित्व कर सकता है। यदि n प्रतिरूप हैं और संबंधित n वितरण [[सांख्यिकीय रूप से स्वतंत्र]] हैं, तो फ़िशर | मान X एकल वितरण से निकाले गए एकल प्रतिरूप का प्रतिनिधित्व कर सकता है या वितरण के संग्रह से निकाले गए प्रतिरूपों के संग्रह का प्रतिनिधित्व कर सकता है। यदि n प्रतिरूप हैं और संबंधित n वितरण [[सांख्यिकीय रूप से स्वतंत्र]] हैं, तो फ़िशर संसूचना आवश्यक रूप से इसके वितरण से प्रत्येक एकल प्रतिरूप के लिए फ़िशर संसूचना मानों का योग होगी। विशेष रूप से, यदि n वितरण स्वतंत्र हैं और समान रूप से वितरित किए गए हैं, तो फ़िशर संसूचना आवश्यक रूप से सामान्य वितरण से एकल प्रतिरूप की फ़िशर संसूचना का n गुना होगी। | ||
=== क्रैमर-राव बाउंड की अनौपचारिक व्युत्पत्ति === | === क्रैमर-राव बाउंड की अनौपचारिक व्युत्पत्ति === | ||
क्रैमर-राव बाउंड<ref>Cramer (1946)</ref><ref>Rao (1945)</ref> कहता है कि फिशर | क्रैमर-राव बाउंड<ref>Cramer (1946)</ref><ref>Rao (1945)</ref> कहता है कि फिशर संसूचना का व्युत्क्रम θ के किसी भी निष्पक्ष अनुमानक के विचरण पर निचली सीमा है। एच.एल. वैन ट्रीज़ (1968) और बी. रॉय फ्रीडेन (2004) क्रैमर-राव बाउंड प्राप्त करने की निम्नलिखित विधि प्रदान करते हैं, जिसके परिणामस्वरूप फिशर संसूचना के उपयोग का वर्णन होता है। | ||
अनौपचारिक रूप से, हम निष्पक्ष अनुमानक पर विचार करके <math>\hat\theta(X)</math> प्रारंभ करते हैं, गणितीय रूप से, निष्पक्ष का अर्थ है कि; | अनौपचारिक रूप से, हम निष्पक्ष अनुमानक पर विचार करके <math>\hat\theta(X)</math> प्रारंभ करते हैं, गणितीय रूप से, निष्पक्ष का अर्थ है कि; | ||
| Line 86: | Line 86: | ||
\operatorname{Var}\left(\hat\theta\right) \geq \frac{1}{\mathcal{I}\left(\theta\right)}. | \operatorname{Var}\left(\hat\theta\right) \geq \frac{1}{\mathcal{I}\left(\theta\right)}. | ||
</math> | </math> | ||
दूसरे शब्दों में, जिस त्रुटिहीनता का हम अनुमान लगा सकते हैं, वह मौलिक रूप से संभावित कार्य की फिशर | दूसरे शब्दों में, जिस त्रुटिहीनता का हम अनुमान लगा सकते हैं, वह मौलिक रूप से संभावित कार्य की फिशर संसूचना द्वारा सीमित है। | ||
वैकल्पिक रूप से, यादृच्छिक चर के लिए कॉची-श्वार्ज़ असमानता से सीधे ही निष्कर्ष प्राप्त किया जा सकता है, <math>|\operatorname{Cov}(AB)|^2 \le \operatorname{Var}(A)\operatorname{Var}(B)</math>, यादृच्छिक चर <math>\hat\theta(X)</math> और <math>\partial_\theta\log f(X;\theta)</math> पर प्रारम्भ होता है, और यह देखते हुए कि निष्पक्ष अनुमानक हैं:<math display="block">\operatorname{Cov}[\hat\theta(X)\partial_\theta \log f(X;\theta)] = | वैकल्पिक रूप से, यादृच्छिक चर के लिए कॉची-श्वार्ज़ असमानता से सीधे ही निष्कर्ष प्राप्त किया जा सकता है, <math>|\operatorname{Cov}(AB)|^2 \le \operatorname{Var}(A)\operatorname{Var}(B)</math>, यादृच्छिक चर <math>\hat\theta(X)</math> और <math>\partial_\theta\log f(X;\theta)</math> पर प्रारम्भ होता है, और यह देखते हुए कि निष्पक्ष अनुमानक हैं:<math display="block">\operatorname{Cov}[\hat\theta(X)\partial_\theta \log f(X;\theta)] = | ||
| Line 93: | Line 93: | ||
[[बरनौली परीक्षण]] दो संभावित परिणामों, सफलता और असफलता के साथ यादृच्छिक चर है, जिसमें सफलता की संभावना θ है। परिणाम के विषय में सोचा जा सकता है कि सिक्का टॉस द्वारा निर्धारित किया जा सकता है, जिसमें हेड होने की संभावना θ और पूंछ होने की संभावना {{nowrap|1 − ''θ''}} है। | [[बरनौली परीक्षण]] दो संभावित परिणामों, सफलता और असफलता के साथ यादृच्छिक चर है, जिसमें सफलता की संभावना θ है। परिणाम के विषय में सोचा जा सकता है कि सिक्का टॉस द्वारा निर्धारित किया जा सकता है, जिसमें हेड होने की संभावना θ और पूंछ होने की संभावना {{nowrap|1 − ''θ''}} है। | ||
मान लीजिये कि X बरनौली परीक्षण है। X में निहित फिशर | मान लीजिये कि X बरनौली परीक्षण है। X में निहित फिशर संसूचना की गणना की जा सकती है: | ||
:<math>\begin{align} | :<math>\begin{align} | ||
\mathcal{I}(\theta) | \mathcal{I}(\theta) | ||
| Line 102: | Line 102: | ||
&= \frac{1}{\theta(1 - \theta)}. | &= \frac{1}{\theta(1 - \theta)}. | ||
\end{align}</math> | \end{align}</math> | ||
क्योंकि फिशर की | क्योंकि फिशर की संसूचना योगात्मक है, फिशर की संसूचना n स्वतंत्र बर्नौली परीक्षणों में निहित है: | ||
:<math>\mathcal{I}(\theta) = \frac{n}{\theta(1 - \theta)}.</math> | :<math>\mathcal{I}(\theta) = \frac{n}{\theta(1 - \theta)}.</math> | ||
यह ''n'' बर्नौली परीक्षणों में सफलताओं की औसत संख्या के विचरण का पारस्परिक है, इसलिए इस स्थिति में, क्रैमर-राव बाउंड समानता है। | यह ''n'' बर्नौली परीक्षणों में सफलताओं की औसत संख्या के विचरण का पारस्परिक है, इसलिए इस स्थिति में, क्रैमर-राव बाउंड समानता है। | ||
== आव्यूह फॉर्म == | == आव्यूह फॉर्म == | ||
जब ''N'' पैरामीटर हैं, तो θ {{nowrap|''N'' × 1}} [[कॉलम वेक्टर|सदिश]] <math>\theta = \begin{bmatrix}\theta_1 & \theta_2 & \dots & \theta_N\end{bmatrix}^\textsf{T}</math> है, तब फिशर | जब ''N'' पैरामीटर हैं, तो θ {{nowrap|''N'' × 1}} [[कॉलम वेक्टर|सदिश]] <math>\theta = \begin{bmatrix}\theta_1 & \theta_2 & \dots & \theta_N\end{bmatrix}^\textsf{T}</math> है, तब फिशर संसूचना {{nowrap|''N'' × ''N''}} [[मैट्रिक्स (गणित)|आव्यूह]] का रूप ले लेती है। इस आव्यूह को फिशर इंफॉर्मेशन आव्यूह (एफआईएम) कहा जाता है और इसमें विशिष्ट तत्व होता है: | ||
:<math> | :<math> | ||
| Line 116: | Line 116: | ||
\right|\theta\right]. | \right|\theta\right]. | ||
</math> | </math> | ||
एफआईएम {{nowrap|''N'' × ''N''}} [[सकारात्मक अर्ध निश्चित मैट्रिक्स|सकारात्मक अर्ध निश्चित आव्यूह है]]। यदि यह सकारात्मक निश्चित है, तो यह N-आयामी[[ पैरामीटर स्थान ]]पर [[रिमेंनियन मीट्रिक]] को परिभाषित करता है। विषय [[सूचना ज्यामिति]] इसका उपयोग फिशर | एफआईएम {{nowrap|''N'' × ''N''}} [[सकारात्मक अर्ध निश्चित मैट्रिक्स|सकारात्मक अर्ध निश्चित आव्यूह है]]। यदि यह सकारात्मक निश्चित है, तो यह N-आयामी[[ पैरामीटर स्थान ]]पर [[रिमेंनियन मीट्रिक]] को परिभाषित करता है। विषय [[सूचना ज्यामिति]] इसका उपयोग फिशर संसूचना को [[अंतर ज्यामिति]] से जोड़ने के लिए करती है, और उस संदर्भ में, इस मीट्रिक को [[फिशर सूचना मीट्रिक|फिशर संसूचना मीट्रिक]] के रूप में जाना जाता है। | ||
कुछ निश्चित नियमितता नियमों के अंतर्गत , फिशर | कुछ निश्चित नियमितता नियमों के अंतर्गत , फिशर संसूचना आव्यूह को इस रूप में भी लिखा जा सकता है: | ||
:<math> | :<math> | ||
| Line 137: | Line 137: | ||
=== सूचना लंबकोणीय पैरामीटर === | === सूचना लंबकोणीय पैरामीटर === | ||
हम कहते हैं कि दो पैरामीटर घटक सदिश θ<sub>1</sub>और θ<sub>2</sub> सूचना लंबकोणीय हैं यदि फिशर | हम कहते हैं कि दो पैरामीटर घटक सदिश θ<sub>1</sub>और θ<sub>2</sub> सूचना लंबकोणीय हैं यदि फिशर संसूचना आव्यूह भिन्न-भिन्न ब्लॉकों में इन घटकों के साथ ब्लॉक विकर्ण है।<ref>{{cite book |last1=Barndorff-Nielsen |first1=O. E. |last2=Cox |first2=D. R. |title=निष्कर्ष और स्पर्शोन्मुख|date=1994 |publisher=Chapman & Hall |isbn=9780412494406}}</ref> लंबकोणीय मापदंडों को इस अर्थ में निपटाना सरल है कि उनके अधिकतम संभावना स्पर्शोन्मुख रूप से असंबद्ध है। सांख्यिकीय मॉडल का विश्लेषण करने के विषय में विचार करते समय, मॉडेलर को सलाह दी जाती है कि वह मॉडल के लंबकोणीय पैरामीट्रिजेशन के शोध में कुछ समय निवेश करते हैं, विशेष रूप से जब ब्याज का पैरामीटर एक-आयामी है, किन्तु उपद्रव पैरामीटर का कोई आयाम हो सकता है।<ref>{{cite journal |last1=Cox |first1=D. R. |last2=Reid |first2=N. |title=पैरामीटर ऑर्थोगोनलिटी और अनुमानित सशर्त अनुमान (चर्चा के साथ)|journal=J. Royal Statistical Soc. B |date=1987 |volume=49 |pages=1-39}}</ref> | ||
=== एकवचन सांख्यिकीय मॉडल === | === एकवचन सांख्यिकीय मॉडल === | ||
{{see also|नियमित पैरामीट्रिक मॉडल}} | {{see also|नियमित पैरामीट्रिक मॉडल}} | ||
यदि फिशर | यदि फिशर संसूचना आव्यूह सभी {{mvar|θ}} के लिए सकारात्मक निश्चित है, तो संबंधित [[सांख्यिकीय मॉडल]] को नियमित कहा जाता है; अन्यथा, सांख्यिकीय मॉडल को एकवचन कहा जाता है।<ref>{{Citation|first=S. | last= Watanabe | title= Algebraic geometrical method in singular statistical estimation | journal= Quantum Bio-Informatics | editor1-first= L. | editor2-first= W. | editor3-first= M. | editor1-last= Accardi | editor2-last= Freudenberg | editor3-last=Ohya | pages= 325–336 | year= 2008 | publisher= [[World Scientific]]| bibcode= 2008qbi..conf..325W | doi= 10.1142/9789812793171_0024 | isbn= 978-981-279-316-4 }}.</ref> एकवचन सांख्यिकीय मॉडल के उदाहरणों में निम्नलिखित सम्मिलित हैं: सामान्य मिश्रण, द्विपद मिश्रण, बहुपद मिश्रण, बायेसियन नेटवर्क, तंत्रिका नेटवर्क, रेडियल आधार कार्य, छिपे हुए मार्कोव मॉडल, स्टोचैस्टिक संदर्भ-मुक्त व्याकरण, कम रैंक प्रतिगमन, बोल्ट्जमैन मशीन आदि हैं। | ||
[[ यंत्र अधिगम |मशीन लर्निंग]] में, यदि सांख्यिकीय मॉडल प्रस्तुत किया जाता है जिससे कि यह यादृच्छिक घटना से छिपी हुई संरचना को निकाल सके, तो यह स्वाभाविक रूप से एकवचन बन जाता है।<ref>{{cite journal | last1 = Watanabe | first1 = S | year = 2013 | title = एक व्यापक रूप से लागू बायेसियन सूचना मानदंड| journal = [[Journal of Machine Learning Research]] | volume = 14 | pages = 867–897 }}</ref> | [[ यंत्र अधिगम |मशीन लर्निंग]] में, यदि सांख्यिकीय मॉडल प्रस्तुत किया जाता है जिससे कि यह यादृच्छिक घटना से छिपी हुई संरचना को निकाल सके, तो यह स्वाभाविक रूप से एकवचन बन जाता है।<ref>{{cite journal | last1 = Watanabe | first1 = S | year = 2013 | title = एक व्यापक रूप से लागू बायेसियन सूचना मानदंड| journal = [[Journal of Machine Learning Research]] | volume = 14 | pages = 867–897 }}</ref> | ||
| Line 189: | Line 189: | ||
\frac{\partial\mu}{\partial\theta_n}.\ | \frac{\partial\mu}{\partial\theta_n}.\ | ||
</math> | </math> | ||
इस स्थिति में फिशर | इस स्थिति में फिशर संसूचना आव्यूह को [[कम से कम वर्गों]] के आकलन सिद्धांत के [[सामान्य समीकरण|सामान्य समीकरणों]] के गुणांक आव्यूह के साथ पहचाना जा सकता है। | ||
एक और विशेष स्थिति तब होती है जब माध्य और सहप्रसरण दो भिन्न-भिन्न सदिश मापदंडों पर निर्भर करते हैं, उन्हें β और θ कहते हैं। यह विशेष रूप से स्थानिक डेटा के विश्लेषण में लोकप्रिय है, जो प्रायः सहसंबद्ध अवशेषों के साथ रैखिक मॉडल का उपयोग करता है। इस स्थिति में,<ref>{{cite journal |title=स्थानिक प्रतिगमन में अवशिष्ट सहप्रसरण के लिए मॉडलों का अधिकतम संभावना अनुमान|first1=K. V. |last1=Mardia |first2=R. J. |last2=Marshall |journal=[[Biometrika]] |year=1984 |volume=71 |issue=1 |pages=135–46 |doi=10.1093/biomet/71.1.135 }}</ref> | एक और विशेष स्थिति तब होती है जब माध्य और सहप्रसरण दो भिन्न-भिन्न सदिश मापदंडों पर निर्भर करते हैं, उन्हें β और θ कहते हैं। यह विशेष रूप से स्थानिक डेटा के विश्लेषण में लोकप्रिय है, जो प्रायः सहसंबद्ध अवशेषों के साथ रैखिक मॉडल का उपयोग करता है। इस स्थिति में,<ref>{{cite journal |title=स्थानिक प्रतिगमन में अवशिष्ट सहप्रसरण के लिए मॉडलों का अधिकतम संभावना अनुमान|first1=K. V. |last1=Mardia |first2=R. J. |last2=Marshall |journal=[[Biometrika]] |year=1984 |volume=71 |issue=1 |pages=135–46 |doi=10.1093/biomet/71.1.135 }}</ref> | ||
| Line 201: | Line 201: | ||
=== श्रृंखला नियम === | === श्रृंखला नियम === | ||
एंट्रॉपी या पारस्परिक | एंट्रॉपी या पारस्परिक संसूचना के समान फिशर की संसूचना में भी श्रृंखला नियम अपघटन होता है। विशेष रूप से, यदि ''X'' और ''Y'' संयुक्त रूप से यादृच्छिक चर वितरित किए जाते हैं, तो यह इस प्रकार है:<ref>{{cite journal |title=डेटा प्रोसेसिंग तर्क के माध्यम से फिशर सूचना असमानता का प्रमाण|first=R. |last=Zamir |journal=[[IEEE Transactions on Information Theory]] |year=1998 |volume=44 |issue=3 |pages=1246–1250 |doi=10.1109/18.669301 |citeseerx=10.1.1.49.6628 }}</ref> | ||
<math>\mathcal{I}_{X,Y}(\theta) = \mathcal{I}_X(\theta) + \mathcal{I}_{Y\mid X}(\theta)</math> | <math>\mathcal{I}_{X,Y}(\theta) = \mathcal{I}_X(\theta) + \mathcal{I}_{Y\mid X}(\theta)</math> | ||
जहाँ <math>\mathcal{I}_{Y\mid X}(\theta) = \operatorname{E}_{X} \left[ \mathcal{I}_{Y\mid X = x}(\theta) \right] </math> और <math> \mathcal{I}_{Y\mid X = x}(\theta) </math> Y के सापेक्ष फिशर | जहाँ <math>\mathcal{I}_{Y\mid X}(\theta) = \operatorname{E}_{X} \left[ \mathcal{I}_{Y\mid X = x}(\theta) \right] </math> और <math> \mathcal{I}_{Y\mid X = x}(\theta) </math> Y के सापेक्ष फिशर संसूचना <math>\theta</math> है, विशिष्ट मान X = x दिए जाने पर Y के नियमानुसार घनत्व के संबंध में गणना की जाती है। | ||
विशेष स्थिति के रूप में, यदि दो यादृच्छिक चर [[सांख्यिकीय स्वतंत्रता|स्वतंत्रत]] हैं, तो दो यादृच्छिक चर द्वारा उत्पन्न | विशेष स्थिति के रूप में, यदि दो यादृच्छिक चर [[सांख्यिकीय स्वतंत्रता|स्वतंत्रत]] हैं, तो दो यादृच्छिक चर द्वारा उत्पन्न संसूचना प्रत्येक यादृच्छिक चर से भिन्न-भिन्न संसूचना का योग है: | ||
:<math>\mathcal{I}_{X,Y}(\theta) = \mathcal{I}_X(\theta) + \mathcal{I}_Y(\theta).</math> | :<math>\mathcal{I}_{X,Y}(\theta) = \mathcal{I}_X(\theta) + \mathcal{I}_Y(\theta).</math> | ||
परिणामस्वरूप, n [[स्वतंत्र और समान रूप से वितरित यादृच्छिक चर]] अवलोकनों के यादृच्छिक प्रतिरूप में | परिणामस्वरूप, n [[स्वतंत्र और समान रूप से वितरित यादृच्छिक चर]] अवलोकनों के यादृच्छिक प्रतिरूप में संसूचना आकार 1 के प्रतिरूप में संसूचना का n गुना है। | ||
=== [[एफ-विचलन|F-विचलन]] === | === [[एफ-विचलन|F-विचलन]] === | ||
उत्तल फलन दिया <math>f: [0, \infty)\to(-\infty, \infty]</math> वह <math>f(x)</math> सभी के लिए परिमित है <math>x > 0</math>, <math>f(1)=0</math>, और <math>f(0)=\lim_{t\to 0^+} f(t) </math>, (जो अनंत हो सकता है), यह f-विचलन को <math>D_f</math> के रूप में परिभाषित करता है, तो यदि <math>f</math> सख्ती से उत्तल है <math>1</math>, फिर स्थानीय रूप से <math>\theta\in\Theta</math> होता है, फिशर | उत्तल फलन दिया <math>f: [0, \infty)\to(-\infty, \infty]</math> वह <math>f(x)</math> सभी के लिए परिमित है <math>x > 0</math>, <math>f(1)=0</math>, और <math>f(0)=\lim_{t\to 0^+} f(t) </math>, (जो अनंत हो सकता है), यह f-विचलन को <math>D_f</math> के रूप में परिभाषित करता है, तो यदि <math>f</math> सख्ती से उत्तल है <math>1</math>, फिर स्थानीय रूप से <math>\theta\in\Theta</math> होता है, फिशर संसूचना आव्यूह मीट्रिक है, इस अर्थ में कि;<ref name=":02">{{Cite web |last=Polyanskiy |first=Yury |date=2017 |title=Lecture notes on information theory, chapter 29, ECE563 (UIUC) |url=https://people.lids.mit.edu/yp/homepage/data/LN_stats.pdf |url-status=live |archive-url=https://web.archive.org/web/20220524014051/https://people.lids.mit.edu/yp/homepage/data/LN_stats.pdf |archive-date=2022-05-24 |access-date=2022-05-24 |website=Lecture notes on information theory}}</ref><math display="block">(\delta\theta)^T I(\theta) (\delta\theta) = \frac{1}{f''(1)}D_f(P_{\theta+\delta\theta} \| P_{\theta})</math>जहाँ <math>P_\theta</math> द्वारा पैरामीट्रिज्ड वितरण <math>\theta</math> है। अर्थात यह पीडीएफ के साथ वितरण <math>f(x; \theta)</math>है। | ||
इस रूप में, यह स्पष्ट है कि फिशर | इस रूप में, यह स्पष्ट है कि फिशर संसूचना आव्यूह रीमैनियन मीट्रिक है, और चर के परिवर्तन के अंतर्गत उचित रूप से भिन्न होता है। (रिपैरामेट्रिजेशन पर अनुभाग देखें) | ||
=== पर्याप्त आंकड़े === | === पर्याप्त आंकड़े === | ||
[[पर्याप्तता (सांख्यिकी)|पर्याप्त आंकड़े]] द्वारा प्रदान की गई | [[पर्याप्तता (सांख्यिकी)|पर्याप्त आंकड़े]] द्वारा प्रदान की गई संसूचना प्रतिरूप ''X'' के समान है। इसे पर्याप्त आँकड़ों के लिए नेमैन के गुणनखंडन का उपयोग करके देखा जा सकता है। यदि T(X) θ के लिए पर्याप्त है, तब; | ||
:<math>f(X; \theta) = g(T(X), \theta) h(X)</math> | :<math>f(X; \theta) = g(T(X), \theta) h(X)</math> | ||
कुछ फलनों के लिए ''g'' और ''h'' है। θ से h(X) की स्वतंत्रता का तात्पर्य है: | कुछ फलनों के लिए ''g'' और ''h'' है। θ से h(X) की स्वतंत्रता का तात्पर्य है: | ||
:<math>\frac{\partial}{\partial\theta} \log \left[f(X; \theta)\right] = \frac{\partial}{\partial\theta} \log\left[g(T(X);\theta)\right],</math> | :<math>\frac{\partial}{\partial\theta} \log \left[f(X; \theta)\right] = \frac{\partial}{\partial\theta} \log\left[g(T(X);\theta)\right],</math> | ||
और सूचना की समानता फ़िशर | और सूचना की समानता फ़िशर संसूचना की परिभाषा से अनुसरण करती है। अधिक सामान्यतः, यदि {{nowrap|''T {{=}} t''(''X'')}} तब आँकड़ा है: | ||
:<math> \mathcal{I}_T(\theta) \leq \mathcal{I}_X(\theta) </math> | :<math> \mathcal{I}_T(\theta) \leq \mathcal{I}_X(\theta) </math> | ||
समानता के साथ [[अगर और केवल अगर|यदि और केवल]] ''T'' पर्याप्त आंकड़ा है।<ref name="Schervish">{{cite book | last = Schervish | first = Mark J. |page=113| title = सिद्धांत सांख्यिकी| publisher=Springer-Verlag | year = 1995 }}</ref> | समानता के साथ [[अगर और केवल अगर|यदि और केवल]] ''T'' पर्याप्त आंकड़ा है।<ref name="Schervish">{{cite book | last = Schervish | first = Mark J. |page=113| title = सिद्धांत सांख्यिकी| publisher=Springer-Verlag | year = 1995 }}</ref> | ||
===रिपैरामेट्रिजेशन === | ===रिपैरामेट्रिजेशन === | ||
फिशर की | फिशर की संसूचना समस्या के पैरामीट्रिजेशन पर निर्भर करती है। यदि θ और η अनुमान समस्या के दो अदिश पैरामीट्रिजेशन हैं, और θ η का निरंतर भिन्न-भिन्न फलन है, तो | ||
:<math>{\mathcal I}_\eta(\eta) = {\mathcal I}_\theta(\theta(\eta)) \left( \frac{d\theta}{d\eta} \right)^2</math> | :<math>{\mathcal I}_\eta(\eta) = {\mathcal I}_\theta(\theta(\eta)) \left( \frac{d\theta}{d\eta} \right)^2</math> | ||