फिशर संसूचना: Difference between revisions

From Vigyanwiki
No edit summary
No edit summary
Line 47: Line 47:


=== क्रैमर-राव बाउंड की अनौपचारिक व्युत्पत्ति ===
=== क्रैमर-राव बाउंड की अनौपचारिक व्युत्पत्ति ===
द क्रैमर-राव बाउंड<ref>Cramer (1946)</ref><ref>Rao (1945)</ref> बताता है कि फिशर जानकारी का व्युत्क्रम θ के किसी भी निष्पक्ष अनुमानक के विचरण पर निचली सीमा है। एच.एल. वैन ट्रीज़ (1968) और बी. रॉय फ्रीडेन (2004) क्रैमर-राव बाउंड प्राप्त करने की निम्नलिखित विधि प्रदान करते हैं, जिसके परिणामस्वरूप फिशर जानकारी के उपयोग का वर्णन होता है।
क्रैमर-राव बाउंड<ref>Cramer (1946)</ref><ref>Rao (1945)</ref> कहता है कि फिशर जानकारी का व्युत्क्रम θ के किसी भी निष्पक्ष अनुमानक के विचरण पर निचली सीमा है। एच.एल. वैन ट्रीज़ (1968) और बी. रॉय फ्रीडेन (2004) क्रैमर-राव बाउंड प्राप्त करने की निम्नलिखित विधि प्रदान करते हैं, जिसके परिणामस्वरूप फिशर जानकारी के उपयोग का वर्णन होता है।


अनौपचारिक रूप से, हम निष्पक्ष अनुमानक पर विचार करके प्रारंभ करते हैं <math>\hat\theta(X)</math>. गणितीय रूप से, निष्पक्ष का अर्थ है कि
अनौपचारिक रूप से, हम निष्पक्ष अनुमानक पर विचार करके <math>\hat\theta(X)</math> प्रारंभ करते हैं, गणितीय रूप से, निष्पक्ष का अर्थ है कि;


:<math>
:<math>
Line 55: Line 55:
= \int \left(\hat\theta(x) - \theta\right) \, f(x ;\theta) \, dx = 0 \text{ regardless of the value of } \theta.
= \int \left(\hat\theta(x) - \theta\right) \, f(x ;\theta) \, dx = 0 \text{ regardless of the value of } \theta.
</math>
</math>
यह अभिव्यक्ति θ से स्वतंत्र शून्य है, इसलिए θ के संबंध में इसका आंशिक व्युत्पन्न भी शून्य होना चाहिए। उत्पाद नियम के अनुसार, यह आंशिक अवकलज भी बराबर है
यह अभिव्यक्ति θ से स्वतंत्र शून्य है, इसलिए θ के संबंध में इसका आंशिक व्युत्पन्न भी शून्य होना चाहिए। उत्पाद नियम के अनुसार, यह आंशिक अवकलज भी समान है:


:<math>
:<math>
Line 61: Line 61:
= \int \left(\hat\theta(x)-\theta\right) \frac{\partial f}{\partial\theta} \, dx - \int f \,dx.
= \int \left(\hat\theta(x)-\theta\right) \frac{\partial f}{\partial\theta} \, dx - \int f \,dx.
</math>
</math>
प्रत्येक θ के लिए, प्रायिकता फलन प्रायिकता घनत्व फलन है, और इसलिए <math>\int f\,dx = 1</math>. के आंशिक व्युत्पन्न पर [[श्रृंखला नियम]] का उपयोग करके <math>\log f</math> और फिर से विभाजित और गुणा करना <math>f(x;\theta)</math>, कोई इसे सत्यापित कर सकता है
प्रत्येक θ के लिए, प्रायिकता फलन प्रायिकता घनत्व फलन है, और इसलिए <math>\int f\,dx = 1</math> के आंशिक व्युत्पन्न पर [[श्रृंखला नियम]] का उपयोग करके <math>\log f</math> और पुनः विभाजित और <math>f(x;\theta)</math> गुणा करना, कोई इसे सत्यापित कर सकता है:


:<math>\frac{\partial f}{\partial\theta} = f \, \frac{\partial \log f}{\partial\theta}.</math>
:<math>\frac{\partial f}{\partial\theta} = f \, \frac{\partial \log f}{\partial\theta}.</math>
उपर्युक्त में इन दो तथ्यों का प्रयोग करने पर हमें प्राप्त होता है
उपर्युक्त में इन दो तथ्यों का प्रयोग करने पर हमें प्राप्त होता है:


:<math>
:<math>
\int \left(\hat\theta-\theta\right) f \, \frac{\partial \log f}{\partial\theta} \, dx = 1.
\int \left(\hat\theta-\theta\right) f \, \frac{\partial \log f}{\partial\theta} \, dx = 1.
</math>
</math>
इंटीग्रैंड देता है फैक्टरिंग
इंटीग्रैंड फैक्टरिंग देता है:
:<math>
:<math>
\int \left(\left(\hat\theta-\theta\right) \sqrt{f} \right) \left( \sqrt{f} \, \frac{\partial \log f}{\partial\theta} \right) \, dx = 1.
\int \left(\left(\hat\theta-\theta\right) \sqrt{f} \right) \left( \sqrt{f} \, \frac{\partial \log f}{\partial\theta} \right) \, dx = 1.
</math>
</math>
समाकलन में व्यंजक का वर्ग करने पर कॉशी-श्वार्ज़ असमानता प्राप्त होती है
समाकलन में व्यंजक का वर्ग करने पर कॉशी-श्वार्ज़ असमानता प्राप्त होती है:


:<math>
:<math>
Line 81: Line 81:
\left[ \int \left(\hat\theta - \theta\right)^2 f \, dx \right] \cdot \left[ \int \left( \frac{\partial \log f}{\partial\theta} \right)^2 f \, dx \right].
\left[ \int \left(\hat\theta - \theta\right)^2 f \, dx \right] \cdot \left[ \int \left( \frac{\partial \log f}{\partial\theta} \right)^2 f \, dx \right].
</math>
</math>
दूसरा ब्रैकेटेड कारक फिशर सूचना के रूप में परिभाषित किया गया है, जबकि पहला ब्रैकेटेड कारक अनुमानक की अपेक्षित माध्य-वर्ग त्रुटि है <math>\hat\theta</math>. पुनर्व्यवस्थित करके, असमानता हमें बताती है कि
दूसरा ब्रैकेटेड कारक फिशर सूचना के रूप में परिभाषित किया गया है, जबकि प्रथम ब्रैकेटेड कारक अनुमानक की अपेक्षित माध्य-वर्ग त्रुटि <math>\hat\theta</math> है, पुनर्व्यवस्थित करके, असमानता हमें बताती है कि;


:<math>
:<math>
\operatorname{Var}\left(\hat\theta\right) \geq \frac{1}{\mathcal{I}\left(\theta\right)}.
\operatorname{Var}\left(\hat\theta\right) \geq \frac{1}{\mathcal{I}\left(\theta\right)}.
</math>
</math>
दूसरे शब्दों में, जिस सटीकता का हम अनुमान लगा सकते हैं, वह मौलिक रूप से संभावित कार्य की फिशर जानकारी द्वारा सीमित है।
दूसरे शब्दों में, जिस त्रुटिहीनता का हम अनुमान लगा सकते हैं, वह मौलिक रूप से संभावित कार्य की फिशर जानकारी द्वारा सीमित है।


वैकल्पिक रूप से, यादृच्छिक चर के लिए कॉची-श्वार्ज़ असमानता | कॉची-श्वार्ज़ असमानता से सीधे ही निष्कर्ष प्राप्त किया जा सकता है, <math>|\operatorname{Cov}(AB)|^2 \le \operatorname{Var}(A)\operatorname{Var}(B)</math>, यादृच्छिक चर पर लागू होता है <math>\hat\theta(X)</math> और <math>\partial_\theta\log f(X;\theta)</math>, और यह देखते हुए कि हमारे पास निष्पक्ष अनुमानक हैं<math display="block">\operatorname{Cov}[\hat\theta(X)\partial_\theta \log f(X;\theta)] =
वैकल्पिक रूप से, यादृच्छिक चर के लिए कॉची-श्वार्ज़ असमानता से सीधे ही निष्कर्ष प्राप्त किया जा सकता है, <math>|\operatorname{Cov}(AB)|^2 \le \operatorname{Var}(A)\operatorname{Var}(B)</math>, यादृच्छिक चर <math>\hat\theta(X)</math> और <math>\partial_\theta\log f(X;\theta)</math> पर प्रारम्भ होता है, और यह देखते हुए कि निष्पक्ष अनुमानक हैं:<math display="block">\operatorname{Cov}[\hat\theta(X)\partial_\theta \log f(X;\theta)] =
\int dx (\hat\theta(x)-\mathrm E[\hat\theta])\partial_\theta f(x;\theta) = \partial_\theta \mathrm E[\hat\theta] = 1.</math>
\int dx (\hat\theta(x)-\mathrm E[\hat\theta])\partial_\theta f(x;\theta) = \partial_\theta \mathrm E[\hat\theta] = 1.</math>
===एकल-पैरामीटर बरनौली प्रयोग===
===एकल-पैरामीटर बरनौली प्रयोग===
एक [[बरनौली परीक्षण]] दो संभावित परिणामों, सफलता और असफलता के साथ यादृच्छिक चर है, जिसमें सफलता की संभावना θ है। परिणाम के बारे में सोचा जा सकता है कि सिक्का टॉस द्वारा निर्धारित किया जा सकता है, जिसमें हेड होने की संभावना θ और पूंछ होने की संभावना है {{nowrap|1 − ''θ''}}.
[[बरनौली परीक्षण]] दो संभावित परिणामों, सफलता और असफलता के साथ यादृच्छिक चर है, जिसमें सफलता की संभावना θ है। परिणाम के विषय में सोचा जा सकता है कि सिक्का टॉस द्वारा निर्धारित किया जा सकता है, जिसमें हेड होने की संभावना θ और पूंछ होने की संभावना {{nowrap|1 − ''θ''}} है।


बता दें कि एक्स बर्नौली परीक्षण है। X में निहित फिशर जानकारी की गणना की जा सकती है
मान लीजिये कि X बरनौली परीक्षण है। X में निहित फिशर जानकारी की गणना की जा सकती है:
:<math>\begin{align}
:<math>\begin{align}
   \mathcal{I}(\theta)
   \mathcal{I}(\theta)
Line 102: Line 102:
     &= \frac{1}{\theta(1 - \theta)}.
     &= \frac{1}{\theta(1 - \theta)}.
\end{align}</math>
\end{align}</math>
क्योंकि फिशर की जानकारी योगात्मक है, फिशर की जानकारी n स्वतंत्र बर्नौली परीक्षणों में निहित है
क्योंकि फिशर की जानकारी योगात्मक है, फिशर की जानकारी n स्वतंत्र बर्नौली परीक्षणों में निहित है:
:<math>\mathcal{I}(\theta) = \frac{n}{\theta(1 - \theta)}.</math>
:<math>\mathcal{I}(\theta) = \frac{n}{\theta(1 - \theta)}.</math>
यह एन बर्नौली परीक्षणों में सफलताओं की औसत संख्या के विचरण का पारस्परिक है, इसलिए इस स्थिति में, क्रैमर-राव बाउंड समानता है।
यह ''n'' बर्नौली परीक्षणों में सफलताओं की औसत संख्या के विचरण का पारस्परिक है, इसलिए इस स्थिति में, क्रैमर-राव बाउंड समानता है।


== आव्यूह फॉर्म ==
== आव्यूह फॉर्म ==

Revision as of 09:45, 20 June 2023

गणितीय आँकड़ों में, फ़िशर जानकारी (कभी-कभी केवल सूचना कहलाती है[1]) जानकारी की मात्रा को मापने का प्रकार है जो प्रेक्षण योग्य यादृच्छिक चर X वितरण के अज्ञात पैरामीटर θ के मॉडल X के विषय में होता है। औपचारिक रूप से, यह स्कोर की भिन्नता है, या देखी गई जानकारी का अपेक्षित मूल्य होता है।

सांख्यिकीविद् रोनाल्ड फिशर (फ्रांसिस यसिड्रो एडगेवर्थ द्वारा कुछ प्रारंभिक परिणामों के पश्चात) द्वारा अधिकतम-संभावना अनुमान के स्पर्शोन्मुख सिद्धांत में फिशर जानकारी की भूमिका पर जोर दिया गया था। फिशर जानकारी आव्यूह का उपयोग अधिकतम-संभावना अनुमानों से जुड़े सहप्रसरण आव्यूह की गणना करने के लिए किया जाता है। इसका उपयोग परीक्षण आँकड़ों के निर्माण में जैसे वाल्ड परीक्षण किया जा सकता है।

बायेसियन सांख्यिकी में, फिशर की जानकारी जेफ़रीज़ के नियम के अनुसार गैर-सूचनात्मक पूर्व वितरणों की व्युत्पत्ति में भूमिका निभाती है।[2] यह पश्च वितरण के बड़े-प्रारूप सहप्रसरण के रूप में भी प्रकट होता है, नियम यह है कि पूर्व पर्याप्त रूप से सुचारू हो (परिणाम जिसे बर्नस्टीन-वॉन मिज़ प्रमेय के रूप में जाना जाता है, जिसे घातीय परिवारों के लिए लाप्लास द्वारा प्रत्याशित किया गया था)।[3] लाप्लास के सन्निकटन के साथ पोस्टीरियर का अनुमान लगाते समय उसी परिणाम का उपयोग किया जाता है, जहां फिशर की जानकारी फिटेड गॉसियन के सहप्रसरण के रूप में दिखाई देती है।[4]

वैज्ञानिक प्रकृति (भौतिक, जैविक, आदि) की सांख्यिकीय प्रणालियाँ जिनके संभावित कार्य शिफ्ट-इनवेरिएंट का पालन करते हैं, उन्हें अधिकतम फिशर जानकारी का पालन करने के लिए दिखाया गया है।[5] अधिकतम स्तर प्रणाली बाधाओं की प्रकृति पर निर्भर करता है।

परिभाषा

फ़िशर जानकारी, जानकारी की मात्रा को मापने की विधि है जो अवलोकन योग्य यादृच्छिक चर है में अज्ञात पैरामीटर है जिस पर की संभावना है निर्भर करता है। मान लीजिये के लिए प्रायिकता घनत्व फलन (या प्रायिकता द्रव्यमान फलन) के मान पर प्रतिबंधित होता है। यह संभावना का वर्णन करता है कि हम दिए गए परिणाम का निरीक्षण करते हैं , का ज्ञात मान दिया गया है। यदि में परिवर्तनों के संबंध में तीव्रता से चरम पर का उचित मान प्रदर्शित करना सरल है डेटा से, या समकक्ष, कि डेटा पैरामीटर के विषय में अत्यधिक जानकारी प्रदान करता है। यदि समतल और विस्तारित है, तो यह कई प्रतिरूप लेगा के वास्तविक उचित मान का अनुमान लगाने के लिए वह प्रतिचयन की जा रही संपूर्ण जनसंख्या का उपयोग करके प्राप्त किया जाएगा। यह किसी प्रकार के विचरण के संबंध में अध्ययन करने का सुझाव देता है।

औपचारिक रूप से, के संबंध में आंशिक व्युत्पन्न प्रायिकता फलन के प्राकृतिक लघुगणक को स्कोर कहा जाता है। कुछ नियमितता प्रावधानों के अंतर्गत, यदि उचित पैरामीटर है (अर्थात वास्तव में के रूप में वितरित किया जाता है), यह दिखाया जा सकता है कि स्कोर का अपेक्षित मान (प्रथम क्षण), उचित पैरामीटर मान पर मूल्यांकन , 0 किया गया है:[6]