फिशर संसूचना: Difference between revisions
From Vigyanwiki
No edit summary |
No edit summary |
||
| Line 9: | Line 9: | ||
== परिभाषा == | == परिभाषा == | ||
फ़िशर सूचना सूचना की मात्रा को मापने का तरीका है जो अवलोकन योग्य यादृच्छिक चर है <math>X</math> अज्ञात [[पैरामीटर]] के बारे में वहन करता है <math>\theta</math> जिस पर की संभावना है <math>X</math> निर्भर करता है। होने देना <math>f(X;\theta)</math> के लिए प्रायिकता घनत्व फलन (या प्रायिकता द्रव्यमान फलन) हो <math>X</math> के मूल्य पर वातानुकूलित <math>\theta</math>. यह संभावना का वर्णन करता है कि हम दिए गए परिणाम का निरीक्षण करते हैं <math>X</math>, का ज्ञात मान दिया गया है <math>\theta</math>. | फ़िशर सूचना सूचना की मात्रा को मापने का तरीका है जो अवलोकन योग्य यादृच्छिक चर है <math>X</math> अज्ञात [[पैरामीटर]] के बारे में वहन करता है <math>\theta</math> जिस पर की संभावना है <math>X</math> निर्भर करता है। होने देना <math>f(X;\theta)</math> के लिए प्रायिकता घनत्व फलन (या प्रायिकता द्रव्यमान फलन) हो <math>X</math> के मूल्य पर वातानुकूलित <math>\theta</math>. यह संभावना का वर्णन करता है कि हम दिए गए परिणाम का निरीक्षण करते हैं <math>X</math>, का ज्ञात मान दिया गया है <math>\theta</math>. यदि <math>f</math> में परिवर्तनों के संबंध में तेजी से चरम पर है <math>\theta</math>, के सही मान को इंगित करना आसान है <math>\theta</math> डेटा से, या समकक्ष, कि डेटा <math>X</math> पैरामीटर के बारे में बहुत सारी जानकारी प्रदान करता है <math>\theta</math>. यदि <math>f</math> समतल और फैला हुआ है, तो यह कई नमूने लेगा <math>X</math> के वास्तविक वास्तविक मूल्य का अनुमान लगाने के लिए <math>\theta</math> जो पूरी आबादी के नमूने का उपयोग करके प्राप्त किया जाएगा। यह किसी प्रकार के विचरण के संबंध में अध्ययन करने का सुझाव देता है <math>\theta</math>. | ||
औपचारिक रूप से, के संबंध में [[आंशिक व्युत्पन्न]] <math>\theta</math> प्रायिकता फलन के [[प्राकृतिक]] लघुगणक को स्कोर (सांख्यिकी) कहा जाता है। कुछ नियमितता शर्तों के | औपचारिक रूप से, के संबंध में [[आंशिक व्युत्पन्न]] <math>\theta</math> प्रायिकता फलन के [[प्राकृतिक]] लघुगणक को स्कोर (सांख्यिकी) कहा जाता है। कुछ नियमितता शर्तों के अंतर्गत , यदि <math>\theta</math> सही पैरामीटर है (अर्थात <math>X</math> वास्तव में के रूप में वितरित किया जाता है <math>f(X;\theta)</math>), यह दिखाया जा सकता है कि स्कोर का अपेक्षित मूल्य (पहला क्षण (गणित)), सही पैरामीटर मान पर मूल्यांकन किया गया <math>\theta</math>, 0 है:<ref name=SubaRao>{{cite web|last=Suba Rao|title=सांख्यिकीय अनुमान पर व्याख्यान|url=http://www.stat.tamu.edu/~suhasini/teaching613/inference.pdf}}</ref> :<math>\begin{align} | ||
\operatorname{E} \left[\left. \frac{\partial}{\partial\theta} \log f(X;\theta)\right|\theta \right] | \operatorname{E} \left[\left. \frac{\partial}{\partial\theta} \log f(X;\theta)\right|\theta \right] | ||
={} &\int_{\mathbb{R}} \frac{\frac{\partial}{\partial\theta} f(x;\theta)}{f(x; \theta)} f(x;\theta)\,dx \\[3pt] | ={} &\int_{\mathbb{R}} \frac{\frac{\partial}{\partial\theta} f(x;\theta)}{f(x; \theta)} f(x;\theta)\,dx \\[3pt] | ||
| Line 20: | Line 20: | ||
फिशर जानकारी को स्कोर के विचरण के रूप में परिभाषित किया गया है:<ref>Fisher (1922)</ref> | फिशर जानकारी को स्कोर के विचरण के रूप में परिभाषित किया गया है:<ref>Fisher (1922)</ref> | ||
:<math> \mathcal{I}(\theta) = \operatorname{E} \left[\left. \left(\frac{\partial}{\partial\theta} \log f(X;\theta)\right)^2\right|\theta \right] = \int_{\mathbb{R}} \left(\frac{\partial}{\partial\theta} \log f(x;\theta)\right)^2 f(x; \theta)\,dx,</math> | :<math> \mathcal{I}(\theta) = \operatorname{E} \left[\left. \left(\frac{\partial}{\partial\theta} \log f(X;\theta)\right)^2\right|\theta \right] = \int_{\mathbb{R}} \left(\frac{\partial}{\partial\theta} \log f(x;\theta)\right)^2 f(x; \theta)\,dx,</math> | ||
ध्यान दें कि <math>0 \leq \mathcal{I}(\theta)</math>. उच्च फिशर जानकारी वाले यादृच्छिक चर का अर्थ है कि स्कोर का निरपेक्ष मान | ध्यान दें कि <math>0 \leq \mathcal{I}(\theta)</math>. उच्च फिशर जानकारी वाले यादृच्छिक चर का अर्थ है कि स्कोर का निरपेक्ष मान प्रायः उच्च होता है। फिशर की जानकारी किसी विशेष अवलोकन का कार्य नहीं है, क्योंकि यादृच्छिक चर X को औसत कर दिया गया है। | ||
यदि {{nowrap|log ''f''(''x''; ''θ'')}} θ के संबंध में दो बार अवकलनीय है, और कुछ नियमितता शर्तों के अंतर्गत , फ़िशर जानकारी को इस रूप में भी लिखा जा सकता है<ref>Lehmann & Casella, eq. (2.5.16), Lemma 5.3, p.116.</ref> | |||
:<math> \mathcal{I}(\theta) = - \operatorname{E} \left[\left. \frac{\partial^2}{\partial\theta^2} \log f(X;\theta)\right|\theta \right],</math> | :<math> \mathcal{I}(\theta) = - \operatorname{E} \left[\left. \frac{\partial^2}{\partial\theta^2} \log f(X;\theta)\right|\theta \right],</math> | ||
तब से | तब से | ||
| Line 33: | Line 33: | ||
=== नियमितता की स्थिति === | === नियमितता की स्थिति === | ||
नियमितता की शर्तें इस प्रकार हैं:<ref>{{Cite book|last=Schervish|first=Mark J.|url=https://www.worldcat.org/oclc/852790658|title=सांख्यिकी का सिद्धांत|date=1995|publisher=Springer New York|isbn=978-1-4612-4250-5|location=New York, NY|pages=111|oclc=852790658}}</ref> | नियमितता की शर्तें इस प्रकार हैं:<ref>{{Cite book|last=Schervish|first=Mark J.|url=https://www.worldcat.org/oclc/852790658|title=सांख्यिकी का सिद्धांत|date=1995|publisher=Springer New York|isbn=978-1-4612-4250-5|location=New York, NY|pages=111|oclc=852790658}}</ref> | ||
# θ के संबंध में f(X; θ) का आंशिक व्युत्पन्न [[लगभग हर जगह]] | # θ के संबंध में f(X; θ) का आंशिक व्युत्पन्न [[लगभग हर जगह]] उपस्थित है। (यह शून्य सेट पर अस्तित्व में विफल हो सकता है, जब तक कि यह सेट θ पर निर्भर न हो।) | ||
# एफ (एक्स; θ) का अभिन्न अंग θ के संबंध में अभिन्न चिह्न के | # एफ (एक्स; θ) का अभिन्न अंग θ के संबंध में अभिन्न चिह्न के अंतर्गत विभेदित किया जा सकता है। | ||
# f(X; θ) का [[समर्थन (गणित)]] θ पर निर्भर नहीं करता है। | # f(X; θ) का [[समर्थन (गणित)]] θ पर निर्भर नहीं करता है। | ||
यदि θ सदिश राशि है तो θ के प्रत्येक घटक के लिए नियमितता की शर्तें होनी चाहिए। घनत्व का उदाहरण खोजना आसान है जो नियमितता की शर्तों को पूरा नहीं करता है: समान (0, θ) चर का घनत्व 1 और 3 की शर्तों को पूरा करने में विफल रहता है। इस मामले में, भले ही फिशर की जानकारी से गणना की जा सकती है परिभाषा, इसमें वे गुण नहीं होंगे जो इसे | यदि θ सदिश राशि है तो θ के प्रत्येक घटक के लिए नियमितता की शर्तें होनी चाहिए। घनत्व का उदाहरण खोजना आसान है जो नियमितता की शर्तों को पूरा नहीं करता है: समान (0, θ) चर का घनत्व 1 और 3 की शर्तों को पूरा करने में विफल रहता है। इस मामले में, भले ही फिशर की जानकारी से गणना की जा सकती है परिभाषा, इसमें वे गुण नहीं होंगे जो इसे सामान्यतः माना जाता है। | ||
=== [[संभावना]] के संदर्भ में === | === [[संभावना]] के संदर्भ में === | ||
चूँकि दिए गए X के θ की संभावना हमेशा प्रायिकता f(X; θ) के समानुपाती होती है, उनके लघुगणक आवश्यक रूप से स्थिरांक से भिन्न होते हैं जो θ से स्वतंत्र होता है, और θ के संबंध में इन लघुगणकों के डेरिवेटिव आवश्यक रूप से बराबर होते हैं। इस प्रकार लॉग-लाइबिलिटी एल (θ; एक्स) के | चूँकि दिए गए X के θ की संभावना हमेशा प्रायिकता f(X; θ) के समानुपाती होती है, उनके लघुगणक आवश्यक रूप से स्थिरांक से भिन्न होते हैं जो θ से स्वतंत्र होता है, और θ के संबंध में इन लघुगणकों के डेरिवेटिव आवश्यक रूप से बराबर होते हैं। इस प्रकार लॉग-लाइबिलिटी एल (θ; एक्स) के अतिरिक्त स्थानापन्न कर सकता है {{math|log ''f''(''X''; ''θ'')}} फिशर सूचना की परिभाषा में। | ||
=== किसी भी आकार के नमूने === | === किसी भी आकार के नमूने === | ||
| Line 119: | Line 119: | ||
एफआईएम है {{nowrap|''N'' × ''N''}} [[सकारात्मक अर्ध निश्चित मैट्रिक्स]]। यदि यह सकारात्मक निश्चित है, तो यह एन-डायमेंशनल [[ पैरामीटर स्थान ]] पर [[रिमेंनियन मीट्रिक]] को परिभाषित करता है। विषय [[सूचना ज्यामिति]] इसका उपयोग फिशर जानकारी को [[अंतर ज्यामिति]] से जोड़ने के लिए करती है, और उस संदर्भ में, इस मीट्रिक को [[फिशर सूचना मीट्रिक]] के रूप में जाना जाता है। | एफआईएम है {{nowrap|''N'' × ''N''}} [[सकारात्मक अर्ध निश्चित मैट्रिक्स]]। यदि यह सकारात्मक निश्चित है, तो यह एन-डायमेंशनल [[ पैरामीटर स्थान ]] पर [[रिमेंनियन मीट्रिक]] को परिभाषित करता है। विषय [[सूचना ज्यामिति]] इसका उपयोग फिशर जानकारी को [[अंतर ज्यामिति]] से जोड़ने के लिए करती है, और उस संदर्भ में, इस मीट्रिक को [[फिशर सूचना मीट्रिक]] के रूप में जाना जाता है। | ||
कुछ निश्चित नियमितता शर्तों के | कुछ निश्चित नियमितता शर्तों के अंतर्गत , फिशर सूचना आव्यूह को इस रूप में भी लिखा जा सकता है | ||
:<math> | :<math> | ||
| Line 142: | Line 142: | ||
{{see also|नियमित पैरामीट्रिक मॉडल}} | {{see also|नियमित पैरामीट्रिक मॉडल}} | ||
यदि फिशर सूचना आव्यूह सभी के लिए सकारात्मक निश्चित है {{mvar|θ}}, तो संबंधित [[सांख्यिकीय मॉडल]] को नियमित कहा जाता है; अन्यथा, सांख्यिकीय मॉडल को एकवचन कहा जाता है।<ref>{{Citation|first=S. | last= Watanabe | title= Algebraic geometrical method in singular statistical estimation | journal= Quantum Bio-Informatics | editor1-first= L. | editor2-first= W. | editor3-first= M. | editor1-last= Accardi | editor2-last= Freudenberg | editor3-last=Ohya | pages= 325–336 | year= 2008 | publisher= [[World Scientific]]| bibcode= 2008qbi..conf..325W | doi= 10.1142/9789812793171_0024 | isbn= 978-981-279-316-4 }}.</ref> एकवचन सांख्यिकीय मॉडल के उदाहरणों में निम्नलिखित | यदि फिशर सूचना आव्यूह सभी के लिए सकारात्मक निश्चित है {{mvar|θ}}, तो संबंधित [[सांख्यिकीय मॉडल]] को नियमित कहा जाता है; अन्यथा, सांख्यिकीय मॉडल को एकवचन कहा जाता है।<ref>{{Citation|first=S. | last= Watanabe | title= Algebraic geometrical method in singular statistical estimation | journal= Quantum Bio-Informatics | editor1-first= L. | editor2-first= W. | editor3-first= M. | editor1-last= Accardi | editor2-last= Freudenberg | editor3-last=Ohya | pages= 325–336 | year= 2008 | publisher= [[World Scientific]]| bibcode= 2008qbi..conf..325W | doi= 10.1142/9789812793171_0024 | isbn= 978-981-279-316-4 }}.</ref> एकवचन सांख्यिकीय मॉडल के उदाहरणों में निम्नलिखित सम्मिलित हैं: सामान्य मिश्रण, द्विपद मिश्रण, बहुपद मिश्रण, बायेसियन नेटवर्क, तंत्रिका नेटवर्क, रेडियल आधार कार्य, छिपे हुए मार्कोव मॉडल, स्टोचैस्टिक संदर्भ-मुक्त व्याकरण, कम रैंक प्रतिगमन, बोल्ट्जमैन मशीन। | ||
[[ यंत्र अधिगम ]] में, यदि सांख्यिकीय मॉडल तैयार किया जाता है | [[ यंत्र अधिगम ]] में, यदि सांख्यिकीय मॉडल तैयार किया जाता है जिससे कि यह यादृच्छिक घटना से छिपी हुई संरचना को निकाल सके, तो यह स्वाभाविक रूप से एकवचन बन जाता है।<ref>{{cite journal | last1 = Watanabe | first1 = S | year = 2013 | title = एक व्यापक रूप से लागू बायेसियन सूचना मानदंड| journal = [[Journal of Machine Learning Research]] | volume = 14 | pages = 867–897 }}</ref> | ||
=== [[बहुभिन्नरूपी सामान्य वितरण]] === | === [[बहुभिन्नरूपी सामान्य वितरण]] === | ||
एन-वैरिएट बहुभिन्नरूपी सामान्य वितरण के लिए एफआईएम, <math>\,X \sim N\left(\mu(\theta),\, \Sigma(\theta)\right)</math> विशेष रूप होता है। पैरामीटर के के-आयामी वेक्टर होने दें <math>\theta = \begin{bmatrix} \theta_1 & \dots & \theta_K \end{bmatrix}^\textsf{T}</math> और यादृच्छिक सामान्य चर के वेक्टर हो <math>X = \begin{bmatrix} X_1 & \dots & X_N \end{bmatrix}^\textsf{T}</math>. मान लें कि इन यादृच्छिक चरों के माध्य मान हैं <math>\,\mu(\theta) = \begin{bmatrix} \mu_1(\theta) & \dots & \mu_N(\theta) \end{bmatrix}^\textsf{T}</math>, और जाने <math>\,\Sigma(\theta)</math> सहप्रसरण आव्यूह हो। फिर, के लिए <math>1 \le m,\, n \le K</math>, (एम, एन) एफआईएम की प्रविष्टि है:<ref>{{cite book |title=स्टोचैस्टिक अनुकूलन के मद्देनजर गॉसियन वितरण की सूचना ज्यामिति|first1=Luigi |last1=Malagò |first2=Giovanni |last2=Pistone |journal=[[Proceedings of the 2015 ACM Conference on Foundations of Genetic Algorithms XIII]] |year=2015 |pages=150–162 |doi=10.1145/2725494.2725510 |isbn=9781450334341 |s2cid=693896 }}</ref> | एन-वैरिएट बहुभिन्नरूपी सामान्य वितरण के लिए एफआईएम, <math>\,X \sim N\left(\mu(\theta),\, \Sigma(\theta)\right)</math> विशेष रूप होता है। पैरामीटर के के-आयामी वेक्टर होने दें <math>\theta = \begin{bmatrix} \theta_1 & \dots & \theta_K \end{bmatrix}^\textsf{T}</math> और यादृच्छिक सामान्य चर के वेक्टर हो <math>X = \begin{bmatrix} X_1 & \dots & X_N \end{bmatrix}^\textsf{T}</math>. मान लें कि इन यादृच्छिक चरों के माध्य मान हैं <math>\,\mu(\theta) = \begin{bmatrix} \mu_1(\theta) & \dots & \mu_N(\theta) \end{bmatrix}^\textsf{T}</math>, और जाने <math>\,\Sigma(\theta)</math> सहप्रसरण आव्यूह हो। फिर, के लिए <math>1 \le m,\, n \le K</math>, (एम, एन) एफआईएम की प्रविष्टि है:<ref>{{cite book |title=स्टोचैस्टिक अनुकूलन के मद्देनजर गॉसियन वितरण की सूचना ज्यामिति|first1=Luigi |last1=Malagò |first2=Giovanni |last2=Pistone |journal=[[Proceedings of the 2015 ACM Conference on Foundations of Genetic Algorithms XIII]] |year=2015 |pages=150–162 |doi=10.1145/2725494.2725510 |isbn=9781450334341 |s2cid=693896 }}</ref> | ||
| Line 192: | Line 192: | ||
इस मामले में फिशर सूचना आव्यूह को [[कम से कम वर्गों]] के आकलन सिद्धांत के [[सामान्य समीकरण]]ों के गुणांक आव्यूह के साथ पहचाना जा सकता है। | इस मामले में फिशर सूचना आव्यूह को [[कम से कम वर्गों]] के आकलन सिद्धांत के [[सामान्य समीकरण]]ों के गुणांक आव्यूह के साथ पहचाना जा सकता है। | ||
एक और विशेष मामला तब होता है जब माध्य और सहप्रसरण दो अलग-अलग वेक्टर मापदंडों पर निर्भर करते हैं, कहते हैं, β और θ। यह विशेष रूप से स्थानिक डेटा के विश्लेषण में लोकप्रिय है, जो | एक और विशेष मामला तब होता है जब माध्य और सहप्रसरण दो अलग-अलग वेक्टर मापदंडों पर निर्भर करते हैं, कहते हैं, β और θ। यह विशेष रूप से स्थानिक डेटा के विश्लेषण में लोकप्रिय है, जो प्रायः सहसंबद्ध अवशेषों के साथ रैखिक मॉडल का उपयोग करता है। इस मामले में,<ref>{{cite journal |title=स्थानिक प्रतिगमन में अवशिष्ट सहप्रसरण के लिए मॉडलों का अधिकतम संभावना अनुमान|first1=K. V. |last1=Mardia |first2=R. J. |last2=Marshall |journal=[[Biometrika]] |year=1984 |volume=71 |issue=1 |pages=135–46 |doi=10.1093/biomet/71.1.135 }}</ref> | ||
: <math>\mathcal{I}(\beta, \theta) = \operatorname{diag}\left(\mathcal{I}(\beta), \mathcal{I}(\theta)\right)</math> | : <math>\mathcal{I}(\beta, \theta) = \operatorname{diag}\left(\mathcal{I}(\beta), \mathcal{I}(\theta)\right)</math> | ||
कहाँ | कहाँ | ||
| Line 210: | Line 210: | ||
=== [[एफ-विचलन]] === | === [[एफ-विचलन]] === | ||
एक उत्तल समारोह दिया <math>f: [0, \infty)\to(-\infty, \infty]</math> वह <math>f(x)</math> सभी के लिए परिमित है <math>x > 0</math>, <math>f(1)=0</math>, और <math>f(0)=\lim_{t\to 0^+} f(t) </math>, (जो अनंत हो सकता है), यह f-विचलन को परिभाषित करता है <math>D_f</math>. तो | एक उत्तल समारोह दिया <math>f: [0, \infty)\to(-\infty, \infty]</math> वह <math>f(x)</math> सभी के लिए परिमित है <math>x > 0</math>, <math>f(1)=0</math>, और <math>f(0)=\lim_{t\to 0^+} f(t) </math>, (जो अनंत हो सकता है), यह f-विचलन को परिभाषित करता है <math>D_f</math>. तो यदि <math>f</math> सख्ती से उत्तल है <math>1</math>, फिर स्थानीय रूप से <math>\theta\in\Theta</math>, फिशर सूचना आव्यूह मीट्रिक है, इस अर्थ में कि<ref name=":02">{{Cite web |last=Polyanskiy |first=Yury |date=2017 |title=Lecture notes on information theory, chapter 29, ECE563 (UIUC) |url=https://people.lids.mit.edu/yp/homepage/data/LN_stats.pdf |url-status=live |archive-url=https://web.archive.org/web/20220524014051/https://people.lids.mit.edu/yp/homepage/data/LN_stats.pdf |archive-date=2022-05-24 |access-date=2022-05-24 |website=Lecture notes on information theory}}</ref><math display="block">(\delta\theta)^T I(\theta) (\delta\theta) = \frac{1}{f''(1)}D_f(P_{\theta+\delta\theta} \| P_{\theta})</math>कहाँ <math>P_\theta</math> द्वारा पैरामीट्रिज्ड वितरण है <math>\theta</math>. अर्थात यह पीडीएफ के साथ वितरण है <math>f(x; \theta)</math>. | ||
इस रूप में, यह स्पष्ट है कि फिशर सूचना आव्यूह रीमैनियन मीट्रिक है, और चर के परिवर्तन के | इस रूप में, यह स्पष्ट है कि फिशर सूचना आव्यूह रीमैनियन मीट्रिक है, और चर के परिवर्तन के अंतर्गत सही ढंग से भिन्न होता है। (रिपैरामेट्रिजेशन पर अनुभाग देखें) | ||
=== पर्याप्त आंकड़े === | === पर्याप्त आंकड़े === | ||
| Line 222: | Line 222: | ||
:<math> \mathcal{I}_T(\theta) \leq \mathcal{I}_X(\theta) </math> | :<math> \mathcal{I}_T(\theta) \leq \mathcal{I}_X(\theta) </math> | ||
समानता के साथ [[अगर और केवल अगर]] टी पर्याप्त आंकड़ा है।<ref name="Schervish">{{cite book | last = Schervish | first = Mark J. |page=113| title = सिद्धांत सांख्यिकी| publisher=Springer-Verlag | year = 1995 }}</ref> | समानता के साथ [[अगर और केवल अगर|यदि और केवल]] यदि टी पर्याप्त आंकड़ा है।<ref name="Schervish">{{cite book | last = Schervish | first = Mark J. |page=113| title = सिद्धांत सांख्यिकी| publisher=Springer-Verlag | year = 1995 }}</ref> | ||
===रिपैरामेट्रिजेशन === | ===रिपैरामेट्रिजेशन === | ||
फिशर की जानकारी समस्या के पैरामीट्रिजेशन पर निर्भर करती है। यदि θ और η अनुमान समस्या के दो स्केलर पैरामीट्रिजेशन हैं, और θ η का निरंतर अलग-अलग कार्य है, तो | फिशर की जानकारी समस्या के पैरामीट्रिजेशन पर निर्भर करती है। यदि θ और η अनुमान समस्या के दो स्केलर पैरामीट्रिजेशन हैं, और θ η का निरंतर अलग-अलग कार्य है, तो | ||
| Line 233: | Line 233: | ||
: <math>J_{ij} = \frac{\partial \theta_i}{\partial \eta_j},</math> | : <math>J_{ij} = \frac{\partial \theta_i}{\partial \eta_j},</math> | ||
और कहाँ <math>{\boldsymbol J}^\textsf{T}</math> का आव्यूह स्थानान्तरण है <math>{\boldsymbol J}.</math> | और कहाँ <math>{\boldsymbol J}^\textsf{T}</math> का आव्यूह स्थानान्तरण है <math>{\boldsymbol J}.</math> | ||
सूचना ज्यामिति में, इसे [[रीमैनियन कई गुना]] पर निर्देशांक के परिवर्तन के रूप में देखा जाता है, और वक्रता के आंतरिक गुण विभिन्न पैरामीट्रिजेशन के | सूचना ज्यामिति में, इसे [[रीमैनियन कई गुना]] पर निर्देशांक के परिवर्तन के रूप में देखा जाता है, और वक्रता के आंतरिक गुण विभिन्न पैरामीट्रिजेशन के अंतर्गत अपरिवर्तित होते हैं। सामान्यतः , फिशर सूचना आव्यूह थर्मोडायनामिक राज्यों के कई गुना के लिए रिमेंनियन मीट्रिक (अधिक सटीक, फिशर-राव मीट्रिक) प्रदान करता है, और [[चरण संक्रमण]]ों के वर्गीकरण के लिए सूचना-ज्यामितीय जटिलता माप के रूप में उपयोग किया जा सकता है, उदाहरण के लिए, स्केलर थर्मोडायनामिक मीट्रिक टेन्सर की वक्रता चरण संक्रमण बिंदु पर (और केवल) विचलन करती है।<ref>{{cite journal |first1=W. |last1=Janke |first2=D. A. |last2=Johnston |first3=R. |last3=Kenna |title=सूचना ज्यामिति और चरण संक्रमण|journal=Physica A |volume=336 |issue=1–2 |pages=181 |year=2004 |doi=10.1016/j.physa.2004.01.023 |arxiv=cond-mat/0401092 |bibcode=2004PhyA..336..181J |s2cid=119085942 }}</ref> | ||
थर्मोडायनामिक संदर्भ में, फिशर सूचना आव्यूह सीधे संबंधित ऑर्डर पैरामीटर # ऑर्डर पैरामीटर में परिवर्तन की दर से संबंधित है।<ref>{{cite journal |first1=M. |last1=Prokopenko |first3=J. T. |last3=Lizier |first4=O. |last4=Obst |first5=X. R. |last5=Wang |title=ऑर्डर पैरामीटर्स के लिए फिशर की जानकारी से संबंधित|journal=Physical Review E |volume=84 |issue= 4|pages=041116 |year=2011 |doi=10.1103/PhysRevE.84.041116 |last2=Lizier |first2=Joseph T. |pmid=22181096 |s2cid=18366894 |bibcode=2011PhRvE..84d1116P }}</ref> विशेष रूप से, ऐसे संबंध फिशर सूचना आव्यूह के अलग-अलग तत्वों के विचलन के माध्यम से दूसरे क्रम के चरण संक्रमणों की पहचान करते हैं। | थर्मोडायनामिक संदर्भ में, फिशर सूचना आव्यूह सीधे संबंधित ऑर्डर पैरामीटर # ऑर्डर पैरामीटर में परिवर्तन की दर से संबंधित है।<ref>{{cite journal |first1=M. |last1=Prokopenko |first3=J. T. |last3=Lizier |first4=O. |last4=Obst |first5=X. R. |last5=Wang |title=ऑर्डर पैरामीटर्स के लिए फिशर की जानकारी से संबंधित|journal=Physical Review E |volume=84 |issue= 4|pages=041116 |year=2011 |doi=10.1103/PhysRevE.84.041116 |last2=Lizier |first2=Joseph T. |pmid=22181096 |s2cid=18366894 |bibcode=2011PhRvE..84d1116P }}</ref> विशेष रूप से, ऐसे संबंध फिशर सूचना आव्यूह के अलग-अलग तत्वों के विचलन के माध्यम से दूसरे क्रम के चरण संक्रमणों की पहचान करते हैं। | ||
| Line 239: | Line 239: | ||
फिशर सूचना आव्यूह आइसोपेरिमेट्रिक असमानता जैसी असमानता में भूमिका निभाता है।<ref>{{Cite journal|last1=Costa|first1=M.|last2=Cover|first2=T.|date=Nov 1984|title=एंट्रॉपी पावर असमानता और ब्रून-मिन्कोव्स्की असमानता की समानता पर|url=https://ieeexplore.ieee.org/document/1056983|journal=IEEE Transactions on Information Theory|volume=30|issue=6|pages=837–839|doi=10.1109/TIT.1984.1056983|issn=1557-9654}}</ref> किसी दिए गए एन्ट्रापी के साथ सभी प्रायिकता वितरणों में, जिसकी फिशर सूचना आव्यूह में सबसे छोटा ट्रेस है, वह गॉसियन वितरण है। यह इस तरह है कि कैसे, दिए गए आयतन वाले सभी परिबद्ध सेटों में, गोले का पृष्ठीय क्षेत्रफल सबसे छोटा होता है। | फिशर सूचना आव्यूह आइसोपेरिमेट्रिक असमानता जैसी असमानता में भूमिका निभाता है।<ref>{{Cite journal|last1=Costa|first1=M.|last2=Cover|first2=T.|date=Nov 1984|title=एंट्रॉपी पावर असमानता और ब्रून-मिन्कोव्स्की असमानता की समानता पर|url=https://ieeexplore.ieee.org/document/1056983|journal=IEEE Transactions on Information Theory|volume=30|issue=6|pages=837–839|doi=10.1109/TIT.1984.1056983|issn=1557-9654}}</ref> किसी दिए गए एन्ट्रापी के साथ सभी प्रायिकता वितरणों में, जिसकी फिशर सूचना आव्यूह में सबसे छोटा ट्रेस है, वह गॉसियन वितरण है। यह इस तरह है कि कैसे, दिए गए आयतन वाले सभी परिबद्ध सेटों में, गोले का पृष्ठीय क्षेत्रफल सबसे छोटा होता है। | ||
प्रमाण में बहुभिन्नरूपी यादृच्छिक चर लेना | प्रमाण में बहुभिन्नरूपी यादृच्छिक चर लेना सम्मिलित है <math>X</math> घनत्व समारोह के साथ <math>f</math> और घनत्व का परिवार बनाने के लिए स्थान पैरामीटर जोड़ना <math>\{f(x-\theta) \mid \theta \in \mathbb{R}^n\}</math>. फिर, मिन्कोव्स्की-स्टेनर सूत्र के अनुरूप, सतह क्षेत्र <math>X</math> होना परिभाषित किया गया है | ||
:<math>S(X) = \lim_{\varepsilon \to 0} \frac{e^{H(X+Z_\varepsilon)} - e^{H(X)}}{\varepsilon}</math> | :<math>S(X) = \lim_{\varepsilon \to 0} \frac{e^{H(X+Z_\varepsilon)} - e^{H(X)}}{\varepsilon}</math> | ||
कहाँ <math>Z_\varepsilon</math> सहप्रसरण आव्यूह वाला गॉसियन चर है <math>\varepsilon I</math>. सतह क्षेत्र नाम उपयुक्त है क्योंकि एंट्रॉपी शक्ति <math>e^{H(X)}</math> प्रभावी समर्थन सेट की मात्रा है,<ref>{{Cite book|last=Cover|first=Thomas M.|url=https://www.worldcat.org/oclc/59879802|title=सूचना सिद्धांत के तत्व|date=2006|publisher=Wiley-Interscience|others=Joy A. Thomas|isbn=0-471-24195-4|edition=2nd|location=Hoboken, N.J.|pages=256|oclc=59879802}}</ref> इसलिए <math>S(X)</math> प्रभावी समर्थन सेट की मात्रा का व्युत्पन्न है, बहुत कुछ मिन्कोव्स्की-स्टेनर सूत्र की तरह। प्रमाण का शेष भाग एंट्रॉपी शक्ति असमानता का उपयोग करता है, जो ब्रून-मिन्कोव्स्की प्रमेय की तरह है|ब्रून-मिन्कोव्स्की असमानता। फिशर इंफॉर्मेशन आव्यूह का ट्रेस कारक के रूप में पाया जाता है <math>S(X)</math>. | कहाँ <math>Z_\varepsilon</math> सहप्रसरण आव्यूह वाला गॉसियन चर है <math>\varepsilon I</math>. सतह क्षेत्र नाम उपयुक्त है क्योंकि एंट्रॉपी शक्ति <math>e^{H(X)}</math> प्रभावी समर्थन सेट की मात्रा है,<ref>{{Cite book|last=Cover|first=Thomas M.|url=https://www.worldcat.org/oclc/59879802|title=सूचना सिद्धांत के तत्व|date=2006|publisher=Wiley-Interscience|others=Joy A. Thomas|isbn=0-471-24195-4|edition=2nd|location=Hoboken, N.J.|pages=256|oclc=59879802}}</ref> इसलिए <math>S(X)</math> प्रभावी समर्थन सेट की मात्रा का व्युत्पन्न है, बहुत कुछ मिन्कोव्स्की-स्टेनर सूत्र की तरह। प्रमाण का शेष भाग एंट्रॉपी शक्ति असमानता का उपयोग करता है, जो ब्रून-मिन्कोव्स्की प्रमेय की तरह है|ब्रून-मिन्कोव्स्की असमानता। फिशर इंफॉर्मेशन आव्यूह का ट्रेस कारक के रूप में पाया जाता है <math>S(X)</math>. | ||
| Line 250: | Line 250: | ||
जब [[रैखिक मॉडल]] (या अरैखिक प्रतिगमन) सांख्यिकीय मॉडल में कई पैरामीटर होते हैं, तो पैरामीटर अनुमानक का अपेक्षित मान कॉलम वेक्टर होता है और इसका सहप्रसरण आव्यूह आव्यूह (गणित) होता है। विचरण आव्यूह के व्युत्क्रम को सूचना आव्यूह कहा जाता है। चूंकि पैरामीटर वेक्टर के अनुमानक का भिन्नता आव्यूह है, भिन्नता को कम करने की समस्या जटिल है। सांख्यिकीय [[सिद्ध]]ांत का उपयोग करते हुए, सांख्यिकीविद् वास्तविक-मूल्यवान सारांश आँकड़ों का उपयोग करके सूचना-आव्यूह को संकुचित करते हैं; वास्तविक-मूल्यवान कार्य होने के कारण, इन सूचना मानदंडों को अधिकतम किया जा सकता है। | जब [[रैखिक मॉडल]] (या अरैखिक प्रतिगमन) सांख्यिकीय मॉडल में कई पैरामीटर होते हैं, तो पैरामीटर अनुमानक का अपेक्षित मान कॉलम वेक्टर होता है और इसका सहप्रसरण आव्यूह आव्यूह (गणित) होता है। विचरण आव्यूह के व्युत्क्रम को सूचना आव्यूह कहा जाता है। चूंकि पैरामीटर वेक्टर के अनुमानक का भिन्नता आव्यूह है, भिन्नता को कम करने की समस्या जटिल है। सांख्यिकीय [[सिद्ध]]ांत का उपयोग करते हुए, सांख्यिकीविद् वास्तविक-मूल्यवान सारांश आँकड़ों का उपयोग करके सूचना-आव्यूह को संकुचित करते हैं; वास्तविक-मूल्यवान कार्य होने के कारण, इन सूचना मानदंडों को अधिकतम किया जा सकता है। | ||
परंपरागत रूप से, सांख्यिकीविदों ने सहप्रसरण आव्यूह (एक निष्पक्ष अनुमानक के) के कुछ सारांश आंकड़ों पर विचार करके अनुमानकों और डिजाइनों का मूल्यांकन किया है, | परंपरागत रूप से, सांख्यिकीविदों ने सहप्रसरण आव्यूह (एक निष्पक्ष अनुमानक के) के कुछ सारांश आंकड़ों पर विचार करके अनुमानकों और डिजाइनों का मूल्यांकन किया है, सामान्यतः सकारात्मक वास्तविक मूल्यों (जैसे निर्धारक या [[मैट्रिक्स ट्रेस|आव्यूह ट्रेस]]) के साथ। सकारात्मक वास्तविक संख्याओं के साथ काम करने से कई फायदे मिलते हैं: यदि एकल पैरामीटर के अनुमानक में सकारात्मक भिन्नता है, तो भिन्नता और फिशर जानकारी दोनों सकारात्मक वास्तविक संख्याएं हैं; इसलिए वे गैर-ऋणात्मक वास्तविक संख्याओं के उत्तल शंकु के सदस्य हैं (जिनके शून्येतर सदस्य इसी शंकु में व्युत्क्रम हैं)। | ||
कई मापदंडों के लिए, सहप्रसरण मैट्रिसेस और सूचना मैट्रिसेस, [[चार्ल्स लोवेनर]] (लोवनर) के आदेश के | कई मापदंडों के लिए, सहप्रसरण मैट्रिसेस और सूचना मैट्रिसेस, [[चार्ल्स लोवेनर]] (लोवनर) के आदेश के अंतर्गत आंशिक क्रम में सदिश स्थान के आदेश में गैर-नकारात्मक-निश्चित सममित मैट्रिसेस के उत्तल शंकु के तत्व हैं। यह शंकु आव्यूह जोड़ और व्युत्क्रम के साथ-साथ सकारात्मक वास्तविक संख्याओं और आव्यूहों के गुणन के अंतर्गत बंद है। आव्यूह थ्योरी और लोवेनर ऑर्डर की प्रदर्शनी पुकेलशेम में दिखाई देती है।<ref>{{cite book |first=Friedrick |last=Pukelsheim |title=प्रयोगों का इष्टतम डिजाइन|location=New York |publisher=Wiley |year=1993 |isbn=978-0-471-61971-0 }}</ref> | ||
[[अपरिवर्तनीय सिद्धांत]] के अर्थ में पारंपरिक इष्टतमता मानदंड सूचना आव्यूह के अपरिवर्तनीय हैं; बीजगणितीय रूप से, पारंपरिक इष्टतमता मानदंड (फिशर) सूचना आव्यूह (इष्टतम डिजाइन देखें) के [[eigenvalue]]s के [[कार्यात्मक (गणित)]] हैं। | [[अपरिवर्तनीय सिद्धांत]] के अर्थ में पारंपरिक इष्टतमता मानदंड सूचना आव्यूह के अपरिवर्तनीय हैं; बीजगणितीय रूप से, पारंपरिक इष्टतमता मानदंड (फिशर) सूचना आव्यूह (इष्टतम डिजाइन देखें) के [[eigenvalue]]s के [[कार्यात्मक (गणित)]] हैं। | ||
| Line 258: | Line 258: | ||
बायेसियन सांख्यिकी में, फिशर की जानकारी का उपयोग जेफ़रीज़ पूर्व की गणना करने के लिए किया जाता है, जो कि निरंतर वितरण मापदंडों के लिए मानक, गैर-सूचनात्मक पूर्व है।<ref>{{cite book |title=बायेसियन थ्योरी|first1=Jose M. |last1=Bernardo |first2=Adrian F. M. |last2=Smith |location=New York |publisher=John Wiley & Sons |year=1994 |isbn=978-0-471-92416-6 }}</ref> | बायेसियन सांख्यिकी में, फिशर की जानकारी का उपयोग जेफ़रीज़ पूर्व की गणना करने के लिए किया जाता है, जो कि निरंतर वितरण मापदंडों के लिए मानक, गैर-सूचनात्मक पूर्व है।<ref>{{cite book |title=बायेसियन थ्योरी|first1=Jose M. |last1=Bernardo |first2=Adrian F. M. |last2=Smith |location=New York |publisher=John Wiley & Sons |year=1994 |isbn=978-0-471-92416-6 }}</ref> | ||
=== कम्प्यूटेशनल न्यूरोसाइंस === | === कम्प्यूटेशनल न्यूरोसाइंस === | ||
फिशर की जानकारी का उपयोग न्यूरल कोड की सटीकता पर सीमाएं खोजने के लिए किया गया है। उस मामले में, एक्स | फिशर की जानकारी का उपयोग न्यूरल कोड की सटीकता पर सीमाएं खोजने के लिए किया गया है। उस मामले में, एक्स सामान्यतः कम आयामी चर θ (जैसे उत्तेजना पैरामीटर) का प्रतिनिधित्व करने वाले कई न्यूरॉन्स की संयुक्त प्रतिक्रिया होती है। विशेष रूप से तंत्रिका प्रतिक्रियाओं के शोर में सहसंबंधों की भूमिका का अध्ययन किया गया है।<ref>{{cite journal |last1=Abbott |first1=Larry F. |first2=Peter |last2=Dayan |title=जनसंख्या कोड की सटीकता पर सहसंबद्ध परिवर्तनशीलता का प्रभाव|journal=Neural Computation |volume=11 |issue=1 |year=1999 |pages=91–101 |doi=10.1162/089976699300016827 |pmid=9950724 |s2cid=2958438 }}</ref> | ||
===भौतिक नियमों की व्युत्पत्ति=== | ===भौतिक नियमों की व्युत्पत्ति=== | ||
भौतिक कानूनों के आधार के रूप में बी. रॉय फ्रीडेन द्वारा प्रस्तुत विवादास्पद सिद्धांत में फिशर की जानकारी केंद्रीय भूमिका निभाती है, ऐसा दावा जो विवादित रहा है।<ref>{{cite book|first=R. F.|last=Streater|title=भौतिकी में और उससे परे खोए हुए कारण|publisher=Springer|year=2007|isbn=978-3-540-36581-5|page=69}}</ref> | भौतिक कानूनों के आधार के रूप में बी. रॉय फ्रीडेन द्वारा प्रस्तुत विवादास्पद सिद्धांत में फिशर की जानकारी केंद्रीय भूमिका निभाती है, ऐसा दावा जो विवादित रहा है।<ref>{{cite book|first=R. F.|last=Streater|title=भौतिकी में और उससे परे खोए हुए कारण|publisher=Springer|year=2007|isbn=978-3-540-36581-5|page=69}}</ref> | ||
| Line 264: | Line 264: | ||
फिशर की जानकारी का उपयोग मशीन सीखने की तकनीकों में किया जाता है जैसे कि विपत्तिपूर्ण हस्तक्षेप#लोचदार वजन समेकन,<ref>{{Cite journal|last1=Kirkpatrick|first1=James|last2=Pascanu|first2=Razvan|last3=Rabinowitz|first3=Neil|last4=Veness|first4=Joel|last5=Desjardins|first5=Guillaume|last6=Rusu|first6=Andrei A.|last7=Milan|first7=Kieran|last8=Quan|first8=John|last9=Ramalho|first9=Tiago|date=2017-03-28|title=तंत्रिका नेटवर्क में विपत्तिपूर्ण विस्मृति पर काबू पाना|journal=Proceedings of the National Academy of Sciences|language=en|volume=114|issue=13|pages=3521–3526|doi=10.1073/pnas.1611835114|issn=0027-8424|pmid=28292907|pmc=5380101|doi-access=free}}</ref> जो कृत्रिम तंत्रिका नेटवर्क में भयावह हस्तक्षेप को कम करता है। | फिशर की जानकारी का उपयोग मशीन सीखने की तकनीकों में किया जाता है जैसे कि विपत्तिपूर्ण हस्तक्षेप#लोचदार वजन समेकन,<ref>{{Cite journal|last1=Kirkpatrick|first1=James|last2=Pascanu|first2=Razvan|last3=Rabinowitz|first3=Neil|last4=Veness|first4=Joel|last5=Desjardins|first5=Guillaume|last6=Rusu|first6=Andrei A.|last7=Milan|first7=Kieran|last8=Quan|first8=John|last9=Ramalho|first9=Tiago|date=2017-03-28|title=तंत्रिका नेटवर्क में विपत्तिपूर्ण विस्मृति पर काबू पाना|journal=Proceedings of the National Academy of Sciences|language=en|volume=114|issue=13|pages=3521–3526|doi=10.1073/pnas.1611835114|issn=0027-8424|pmid=28292907|pmc=5380101|doi-access=free}}</ref> जो कृत्रिम तंत्रिका नेटवर्क में भयावह हस्तक्षेप को कम करता है। | ||
दूसरे क्रम के ग्रेडिएंट डिसेंट नेटवर्क प्रशिक्षण में फिशर की जानकारी को हानि समारोह के हेस्सियन के विकल्प के रूप में | दूसरे क्रम के ग्रेडिएंट डिसेंट नेटवर्क प्रशिक्षण में फिशर की जानकारी को हानि समारोह के हेस्सियन के विकल्प के रूप में उपयोग किया जा सकता है।<ref name="Martens2020">{{cite journal|last=Martens|first=James|title=प्राकृतिक ढाल पद्धति पर नई अंतर्दृष्टि और दृष्टिकोण|journal=Journal of Machine Learning Research|issue=21|date=August 2020|arxiv=1412.1193}}</ref> | ||
== सापेक्ष एन्ट्रापी से संबंध == | == सापेक्ष एन्ट्रापी से संबंध == | ||
{{See also|फिशर जानकारी मीट्रिक}} | {{See also|फिशर जानकारी मीट्रिक}} | ||
फिशर की जानकारी सापेक्ष एन्ट्रॉपी से संबंधित है।<ref>[https://books.google.com/books?id=gqI-pAP2JZ8C&pg=PA87 Gourieroux & Montfort (1995), page 87]</ref> दो वितरणों के | फिशर की जानकारी सापेक्ष एन्ट्रॉपी से संबंधित है।<ref>[https://books.google.com/books?id=gqI-pAP2JZ8C&pg=PA87 Gourieroux & Montfort (1995), page 87]</ref> दो वितरणों के मध्य सापेक्ष एन्ट्रॉपी, या कुल्बैक-लीब्लर विचलन <math>p</math> और <math>q</math> रूप में लिखा जा सकता है | ||
:<math>KL(p:q) = \int p(x)\log\frac{p(x)}{q(x)} \, dx.</math> | :<math>KL(p:q) = \int p(x)\log\frac{p(x)}{q(x)} \, dx.</math> | ||
अब संभाव्यता वितरण के परिवार पर विचार करें <math>f(x; \theta)</math> द्वारा पैरामीट्रिज्ड <math>\theta \in \Theta</math>. फिर परिवार में दो वितरणों के | अब संभाव्यता वितरण के परिवार पर विचार करें <math>f(x; \theta)</math> द्वारा पैरामीट्रिज्ड <math>\theta \in \Theta</math>. फिर परिवार में दो वितरणों के मध्य कुल्बैक-लीब्लर विचलन को इस रूप में लिखा जा सकता है | ||
:<math>D(\theta,\theta') = KL(p({}\cdot{};\theta):p({}\cdot{};\theta'))= \int f(x; \theta)\log\frac{f(x;\theta)}{f(x; \theta')} \, dx.</math> | :<math>D(\theta,\theta') = KL(p({}\cdot{};\theta):p({}\cdot{};\theta'))= \int f(x; \theta)\log\frac{f(x;\theta)}{f(x; \theta')} \, dx.</math> | ||
यदि <math>\theta</math> तय है, तो ही परिवार के दो वितरणों के मध्य सापेक्ष एन्ट्रापी कम से कम हो जाती है <math>\theta'=\theta</math>. के लिए <math>\theta'</math> के करीब <math>\theta</math>, कोई किसी श्रृंखला में पिछले व्यंजक को दूसरे क्रम तक विस्तारित कर सकता है: | |||
:<math>D(\theta,\theta') = \frac{1}{2}(\theta' - \theta)^\textsf{T} \left(\frac{\partial^2}{\partial\theta'_i\, \partial\theta'_j} D(\theta,\theta')\right)_{\theta'=\theta}(\theta' - \theta) + o\left( (\theta'-\theta)^2 \right)</math> | :<math>D(\theta,\theta') = \frac{1}{2}(\theta' - \theta)^\textsf{T} \left(\frac{\partial^2}{\partial\theta'_i\, \partial\theta'_j} D(\theta,\theta')\right)_{\theta'=\theta}(\theta' - \theta) + o\left( (\theta'-\theta)^2 \right)</math> | ||