दिष्ट सूचना: Difference between revisions
From Vigyanwiki
| Line 5: | Line 5: | ||
दिष्ट सूचना में उन समस्याओं के लिए अनुप्रयोग होते हैं जहां कारण कार्य महत्वपूर्ण भूमिका निभाता है जैसे फीडबैक वाले [[चैनल क्षमता]],<ref name="Massey 1990"/><ref name="Kramer 1998">{{cite thesis |type=Doctoral |last=Kramer |first=Gerhard |date=1998 |title=फीडबैक के साथ चैनलों के लिए निर्देशित जानकारी|doi=10.3929/ethz-a-001988524 |publisher=ETH Zurich |hdl=20.500.11850/143796 |language=en}}</ref><ref>{{cite thesis |type=Doctoral |last=Tatikonda |first=Sekhar Chandra |date=2000 |title=संचार बाधाओं के तहत नियंत्रण|url=https://dspace.mit.edu/handle/1721.1/16755 |publisher=Massachusetts Institute of Technology|hdl=1721.1/16755 }}</ref><ref name="2008.2009849">{{cite journal |last1=Permuter |first1=Haim Henry|last2=Weissman|first2=Tsachy|last3=Goldsmith |first3=Andrea J.|title=समय-अपरिवर्तनीय नियतात्मक प्रतिक्रिया के साथ परिमित राज्य चैनल|journal=IEEE Transactions on Information Theory |date=February 2009 |volume=55|issue=2 |pages=644–662 |doi=10.1109/TIT.2008.2009849|arxiv=cs/0608070|s2cid=13178}}</ref> असतत [[स्मृतिहीन|मेमोरी रहित]] नेटवर्क की क्षमता,<ref name="Kramer 2003">{{cite journal |last1=Kramer |first1=G. |title=असतत स्मृतिहीन नेटवर्क के लिए क्षमता परिणाम|journal=IEEE Transactions on Information Theory|date=January 2003|volume=49|issue=1 |pages=4–21|doi=10.1109/TIT.2002.806135}}</ref> इन-ब्लॉक मेमोरी वाले नेटवर्क की क्षमता,<ref>{{cite journal |last1=Kramer |first1=Gerhard |title=इन-ब्लॉक मेमोरी के साथ सूचना नेटवर्क|journal=IEEE Transactions on Information Theory |date=April 2014 |volume=60 |issue=4 |pages=2105–2120 |doi=10.1109/TIT.2014.2303120|arxiv=1206.5389 |s2cid=16382644 }}</ref> कारण पक्ष की सूचना के साथ [[जुआ|गैम्बल]],<ref>{{cite journal|last1=Permuter|first1=Haim H.|last2=Kim |first2=Young-Han|last3=Weissman |first3=Tsachy|title=पोर्टफोलियो सिद्धांत, डेटा संपीड़न और परिकल्पना परीक्षण में निर्देशित सूचना की व्याख्या|journal=IEEE Transactions on Information Theory|date=June 2011|volume=57|issue=6 |pages=3248–3259|doi=10.1109/TIT.2011.2136270|arxiv=0912.4872 |s2cid=11722596}}</ref> कारण पक्ष की सूचना के साथ संपीड़न,<ref>{{cite journal|last1=Simeone|first1=Osvaldo |last2=Permuter|first2=Haim Henri|title=स्रोत कोडिंग जब साइड सूचना में देरी हो सकती है|journal=IEEE Transactions on Information Theory|date=June 2013 |volume=59|issue=6|pages=3607–3618 |doi=10.1109/TIT.2013.2248192|arxiv=1109.1293|s2cid=3211485}}</ref> [[वास्तविक समय नियंत्रण]] संचार समायोजन,<ref>{{cite journal |last1=Charalambous|first1=Charalambos D. |last2=Stavrou |first2=Photios A.|title=Directed Information on Abstract Spaces: Properties and Variational Equalities |journal=IEEE Transactions on Information Theory|date=August 2016|volume=62|issue=11|pages=6019–6052 |doi=10.1109/TIT.2016.2604846 |arxiv=1302.3971|s2cid=8107565}}</ref><ref>{{cite journal |last1=Tanaka |first1=Takashi |last2=Esfahani |first2=Peyman Mohajerin |last3=Mitter |first3=Sanjoy K. |title=LQG Control With Minimum Directed Information: Semidefinite Programming Approach |journal=IEEE Transactions on Automatic Control |date=January 2018 |volume=63 |issue=1 |pages=37–52 |doi=10.1109/TAC.2017.2709618 |s2cid=1401958 |arxiv=1510.04214 |url=http://resolver.tudelft.nl/uuid:d9db1c11-fbfd-4c0c-b66f-f341b49fa61a}}</ref> और सांख्यिकीय भौतिकी।<ref>{{cite journal |last1=Vinkler |first1=Dror A |last2=Permuter |first2=Haim H |last3=Merhav |first3=Neri |title=जुए और माप-आधारित कार्य निष्कर्षण के बीच समानता|journal=Journal of Statistical Mechanics: Theory and Experiment |date=20 April 2016 |volume=2016 |issue=4 |page=043403 |doi=10.1088/1742-5468/2016/04/043403 |arxiv=1404.6788 |bibcode=2016JSMTE..04.3403V |s2cid=124719237}}</ref> | दिष्ट सूचना में उन समस्याओं के लिए अनुप्रयोग होते हैं जहां कारण कार्य महत्वपूर्ण भूमिका निभाता है जैसे फीडबैक वाले [[चैनल क्षमता]],<ref name="Massey 1990"/><ref name="Kramer 1998">{{cite thesis |type=Doctoral |last=Kramer |first=Gerhard |date=1998 |title=फीडबैक के साथ चैनलों के लिए निर्देशित जानकारी|doi=10.3929/ethz-a-001988524 |publisher=ETH Zurich |hdl=20.500.11850/143796 |language=en}}</ref><ref>{{cite thesis |type=Doctoral |last=Tatikonda |first=Sekhar Chandra |date=2000 |title=संचार बाधाओं के तहत नियंत्रण|url=https://dspace.mit.edu/handle/1721.1/16755 |publisher=Massachusetts Institute of Technology|hdl=1721.1/16755 }}</ref><ref name="2008.2009849">{{cite journal |last1=Permuter |first1=Haim Henry|last2=Weissman|first2=Tsachy|last3=Goldsmith |first3=Andrea J.|title=समय-अपरिवर्तनीय नियतात्मक प्रतिक्रिया के साथ परिमित राज्य चैनल|journal=IEEE Transactions on Information Theory |date=February 2009 |volume=55|issue=2 |pages=644–662 |doi=10.1109/TIT.2008.2009849|arxiv=cs/0608070|s2cid=13178}}</ref> असतत [[स्मृतिहीन|मेमोरी रहित]] नेटवर्क की क्षमता,<ref name="Kramer 2003">{{cite journal |last1=Kramer |first1=G. |title=असतत स्मृतिहीन नेटवर्क के लिए क्षमता परिणाम|journal=IEEE Transactions on Information Theory|date=January 2003|volume=49|issue=1 |pages=4–21|doi=10.1109/TIT.2002.806135}}</ref> इन-ब्लॉक मेमोरी वाले नेटवर्क की क्षमता,<ref>{{cite journal |last1=Kramer |first1=Gerhard |title=इन-ब्लॉक मेमोरी के साथ सूचना नेटवर्क|journal=IEEE Transactions on Information Theory |date=April 2014 |volume=60 |issue=4 |pages=2105–2120 |doi=10.1109/TIT.2014.2303120|arxiv=1206.5389 |s2cid=16382644 }}</ref> कारण पक्ष की सूचना के साथ [[जुआ|गैम्बल]],<ref>{{cite journal|last1=Permuter|first1=Haim H.|last2=Kim |first2=Young-Han|last3=Weissman |first3=Tsachy|title=पोर्टफोलियो सिद्धांत, डेटा संपीड़न और परिकल्पना परीक्षण में निर्देशित सूचना की व्याख्या|journal=IEEE Transactions on Information Theory|date=June 2011|volume=57|issue=6 |pages=3248–3259|doi=10.1109/TIT.2011.2136270|arxiv=0912.4872 |s2cid=11722596}}</ref> कारण पक्ष की सूचना के साथ संपीड़न,<ref>{{cite journal|last1=Simeone|first1=Osvaldo |last2=Permuter|first2=Haim Henri|title=स्रोत कोडिंग जब साइड सूचना में देरी हो सकती है|journal=IEEE Transactions on Information Theory|date=June 2013 |volume=59|issue=6|pages=3607–3618 |doi=10.1109/TIT.2013.2248192|arxiv=1109.1293|s2cid=3211485}}</ref> [[वास्तविक समय नियंत्रण]] संचार समायोजन,<ref>{{cite journal |last1=Charalambous|first1=Charalambos D. |last2=Stavrou |first2=Photios A.|title=Directed Information on Abstract Spaces: Properties and Variational Equalities |journal=IEEE Transactions on Information Theory|date=August 2016|volume=62|issue=11|pages=6019–6052 |doi=10.1109/TIT.2016.2604846 |arxiv=1302.3971|s2cid=8107565}}</ref><ref>{{cite journal |last1=Tanaka |first1=Takashi |last2=Esfahani |first2=Peyman Mohajerin |last3=Mitter |first3=Sanjoy K. |title=LQG Control With Minimum Directed Information: Semidefinite Programming Approach |journal=IEEE Transactions on Automatic Control |date=January 2018 |volume=63 |issue=1 |pages=37–52 |doi=10.1109/TAC.2017.2709618 |s2cid=1401958 |arxiv=1510.04214 |url=http://resolver.tudelft.nl/uuid:d9db1c11-fbfd-4c0c-b66f-f341b49fa61a}}</ref> और सांख्यिकीय भौतिकी।<ref>{{cite journal |last1=Vinkler |first1=Dror A |last2=Permuter |first2=Haim H |last3=Merhav |first3=Neri |title=जुए और माप-आधारित कार्य निष्कर्षण के बीच समानता|journal=Journal of Statistical Mechanics: Theory and Experiment |date=20 April 2016 |volume=2016 |issue=4 |page=043403 |doi=10.1088/1742-5468/2016/04/043403 |arxiv=1404.6788 |bibcode=2016JSMTE..04.3403V |s2cid=124719237}}</ref> | ||
==कारण अनुबंधन== | ==कारण अनुबंधन== | ||
दिष्ट सूचना का सार '''कारण अनुबंधन''' है। <math>x^n</math>पर यथोचित रूप से अनुबंधन <math>y^n</math> की | दिष्ट सूचना का सार '''कारण अनुबंधन''' है। <math>x^n</math>पर यथोचित रूप से अनुबंधन <math>y^n</math> की प्रायिकता को इस प्रकार परिभाषित किया गया है<ref name="Kramer 2003"/>: | ||
<math>P(x^n||y^n) \triangleq \prod_{i=1}^n P(x_i|x^{i-1},y^{i})</math>. | <math>P(x^n||y^n) \triangleq \prod_{i=1}^n P(x_i|x^{i-1},y^{i})</math>. | ||
यह पारंपरिक | यह पारंपरिक अनुबंधन | ||
<math>P(x^n|y^n) = \prod_{i=1}^n P(x_i|x^{i-1},y^{n})</math> के लिए श्रृंखला नियम, सभी प्रतीकों <math>y^{i}</math> के बजाय "अतीत" और "वर्तमान" प्रतीकों <math>y^{n}</math> पर एक अनुबंधन को छोड़कर के समान है। केवल "अतीत" प्रतीकों को शामिल करने के लिए, स्थिर प्रतीक को जोड़कर विलंब का परिचय दिया जा सकता है: | |||
:<math>P(x^n||(0,y^{n-1})) \triangleq \prod_{i=1}^n P(x_i|x^{i-1},y^{i-1})</math>. | :<math>P(x^n||(0,y^{n-1})) \triangleq \prod_{i=1}^n P(x_i|x^{i-1},y^{i-1})</math>. | ||
इस अभिव्यक्ति के लिए <math>P(x^n||y^{n-1})</math> लिखकर संकेतन का दुरुपयोग करना आम बात है, हालांकि औपचारिक रूप से सभी स्ट्रिंग्स में प्रतीकों की संख्या समान होनी चाहिए। | |||
कोई भी कई स्ट्रिंग्स पर अनुबंधन लगा सकता है: <math>P(x^n||y^n,z^n) \triangleq \prod_{i=1}^n P(x_i|x^{i-1},y^{i},z^{i})</math>. | |||
===कारण अनुबंधन एन्ट्रापी=== | |||
'''कारणतः अनुबंधन एन्ट्रापी''' को इस प्रकार परिभाषित किया गया है:<ref name="Kramer 1998" />:<math>H(X^n || Y^n)=\mathbf E\left[ -\log {P(X^n||Y^n)} \right]=\sum_{i=1}^n H(X_{i}|X^{i-1},Y^{i})</math> | |||
इसी तरह, कोई भी कई स्ट्रिंग्स पर कारणात्मक अनुबंधन कर सकता है और लिख सकता है<math>H(X^n || Y^n,Z^n)=\mathbf E\left[ -\log {P(X^n||Y^n,Z^n)} \right]</math> | |||
इसी तरह, कोई भी कई स्ट्रिंग्स पर कारणात्मक | |||
<math>H(X^n || Y^n,Z^n)=\mathbf E\left[ -\log {P(X^n||Y^n,Z^n)} \right]</math> | |||
==गुण== | ==गुण== | ||
कारण अनुबंधन के लिए | कारण अनुबंधन के लिए अपघटन नियम<ref name="Massey 1990"/>है | ||
:<math>P(x^n, y^n) = P(x^n||y^{n-1}) P(y^n||x^n)</math>. | :<math>P(x^n, y^n) = P(x^n||y^{n-1}) P(y^n||x^n)</math>. | ||
यह नियम दर्शाता है कि कोई भी उत्पाद <math>P(x^n||y^{n-1}), P(y^n||x^n)</math> संयुक्त वितरण | यह नियम दर्शाता है कि कोई भी उत्पाद <math>P(x^n||y^{n-1}), P(y^n||x^n)</math> संयुक्त वितरण <math>P(x^n, y^n)</math> देता है। | ||
कारण | कारण अनुबंधन प्रायिकता<math>P(y^n||x^n) = \prod_{i=1}^n P(y_i|y^{i-1},x^{i})</math> प्रायिकता सदिश है, यानी, | ||
:<math>P(y^n||x^n)\geq 0 \quad\text{and}\quad \sum_{y^n} P(y^n||x^n)=1 \quad\text{for all } (x^n,y^n)</math>. | :<math>P(y^n||x^n)\geq 0 \quad\text{and}\quad \sum_{y^n} P(y^n||x^n)=1 \quad\text{for all } (x^n,y^n)</math>. | ||
दिष्ट सूचना को कारण अनुबंधन के संदर्भ में लिखा जा सकता है:<ref name="Kramer 1998"/>:<math>I(X^N \rightarrow Y^N)=\mathbf E\left[ \log \frac{P(Y^N||X^N)}{P(Y^N)} \right] = H(Y^n)- H(Y^n || X^n)</math>. | दिष्ट सूचना को कारण अनुबंधन के संदर्भ में लिखा जा सकता है:<ref name="Kramer 1998"/>:<math>I(X^N \rightarrow Y^N)=\mathbf E\left[ \log \frac{P(Y^N||X^N)}{P(Y^N)} \right] = H(Y^n)- H(Y^n || X^n)</math>. | ||
संबंध तीन | संबंध तीन स्ट्रिंग्स तक सामान्यीकृत होता है: <math>X^n</math> को <math>Y^n</math> तक प्रवाहित वाली <math>Z^n</math> यथोचित रूप से अनुबंधन है | ||
:<math>I(X^n\to Y^n || Z^n) = H(Y^n || Z^n)- H(Y^n || X^n, Z^n)</math>. | :<math>I(X^n\to Y^n || Z^n) = H(Y^n || Z^n)- H(Y^n || X^n, Z^n)</math>. | ||
===सूचना का संरक्षण | ===सूचना का संरक्षण नियम=== | ||
जेम्स मैसी और उनके बेटे पीटर मैसी द्वारा स्थापित यह कानून,<ref>{{cite book |last1=Massey |first1=J.L. |last2=Massey |first2=P.C. |title=Proceedings. International Symposium on Information Theory, 2005. ISIT 2005 |chapter=Conservation of mutual and directed information |date=September 2005 |pages=157–158 |doi=10.1109/ISIT.2005.1523313|isbn=0-7803-9151-9 |s2cid=38053218 }}</ref> दिष्ट सूचना और पारस्परिक सूचना से संबंधित होकर अंतर्ज्ञान देता है। कानून कहता है कि किसी के लिए भी <math>X^n, Y^n </math>, निम्नलिखित समानता रखती है: | जेम्स मैसी और उनके बेटे पीटर मैसी द्वारा स्थापित यह कानून,<ref>{{cite book |last1=Massey |first1=J.L. |last2=Massey |first2=P.C. |title=Proceedings. International Symposium on Information Theory, 2005. ISIT 2005 |chapter=Conservation of mutual and directed information |date=September 2005 |pages=157–158 |doi=10.1109/ISIT.2005.1523313|isbn=0-7803-9151-9 |s2cid=38053218 }}</ref> दिष्ट सूचना और पारस्परिक सूचना से संबंधित होकर अंतर्ज्ञान देता है। कानून कहता है कि किसी के लिए भी <math>X^n, Y^n </math>, निम्नलिखित समानता रखती है: | ||
:<math>I(X^n;Y^n)= I(X^n \to Y^n)+I(Y^{n-1} \to X^n).</math> | :<math>I(X^n;Y^n)= I(X^n \to Y^n)+I(Y^{n-1} \to X^n).</math> | ||
| Line 55: | Line 57: | ||
== मार्को का द्विदिश संचार का सिद्धांत == | == मार्को का द्विदिश संचार का सिद्धांत == | ||
मैसी की दिष्ट सूचना द्विदिश संचार के सिद्धांत को विकसित करने पर मार्को के शुरुआती काम (1966) से प्रेरित थी।<ref>{{cite journal |last1=Marko |first1=Hans |title=Die Theorie der bidirektionalen Kommunikation und ihre Anwendung auf die Nachrichtenübermittlung zwischen Menschen (Subjektive Information) |journal=Kybernetik |date=1 September 1966 |volume=3 |issue=3 |pages=128–136 |doi=10.1007/BF00288922 |pmid=5920460 |s2cid=33275199 |url=https://link.springer.com/article/10.1007/BF00288922 |language=de |issn=1432-0770}}</ref><ref>{{cite journal |last1=Marko |first1=H. |title=द्विदिश संचार सिद्धांत--सूचना सिद्धांत का एक सामान्यीकरण|journal=IEEE Transactions on Communications |date=December 1973 |volume=21 |issue=12 |pages=1345–1351 |doi=10.1109/TCOM.1973.1091610|s2cid=51664185 }}</ref> दिष्ट परिवर्तन सूचना की मार्को की परिभाषा उस समय मैसी की परिभाषा से थोड़ी भिन्न है <math>n</math>, पिछले प्रतीकों पर एक | मैसी की दिष्ट सूचना द्विदिश संचार के सिद्धांत को विकसित करने पर मार्को के शुरुआती काम (1966) से प्रेरित थी।<ref>{{cite journal |last1=Marko |first1=Hans |title=Die Theorie der bidirektionalen Kommunikation und ihre Anwendung auf die Nachrichtenübermittlung zwischen Menschen (Subjektive Information) |journal=Kybernetik |date=1 September 1966 |volume=3 |issue=3 |pages=128–136 |doi=10.1007/BF00288922 |pmid=5920460 |s2cid=33275199 |url=https://link.springer.com/article/10.1007/BF00288922 |language=de |issn=1432-0770}}</ref><ref>{{cite journal |last1=Marko |first1=H. |title=द्विदिश संचार सिद्धांत--सूचना सिद्धांत का एक सामान्यीकरण|journal=IEEE Transactions on Communications |date=December 1973 |volume=21 |issue=12 |pages=1345–1351 |doi=10.1109/TCOM.1973.1091610|s2cid=51664185 }}</ref> दिष्ट परिवर्तन सूचना की मार्को की परिभाषा उस समय मैसी की परिभाषा से थोड़ी भिन्न है <math>n</math>, पिछले प्रतीकों पर एक अनुबंधन <math>X^{n-1},Y^{n-1}</math> केवल और एक सीमा लेता है: | ||
:<math>T_{12} = \lim_{n \to \infty} \mathbf E\left[ -\log \frac{P(X_{n}|X^{n-1})}{P(X_{n}|X^{n-1},Y^{n-1})} \right] \quad\text{and}\quad T_{21} = \lim_{n \to \infty} \mathbf E\left[ -\log \frac{P(Y_{n}|Y^{n-1})}{P(Y_{n}|Y^{n-1},X^{n-1})} \right].</math> | :<math>T_{12} = \lim_{n \to \infty} \mathbf E\left[ -\log \frac{P(X_{n}|X^{n-1})}{P(X_{n}|X^{n-1},Y^{n-1})} \right] \quad\text{and}\quad T_{21} = \lim_{n \to \infty} \mathbf E\left[ -\log \frac{P(Y_{n}|Y^{n-1})}{P(Y_{n}|Y^{n-1},X^{n-1})} \right].</math> | ||
मार्को ने कई अन्य मात्राएँ परिभाषित कीं, जिनमें शामिल हैं: | मार्को ने कई अन्य मात्राएँ परिभाषित कीं, जिनमें शामिल हैं: | ||
| Line 67: | Line 69: | ||
* <math>R_{1} = H_{1}-K = F_{1}-T_{21}</math> | * <math>R_{1} = H_{1}-K = F_{1}-T_{21}</math> | ||
* <math>R_{2} = H_{2}-K = F_{2}-T_{12}</math> | * <math>R_{2} = H_{2}-K = F_{2}-T_{12}</math> | ||
और संरक्षण | और संरक्षण नियम विकसित किया <math>F_{1}+F_{2} = R_{1}+R_{2}+K = H_{1}+H_{2}-K</math> और कई सीमाएँ. | ||
==[[एन्ट्रापी स्थानांतरण]] से संबंध== | ==[[एन्ट्रापी स्थानांतरण]] से संबंध== | ||
Revision as of 10:49, 7 December 2023
दिष्ट सूचना एक सूचना सिद्धांत आकलन है जो यादृच्छिक स्ट्रिंग से यादृच्छिक स्ट्रिंग तक सूचना प्रवाह की मात्रा निर्धारित करता है। दिष्ट सूचना शब्द जेम्स मैसी द्वारा गढ़ा गया था और इसे इस प्रकार परिभाषित किया गया है[1]
जहाँ सशर्त पारस्परिक सूचना है .
दिष्ट सूचना में उन समस्याओं के लिए अनुप्रयोग होते हैं जहां कारण कार्य महत्वपूर्ण भूमिका निभाता है जैसे फीडबैक वाले चैनल क्षमता,[1][2][3][4] असतत मेमोरी रहित नेटवर्क की क्षमता,[5] इन-ब्लॉक मेमोरी वाले नेटवर्क की क्षमता,[6] कारण पक्ष की सूचना के साथ गैम्बल,[7] कारण पक्ष की सूचना के साथ संपीड़न,[8] वास्तविक समय नियंत्रण संचार समायोजन,[9][10] और सांख्यिकीय भौतिकी।[11]
कारण अनुबंधन
दिष्ट सूचना का सार कारण अनुबंधन है। पर यथोचित रूप से अनुबंधन की प्रायिकता को इस प्रकार परिभाषित किया गया है[5]:
.
यह पारंपरिक अनुबंधन