दिष्ट सूचना: Difference between revisions
From Vigyanwiki
(text) |
|||
| Line 4: | Line 4: | ||
दिष्ट सूचना में उन समस्याओं के लिए अनुप्रयोग होते हैं जहां कारण कार्य महत्वपूर्ण भूमिका निभाता है जैसे फीडबैक वाले [[चैनल क्षमता]],<ref name="Massey 1990"/><ref name="Kramer 1998">{{cite thesis |type=Doctoral |last=Kramer |first=Gerhard |date=1998 |title=फीडबैक के साथ चैनलों के लिए निर्देशित जानकारी|doi=10.3929/ethz-a-001988524 |publisher=ETH Zurich |hdl=20.500.11850/143796 |language=en}}</ref><ref>{{cite thesis |type=Doctoral |last=Tatikonda |first=Sekhar Chandra |date=2000 |title=संचार बाधाओं के तहत नियंत्रण|url=https://dspace.mit.edu/handle/1721.1/16755 |publisher=Massachusetts Institute of Technology|hdl=1721.1/16755 }}</ref><ref name="2008.2009849">{{cite journal |last1=Permuter |first1=Haim Henry|last2=Weissman|first2=Tsachy|last3=Goldsmith |first3=Andrea J.|title=समय-अपरिवर्तनीय नियतात्मक प्रतिक्रिया के साथ परिमित राज्य चैनल|journal=IEEE Transactions on Information Theory |date=February 2009 |volume=55|issue=2 |pages=644–662 |doi=10.1109/TIT.2008.2009849|arxiv=cs/0608070|s2cid=13178}}</ref> असतत [[स्मृतिहीन|मेमोरी रहित]] नेटवर्क की क्षमता,<ref name="Kramer 2003">{{cite journal |last1=Kramer |first1=G. |title=असतत स्मृतिहीन नेटवर्क के लिए क्षमता परिणाम|journal=IEEE Transactions on Information Theory|date=January 2003|volume=49|issue=1 |pages=4–21|doi=10.1109/TIT.2002.806135}}</ref> इन-ब्लॉक मेमोरी वाले नेटवर्क की क्षमता,<ref>{{cite journal |last1=Kramer |first1=Gerhard |title=इन-ब्लॉक मेमोरी के साथ सूचना नेटवर्क|journal=IEEE Transactions on Information Theory |date=April 2014 |volume=60 |issue=4 |pages=2105–2120 |doi=10.1109/TIT.2014.2303120|arxiv=1206.5389 |s2cid=16382644 }}</ref> कारण पक्ष की सूचना के साथ [[जुआ|गैम्बल]],<ref>{{cite journal|last1=Permuter|first1=Haim H.|last2=Kim |first2=Young-Han|last3=Weissman |first3=Tsachy|title=पोर्टफोलियो सिद्धांत, डेटा संपीड़न और परिकल्पना परीक्षण में निर्देशित सूचना की व्याख्या|journal=IEEE Transactions on Information Theory|date=June 2011|volume=57|issue=6 |pages=3248–3259|doi=10.1109/TIT.2011.2136270|arxiv=0912.4872 |s2cid=11722596}}</ref> कारण पक्ष की सूचना के साथ संपीड़न,<ref>{{cite journal|last1=Simeone|first1=Osvaldo |last2=Permuter|first2=Haim Henri|title=स्रोत कोडिंग जब साइड सूचना में देरी हो सकती है|journal=IEEE Transactions on Information Theory|date=June 2013 |volume=59|issue=6|pages=3607–3618 |doi=10.1109/TIT.2013.2248192|arxiv=1109.1293|s2cid=3211485}}</ref> [[वास्तविक समय नियंत्रण]] संचार समायोजन,<ref>{{cite journal |last1=Charalambous|first1=Charalambos D. |last2=Stavrou |first2=Photios A.|title=Directed Information on Abstract Spaces: Properties and Variational Equalities |journal=IEEE Transactions on Information Theory|date=August 2016|volume=62|issue=11|pages=6019–6052 |doi=10.1109/TIT.2016.2604846 |arxiv=1302.3971|s2cid=8107565}}</ref><ref>{{cite journal |last1=Tanaka |first1=Takashi |last2=Esfahani |first2=Peyman Mohajerin |last3=Mitter |first3=Sanjoy K. |title=LQG Control With Minimum Directed Information: Semidefinite Programming Approach |journal=IEEE Transactions on Automatic Control |date=January 2018 |volume=63 |issue=1 |pages=37–52 |doi=10.1109/TAC.2017.2709618 |s2cid=1401958 |arxiv=1510.04214 |url=http://resolver.tudelft.nl/uuid:d9db1c11-fbfd-4c0c-b66f-f341b49fa61a}}</ref> और सांख्यिकीय भौतिकी।<ref>{{cite journal |last1=Vinkler |first1=Dror A |last2=Permuter |first2=Haim H |last3=Merhav |first3=Neri |title=जुए और माप-आधारित कार्य निष्कर्षण के बीच समानता|journal=Journal of Statistical Mechanics: Theory and Experiment |date=20 April 2016 |volume=2016 |issue=4 |page=043403 |doi=10.1088/1742-5468/2016/04/043403 |arxiv=1404.6788 |bibcode=2016JSMTE..04.3403V |s2cid=124719237}}</ref> | दिष्ट सूचना में उन समस्याओं के लिए अनुप्रयोग होते हैं जहां कारण कार्य महत्वपूर्ण भूमिका निभाता है जैसे फीडबैक वाले [[चैनल क्षमता]],<ref name="Massey 1990"/><ref name="Kramer 1998">{{cite thesis |type=Doctoral |last=Kramer |first=Gerhard |date=1998 |title=फीडबैक के साथ चैनलों के लिए निर्देशित जानकारी|doi=10.3929/ethz-a-001988524 |publisher=ETH Zurich |hdl=20.500.11850/143796 |language=en}}</ref><ref>{{cite thesis |type=Doctoral |last=Tatikonda |first=Sekhar Chandra |date=2000 |title=संचार बाधाओं के तहत नियंत्रण|url=https://dspace.mit.edu/handle/1721.1/16755 |publisher=Massachusetts Institute of Technology|hdl=1721.1/16755 }}</ref><ref name="2008.2009849">{{cite journal |last1=Permuter |first1=Haim Henry|last2=Weissman|first2=Tsachy|last3=Goldsmith |first3=Andrea J.|title=समय-अपरिवर्तनीय नियतात्मक प्रतिक्रिया के साथ परिमित राज्य चैनल|journal=IEEE Transactions on Information Theory |date=February 2009 |volume=55|issue=2 |pages=644–662 |doi=10.1109/TIT.2008.2009849|arxiv=cs/0608070|s2cid=13178}}</ref> असतत [[स्मृतिहीन|मेमोरी रहित]] नेटवर्क की क्षमता,<ref name="Kramer 2003">{{cite journal |last1=Kramer |first1=G. |title=असतत स्मृतिहीन नेटवर्क के लिए क्षमता परिणाम|journal=IEEE Transactions on Information Theory|date=January 2003|volume=49|issue=1 |pages=4–21|doi=10.1109/TIT.2002.806135}}</ref> इन-ब्लॉक मेमोरी वाले नेटवर्क की क्षमता,<ref>{{cite journal |last1=Kramer |first1=Gerhard |title=इन-ब्लॉक मेमोरी के साथ सूचना नेटवर्क|journal=IEEE Transactions on Information Theory |date=April 2014 |volume=60 |issue=4 |pages=2105–2120 |doi=10.1109/TIT.2014.2303120|arxiv=1206.5389 |s2cid=16382644 }}</ref> कारण पक्ष की सूचना के साथ [[जुआ|गैम्बल]],<ref>{{cite journal|last1=Permuter|first1=Haim H.|last2=Kim |first2=Young-Han|last3=Weissman |first3=Tsachy|title=पोर्टफोलियो सिद्धांत, डेटा संपीड़न और परिकल्पना परीक्षण में निर्देशित सूचना की व्याख्या|journal=IEEE Transactions on Information Theory|date=June 2011|volume=57|issue=6 |pages=3248–3259|doi=10.1109/TIT.2011.2136270|arxiv=0912.4872 |s2cid=11722596}}</ref> कारण पक्ष की सूचना के साथ संपीड़न,<ref>{{cite journal|last1=Simeone|first1=Osvaldo |last2=Permuter|first2=Haim Henri|title=स्रोत कोडिंग जब साइड सूचना में देरी हो सकती है|journal=IEEE Transactions on Information Theory|date=June 2013 |volume=59|issue=6|pages=3607–3618 |doi=10.1109/TIT.2013.2248192|arxiv=1109.1293|s2cid=3211485}}</ref> [[वास्तविक समय नियंत्रण]] संचार समायोजन,<ref>{{cite journal |last1=Charalambous|first1=Charalambos D. |last2=Stavrou |first2=Photios A.|title=Directed Information on Abstract Spaces: Properties and Variational Equalities |journal=IEEE Transactions on Information Theory|date=August 2016|volume=62|issue=11|pages=6019–6052 |doi=10.1109/TIT.2016.2604846 |arxiv=1302.3971|s2cid=8107565}}</ref><ref>{{cite journal |last1=Tanaka |first1=Takashi |last2=Esfahani |first2=Peyman Mohajerin |last3=Mitter |first3=Sanjoy K. |title=LQG Control With Minimum Directed Information: Semidefinite Programming Approach |journal=IEEE Transactions on Automatic Control |date=January 2018 |volume=63 |issue=1 |pages=37–52 |doi=10.1109/TAC.2017.2709618 |s2cid=1401958 |arxiv=1510.04214 |url=http://resolver.tudelft.nl/uuid:d9db1c11-fbfd-4c0c-b66f-f341b49fa61a}}</ref> और सांख्यिकीय भौतिकी।<ref>{{cite journal |last1=Vinkler |first1=Dror A |last2=Permuter |first2=Haim H |last3=Merhav |first3=Neri |title=जुए और माप-आधारित कार्य निष्कर्षण के बीच समानता|journal=Journal of Statistical Mechanics: Theory and Experiment |date=20 April 2016 |volume=2016 |issue=4 |page=043403 |doi=10.1088/1742-5468/2016/04/043403 |arxiv=1404.6788 |bibcode=2016JSMTE..04.3403V |s2cid=124719237}}</ref> | ||
== | ==कारण अनुबंधन== | ||
दिष्ट सूचना का सार | दिष्ट सूचना का सार '''कारण अनुबंधन''' है। <math>x^n</math>पर यथोचित रूप से अनुबंधन <math>y^n</math> की संभावना को इस प्रकार परिभाषित किया गया है<ref name="Kramer 2003"/>: | ||
<math>P(x^n||y^n) \triangleq \prod_{i=1}^n P(x_i|x^{i-1},y^{i})</math>. | |||
यह पारंपरिक कंडीशनिंग के लिए श्रृंखला नियम के समान है <math>P(x^n|y^n) = \prod_{i=1}^n P(x_i|x^{i-1},y^{n})</math> अतीत और वर्तमान प्रतीकों पर एक शर्त को छोड़कर <math>y^{i}</math> सभी प्रतीकों के बजाय <math>y^{n}</math>. केवल पिछले प्रतीकों को शामिल करने के लिए, एक स्थिर प्रतीक को जोड़कर विलंब का परिचय दिया जा सकता है: | यह पारंपरिक कंडीशनिंग के लिए श्रृंखला नियम के समान है <math>P(x^n|y^n) = \prod_{i=1}^n P(x_i|x^{i-1},y^{n})</math> अतीत और वर्तमान प्रतीकों पर एक शर्त को छोड़कर <math>y^{i}</math> सभी प्रतीकों के बजाय <math>y^{n}</math>. केवल पिछले प्रतीकों को शामिल करने के लिए, एक स्थिर प्रतीक को जोड़कर विलंब का परिचय दिया जा सकता है: | ||
:<math>P(x^n||(0,y^{n-1})) \triangleq \prod_{i=1}^n P(x_i|x^{i-1},y^{i-1})</math>. | :<math>P(x^n||(0,y^{n-1})) \triangleq \prod_{i=1}^n P(x_i|x^{i-1},y^{i-1})</math>. | ||
| Line 12: | Line 15: | ||
कोई भी कई स्ट्रिंग्स पर शर्त लगा सकता है: <math>P(x^n||y^n,z^n) \triangleq \prod_{i=1}^n P(x_i|x^{i-1},y^{i},z^{i})</math>. | कोई भी कई स्ट्रिंग्स पर शर्त लगा सकता है: <math>P(x^n||y^n,z^n) \triangleq \prod_{i=1}^n P(x_i|x^{i-1},y^{i},z^{i})</math>. | ||
===कारण रूप से | ===कारण रूप से अनुबंधन एन्ट्रापी=== | ||
कारणतः | कारणतः अनुबंधन एन्ट्रापी को इस प्रकार परिभाषित किया गया है:<ref name="Kramer 1998" />:<math>H(X^n || Y^n)=\mathbf E\left[ -\log {P(X^n||Y^n)} \right]=\sum_{i=1}^n H(X_{i}|X^{i-1},Y^{i})</math> | ||
इसी तरह, कोई भी कई स्ट्रिंग्स पर कारणात्मक रूप से कंडीशन कर सकता है और लिख सकता है | इसी तरह, कोई भी कई स्ट्रिंग्स पर कारणात्मक रूप से कंडीशन कर सकता है और लिख सकता है | ||
<math>H(X^n || Y^n,Z^n)=\mathbf E\left[ -\log {P(X^n||Y^n,Z^n)} \right]</math>. | <math>H(X^n || Y^n,Z^n)=\mathbf E\left[ -\log {P(X^n||Y^n,Z^n)} \right]</math>. | ||
==गुण== | ==गुण== | ||
कारण अनुबंधन के लिए एक अपघटन नियम<ref name="Massey 1990"/>है | |||
:<math>P(x^n, y^n) = P(x^n||y^{n-1}) P(y^n||x^n)</math>. | :<math>P(x^n, y^n) = P(x^n||y^{n-1}) P(y^n||x^n)</math>. | ||
यह नियम दर्शाता है कि कोई भी उत्पाद <math>P(x^n||y^{n-1}), P(y^n||x^n)</math> संयुक्त वितरण देता है <math>P(x^n, y^n)</math>. | यह नियम दर्शाता है कि कोई भी उत्पाद <math>P(x^n||y^{n-1}), P(y^n||x^n)</math> संयुक्त वितरण देता है <math>P(x^n, y^n)</math>. | ||
| Line 25: | Line 28: | ||
:<math>P(y^n||x^n)\geq 0 \quad\text{and}\quad \sum_{y^n} P(y^n||x^n)=1 \quad\text{for all } (x^n,y^n)</math>. | :<math>P(y^n||x^n)\geq 0 \quad\text{and}\quad \sum_{y^n} P(y^n||x^n)=1 \quad\text{for all } (x^n,y^n)</math>. | ||
दिष्ट सूचना को | दिष्ट सूचना को कारण अनुबंधन के संदर्भ में लिखा जा सकता है:<ref name="Kramer 1998"/>:<math>I(X^N \rightarrow Y^N)=\mathbf E\left[ \log \frac{P(Y^N||X^N)}{P(Y^N)} \right] = H(Y^n)- H(Y^n || X^n)</math>. | ||
संबंध तीन तारों तक सामान्यीकृत होता है: दिष्ट सूचना प्रवाहित होती है <math>X^n</math> को <math>Y^n</math> यथोचित रूप से | संबंध तीन तारों तक सामान्यीकृत होता है: दिष्ट सूचना प्रवाहित होती है <math>X^n</math> को <math>Y^n</math> यथोचित रूप से अनुबंधन <math>Z^n</math> है | ||
:<math>I(X^n\to Y^n || Z^n) = H(Y^n || Z^n)- H(Y^n || X^n, Z^n)</math>. | :<math>I(X^n\to Y^n || Z^n) = H(Y^n || Z^n)- H(Y^n || X^n, Z^n)</math>. | ||
Revision as of 10:16, 7 December 2023
दिष्ट सूचना एक सूचना सिद्धांत आकलन है जो यादृच्छिक स्ट्रिंग से यादृच्छिक स्ट्रिंग तक सूचना प्रवाह की मात्रा निर्धारित करता है। दिष्ट सूचना शब्द जेम्स मैसी द्वारा गढ़ा गया था और इसे इस प्रकार परिभाषित किया गया है[1]
जहाँ सशर्त पारस्परिक सूचना है .
दिष्ट सूचना में उन समस्याओं के लिए अनुप्रयोग होते हैं जहां कारण कार्य महत्वपूर्ण भूमिका निभाता है जैसे फीडबैक वाले चैनल क्षमता,[1][2][3][4] असतत मेमोरी रहित नेटवर्क की क्षमता,[5] इन-ब्लॉक मेमोरी वाले नेटवर्क की क्षमता,[6] कारण पक्ष की सूचना के साथ गैम्बल,[7] कारण पक्ष की सूचना के साथ संपीड़न,[8] वास्तविक समय नियंत्रण संचार समायोजन,[9][10] और सांख्यिकीय भौतिकी।[11]
कारण अनुबंधन
दिष्ट सूचना का सार कारण अनुबंधन है। पर यथोचित रूप से अनुबंधन की संभावना को इस प्रकार परिभाषित किया गया है[5]:
.
यह पारंपरिक कंडीशनिंग के लिए श्रृंखला नियम के समान है अतीत और वर्तमान प्रतीकों पर एक शर्त को छोड़कर सभी प्रतीकों के बजाय . केवल पिछले प्रतीकों को शामिल करने के लिए, एक स्थिर प्रतीक को जोड़कर विलंब का परिचय दिया जा सकता है: