दिष्ट सूचना: Difference between revisions
From Vigyanwiki
(text) |
m (12 revisions imported from alpha:दिष्ट_सूचना) |
||
| (10 intermediate revisions by 3 users not shown) | |||
| Line 1: | Line 1: | ||
'''दिष्ट [[जानकारी|सूचना]]''' एक [[सूचना सिद्धांत]] आकलन है जो यादृच्छिक स्ट्रिंग<math>X^n = (X_1,X_2,\dots,X_n)</math> से | '''दिष्ट [[जानकारी|सूचना]]''' एक [[सूचना सिद्धांत]] आकलन है जो यादृच्छिक स्ट्रिंग <math>X^n = (X_1,X_2,\dots,X_n)</math> से <math>Y^n = (Y_1,Y_2,\dots,Y_n)</math> तक सूचना प्रवाह की मात्रा निर्धारित करता है। दिष्ट सूचना शब्द [[जेम्स मैसी]] द्वारा गढ़ा गया था और इसे इस प्रकार परिभाषित किया गया है<ref name="Massey 1990">{{cite conference |last1=Massey |first1=James |title=कारणता, प्रतिक्रिया और निर्देशित जानकारी|book-title=Proceedings 1990 International Symposium on Information Theory and its Applications, Waikiki, Hawaii, Nov. 27-30, 1990 |date=1990}}</ref> | ||
:<math>I(X^n\to Y^n) \triangleq \sum_{i=1}^n I(X^i;Y_i|Y^{i-1})</math> | :<math>I(X^n\to Y^n) \triangleq \sum_{i=1}^n I(X^i;Y_i|Y^{i-1})</math> | ||
जहाँ <math>I(X^{i};Y_i|Y^{i-1})</math> [[सशर्त पारस्परिक जानकारी|सशर्त पारस्परिक सूचना]] है <math>I(X_1,X_2,...,X_{i};Y_i|Y_1,Y_2,...,Y_{i-1})</math>. | जहाँ <math>I(X^{i};Y_i|Y^{i-1})</math> [[सशर्त पारस्परिक जानकारी|सशर्त पारस्परिक सूचना]] है <math>I(X_1,X_2,...,X_{i};Y_i|Y_1,Y_2,...,Y_{i-1})</math>. | ||
दिष्ट सूचना में उन समस्याओं के लिए अनुप्रयोग होते हैं जहां कारण कार्य महत्वपूर्ण भूमिका निभाता है जैसे फीडबैक वाले [[चैनल क्षमता]],<ref name="Massey 1990"/><ref name="Kramer 1998">{{cite thesis |type=Doctoral |last=Kramer |first=Gerhard |date=1998 |title=फीडबैक के साथ चैनलों के लिए निर्देशित जानकारी|doi=10.3929/ethz-a-001988524 |publisher=ETH Zurich |hdl=20.500.11850/143796 |language=en}}</ref><ref>{{cite thesis |type=Doctoral |last=Tatikonda |first=Sekhar Chandra |date=2000 |title=संचार बाधाओं के तहत नियंत्रण|url=https://dspace.mit.edu/handle/1721.1/16755 |publisher=Massachusetts Institute of Technology|hdl=1721.1/16755 }}</ref><ref name="2008.2009849">{{cite journal |last1=Permuter |first1=Haim Henry|last2=Weissman|first2=Tsachy|last3=Goldsmith |first3=Andrea J.|title=समय-अपरिवर्तनीय नियतात्मक प्रतिक्रिया के साथ परिमित राज्य चैनल|journal=IEEE Transactions on Information Theory |date=February 2009 |volume=55|issue=2 |pages=644–662 |doi=10.1109/TIT.2008.2009849|arxiv=cs/0608070|s2cid=13178}}</ref> असतत [[स्मृतिहीन|मेमोरी रहित]] नेटवर्क की क्षमता,<ref name="Kramer 2003">{{cite journal |last1=Kramer |first1=G. |title=असतत स्मृतिहीन नेटवर्क के लिए क्षमता परिणाम|journal=IEEE Transactions on Information Theory|date=January 2003|volume=49|issue=1 |pages=4–21|doi=10.1109/TIT.2002.806135}}</ref> इन-ब्लॉक मेमोरी वाले नेटवर्क की क्षमता,<ref>{{cite journal |last1=Kramer |first1=Gerhard |title=इन-ब्लॉक मेमोरी के साथ सूचना नेटवर्क|journal=IEEE Transactions on Information Theory |date=April 2014 |volume=60 |issue=4 |pages=2105–2120 |doi=10.1109/TIT.2014.2303120|arxiv=1206.5389 |s2cid=16382644 }}</ref> कारण पक्ष की सूचना के साथ [[जुआ|गैम्बल]],<ref>{{cite journal|last1=Permuter|first1=Haim H.|last2=Kim |first2=Young-Han|last3=Weissman |first3=Tsachy|title=पोर्टफोलियो सिद्धांत, डेटा संपीड़न और परिकल्पना परीक्षण में निर्देशित सूचना की व्याख्या|journal=IEEE Transactions on Information Theory|date=June 2011|volume=57|issue=6 |pages=3248–3259|doi=10.1109/TIT.2011.2136270|arxiv=0912.4872 |s2cid=11722596}}</ref> कारण पक्ष की सूचना के साथ संपीड़न,<ref>{{cite journal|last1=Simeone|first1=Osvaldo |last2=Permuter|first2=Haim Henri|title=स्रोत कोडिंग जब साइड सूचना में देरी हो सकती है|journal=IEEE Transactions on Information Theory|date=June 2013 |volume=59|issue=6|pages=3607–3618 |doi=10.1109/TIT.2013.2248192|arxiv=1109.1293|s2cid=3211485}}</ref> [[वास्तविक समय नियंत्रण]] संचार समायोजन,<ref>{{cite journal |last1=Charalambous|first1=Charalambos D. |last2=Stavrou |first2=Photios A.|title=Directed Information on Abstract Spaces: Properties and Variational Equalities |journal=IEEE Transactions on Information Theory|date=August 2016|volume=62|issue=11|pages=6019–6052 |doi=10.1109/TIT.2016.2604846 |arxiv=1302.3971|s2cid=8107565}}</ref><ref>{{cite journal |last1=Tanaka |first1=Takashi |last2=Esfahani |first2=Peyman Mohajerin |last3=Mitter |first3=Sanjoy K. |title=LQG Control With Minimum Directed Information: Semidefinite Programming Approach |journal=IEEE Transactions on Automatic Control |date=January 2018 |volume=63 |issue=1 |pages=37–52 |doi=10.1109/TAC.2017.2709618 |s2cid=1401958 |arxiv=1510.04214 |url=http://resolver.tudelft.nl/uuid:d9db1c11-fbfd-4c0c-b66f-f341b49fa61a}}</ref> और सांख्यिकीय भौतिकी।<ref>{{cite journal |last1=Vinkler |first1=Dror A |last2=Permuter |first2=Haim H |last3=Merhav |first3=Neri |title=जुए और माप-आधारित कार्य निष्कर्षण के बीच समानता|journal=Journal of Statistical Mechanics: Theory and Experiment |date=20 April 2016 |volume=2016 |issue=4 |page=043403 |doi=10.1088/1742-5468/2016/04/043403 |arxiv=1404.6788 |bibcode=2016JSMTE..04.3403V |s2cid=124719237}}</ref> | दिष्ट सूचना में उन समस्याओं के लिए अनुप्रयोग होते हैं जहां कारण कार्य महत्वपूर्ण भूमिका निभाता है जैसे फीडबैक वाले [[चैनल क्षमता]],<ref name="Massey 1990"/><ref name="Kramer 1998">{{cite thesis |type=Doctoral |last=Kramer |first=Gerhard |date=1998 |title=फीडबैक के साथ चैनलों के लिए निर्देशित जानकारी|doi=10.3929/ethz-a-001988524 |publisher=ETH Zurich |hdl=20.500.11850/143796 |language=en}}</ref><ref>{{cite thesis |type=Doctoral |last=Tatikonda |first=Sekhar Chandra |date=2000 |title=संचार बाधाओं के तहत नियंत्रण|url=https://dspace.mit.edu/handle/1721.1/16755 |publisher=Massachusetts Institute of Technology|hdl=1721.1/16755 }}</ref><ref name="2008.2009849">{{cite journal |last1=Permuter |first1=Haim Henry|last2=Weissman|first2=Tsachy|last3=Goldsmith |first3=Andrea J.|title=समय-अपरिवर्तनीय नियतात्मक प्रतिक्रिया के साथ परिमित राज्य चैनल|journal=IEEE Transactions on Information Theory |date=February 2009 |volume=55|issue=2 |pages=644–662 |doi=10.1109/TIT.2008.2009849|arxiv=cs/0608070|s2cid=13178}}</ref> असतत [[स्मृतिहीन|मेमोरी रहित]] नेटवर्क की क्षमता,<ref name="Kramer 2003">{{cite journal |last1=Kramer |first1=G. |title=असतत स्मृतिहीन नेटवर्क के लिए क्षमता परिणाम|journal=IEEE Transactions on Information Theory|date=January 2003|volume=49|issue=1 |pages=4–21|doi=10.1109/TIT.2002.806135}}</ref> इन-ब्लॉक मेमोरी वाले नेटवर्क की क्षमता,<ref>{{cite journal |last1=Kramer |first1=Gerhard |title=इन-ब्लॉक मेमोरी के साथ सूचना नेटवर्क|journal=IEEE Transactions on Information Theory |date=April 2014 |volume=60 |issue=4 |pages=2105–2120 |doi=10.1109/TIT.2014.2303120|arxiv=1206.5389 |s2cid=16382644 }}</ref> कारण पक्ष की सूचना के साथ [[जुआ|गैम्बल]],<ref>{{cite journal|last1=Permuter|first1=Haim H.|last2=Kim |first2=Young-Han|last3=Weissman |first3=Tsachy|title=पोर्टफोलियो सिद्धांत, डेटा संपीड़न और परिकल्पना परीक्षण में निर्देशित सूचना की व्याख्या|journal=IEEE Transactions on Information Theory|date=June 2011|volume=57|issue=6 |pages=3248–3259|doi=10.1109/TIT.2011.2136270|arxiv=0912.4872 |s2cid=11722596}}</ref> कारण पक्ष की सूचना के साथ संपीड़न,<ref>{{cite journal|last1=Simeone|first1=Osvaldo |last2=Permuter|first2=Haim Henri|title=स्रोत कोडिंग जब साइड सूचना में देरी हो सकती है|journal=IEEE Transactions on Information Theory|date=June 2013 |volume=59|issue=6|pages=3607–3618 |doi=10.1109/TIT.2013.2248192|arxiv=1109.1293|s2cid=3211485}}</ref> [[वास्तविक समय नियंत्रण]] संचार समायोजन,<ref>{{cite journal |last1=Charalambous|first1=Charalambos D. |last2=Stavrou |first2=Photios A.|title=Directed Information on Abstract Spaces: Properties and Variational Equalities |journal=IEEE Transactions on Information Theory|date=August 2016|volume=62|issue=11|pages=6019–6052 |doi=10.1109/TIT.2016.2604846 |arxiv=1302.3971|s2cid=8107565}}</ref><ref>{{cite journal |last1=Tanaka |first1=Takashi |last2=Esfahani |first2=Peyman Mohajerin |last3=Mitter |first3=Sanjoy K. |title=LQG Control With Minimum Directed Information: Semidefinite Programming Approach |journal=IEEE Transactions on Automatic Control |date=January 2018 |volume=63 |issue=1 |pages=37–52 |doi=10.1109/TAC.2017.2709618 |s2cid=1401958 |arxiv=1510.04214 |url=http://resolver.tudelft.nl/uuid:d9db1c11-fbfd-4c0c-b66f-f341b49fa61a}}</ref> और सांख्यिकीय भौतिकी।<ref>{{cite journal |last1=Vinkler |first1=Dror A |last2=Permuter |first2=Haim H |last3=Merhav |first3=Neri |title=जुए और माप-आधारित कार्य निष्कर्षण के बीच समानता|journal=Journal of Statistical Mechanics: Theory and Experiment |date=20 April 2016 |volume=2016 |issue=4 |page=043403 |doi=10.1088/1742-5468/2016/04/043403 |arxiv=1404.6788 |bibcode=2016JSMTE..04.3403V |s2cid=124719237}}</ref> | ||
== | ==कारण अनुबंधन== | ||
दिष्ट सूचना का सार | दिष्ट सूचना का सार '''कारण अनुबंधन''' है। <math>x^n</math>पर यथोचित रूप से अनुबंधन <math>y^n</math> की प्रायिकता को इस प्रकार परिभाषित किया गया है<ref name="Kramer 2003"/>: | ||
यह पारंपरिक | |||
<math>P(x^n||y^n) \triangleq \prod_{i=1}^n P(x_i|x^{i-1},y^{i})</math>. | |||
यह पारंपरिक अनुबंधन | |||
<math>P(x^n|y^n) = \prod_{i=1}^n P(x_i|x^{i-1},y^{n})</math> के लिए श्रृंखला नियम, सभी प्रतीकों <math>y^{i}</math> के अतिरिक्त "अतीत" और "वर्तमान" प्रतीकों <math>y^{n}</math> पर एक अनुबंधन को छोड़कर के समान है। केवल "अतीत" प्रतीकों को सम्मिलित करने के लिए, स्थिर प्रतीक को जोड़कर विलंब का परिचय दिया जा सकता है: | |||
:<math>P(x^n||(0,y^{n-1})) \triangleq \prod_{i=1}^n P(x_i|x^{i-1},y^{i-1})</math>. | :<math>P(x^n||(0,y^{n-1})) \triangleq \prod_{i=1}^n P(x_i|x^{i-1},y^{i-1})</math>. | ||
इस अभिव्यक्ति के लिए <math>P(x^n||y^{n-1})</math> लिखकर संकेतन का दुरुपयोग करना आम बात है, चूंकि औपचारिक रूप से सभी स्ट्रिंग्स में प्रतीकों की संख्या समान होनी चाहिए। | |||
कोई भी कई स्ट्रिंग्स पर अनुबंधन लगा सकता है: <math>P(x^n||y^n,z^n) \triangleq \prod_{i=1}^n P(x_i|x^{i-1},y^{i},z^{i})</math>. | |||
===कारण अनुबंधन एन्ट्रापी=== | |||
'''कारणतः अनुबंधन एन्ट्रापी''' को इस प्रकार परिभाषित किया गया है:<ref name="Kramer 1998" />:<math>H(X^n || Y^n)=\mathbf E\left[ -\log {P(X^n||Y^n)} \right]=\sum_{i=1}^n H(X_{i}|X^{i-1},Y^{i})</math> | |||
इसी तरह, कोई भी कई स्ट्रिंग्स पर कारणात्मक अनुबंधन कर सकता है और लिख सकता है<math>H(X^n || Y^n,Z^n)=\mathbf E\left[ -\log {P(X^n||Y^n,Z^n)} \right]</math> | |||
इसी तरह, कोई भी कई स्ट्रिंग्स पर कारणात्मक | |||
<math>H(X^n || Y^n,Z^n)=\mathbf E\left[ -\log {P(X^n||Y^n,Z^n)} \right]</math> | |||
==गुण== | ==गुण== | ||
कारण अनुबंधन के लिए अपघटन नियम<ref name="Massey 1990"/>है | |||
:<math>P(x^n, y^n) = P(x^n||y^{n-1}) P(y^n||x^n)</math>. | :<math>P(x^n, y^n) = P(x^n||y^{n-1}) P(y^n||x^n)</math>. | ||
यह नियम दर्शाता है कि कोई भी उत्पाद <math>P(x^n||y^{n-1}), P(y^n||x^n)</math> संयुक्त वितरण | यह नियम दर्शाता है कि कोई भी उत्पाद <math>P(x^n||y^{n-1}), P(y^n||x^n)</math> संयुक्त वितरण <math>P(x^n, y^n)</math> देता है। | ||
कारण | कारण अनुबंधन प्रायिकता<math>P(y^n||x^n) = \prod_{i=1}^n P(y_i|y^{i-1},x^{i})</math> प्रायिकता सदिश है, अर्थात, | ||
:<math>P(y^n||x^n)\geq 0 \quad\text{and}\quad \sum_{y^n} P(y^n||x^n)=1 \quad\text{for all } (x^n,y^n)</math>. | :<math>P(y^n||x^n)\geq 0 \quad\text{and}\quad \sum_{y^n} P(y^n||x^n)=1 \quad\text{for all } (x^n,y^n)</math>. | ||
दिष्ट सूचना को | दिष्ट सूचना को कारण अनुबंधन के संदर्भ में लिखा जा सकता है:<ref name="Kramer 1998"/>:<math>I(X^N \rightarrow Y^N)=\mathbf E\left[ \log \frac{P(Y^N||X^N)}{P(Y^N)} \right] = H(Y^n)- H(Y^n || X^n)</math>. | ||
संबंध तीन | संबंध तीन स्ट्रिंग्स तक सामान्यीकृत होता है: <math>X^n</math> को <math>Y^n</math> तक प्रवाहित वाली <math>Z^n</math> यथोचित रूप से अनुबंधन है | ||
:<math>I(X^n\to Y^n || Z^n) = H(Y^n || Z^n)- H(Y^n || X^n, Z^n)</math>. | :<math>I(X^n\to Y^n || Z^n) = H(Y^n || Z^n)- H(Y^n || X^n, Z^n)</math>. | ||
===सूचना का संरक्षण | ===सूचना का संरक्षण नियम=== | ||
जेम्स मैसी और उनके बेटे पीटर मैसी द्वारा स्थापित यह | जेम्स मैसी और उनके बेटे पीटर मैसी द्वारा स्थापित यह नियम,<ref>{{cite book |last1=Massey |first1=J.L. |last2=Massey |first2=P.C. |title=Proceedings. International Symposium on Information Theory, 2005. ISIT 2005 |chapter=Conservation of mutual and directed information |date=September 2005 |pages=157–158 |doi=10.1109/ISIT.2005.1523313|isbn=0-7803-9151-9 |s2cid=38053218 }}</ref> दिष्ट सूचना और पारस्परिक सूचना से संबंधित होकर अंतर्ज्ञान देता है। नियम कहता है कि किसी के लिए भी <math>X^n, Y^n </math> लिए, निम्नलिखित समानता रखती है: | ||
:<math>I(X^n;Y^n)= I(X^n \to Y^n)+I(Y^{n-1} \to X^n).</math> | :<math>I(X^n;Y^n)= I(X^n \to Y^n)+I(Y^{n-1} \to X^n).</math> | ||
इस | इस नियम के दो वैकल्पिक रूप हैं<ref name="Kramer 1998"/><ref>{{cite journal |last1=Amblard |first1=Pierre-Olivier |last2=Michel |first2=Olivier |title=The Relation between Granger Causality and Directed Information Theory: A Review |journal=Entropy |date=28 December 2012 |volume=15 |issue=1 |pages=113–143 |doi=10.3390/e15010113 |arxiv=1211.3169 |bibcode=2012Entrp..15..113A |doi-access=free }}</ref> | ||
:<math>I(X^n;Y^n) = I(X^n \to Y^n) + I(Y^n \to X^n) - I(X^n \leftrightarrow Y^n)</math> | :<math>I(X^n;Y^n) = I(X^n \to Y^n) + I(Y^n \to X^n) - I(X^n \leftrightarrow Y^n)</math> | ||
:<math>I(X^n;Y^n) = I(X^{n-1} \to Y^n) + I(Y^{n-1} \to X^n) + I(X^n \leftrightarrow Y^n)</math> | :<math>I(X^n;Y^n) = I(X^{n-1} \to Y^n) + I(Y^{n-1} \to X^n) + I(X^n \leftrightarrow Y^n)</math> | ||
| Line 39: | Line 44: | ||
== अनुमान और अनुकूलन == | == अनुमान और अनुकूलन == | ||
दिष्ट सूचना का अनुमान लगाना और उसका अनुकूलन करना चुनौतीपूर्ण है क्योंकि | दिष्ट सूचना का अनुमान लगाना और उसका अनुकूलन करना चुनौतीपूर्ण है क्योंकि इसमें <math>n</math> शब्द हैं जहाँ <math>n</math> बड़े हो सकते हैं। कई स्थितियों में, कोई व्यक्ति सीमित औसत को अनुकूलित करने में रुचि रखता है, अर्थात, जब <math>n</math> अनंत तक बढ़ता है जिसे बहु-अक्षर अभिव्यक्ति कहा जाता है। | ||
===अनुमान=== | ===अनुमान=== | ||
नमूनों से दिष्ट सूचना का अनुमान लगाना एक कठिन समस्या है क्योंकि दिष्ट सूचना अभिव्यक्ति नमूनों पर नहीं बल्कि संयुक्त वितरण | नमूनों से दिष्ट सूचना का अनुमान लगाना एक कठिन समस्या है क्योंकि दिष्ट सूचना अभिव्यक्ति नमूनों पर नहीं बल्कि संयुक्त वितरण <math>\{P(x_i,y_i|x^{i-1},y^{i-1})_{i=1}^n\}</math> पर निर्भर करती है जो अज्ञात हो सकता है। कॉन्टेक्स्ट ट्री वेइटिंग ([[संदर्भ वृक्ष भार|संदर्भ वृक्ष भार)]]<ref>{{cite journal |last1=Jiao |first1=Jiantao |last2=Permuter |first2=Haim H. |last3=Zhao |first3=Lei |last4=Kim |first4=Young-Han |last5=Weissman |first5=Tsachy |title=निर्देशित सूचना का सार्वभौमिक अनुमान|journal=IEEE Trans. Inf. Theory |date=October 2013 |volume=59 |issue=10 |pages=6220–6242 |doi=10.1109/TIT.2013.2267934 |arxiv=1201.2334 |s2cid=10855063 }}</ref> और अनुभवजन्य पैरामीट्रिक वितरण<ref>{{cite journal |last1=Quinn |first1=Christopher J. |last2=Kiyavash |first2=Negar |last3=Coleman |first3=Todd P. |title=निर्देशित सूचना ग्राफ़|journal=IEEE Trans. Inf. Theory |date=December 2015 |volume=61 |issue=12 |pages=6887–6909 |doi=10.1109/TIT.2015.2478440|arxiv=1204.2003 |s2cid=3121664}}</ref> और [[दीर्घकालिक अल्पकालिक स्मृति]] का उपयोग करने पर आधारित कई एल्गोरिदम हैं।<ref name="2003.04179"/> | ||
===अनुकूलन=== | ===अनुकूलन=== | ||
दिष्ट सूचना को अधिकतम करना सूचना सिद्धांत में एक मूलभूत समस्या है। उदाहरण के लिए, चैनल वितरण | दिष्ट सूचना को अधिकतम करना सूचना सिद्धांत में एक मूलभूत समस्या है। उदाहरण के लिए, चैनल वितरण <math>\{P(y_i|x^{i},y^{i-1}\}_{i=1}^n)</math> को देखते हुए, उद्देश्य चैनल इनपुट वितरण <math> I(X^n\to Y^n)</math> पर <math>\{P(x_i|x^{i-1},y^{i-1}\}_{i=1}^n)</math> को अनुकूलित करना हो सकता है। | ||
ब्लाहुत-अरिमोटो,<ref name="1012.5071">{{cite journal |last1=Naiss |first1=Iddo |last2=Permuter |first2=Haim H. |title=Extension of the Blahut–Arimoto Algorithm for Maximizing Directed Information |journal=IEEE Trans. Inf. Theory |date=January 2013 |volume=59 |issue=1 |pages=204–222 |doi=10.1109/TIT.2012.2214202 |s2cid=3115749 |arxiv=1012.5071}}</ref> [[मार्कोव निर्णय प्रक्रिया]],<ref name="2008.924681">{{cite journal |last1=Permuter |first1=Haim |last2=Cuff |first2=Paul |last3=Van Roy |first3=Benjamin |last4=Weissman |first4=Tsachy |title=फीडबैक के साथ ट्रैपडोर चैनल की क्षमता|journal=IEEE Trans. Inf. Theory |date=July 2008 |volume=54 |issue=7 |pages=3150–3165 |doi=10.1109/TIT.2008.924681|arxiv=cs/0610047 |s2cid=1265}}</ref><ref name="1205.4674">{{cite journal |last1=Elishco |first1=Ohad |last2=Permuter |first2=Haim |title=फीडबैक के साथ आइसिंग चैनल के लिए क्षमता और कोडिंग|journal=IEEE Trans. Inf. Theory |date=September 2014 |volume=60 |issue=9 |pages=5138–5149 |doi=10.1109/TIT.2014.2331951 |arxiv=1205.4674 |s2cid=9761759}}</ref><ref name="2015.2495239">{{cite journal |last1=Sabag |first1=Oron |last2=Permuter |first2=Haim H. |last3=Kashyap |first3=Navin |title=बिना किसी निरंतर इनपुट बाधा के बाइनरी इरेज़र चैनल की फीडबैक क्षमता|journal=IEEE Trans. Inf. Theory |date=January 2016 |volume=62 |issue=1 |pages=8–22 |doi=10.1109/TIT.2015.2495239 |s2cid=476381}}</ref><ref name="1712.02690">{{cite journal |last1=Peled |first1=Ori |last2=Sabag |first2=Oron |last3=Permuter |first3=Haim H. |title=$(0,k)$ -RLL इनपुट-विवश BEC के लिए फीडबैक क्षमता और कोडिंग|journal=IEEE Trans. Inf. Theory |date=July 2019 |volume=65 |issue=7 |pages=4097–4114 |doi=10.1109/TIT.2019.2903252 |arxiv=1712.02690 |s2cid=86582654}}</ref> [[आवर्तक तंत्रिका नेटवर्क]],<ref name="2003.04179">{{cite book |last1=Aharoni |first1=Ziv |last2=Tsur |first2=Dor |last3=Goldfeld |first3=Ziv |last4=Permuter |first4=Haim Henry |title=2020 IEEE International Symposium on Information Theory (ISIT) |chapter=Capacity of Continuous Channels with Memory via Directed Information Neural Estimator |arxiv=2003.04179 |date=June 2020 |journal=2020 IEEE Int. Symp. Inf. Theory |pages=2014–2019 |doi=10.1109/ISIT44484.2020.9174109 |isbn=978-1-7281-6432-8 |s2cid=212634151}}</ref> [[सुदृढीकरण सीखना|सुदृढीकरण]] <ref name="2008.07983">{{cite arXiv |last1=Aharoni |first1=Ziv |last2=Sabag |first2=Oron |last3=Permuter |first3=Haim Henri |title=बड़े वर्णमाला के साथ आइसिंग चैनल की फीडबैक क्षमता के लिए सुदृढीकरण सीखने का मूल्यांकन और समाधान|date=18 August 2020 |class=cs.IT |eprint=2008.07983}}</ref> और [[ग्राफ़िकल विधियाँ (क्यू-ग्राफ़)]]<ref>{{cite journal |last1=Sabag |first1=Oron |last2=Permuter |first2=Haim Henry |last3=Pfister |first3=Henry |title=यूनिफ़िलर परिमित-राज्य चैनलों की फीडबैक क्षमता पर एक एकल-अक्षर ऊपरी सीमा|journal=IEEE Trans. Inf. Theory |date= March 2017 |volume=63 |issue=3 |pages=1392–1409|doi=10.1109/TIT.2016.2636851 |arxiv=1604.01878 |s2cid=3259603 }}</ref><ref>{{cite journal |last1=Sabag |first1=Oron |last2= Huleihel |first2= Bashar |last3=Permuter |first3=Haim Henry |title= ग्राफ-आधारित एनकोडर और फीडबैक के साथ परिमित-राज्य चैनलों के लिए उनका प्रदर्शन|journal=IEEE Trans. Commun. |date= 2020 |volume= 68 |issue=4 |pages=2106–2117 |doi=10.1109/TCOMM.2020.2965454 |arxiv=1907.08063 |s2cid=197544824}}</ref>सीखने पर आधारित निर्देशित जानकारी को अनुकूलित करने के लिए एल्गोरिदम हैं। ब्लाहुत-अरिमोटो एल्गोरिदम के लिए,<ref name="1012.5071"/>मुख्य विचार दिष्ट सूचना अभिव्यक्ति की अंतिम पारस्परिक सूचना से प्रारंभ करना और पीछे की ओर जाना है। मार्कोव निर्णय प्रक्रिया के लिए,<ref name="2008.924681"/><ref name="1205.4674"/><ref name="2015.2495239"/><ref name="1712.02690"/>मुख्य विचार अनुकूलन को अनंत क्षितिज औसत इनाम मार्कोव निर्णय प्रक्रिया में बदलना है। आवर्ती तंत्रिका नेटवर्क के लिए,<ref name="2003.04179"/>मुख्य विचार आवर्तक तंत्रिका नेटवर्क का उपयोग करके इनपुट वितरण को मॉडल करना और [[ ढतला हुआ वंश |ग्रेडिएंट डिसेंट]] का उपयोग करके मापदंडों को अनुकूलित करना है। सुदृढीकरण सीखने के लिए,<ref name="2008.07983"/>मुख्य विचार सुदृढीकरण सीखने के उपकरणों का उपयोग करके क्षमता के मार्कोव निर्णय प्रक्रिया सूत्रीकरण को हल करना है, जो किसी को बड़े या यहां तक कि निरंतर वर्णमाला से निपटने की सुविधा देता है। | |||
ब्लाहुत-अरिमोटो एल्गोरिदम के लिए | |||
== मार्को का द्विदिश संचार का सिद्धांत == | == मार्को का द्विदिश संचार का सिद्धांत == | ||
मैसी की दिष्ट सूचना द्विदिश संचार के सिद्धांत को विकसित करने पर मार्को के | मैसी की दिष्ट सूचना द्विदिश संचार के सिद्धांत को विकसित करने पर मार्को के प्रारंभिक काम (1966) से प्रेरित थी।<ref>{{cite journal |last1=Marko |first1=Hans |title=Die Theorie der bidirektionalen Kommunikation und ihre Anwendung auf die Nachrichtenübermittlung zwischen Menschen (Subjektive Information) |journal=Kybernetik |date=1 September 1966 |volume=3 |issue=3 |pages=128–136 |doi=10.1007/BF00288922 |pmid=5920460 |s2cid=33275199 |url=https://link.springer.com/article/10.1007/BF00288922 |language=de |issn=1432-0770}}</ref><ref>{{cite journal |last1=Marko |first1=H. |title=द्विदिश संचार सिद्धांत--सूचना सिद्धांत का एक सामान्यीकरण|journal=IEEE Transactions on Communications |date=December 1973 |volume=21 |issue=12 |pages=1345–1351 |doi=10.1109/TCOM.1973.1091610|s2cid=51664185 }}</ref> '''दिष्ट परिवर्तन सूचना''' की मार्को की परिभाषा मैसी की परिभाषा से थोड़ी भिन्न है, समय <math>n</math> पर, पिछले प्रतीकों पर अनुबंधन केवल <math>X^{n-1},Y^{n-1}</math> और एक सीमा लेता है: | ||
:<math>T_{12} = \lim_{n \to \infty} \mathbf E\left[ -\log \frac{P(X_{n}|X^{n-1})}{P(X_{n}|X^{n-1},Y^{n-1})} \right] \quad\text{and}\quad T_{21} = \lim_{n \to \infty} \mathbf E\left[ -\log \frac{P(Y_{n}|Y^{n-1})}{P(Y_{n}|Y^{n-1},X^{n-1})} \right].</math> | :<math>T_{12} = \lim_{n \to \infty} \mathbf E\left[ -\log \frac{P(X_{n}|X^{n-1})}{P(X_{n}|X^{n-1},Y^{n-1})} \right] \quad\text{and}\quad T_{21} = \lim_{n \to \infty} \mathbf E\left[ -\log \frac{P(Y_{n}|Y^{n-1})}{P(Y_{n}|Y^{n-1},X^{n-1})} \right].</math> | ||
मार्को ने कई अन्य मात्राएँ परिभाषित कीं, जिनमें | मार्को ने कई अन्य मात्राएँ परिभाषित कीं, जिनमें सम्मिलित हैं: | ||
* कुल सूचना: <math>H_{1} = \lim_{n \to \infty} \mathbf E\left[ -\log P(X_{n}|X^{n-1}) \right]</math> और <math>H_{2} = \lim_{n \to \infty} \mathbf E\left[ -\log P(Y_{n}|Y^{n-1}) \right]</math> | * कुल सूचना: <math>H_{1} = \lim_{n \to \infty} \mathbf E\left[ -\log P(X_{n}|X^{n-1}) \right]</math> और <math>H_{2} = \lim_{n \to \infty} \mathbf E\left[ -\log P(Y_{n}|Y^{n-1}) \right]</math> | ||
* | * मुक्त सूचना: <math>F_{1} = \lim_{n \to \infty} \mathbf E\left[ -\log P(X_{n}|X^{n-1},Y^{n-1}) \right]</math> और <math>F_{2} = \lim_{n \to \infty} \mathbf E\left[ -\log P(Y_{n}|Y^{n-1},X^{n-1}) \right]</math> | ||
* संयोग: <math>K = \lim_{n \to \infty} \mathbf E\left[ -\log \frac{P(X_{n}|X^{n-1}) P(Y_{n}|Y^{n-1})}{P(X_{n},Y_{n}|X^{n-1},Y^{n-1})} \right].</math> | * संयोग: <math>K = \lim_{n \to \infty} \mathbf E\left[ -\log \frac{P(X_{n}|X^{n-1}) P(Y_{n}|Y^{n-1})}{P(X_{n},Y_{n}|X^{n-1},Y^{n-1})} \right].</math> | ||
कुल सूचना को | कुल सूचना को सामान्यतः एन्ट्रापी दर कहा जाता है। मार्को ने उन समस्याओं के लिए निम्नलिखित संबंध दिखाए जिनमें उनकी रुचि थी: | ||
* <math>K = T_{12}+T_{21}</math> | * <math>K = T_{12}+T_{21}</math> | ||
* <math>H_{1} = T_{12}+F_{1}</math> और <math>H_{2} = T_{21}+F_{2}</math> | * <math>H_{1} = T_{12}+F_{1}</math> और <math>H_{2} = T_{21}+F_{2}</math> | ||
| Line 64: | Line 66: | ||
* <math>R_{1} = H_{1}-K = F_{1}-T_{21}</math> | * <math>R_{1} = H_{1}-K = F_{1}-T_{21}</math> | ||
* <math>R_{2} = H_{2}-K = F_{2}-T_{12}</math> | * <math>R_{2} = H_{2}-K = F_{2}-T_{12}</math> | ||
और संरक्षण | और संरक्षण नियम <math>F_{1}+F_{2} = R_{1}+R_{2}+K = H_{1}+H_{2}-K</math> और कई सीमाएँ विकसित किया। | ||
==[[एन्ट्रापी स्थानांतरण]] से संबंध== | ==[[एन्ट्रापी स्थानांतरण|एन्ट्रापी अन्तरित]] से संबंध== | ||
दिष्ट सूचना | दिष्ट सूचना अन्तरित एन्ट्रापी से संबंधित है, जो मार्को की दिष्ट परिवर्तन सूचना <math>T_{21}</math>का एक छोटा संस्करण है। | ||
समय | समय <math>i</math> पर अन्तरित एन्ट्रापी और मेमोरी <math>d</math> के साथ है। | ||
:<math> | :<math> | ||
T_{X \to Y} = I(X_{i-1},\dots,X_{i-d} ; Y_i | Y_{i-1},\dots,Y_{i-d}). | T_{X \to Y} = I(X_{i-1},\dots,X_{i-d} ; Y_i | Y_{i-1},\dots,Y_{i-d}). | ||
</math> | </math> | ||
जहां किसी में वर्तमान प्रतीक | जहां किसी में वर्तमान प्रतीक <math>X_i</math> सम्मिलित नहीं है या अतीत के प्रतीक <math>X^{i-d-1},Y^{i-d-1}</math> समय से पहले <math>i-d</math> है। | ||
अन्तरित एन्ट्रापी सामान्यतः स्थिरता मानती है, अर्थात, <math>T_{X \to Y}</math> समय <math>i</math> पर निर्भर नहीं करता है। | |||
==संदर्भ== | ==संदर्भ== | ||
| Line 85: | Line 87: | ||
[[Category: Machine Translated Page]] | [[Category: Machine Translated Page]] | ||
[[Category:Created On 03/12/2023]] | [[Category:Created On 03/12/2023]] | ||
[[Category:Vigyan Ready]] | |||
Latest revision as of 09:15, 12 December 2023
दिष्ट सूचना एक सूचना सिद्धांत आकलन है जो यादृच्छिक स्ट्रिंग से तक सूचना प्रवाह की मात्रा निर्धारित करता है। दिष्ट सूचना शब्द जेम्स मैसी द्वारा गढ़ा गया था और इसे इस प्रकार परिभाषित किया गया है[1]