दिष्ट सूचना: Difference between revisions
From Vigyanwiki
| Line 47: | Line 47: | ||
===अनुमान=== | ===अनुमान=== | ||
नमूनों से दिष्ट सूचना का अनुमान लगाना एक कठिन समस्या है क्योंकि दिष्ट सूचना अभिव्यक्ति नमूनों पर नहीं बल्कि संयुक्त वितरण | नमूनों से दिष्ट सूचना का अनुमान लगाना एक कठिन समस्या है क्योंकि दिष्ट सूचना अभिव्यक्ति नमूनों पर नहीं बल्कि संयुक्त वितरण <math>\{P(x_i,y_i|x^{i-1},y^{i-1})_{i=1}^n\}</math> पर निर्भर करती हैजो अज्ञात हो सकता है। कॉन्टेक्स्ट ट्री वेइटिंग ([[संदर्भ वृक्ष भार|संदर्भ वृक्ष भार)]] <ref>{{cite journal |last1=Jiao |first1=Jiantao |last2=Permuter |first2=Haim H. |last3=Zhao |first3=Lei |last4=Kim |first4=Young-Han |last5=Weissman |first5=Tsachy |title=निर्देशित सूचना का सार्वभौमिक अनुमान|journal=IEEE Trans. Inf. Theory |date=October 2013 |volume=59 |issue=10 |pages=6220–6242 |doi=10.1109/TIT.2013.2267934 |arxiv=1201.2334 |s2cid=10855063 }}</ref> और अनुभवजन्य पैरामीट्रिक वितरण<ref>{{cite journal |last1=Quinn |first1=Christopher J. |last2=Kiyavash |first2=Negar |last3=Coleman |first3=Todd P. |title=निर्देशित सूचना ग्राफ़|journal=IEEE Trans. Inf. Theory |date=December 2015 |volume=61 |issue=12 |pages=6887–6909 |doi=10.1109/TIT.2015.2478440|arxiv=1204.2003 |s2cid=3121664}}</ref> और [[दीर्घकालिक अल्पकालिक स्मृति]] का उपयोग करने पर आधारित कई एल्गोरिदम हैं।<ref name="2003.04179"/> | ||
===अनुकूलन=== | ===अनुकूलन=== | ||
दिष्ट सूचना को अधिकतम करना सूचना सिद्धांत में एक मूलभूत समस्या है। उदाहरण के लिए, चैनल वितरण | दिष्ट सूचना को अधिकतम करना सूचना सिद्धांत में एक मूलभूत समस्या है। उदाहरण के लिए, चैनल वितरण <math>\{P(y_i|x^{i},y^{i-1}\}_{i=1}^n)</math> को देखते हुए, उद्देश्य चैनल इनपुट वितरण <math> I(X^n\to Y^n)</math> पर <math>\{P(x_i|x^{i-1},y^{i-1}\}_{i=1}^n)</math> को अनुकूलित करना हो सकता है। | ||
ब्लाहुत-अरिमोटो,<ref name="1012.5071">{{cite journal |last1=Naiss |first1=Iddo |last2=Permuter |first2=Haim H. |title=Extension of the Blahut–Arimoto Algorithm for Maximizing Directed Information |journal=IEEE Trans. Inf. Theory |date=January 2013 |volume=59 |issue=1 |pages=204–222 |doi=10.1109/TIT.2012.2214202 |s2cid=3115749 |arxiv=1012.5071}}</ref> [[मार्कोव निर्णय प्रक्रिया]],<ref name="2008.924681">{{cite journal |last1=Permuter |first1=Haim |last2=Cuff |first2=Paul |last3=Van Roy |first3=Benjamin |last4=Weissman |first4=Tsachy |title=फीडबैक के साथ ट्रैपडोर चैनल की क्षमता|journal=IEEE Trans. Inf. Theory |date=July 2008 |volume=54 |issue=7 |pages=3150–3165 |doi=10.1109/TIT.2008.924681|arxiv=cs/0610047 |s2cid=1265}}</ref><ref name="1205.4674">{{cite journal |last1=Elishco |first1=Ohad |last2=Permuter |first2=Haim |title=फीडबैक के साथ आइसिंग चैनल के लिए क्षमता और कोडिंग|journal=IEEE Trans. Inf. Theory |date=September 2014 |volume=60 |issue=9 |pages=5138–5149 |doi=10.1109/TIT.2014.2331951 |arxiv=1205.4674 |s2cid=9761759}}</ref><ref name="2015.2495239">{{cite journal |last1=Sabag |first1=Oron |last2=Permuter |first2=Haim H. |last3=Kashyap |first3=Navin |title=बिना किसी निरंतर इनपुट बाधा के बाइनरी इरेज़र चैनल की फीडबैक क्षमता|journal=IEEE Trans. Inf. Theory |date=January 2016 |volume=62 |issue=1 |pages=8–22 |doi=10.1109/TIT.2015.2495239 |s2cid=476381}}</ref><ref name="1712.02690">{{cite journal |last1=Peled |first1=Ori |last2=Sabag |first2=Oron |last3=Permuter |first3=Haim H. |title=$(0,k)$ -RLL इनपुट-विवश BEC के लिए फीडबैक क्षमता और कोडिंग|journal=IEEE Trans. Inf. Theory |date=July 2019 |volume=65 |issue=7 |pages=4097–4114 |doi=10.1109/TIT.2019.2903252 |arxiv=1712.02690 |s2cid=86582654}}</ref> [[आवर्तक तंत्रिका नेटवर्क]],<ref name="2003.04179">{{cite book |last1=Aharoni |first1=Ziv |last2=Tsur |first2=Dor |last3=Goldfeld |first3=Ziv |last4=Permuter |first4=Haim Henry |title=2020 IEEE International Symposium on Information Theory (ISIT) |chapter=Capacity of Continuous Channels with Memory via Directed Information Neural Estimator |arxiv=2003.04179 |date=June 2020 |journal=2020 IEEE Int. Symp. Inf. Theory |pages=2014–2019 |doi=10.1109/ISIT44484.2020.9174109 |isbn=978-1-7281-6432-8 |s2cid=212634151}}</ref> [[सुदृढीकरण सीखना|सुदृढीकरण]] <ref name="2008.07983">{{cite arXiv |last1=Aharoni |first1=Ziv |last2=Sabag |first2=Oron |last3=Permuter |first3=Haim Henri |title=बड़े वर्णमाला के साथ आइसिंग चैनल की फीडबैक क्षमता के लिए सुदृढीकरण सीखने का मूल्यांकन और समाधान|date=18 August 2020 |class=cs.IT |eprint=2008.07983}}</ref> और [[ग्राफ़िकल विधियाँ (क्यू-ग्राफ़)]]<ref>{{cite journal |last1=Sabag |first1=Oron |last2=Permuter |first2=Haim Henry |last3=Pfister |first3=Henry |title=यूनिफ़िलर परिमित-राज्य चैनलों की फीडबैक क्षमता पर एक एकल-अक्षर ऊपरी सीमा|journal=IEEE Trans. Inf. Theory |date= March 2017 |volume=63 |issue=3 |pages=1392–1409|doi=10.1109/TIT.2016.2636851 |arxiv=1604.01878 |s2cid=3259603 }}</ref><ref>{{cite journal |last1=Sabag |first1=Oron |last2= Huleihel |first2= Bashar |last3=Permuter |first3=Haim Henry |title= ग्राफ-आधारित एनकोडर और फीडबैक के साथ परिमित-राज्य चैनलों के लिए उनका प्रदर्शन|journal=IEEE Trans. Commun. |date= 2020 |volume= 68 |issue=4 |pages=2106–2117 |doi=10.1109/TCOMM.2020.2965454 |arxiv=1907.08063 |s2cid=197544824}}</ref>सीखने पर आधारित निर्देशित जानकारी को अनुकूलित करने के लिए एल्गोरिदम हैं। ब्लाहुत-अरिमोटो एल्गोरिदम के लिए,<ref name="1012.5071"/>मुख्य विचार दिष्ट सूचना अभिव्यक्ति की अंतिम पारस्परिक सूचना से प्रारंभ करना और पीछे की ओर जाना है। मार्कोव निर्णय प्रक्रिया के लिए,<ref name="2008.924681"/><ref name="1205.4674"/><ref name="2015.2495239"/><ref name="1712.02690"/>मुख्य विचार अनुकूलन को अनंत क्षितिज औसत इनाम मार्कोव निर्णय प्रक्रिया में बदलना है। आवर्ती तंत्रिका नेटवर्क के लिए,<ref name="2003.04179"/>मुख्य विचार आवर्तक तंत्रिका नेटवर्क का उपयोग करके इनपुट वितरण को मॉडल करना और [[ ढतला हुआ वंश |ग्रेडिएंट डिसेंट]] का उपयोग करके मापदंडों को अनुकूलित करना है। सुदृढीकरण सीखने के लिए,<ref name="2008.07983"/>मुख्य विचार सुदृढीकरण सीखने के उपकरणों का उपयोग करके क्षमता के मार्कोव निर्णय प्रक्रिया सूत्रीकरण को हल करना है, जो किसी को बड़े या यहां तक कि निरंतर वर्णमाला से निपटने की सुविधा देता है। | |||
ब्लाहुत-अरिमोटो एल्गोरिदम के लिए | |||
== मार्को का द्विदिश संचार का सिद्धांत == | == मार्को का द्विदिश संचार का सिद्धांत == | ||
मैसी की दिष्ट सूचना द्विदिश संचार के सिद्धांत को विकसित करने पर मार्को के | मैसी की दिष्ट सूचना द्विदिश संचार के सिद्धांत को विकसित करने पर मार्को के प्रारंभिक काम (1966) से प्रेरित थी।<ref>{{cite journal |last1=Marko |first1=Hans |title=Die Theorie der bidirektionalen Kommunikation und ihre Anwendung auf die Nachrichtenübermittlung zwischen Menschen (Subjektive Information) |journal=Kybernetik |date=1 September 1966 |volume=3 |issue=3 |pages=128–136 |doi=10.1007/BF00288922 |pmid=5920460 |s2cid=33275199 |url=https://link.springer.com/article/10.1007/BF00288922 |language=de |issn=1432-0770}}</ref><ref>{{cite journal |last1=Marko |first1=H. |title=द्विदिश संचार सिद्धांत--सूचना सिद्धांत का एक सामान्यीकरण|journal=IEEE Transactions on Communications |date=December 1973 |volume=21 |issue=12 |pages=1345–1351 |doi=10.1109/TCOM.1973.1091610|s2cid=51664185 }}</ref> '''दिष्ट परिवर्तन सूचना''' की मार्को की परिभाषा मैसी की परिभाषा से थोड़ी भिन्न है, समय <math>n</math> पर, पिछले प्रतीकों पर अनुबंधन केवल <math>X^{n-1},Y^{n-1}</math> और एक सीमा लेता है: | ||
:<math>T_{12} = \lim_{n \to \infty} \mathbf E\left[ -\log \frac{P(X_{n}|X^{n-1})}{P(X_{n}|X^{n-1},Y^{n-1})} \right] \quad\text{and}\quad T_{21} = \lim_{n \to \infty} \mathbf E\left[ -\log \frac{P(Y_{n}|Y^{n-1})}{P(Y_{n}|Y^{n-1},X^{n-1})} \right].</math> | :<math>T_{12} = \lim_{n \to \infty} \mathbf E\left[ -\log \frac{P(X_{n}|X^{n-1})}{P(X_{n}|X^{n-1},Y^{n-1})} \right] \quad\text{and}\quad T_{21} = \lim_{n \to \infty} \mathbf E\left[ -\log \frac{P(Y_{n}|Y^{n-1})}{P(Y_{n}|Y^{n-1},X^{n-1})} \right].</math> | ||
मार्को ने कई अन्य मात्राएँ परिभाषित कीं, जिनमें शामिल हैं: | मार्को ने कई अन्य मात्राएँ परिभाषित कीं, जिनमें शामिल हैं: | ||
* कुल सूचना: <math>H_{1} = \lim_{n \to \infty} \mathbf E\left[ -\log P(X_{n}|X^{n-1}) \right]</math> और <math>H_{2} = \lim_{n \to \infty} \mathbf E\left[ -\log P(Y_{n}|Y^{n-1}) \right]</math> | * कुल सूचना: <math>H_{1} = \lim_{n \to \infty} \mathbf E\left[ -\log P(X_{n}|X^{n-1}) \right]</math> और <math>H_{2} = \lim_{n \to \infty} \mathbf E\left[ -\log P(Y_{n}|Y^{n-1}) \right]</math> | ||
* | * मुक्त सूचना: <math>F_{1} = \lim_{n \to \infty} \mathbf E\left[ -\log P(X_{n}|X^{n-1},Y^{n-1}) \right]</math> और <math>F_{2} = \lim_{n \to \infty} \mathbf E\left[ -\log P(Y_{n}|Y^{n-1},X^{n-1}) \right]</math> | ||
* संयोग: <math>K = \lim_{n \to \infty} \mathbf E\left[ -\log \frac{P(X_{n}|X^{n-1}) P(Y_{n}|Y^{n-1})}{P(X_{n},Y_{n}|X^{n-1},Y^{n-1})} \right].</math> | * संयोग: <math>K = \lim_{n \to \infty} \mathbf E\left[ -\log \frac{P(X_{n}|X^{n-1}) P(Y_{n}|Y^{n-1})}{P(X_{n},Y_{n}|X^{n-1},Y^{n-1})} \right].</math> | ||
कुल सूचना को आमतौर पर एन्ट्रापी दर कहा जाता है। मार्को ने उन समस्याओं के लिए निम्नलिखित संबंध दिखाए जिनमें उनकी रुचि थी: | कुल सूचना को आमतौर पर एन्ट्रापी दर कहा जाता है। मार्को ने उन समस्याओं के लिए निम्नलिखित संबंध दिखाए जिनमें उनकी रुचि थी: | ||
| Line 69: | Line 66: | ||
* <math>R_{1} = H_{1}-K = F_{1}-T_{21}</math> | * <math>R_{1} = H_{1}-K = F_{1}-T_{21}</math> | ||
* <math>R_{2} = H_{2}-K = F_{2}-T_{12}</math> | * <math>R_{2} = H_{2}-K = F_{2}-T_{12}</math> | ||
और संरक्षण नियम | और संरक्षण नियम <math>F_{1}+F_{2} = R_{1}+R_{2}+K = H_{1}+H_{2}-K</math> और कई सीमाएँ विकसित किया। | ||
==[[एन्ट्रापी स्थानांतरण]] से संबंध== | ==[[एन्ट्रापी स्थानांतरण|एन्ट्रापी अन्तरित]] से संबंध== | ||
दिष्ट सूचना | दिष्ट सूचना अन्तरित एन्ट्रापी से संबंधित है, जो मार्को की दिष्ट परिवर्तन सूचना <math>T_{21}</math>का एक छोटा संस्करण है। | ||
समय | समय <math>i</math> पर अन्तरित एन्ट्रापी और मेमोरी <math>d</math> के साथ है। | ||
:<math> | :<math> | ||
T_{X \to Y} = I(X_{i-1},\dots,X_{i-d} ; Y_i | Y_{i-1},\dots,Y_{i-d}). | T_{X \to Y} = I(X_{i-1},\dots,X_{i-d} ; Y_i | Y_{i-1},\dots,Y_{i-d}). | ||
</math> | </math> | ||
जहां किसी में वर्तमान प्रतीक | जहां किसी में वर्तमान प्रतीक <math>X_i</math> शामिल नहीं है या अतीत के प्रतीक <math>X^{i-d-1},Y^{i-d-1}</math> समय से पहले <math>i-d</math> है। | ||
अन्तरित एन्ट्रापी आमतौर पर स्थिरता मानती है, अर्थात, <math>T_{X \to Y}</math> समय <math>i</math> पर निर्भर नहीं करता है। | |||
==संदर्भ== | ==संदर्भ== | ||
Revision as of 12:07, 7 December 2023
दिष्ट सूचना एक सूचना सिद्धांत आकलन है जो यादृच्छिक स्ट्रिंग से यादृच्छिक स्ट्रिंग तक सूचना प्रवाह की मात्रा निर्धारित करता है। दिष्ट सूचना शब्द जेम्स मैसी द्वारा गढ़ा गया था और इसे इस प्रकार परिभाषित किया गया है[1]
जहाँ सशर्त पारस्परिक सूचना है .
दिष्ट सूचना में उन समस्याओं के लिए अनुप्रयोग होते हैं जहां कारण कार्य महत्वपूर्ण भूमिका निभाता है जैसे फीडबैक वाले चैनल क्षमता,[1][2][3][4] असतत मेमोरी रहित नेटवर्क की क्षमता,[5] इन-ब्लॉक मेमोरी वाले नेटवर्क की क्षमता,[6] कारण पक्ष की सूचना के साथ गैम्बल,[7] कारण पक्ष की सूचना के साथ संपीड़न,[8] वास्तविक समय नियंत्रण संचार समायोजन,[9][10] और सांख्यिकीय भौतिकी।[11]
कारण अनुबंधन
दिष्ट सूचना का सार कारण अनुबंधन है। पर यथोचित रूप से अनुबंधन की प्रायिकता को इस प्रकार परिभाषित किया गया है[5]:
.
यह पारंपरिक अनुबंधन