दिष्‍ट सूचना

दिष्‍ट सूचना एक सूचना सिद्धांत आकलन है जो यादृच्छिक स्ट्रिंग$X^{n}=(X_{1},X_{2},\dots ,X_{n})$ से यादृच्छिक स्ट्रिंग $Y^{n}=(Y_{1},Y_{2},\dots ,Y_{n})$ तक सूचना प्रवाह की मात्रा निर्धारित करता है। दिष्‍ट सूचना शब्द जेम्स मैसी द्वारा गढ़ा गया था और इसे इस प्रकार परिभाषित किया गया है

$I(X^{n}\to Y^{n})\triangleq \sum _{i=1}^{n}I(X^{i};Y_{i}|Y^{i-1})$

जहाँ $I(X^{i};Y_{i}|Y^{i-1})$ सशर्त पारस्परिक सूचना है $I(X_{1},X_{2},...,X_{i};Y_{i}|Y_{1},Y_{2},...,Y_{i-1})$.

दिष्‍ट सूचना में उन समस्याओं के लिए अनुप्रयोग होते हैं जहां कारण कार्य महत्वपूर्ण भूमिका निभाता है जैसे फीडबैक वाले चैनल क्षमता, असतत मेमोरी रहित नेटवर्क की क्षमता, इन-ब्लॉक मेमोरी वाले नेटवर्क की क्षमता, कारण पक्ष की सूचना के साथ गैम्बल, कारण पक्ष की सूचना के साथ संपीड़न, वास्तविक समय नियंत्रण संचार समायोजन, और सांख्यिकीय भौतिकी।

कारणात्मक कंडीशनिंग

दिष्‍ट सूचना का सार कारणात्मक कंडीशनिंग है। की संभावना $y^{n}$ यथोचित रूप से वातानुकूलित $x^{n}$ परिभाषित किया जाता है:$P(x^{n}||y^{n})\triangleq \prod _{i=1}^{n}P(x_{i}|x^{i-1},y^{i})$. यह पारंपरिक कंडीशनिंग के लिए श्रृंखला नियम के समान है $P(x^{n}|y^{n})=\prod _{i=1}^{n}P(x_{i}|x^{i-1},y^{n})$ अतीत और वर्तमान प्रतीकों पर एक शर्त को छोड़कर $y^{i}$ सभी प्रतीकों के बजाय $y^{n}$. केवल पिछले प्रतीकों को शामिल करने के लिए, एक स्थिर प्रतीक को जोड़कर विलंब का परिचय दिया जा सकता है:

$P(x^{n}||(0,y^{n-1}))\triangleq \prod _{i=1}^{n}P(x_{i}|x^{i-1},y^{i-1})$.

लिखकर संकेतन का दुरुपयोग करना आम बात है $P(x^{n}||y^{n-1})$ इस अभिव्यक्ति के लिए, हालाँकि औपचारिक रूप से सभी तारों में प्रतीकों की संख्या समान होनी चाहिए।

कोई भी कई स्ट्रिंग्स पर शर्त लगा सकता है: $P(x^{n}||y^{n},z^{n})\triangleq \prod _{i=1}^{n}P(x_{i}|x^{i-1},y^{i},z^{i})$.

कारण रूप से वातानुकूलित एन्ट्रापी

कारणतः वातानुकूलित एन्ट्रापी को इस प्रकार परिभाषित किया गया है::$$