दिष्‍ट सूचना

दिष्‍ट सूचना एक सूचना सिद्धांत आकलन है जो यादृच्छिक स्ट्रिंग$X^{n}=(X_{1},X_{2},\dots ,X_{n})$ से यादृच्छिक स्ट्रिंग $Y^{n}=(Y_{1},Y_{2},\dots ,Y_{n})$ तक सूचना प्रवाह की मात्रा निर्धारित करता है। दिष्‍ट सूचना शब्द जेम्स मैसी द्वारा गढ़ा गया था और इसे इस प्रकार परिभाषित किया गया है

$I(X^{n}\to Y^{n})\triangleq \sum _{i=1}^{n}I(X^{i};Y_{i}|Y^{i-1})$

जहाँ $I(X^{i};Y_{i}|Y^{i-1})$ सशर्त पारस्परिक सूचना है $I(X_{1},X_{2},...,X_{i};Y_{i}|Y_{1},Y_{2},...,Y_{i-1})$.

दिष्‍ट सूचना में उन समस्याओं के लिए अनुप्रयोग होते हैं जहां कारण कार्य महत्वपूर्ण भूमिका निभाता है जैसे फीडबैक वाले चैनल क्षमता, असतत मेमोरी रहित नेटवर्क की क्षमता, इन-ब्लॉक मेमोरी वाले नेटवर्क की क्षमता, कारण पक्ष की सूचना के साथ गैम्बल, कारण पक्ष की सूचना के साथ संपीड़न, वास्तविक समय नियंत्रण संचार समायोजन, और सांख्यिकीय भौतिकी।

कारण अनुबंधन

दिष्‍ट सूचना का सार कारण अनुबंधन है। $x^{n}$पर यथोचित रूप से अनुबंधन $y^{n}$ की प्रायिकता को इस प्रकार परिभाषित किया गया है:

$P(x^{n}||y^{n})\triangleq \prod _{i=1}^{n}P(x_{i}|x^{i-1},y^{i})$.

यह पारंपरिक अनुबंधन

$P(x^{n}|y^{n})=\prod _{i=1}^{n}P(x_{i}|x^{i-1},y^{n})$ के लिए श्रृंखला नियम, सभी प्रतीकों $y^{i}$ के अतिरिक्त "अतीत" और "वर्तमान" प्रतीकों $y^{n}$ पर एक अनुबंधन को छोड़कर के समान है। केवल "अतीत" प्रतीकों को सम्मिलित करने के लिए, स्थिर प्रतीक को जोड़कर विलंब का परिचय दिया जा सकता है:

$P(x^{n}||(0,y^{n-1}))\triangleq \prod _{i=1}^{n}P(x_{i}|x^{i-1},y^{i-1})$.

इस अभिव्यक्ति के लिए $P(x^{n}||y^{n-1})$ लिखकर संकेतन का दुरुपयोग करना आम बात है, चूंकि औपचारिक रूप से सभी स्ट्रिंग्स में प्रतीकों की संख्या समान होनी चाहिए।

कोई भी कई स्ट्रिंग्स पर अनुबंधन लगा सकता है: $P(x^{n}||y^{n},z^{n})\triangleq \prod _{i=1}^{n}P(x_{i}|x^{i-1},y^{i},z^{i})$.

कारण अनुबंधन एन्ट्रापी

कारणतः अनुबंधन एन्ट्रापी को इस प्रकार परिभाषित किया गया है::$$