दिष्‍ट सूचना

निर्देशित जानकारी एक सूचना सिद्धांत माप है जो यादृच्छिक स्ट्रिंग से सूचना प्रवाह की मात्रा निर्धारित करता है $X^{n}=(X_{1},X_{2},\dots ,X_{n})$ यादृच्छिक स्ट्रिंग के लिए $Y^{n}=(Y_{1},Y_{2},\dots ,Y_{n})$. निर्देशित सूचना शब्द जेम्स मैसी द्वारा गढ़ा गया था और इसे इस प्रकार परिभाषित किया गया है

$I(X^{n}\to Y^{n})\triangleq \sum _{i=1}^{n}I(X^{i};Y_{i}|Y^{i-1})$

कहाँ $I(X^{i};Y_{i}|Y^{i-1})$ सशर्त पारस्परिक जानकारी है $I(X_{1},X_{2},...,X_{i};Y_{i}|Y_{1},Y_{2},...,Y_{i-1})$.

निर्देशित जानकारी में उन समस्याओं के लिए अनुप्रयोग होते हैं जहां कार्य-कारण महत्वपूर्ण भूमिका निभाता है जैसे फीडबैक क्षमता के साथ चैनल क्षमता, असतत स्मृतिहीन नेटवर्क की क्षमता, इन-ब्लॉक मेमोरी वाले नेटवर्क की क्षमता, कारण पक्ष की जानकारी के साथ जुआ, कारण पक्ष की जानकारी के साथ डेटा संपीड़न, वास्तविक समय नियंत्रण संचार सेटिंग्स, और सांख्यिकीय भौतिकी.

कारणात्मक कंडीशनिंग

निर्देशित जानकारी का सार कारणात्मक कंडीशनिंग है। की संभावना $y^{n}$ यथोचित रूप से वातानुकूलित $x^{n}$ परिभाषित किया जाता है:$P(x^{n}||y^{n})\triangleq \prod _{i=1}^{n}P(x_{i}|x^{i-1},y^{i})$. यह पारंपरिक कंडीशनिंग के लिए श्रृंखला नियम के समान है $P(x^{n}|y^{n})=\prod _{i=1}^{n}P(x_{i}|x^{i-1},y^{n})$ अतीत और वर्तमान प्रतीकों पर एक शर्त को छोड़कर $y^{i}$ सभी प्रतीकों के बजाय $y^{n}$. केवल पिछले प्रतीकों को शामिल करने के लिए, एक स्थिर प्रतीक को जोड़कर विलंब का परिचय दिया जा सकता है:

$P(x^{n}||(0,y^{n-1}))\triangleq \prod _{i=1}^{n}P(x_{i}|x^{i-1},y^{i-1})$.

लिखकर संकेतन का दुरुपयोग करना आम बात है $P(x^{n}||y^{n-1})$ इस अभिव्यक्ति के लिए, हालाँकि औपचारिक रूप से सभी तारों में प्रतीकों की संख्या समान होनी चाहिए।

कोई भी कई स्ट्रिंग्स पर शर्त लगा सकता है: $P(x^n||y^n,z^n)\triangleq <!--\; \triangleq \; -->\underset{i=1}{\overset{n}{\prod <!--\; \prod \; -->}}P(x_i|x^{i-<!--\; -\; -->1},y^{}$