दिष्‍ट सूचना

निर्देशित जानकारी एक सूचना सिद्धांत माप है जो यादृच्छिक स्ट्रिंग से सूचना प्रवाह की मात्रा निर्धारित करता है $$X^n = (X_1,X_2,\dots,X_n)$$ यादृच्छिक स्ट्रिंग के लिए $$Y^n = (Y_1,Y_2,\dots,Y_n)$$. निर्देशित सूचना शब्द जेम्स मैसी द्वारा गढ़ा गया था और इसे इस प्रकार परिभाषित किया गया है
 * $$I(X^n\to Y^n) \triangleq \sum_{i=1}^n I(X^i;Y_i|Y^{i-1})$$

कहाँ $$I(X^{i};Y_i|Y^{i-1})$$ सशर्त पारस्परिक जानकारी है $$I(X_1,X_2,...,X_{i};Y_i|Y_1,Y_2,...,Y_{i-1})$$.

निर्देशित जानकारी में उन समस्याओं के लिए अनुप्रयोग होते हैं जहां कार्य-कारण महत्वपूर्ण भूमिका निभाता है जैसे फीडबैक क्षमता के साथ चैनल क्षमता, असतत स्मृतिहीन नेटवर्क की क्षमता, इन-ब्लॉक मेमोरी वाले नेटवर्क की क्षमता, कारण पक्ष की जानकारी के साथ जुआ, कारण पक्ष की जानकारी के साथ डेटा संपीड़न, वास्तविक समय नियंत्रण संचार सेटिंग्स,  और सांख्यिकीय भौतिकी.

कारणात्मक कंडीशनिंग
निर्देशित जानकारी का सार कारणात्मक कंडीशनिंग है। की संभावना $$y^n$$ यथोचित रूप से वातानुकूलित $$x^n$$ परिभाषित किया जाता है :$$P(x^n||y^n) \triangleq \prod_{i=1}^n P(x_i|x^{i-1},y^{i})$$. यह पारंपरिक कंडीशनिंग के लिए श्रृंखला नियम के समान है $$P(x^n|y^n) = \prod_{i=1}^n P(x_i|x^{i-1},y^{n})$$ अतीत और वर्तमान प्रतीकों पर एक शर्त को छोड़कर $$y^{i}$$ सभी प्रतीकों के बजाय $$y^{n}$$. केवल पिछले प्रतीकों को शामिल करने के लिए, एक स्थिर प्रतीक को जोड़कर विलंब का परिचय दिया जा सकता है:
 * $$P(x^n||(0,y^{n-1})) \triangleq \prod_{i=1}^n P(x_i|x^{i-1},y^{i-1})$$.

लिखकर संकेतन का दुरुपयोग करना आम बात है $$P(x^n||y^{n-1})$$ इस अभिव्यक्ति के लिए, हालाँकि औपचारिक रूप से सभी तारों में प्रतीकों की संख्या समान होनी चाहिए।

कोई भी कई स्ट्रिंग्स पर शर्त लगा सकता है: $$P(x^n||y^n,z^n) \triangleq \prod_{i=1}^n P(x_i|x^{i-1},y^{i},z^{i})$$.

कारण रूप से वातानुकूलित एन्ट्रापी
कारणतः वातानुकूलित एन्ट्रापी को इस प्रकार परिभाषित किया गया है: :$$H(X^n || Y^n)=\mathbf E\left[ -\log {P(X^n||Y^n)} \right]=\sum_{i=1}^n H(X_{i}|X^{i-1},Y^{i})$$ इसी तरह, कोई भी कई स्ट्रिंग्स पर कारणात्मक रूप से कंडीशन कर सकता है और लिख सकता है $$H(X^n || Y^n,Z^n)=\mathbf E\left[ -\log {P(X^n||Y^n,Z^n)} \right]$$.

गुण
कारणात्मक कंडीशनिंग के लिए एक अपघटन नियम है
 * $$P(x^n, y^n) = P(x^n||y^{n-1}) P(y^n||x^n)$$.

यह नियम दर्शाता है कि कोई भी उत्पाद $$P(x^n||y^{n-1}), P(y^n||x^n)$$ संयुक्त वितरण देता है $$P(x^n, y^n)$$.

कारण कंडीशनिंग संभावना$$P(y^n||x^n) = \prod_{i=1}^n P(y_i|y^{i-1},x^{i})$$ एक संभाव्यता वेक्टर है, यानी,
 * $$P(y^n||x^n)\geq 0 \quad\text{and}\quad \sum_{y^n} P(y^n||x^n)=1 \quad\text{for all } (x^n,y^n)$$.

निर्देशित सूचना को कारणात्मक कंडीशनिंग के संदर्भ में लिखा जा सकता है: :$$I(X^N \rightarrow Y^N)=\mathbf E\left[ \log \frac{P(Y^N||X^N)}{P(Y^N)} \right] = H(Y^n)- H(Y^n || X^n)$$.

संबंध तीन तारों तक सामान्यीकृत होता है: निर्देशित सूचना प्रवाहित होती है $$X^n$$ को $$Y^n$$ यथोचित रूप से वातानुकूलित $$Z^n$$ है
 * $$I(X^n\to Y^n || Z^n) = H(Y^n || Z^n)- H(Y^n || X^n, Z^n)$$.

सूचना का संरक्षण कानून
जेम्स मैसी और उनके बेटे पीटर मैसी द्वारा स्थापित यह कानून, निर्देशित जानकारी और पारस्परिक जानकारी से संबंधित होकर अंतर्ज्ञान देता है। कानून कहता है कि किसी के लिए भी $$X^n, Y^n $$, निम्नलिखित समानता रखती है:
 * $$I(X^n;Y^n)= I(X^n \to Y^n)+I(Y^{n-1} \to X^n).$$

इस कानून के दो वैकल्पिक रूप हैं
 * $$I(X^n;Y^n) = I(X^n \to Y^n) + I(Y^n \to X^n) - I(X^n \leftrightarrow Y^n)$$
 * $$I(X^n;Y^n) = I(X^{n-1} \to Y^n) + I(Y^{n-1} \to X^n) + I(X^n \leftrightarrow Y^n)$$

कहाँ $$I(X^n \leftrightarrow Y^n) = \sum_{i=1}^n I(X_i ; Y_i | X^{i-1}, Y^{i-1})$$.

अनुमान और अनुकूलन
निर्देशित जानकारी का अनुमान लगाना और उसका अनुकूलन करना चुनौतीपूर्ण है क्योंकि ऐसा हुआ है $$n$$ शर्तें कहां $$n$$ बड़ा हो सकता है. कई मामलों में, किसी की रुचि सीमित औसत को अनुकूलित करने में होती है, अर्थात कब $$n$$ अनंत तक बढ़ता है जिसे बहु-अक्षर अभिव्यक्ति कहा जाता है।

अनुमान
नमूनों से निर्देशित जानकारी का अनुमान लगाना एक कठिन समस्या है क्योंकि निर्देशित सूचना अभिव्यक्ति नमूनों पर नहीं बल्कि संयुक्त वितरण पर निर्भर करती है $$\{P(x_i,y_i|x^{i-1},y^{i-1})_{i=1}^n\}$$ जो अज्ञात हो सकता है. संदर्भ वृक्ष भार पर आधारित कई एल्गोरिदम हैं और अनुभवजन्य पैरामीट्रिक वितरण और दीर्घकालिक अल्पकालिक स्मृति का उपयोग करना।

अनुकूलन
निर्देशित सूचना को अधिकतम करना सूचना सिद्धांत में एक मूलभूत समस्या है। उदाहरण के लिए, चैनल वितरण दिया गया $$\{P(y_i|x^{i},y^{i-1}\}_{i=1}^n)$$, उद्देश्य अनुकूलन करना हो सकता है $$ I(X^n\to Y^n)$$ चैनल इनपुट वितरण पर $$\{P(x_i|x^{i-1},y^{i-1}\}_{i=1}^n)$$.

ब्लाहुत-अरिमोटो एल्गोरिदम के आधार पर निर्देशित जानकारी को अनुकूलित करने के लिए एल्गोरिदम हैं|ब्लाहुत-अरिमोटो, मार्कोव निर्णय प्रक्रिया,   आवर्तक तंत्रिका नेटवर्क, सुदृढीकरण सीखना। और ग्राफ़िकल विधियाँ (क्यू-ग्राफ़)। ब्लाहुत-अरिमोटो एल्गोरिदम के लिए|ब्लाहुत-अरिमोटो एल्गोरिदम, मुख्य विचार निर्देशित सूचना अभिव्यक्ति की अंतिम पारस्परिक जानकारी से शुरू करना और पीछे की ओर जाना है। मार्कोव निर्णय प्रक्रिया के लिए,   मुख्य विचार अनुकूलन को अनंत क्षितिज औसत इनाम मार्कोव निर्णय प्रक्रिया में बदलना है। आवर्ती तंत्रिका नेटवर्क के लिए, मुख्य विचार आवर्तक तंत्रिका नेटवर्क का उपयोग करके इनपुट वितरण को मॉडल करना और  ढतला हुआ वंश  का उपयोग करके मापदंडों को अनुकूलित करना है। सुदृढीकरण सीखने के लिए, मुख्य विचार सुदृढीकरण सीखने के उपकरणों का उपयोग करके क्षमता के मार्कोव निर्णय प्रक्रिया सूत्रीकरण को हल करना है, जो किसी को बड़े या यहां तक ​​कि निरंतर वर्णमाला से निपटने की सुविधा देता है।

मार्को का द्विदिश संचार का सिद्धांत
मैसी की निर्देशित जानकारी द्विदिश संचार के सिद्धांत को विकसित करने पर मार्को के शुरुआती काम (1966) से प्रेरित थी। निर्देशित परिवर्तन सूचना की मार्को की परिभाषा उस समय मैसी की परिभाषा से थोड़ी भिन्न है $$n$$, पिछले प्रतीकों पर एक शर्त $$X^{n-1},Y^{n-1}$$ केवल और एक सीमा लेता है:
 * $$T_{12} = \lim_{n \to \infty} \mathbf E\left[ -\log \frac{P(X_{n}|X^{n-1})}{P(X_{n}|X^{n-1},Y^{n-1})} \right] \quad\text{and}\quad T_{21} = \lim_{n \to \infty} \mathbf E\left[ -\log \frac{P(Y_{n}|Y^{n-1})}{P(Y_{n}|Y^{n-1},X^{n-1})} \right].$$

मार्को ने कई अन्य मात्राएँ परिभाषित कीं, जिनमें शामिल हैं: कुल जानकारी को आमतौर पर एन्ट्रापी दर कहा जाता है। मार्को ने उन समस्याओं के लिए निम्नलिखित संबंध दिखाए जिनमें उनकी रुचि थी: उन्होंने मात्राओं को भी परिभाषित किया जिन्हें उन्होंने अवशिष्ट एन्ट्रॉपीज़ कहा: और संरक्षण कानून विकसित किया $$F_{1}+F_{2} = R_{1}+R_{2}+K = H_{1}+H_{2}-K$$ और कई सीमाएँ.
 * कुल जानकारी: $$H_{1} = \lim_{n \to \infty} \mathbf E\left[ -\log P(X_{n}|X^{n-1}) \right]$$ और $$H_{2} = \lim_{n \to \infty} \mathbf E\left[ -\log P(Y_{n}|Y^{n-1}) \right]$$
 * निःशुल्क जानकारी: $$F_{1} = \lim_{n \to \infty} \mathbf E\left[ -\log P(X_{n}|X^{n-1},Y^{n-1}) \right]$$ और $$F_{2} = \lim_{n \to \infty} \mathbf E\left[ -\log P(Y_{n}|Y^{n-1},X^{n-1}) \right]$$
 * संयोग: $$K = \lim_{n \to \infty} \mathbf E\left[ -\log \frac{P(X_{n}|X^{n-1}) P(Y_{n}|Y^{n-1})}{P(X_{n},Y_{n}|X^{n-1},Y^{n-1})} \right].$$
 * $$K = T_{12}+T_{21}$$
 * $$H_{1} = T_{12}+F_{1}$$ और $$H_{2} = T_{21}+F_{2}$$
 * $$R_{1} = H_{1}-K = F_{1}-T_{21}$$
 * $$R_{2} = H_{2}-K = F_{2}-T_{12}$$

एन्ट्रापी स्थानांतरण से संबंध
निर्देशित जानकारी ट्रांसफर एन्ट्रापी से संबंधित है, जो मार्को की निर्देशित ट्रांसइन्फॉर्मेशन का एक छोटा संस्करण है $$T_{21}$$.

समय पर स्थानांतरण एन्ट्रापी $$i$$ और स्मृति के साथ $$d$$ है

T_{X \to Y} = I(X_{i-1},\dots,X_{i-d} ; Y_i | Y_{i-1},\dots,Y_{i-d}). $$ जहां किसी में वर्तमान प्रतीक शामिल नहीं है $$X_i$$ या अतीत के प्रतीक $$X^{i-d-1},Y^{i-d-1}$$ समय से पहले $$i-d$$.

स्थानांतरण एन्ट्रापी आमतौर पर स्थिरता मानती है, अर्थात, $$T_{X \to Y}$$ समय पर निर्भर नहीं करता $$i$$.