पारस्परिक सूचना



संभाव्यता सिद्धांत और सूचना सिद्धांत में, दो यादृच्छिक चर की पारस्परिक सूचना (एमआई) दो चर के बीच पारस्परिक निर्भरता का एक माप है। अधिक विशेष रूप से, यह दूसरे यादृच्छिक चर का अवलोकन करके एक यादृच्छिक चर के बारे में प्राप्त की गई "सूचना की मात्रा" (शैनन (बिट्स), नेट्स या हार्टलेज़ जैसी इकाइयों में) की मात्रा निर्धारित करता है। पारस्परिक सूचना की अवधारणा एक यादृच्छिक चर की एन्ट्रापी से घनिष्ठ रूप से जुड़ी हुई है, सूचना सिद्धांत में एक मौलिक धारणा जो एक यादृच्छिक चर में रखी गई अपेक्षित "सूचना की मात्रा" की मात्रा निर्धारित करती है।

वास्तविक-मूल्य वाले यादृच्छिक चर और सहसंबंध गुणांक जैसी रैखिक निर्भरता तक सीमित नहीं, एमआई अधिक सामान्य है और यह निर्धारित करता है कि जोड़ी का संयुक्त वितरण कितना भिन्न है $$(X,Y)$$ के सीमांत वितरण के उत्पाद से है $$X$$ और $$Y$$. एमआई बिंदुवार पारस्परिक सूचना (पीएमआई) का अपेक्षित मूल्य है।

मात्रा को क्लाउड शैनन ने अपने ऐतिहासिक पेपर "ए मैथमैटिकल थ्योरी ऑफ कम्युनिकेशन" में परिभाषित और विश्लेषण किया था, हालांकि उन्होंने इसे "पारस्परिक सूचना" नहीं कहा था। यह शब्द बाद में रॉबर्ट फ़ानो द्वारा अंकित किया गया था। पारस्परिक सूचना को सूचना लाभ के रूप में भी जाना जाता है।

परिभाषा
होने देना $$(X,Y)$$ अंतरिक्ष में मानों के साथ यादृच्छिक चर की एक जोड़ी बनें $$\mathcal{X}\times\mathcal{Y}$$. यदि उनका संयुक्त वितरण है $$P_{(X,Y)}$$ और सीमांत वितरण हैं $$P_X$$ और $$P_Y$$, पारस्परिक सूचना को इस प्रकार परिभाषित किया गया है

कहाँ $$D_{\mathrm{KL}}$$ कुल्बैक-लीब्लर विचलन है।

ध्यान दें, कुल्बैक-लीबलर विचलन की संपत्ति के अनुसार, वह $$I(X;Y)$$ ठीक उसी स्थिति में शून्य के बराबर होता है जब संयुक्त वितरण सीमांत के उत्पाद के साथ मेल खाता है, यानी जब $$X$$ और $$Y$$ स्वतंत्र हैं (और इसलिए अवलोकन कर रहे हैं $$Y$$ आपको इसके बारे में कुछ नहीं बताता $$X$$). $$I(X;Y)$$ गैर-ऋणात्मक है, यह एन्कोडिंग के लिए कीमत का एक माप है $$(X,Y)$$ स्वतंत्र यादृच्छिक चरों की एक जोड़ी के रूप में जबकि वास्तव में वे नहीं हैं।

यदि प्राकृतिक लघुगणक का उपयोग किया जाता है, तो पारस्परिक सूचना की इकाई नेट (इकाई) है। यदि लघुगणक 2 का उपयोग किया जाता है, तो पारस्परिक सूचना की इकाई शैनन (इकाई) है, जिसे बिट के रूप में भी जाना जाता है। यदि लघुगणक 10 का उपयोग किया जाता है, तो पारस्परिक सूचना की इकाई हार्टले (इकाई) है, जिसे प्रतिबंध या डीआईटी के रूप में भी जाना जाता है।

अलग-अलग वितरण के लिए पीएमएफ के संदर्भ में
दो संयुक्त रूप से असतत यादृच्छिक चर की पारस्परिक सूचना $$X$$ और $$Y$$ दोगुनी राशि के रूप में गणना की जाती है:

कहाँ $$P_{(X,Y)}$$ का संयुक्त वितरण है $$X$$ और $$Y$$, और $$P_X$$ और $$P_Y$$ के सीमांत संभाव्यता द्रव्यमान फलन हैं $$X$$ और $$Y$$ क्रमश।

सतत वितरण के लिए पीडीएफ के संदर्भ में
संयुक्त रूप से निरंतर यादृच्छिक चर के मामले में, दोहरे योग को दोहरे अभिन्न अंग द्वारा प्रतिस्थापित किया जाता है:

कहाँ $$P_{(X,Y)}$$ अब का संयुक्त संभाव्यता घनत्व फलन है $$X$$ और $$Y$$, और $$P_X$$ और $$P_Y$$ के सीमांत संभाव्यता घनत्व फलन हैं $$X$$ और $$Y$$ क्रमश।

प्रेरणा
सहज रूप से, पारस्परिक सूचना उस सूचना को मापती है $$X$$ और $$Y$$ शेयर: यह मापता है कि इनमें से किसी एक चर को जानने से दूसरे के बारे में अनिश्चितता कितनी कम हो जाती है। उदाहरण के लिए, यदि $$X$$ और $$Y$$ स्वतंत्र हैं, तो जानना $$X$$ के बारे में कोई सूचना नहीं देता $$Y$$ और इसके विपरीत, इसलिए उनकी पारस्परिक सूचना शून्य है। दूसरे चरम पर, यदि $$X$$ का एक नियतात्मक कार्य है $$Y$$ और $$Y$$ का एक नियतात्मक कार्य है $$X$$ फिर सारी सूचना दी गई $$X$$ के साथ साझा किया जाता है $$Y$$: जानना $$X$$ का मूल्य निर्धारित करता है $$Y$$ और इसके विपरीत। परिणामस्वरूप, इस मामले में पारस्परिक सूचना वैसी ही है जैसी अनिश्चितता निहित है $$Y$$ (या $$X$$) अकेले, अर्थात् की सूचना एन्ट्रापी $$Y$$ (या $$X$$). इसके अलावा, यह पारस्परिक सूचना एन्ट्रापी के समान है $$X$$ और की एन्ट्रापी के रूप में $$Y$$. (इसका एक बहुत ही विशेष विषय है जब $$X$$ और $$Y$$ समान यादृच्छिक चर हैं।)

पारस्परिक सूचना संयुक्त वितरण में व्यक्त अंतर्निहित निर्भरता का एक माप है $$X$$ और $$Y$$ के सीमांत वितरण के सापेक्ष $$X$$ और $$Y$$ स्वतंत्रता की धारणा के तहत. इसलिए पारस्परिक सूचना निम्नलिखित अर्थों में निर्भरता को मापती है: $$\operatorname{I}(X;Y) = 0$$ यदि और केवल यदि $$X$$ और $$Y$$ स्वतंत्र यादृच्छिक चर हैं। इसे एक दिशा में देखना आसान है: यदि $$X$$ और $$Y$$ फिर स्वतंत्र हैं $$p_{(X,Y)}(x,y)=p_X(x) \cdot p_Y(y)$$, और इसलिए:


 * $$ \log{ \left( \frac{p_{(X,Y)}(x,y)}{p_X(x)\,p_Y(y)} \right) } = \log 1 = 0 .$$

इसके अलावा, पारस्परिक सूचना गैर-ऋणात्मक है (अर्थात $$\operatorname{I}(X;Y) \ge 0$$ नीचे देखें) और सममित समुच्चय (यानी) $$\operatorname{I}(X;Y) = \operatorname{I}(Y;X)$$ नीचे देखें)।

गैर-ऋणात्मकता
पारस्परिक सूचना की परिभाषा पर जेन्सेन की असमानता का उपयोग करके हम यह दिखा सकते हैं $$\operatorname{I}(X;Y)$$ गैर-ऋणात्मक है, अर्थात
 * $$\operatorname{I}(X;Y) \ge 0$$

समरूपता

 * $$\operatorname{I}(X;Y) = \operatorname{I}(Y;X)$$

एन्ट्रापी के साथ संबंध को ध्यान में रखते हुए प्रमाण दिया गया है, जैसा कि नीचे दिखाया गया है।

स्वतंत्रता के तहत सुपरमॉड्यूलरिटी
यदि $$ C $$ से स्वतंत्र है $$ (A,B) $$, तब
 * $$\operatorname{I}(Y;A,B,C) - \operatorname{I}(Y;A,B) \ge \operatorname{I}(Y;A,C) - \operatorname{I}(Y;A) $$.

सशर्त और संयुक्त एन्ट्रापी से संबंध
पारस्परिक सूचना को समान रूप से इस प्रकार व्यक्त किया जा सकता है:


 * $$\begin{align}

\operatorname{I}(X;Y) &{} \equiv \Eta(X) - \Eta(X\mid Y) \\ &{} \equiv \Eta(Y) - \Eta(Y\mid X) \\ &{} \equiv \Eta(X) + \Eta(Y) - \Eta(X, Y) \\ &{} \equiv \Eta(X, Y) - \Eta(X\mid Y) - \Eta(Y\mid X) \end{align}$$ कहाँ $$\Eta(X)$$ और $$\Eta(Y)$$ सीमांत सूचना एन्ट्रापी हैं, $$\Eta(X\mid Y)$$ और $$\Eta(Y\mid X)$$ सशर्त एन्ट्रापी हैं, और $$\Eta(X,Y)$$ की संयुक्त एन्ट्रापी है $$X$$ और $$Y$$.

दो समुच्चयों के मिलन, अंतर और प्रतिच्छेदन की सादृश्यता पर ध्यान दें: इस संबंध में, ऊपर दिए गए सभी सूत्र लेख की शुरुआत में बताए गए वेन आरेख से स्पष्ट हैं।

एक संचार चैनल के संदर्भ में जिसमें आउटपुट $$Y$$ इनपुट का एक शोर संस्करण है $$X$$, इन संबंधों को चित्र में संक्षेपित किया गया है:

क्योंकि $$\operatorname{I}(X;Y)$$ गैर-ऋणात्मक है, फलस्वरूप, $$\Eta(X) \ge \Eta(X\mid Y)$$. यहां हम इसका विस्तृत विवरण देते हैं $$\operatorname{I}(X;Y)=\Eta(Y)-\Eta(Y\mid X)$$ संयुक्त रूप से असतत यादृच्छिक चर के मामले के लिए:



\begin{align} \operatorname{I}(X;Y) & {} = \sum_{x \in \mathcal{X},y \in \mathcal{Y}} p_{(X,Y)}(x,y) \log \frac{p_{(X,Y)}(x,y)}{p_X(x)p_Y(y)}\\ & {} = \sum_{x \in \mathcal{X},y \in \mathcal{Y}} p_{(X,Y)}(x,y) \log \frac{p_{(X,Y)}(x,y)}{p_X(x)} - \sum_{x \in \mathcal{X},y \in \mathcal{Y}} p_{(X,Y)}(x,y) \log p_Y(y) \\

& {} = \sum_{x \in \mathcal{X},y \in \mathcal{Y}} p_X(x)p_{Y\mid X=x}(y) \log p_{Y\mid X=x}(y) - \sum_{x \in \mathcal{X},y \in \mathcal{Y}} p_{(X,Y)}(x,y) \log p_Y(y) \\ & {} = \sum_{x \in \mathcal{X}} p_X(x) \left(\sum_{y \in \mathcal{Y}} p_{Y\mid X=x}(y) \log p_{Y\mid X=x}(y)\right) - \sum_{y \in \mathcal{Y}} \left(\sum_{x \in \mathcal{X}} p_{(X,Y)}(x,y)\right) \log p_Y(y) \\ & {} = -\sum_{x \in \mathcal{X}} p_X(x) \Eta(Y\mid X=x) - \sum_{y \in \mathcal{Y}} p_Y(y) \log p_Y(y) \\ & {} = -\Eta(Y\mid X) + \Eta(Y) \\ & {} = \Eta(Y) - \Eta(Y\mid X). \\ \end{align} $$ ऊपर दी गई अन्य पहचानों के प्रमाण समान हैं। सामान्य मामले का प्रमाण (सिर्फ अलग नहीं) समान है, जिसमें योगों की जगह अभिन्न अंग शामिल हैं।

सहज रूप से, यदि एन्ट्रापी $$\Eta(Y)$$ तब इसे एक यादृच्छिक चर के बारे में अनिश्चितता का माप माना जाता है $$\Eta(Y\mid X)$$ क्या का एक उपाय है $$X$$ के बारे में नहीं कहता $$Y$$. इसे लेकर काफी अनिश्चितता बनी हुई है $$Y$$ बाद $$X$$ ज्ञात है, और इस प्रकार इन समानताओं में से दूसरे के दाहिने पक्ष को अनिश्चितता की मात्रा के रूप में पढ़ा जा सकता है $$Y$$, में अनिश्चितता की मात्रा को घटाकर $$Y$$ जो बाद में रहता है $$X$$ ज्ञात है, जो अनिश्चितता की मात्रा के बराबर है $$Y$$ जो जानने से दूर हो जाता है $$X$$. यह सूचना की मात्रा (अर्थात अनिश्चितता में कमी) के रूप में पारस्परिक सूचना के सहज अर्थ की पुष्टि करता है जो किसी भी चर को जानने से दूसरे के बारे में पता चलता है।

ध्यान दें कि अलग मामले में $$\Eta(Y\mid Y) = 0$$ और इसलिए $$\Eta(Y) = \operatorname{I}(Y;Y)$$. इस प्रकार $$\operatorname{I}(Y; Y) \ge \operatorname{I}(X; Y)$$, और कोई भी बुनियादी सिद्धांत बना सकता है कि एक चर में अपने बारे में कम से कम उतनी सूचना होती है जितनी कोई अन्य चर प्रदान कर सकता है।

कुल्बैक-लीब्लर विचलन से संबंध
संयुक्त रूप से असतत या संयुक्त रूप से निरंतर जोड़े के लिए $$(X,Y)$$, पारस्परिक सूचना सीमांत वितरण के उत्पाद से कुल्बैक-लीब्लर विचलन है, $$p_X \cdot p_Y$$, संयुक्त वितरण का $$p_{(X,Y)}$$, वह है,

इसके अलावा, चलो $$ p_{(X,Y)}(x,y) =p_{X\mid Y=y}(x)* p_Y(y)$$ सशर्त द्रव्यमान या घनत्व समुच्चय हो। फिर, हमारी पहचान है

संयुक्त रूप से असतत यादृच्छिक चर का प्रमाण इस प्रकार है:

\begin{align} \operatorname{I}(X; Y) &= \sum_{y \in \mathcal Y} \sum_{x \in \mathcal X}   { p_{(X,Y)}(x, y) \log\left(\frac{p_{(X,Y)}(x, y)}{p_X(x)\,p_Y(y)}\right) } \\ &= \sum_{y \in \mathcal{Y}} \sum_{x \in \mathcal{X}} p_{X\mid Y=y}(x) p_Y(y) \log \frac{p_{X\mid Y=y}(x) p_Y(y)}{p_X(x)  p_Y(y)} \\ &= \sum_{y \in \mathcal{Y}} p_Y(y) \sum_{x \in \mathcal{X}} p_{X\mid Y=y}(x) \log \frac{p_{X\mid Y=y}(x)}{p_X(x)} \\ &= \sum_{y \in \mathcal{Y}} p_Y(y) \; D_\text{KL}\!\left(p_{X\mid Y=y} \parallel p_X\right) \\ &= \mathbb{E}_Y \left[D_\text{KL}\!\left(p_{X\mid Y} \parallel p_X\right)\right]. \end{align} $$ इसी प्रकार संयुक्त रूप से निरंतर यादृच्छिक चरों के लिए भी यह पहचान स्थापित की जा सकती है।

ध्यान दें कि यहां कुलबैक-लीबलर विचलन में यादृच्छिक चर के मूल्यों पर एकीकरण शामिल है $$X$$ केवल, और अभिव्यक्ति $$D_\text{KL}(p_{X\mid Y} \parallel p_X)$$ अभी भी एक यादृच्छिक चर को दर्शाता है क्योंकि $$Y$$ यादृच्छिक है. इस प्रकार पारस्परिक सूचना को अविभाज्य वितरण के कुल्बैक-लीब्लर विचलन के अपेक्षित मूल्य के रूप में भी समझा जा सकता है $$p_X$$ का $$X$$ सशर्त वितरण से $$p_{X\mid Y}$$ का $$X$$ दिया गया $$Y$$: वितरण जितने अधिक भिन्न होंगे $$p_{X\mid Y}$$ और $$p_X$$ औसतन, कुल्बैक-लीब्लर विचलन जितना अधिक होगा।

पारस्परिक सूचना का बायेसियन अनुमान
यदि संयुक्त वितरण से नमूने उपलब्ध हैं, तो उस वितरण की पारस्परिक सूचना का अनुमान लगाने के लिए बायेसियन दृष्टिकोण का उपयोग किया जा सकता है। ऐसा करने वाला पहला काम था, जिसमें यह भी दिखाया गया कि पारस्परिक सूचना के अलावा कई अन्य सूचना-सैद्धांतिक गुणों का बायेसियन अनुमान कैसे लगाया जाए। बाद के शोधकर्ताओं ने पुनः प्राप्त किया है और विस्तारित है।

यह विश्लेषण. देखना एक हालिया पेपर के लिए, जो विशेष रूप से पारस्परिक अनुमान के अनुरूप तैयार किया गया है।

सूचना प्रति से. इसके अलावा, हाल ही में निरंतर और बहुभिन्नरूपी आउटपुट के लिए एक अनुमान पद्धति लेखांकन, $$Y$$, में प्रस्तावित किया गया था।

स्वतंत्रता धारणाएँ
पारस्परिक सूचना का कुल्बैक-लीबलर विचलन सूत्रीकरण इस बात पर आधारित है कि कोई व्यक्ति तुलना करने में रुचि रखता है $$p(x,y)$$ पूरी तरह से फ़ैक्टराइज़्ड बाहरी उत्पाद के लिए $$p(x) \cdot p(y)$$. कई समस्याओं में, जैसे कि गैर-ऋणात्मक आव्यूह गुणनखंडन, व्यक्ति कम चरम गुणनखंडन में रुचि रखता है; विशेष रूप से, कोई तुलना करना चाहता है $$p(x,y)$$ किसी अज्ञात चर में निम्न-रैंक आव्यूह सन्निकटन के लिए $$w$$; अर्थात्, किसी के पास कितनी डिग्री हो सकती है
 * $$p(x,y)\approx \sum_w p^\prime (x,w) p^{\prime\prime}(w,y)$$

वैकल्पिक रूप से, किसी को यह जानने में रुचि हो सकती है कि कितनी अधिक सूचना है $$p(x,y)$$ इसके गुणनखंडन को आगे बढ़ाता है। ऐसे में जितनी सूचना उतनी अधिक वितरण $$p(x,y)$$ आव्यूह फ़ैक्टराइज़ेशन को कुल्बैक-लीब्लर डाइवर्जेंस द्वारा दिया जाता है
 * $$\operatorname{I}_{LRMA} = \sum_{y \in \mathcal{Y}} \sum_{x \in \mathcal{X}}

{p(x,y) \log{ \left(\frac{p(x,y)}{\sum_w p^\prime (x,w) p^{\prime\prime}(w,y)}     \right) }}, $$ पारस्परिक सूचना की पारंपरिक परिभाषा चरम मामले में पुनर्प्राप्त की जाती है जो कि प्रक्रिया है $$W$$ के लिए केवल एक ही मान है $$w$$.

विविधताएं
विभिन्न आवश्यकताओं के अनुरूप पारस्परिक सूचना में कई बदलाव प्रस्तावित किए गए हैं। इनमें सामान्यीकृत वेरिएंट और दो से अधिक वेरिएबल के सामान्यीकरण सम्मिलित हैं।

मीट्रिक
कई अनुप्रयोगों के लिए एक मीट्रिक (गणित) की आवश्यकता होती है, अर्थात, बिंदुओं के जोड़े के बीच की दूरी मापना। मात्रा


 * $$\begin{align}

d(X,Y) &= \Eta(X,Y) - \operatorname{I}(X;Y) \\ &= \Eta(X) + \Eta(Y) - 2\operatorname{I}(X;Y) \\ &= \Eta(X\mid Y) + \Eta(Y\mid X) \\ &= 2\Eta(X,Y) - \Eta(X) - \Eta(Y) \end{align}$$ एक मीट्रिक के गुणों को संतुष्ट करता है (त्रिकोण असमानता, गैर-ऋणात्मक | गैर-ऋणात्मकता, अविवेकी और समरूपता की पहचान)। इस दूरी मीट्रिक को सूचना की भिन्नता के रूप में भी जाना जाता है।

यदि $$X, Y$$ असतत यादृच्छिक चर हैं तो सभी एन्ट्रापी पद गैर-ऋणात्मक हैं, इसलिए $$0 \le d(X,Y) \le \Eta(X,Y)$$ और कोई सामान्यीकृत दूरी परिभाषित कर सकता है


 * $$D(X,Y) = \frac{d(X, Y)}{\Eta(X, Y)} \le 1.$$

मीट्रिक $$D$$ एक सार्वभौमिक मीट्रिक है, इसमें यदि कोई अन्य दूरी मापी जाती है $$X$$ और $$Y$$ पास में, फिर $$D$$ उन्हें भी करीब से परखेंगे.

परिभाषाओं को जोड़ने से यह पता चलता है


 * $$D(X,Y) = 1 - \frac{\operatorname{I}(X; Y)}{\Eta(X, Y)}.$$

इसे राजस्की दूरी के नाम से जाना जाता है। सूचना की एक समुच्चय-सैद्धांतिक व्याख्या में (सशर्त एन्ट्रापी के लिए चित्र देखें), यह प्रभावी रूप से जैककार्ड सूचकांक है $$X$$ और $$Y$$.

आखिरकार,


 * $$D^\prime(X, Y) = 1 - \frac{\operatorname{I}(X; Y)}{\max\left\{\Eta(X), \Eta(Y)\right\}}$$

एक मीट्रिक भी है.

सशर्त पारस्परिक सूचना
कभी-कभी दो यादृच्छिक चरों की पारस्परिक सूचना को किसी तीसरे पर व्यक्त करना उपयोगी होता है।

संयुक्त रूप से असतत यादृच्छिक चर के लिए यह रूप लेता है

\operatorname{I}(X;Y|Z) =  \sum_{z\in \mathcal{Z}} \sum_{y\in \mathcal{Y}} \sum_{x\in \mathcal{X}} {p_Z(z)\, p_{X,Y|Z}(x,y|z) \log\left[\frac{p_{X,Y|Z}(x,y|z)}{p_{X|Z}\,(x|z)p_{Y|Z}(y|z)}\right]}, $$ जिसे इस प्रकार सरल बनाया जा सकता है

\operatorname{I}(X;Y|Z) = \sum_{z\in \mathcal{Z}} \sum_{y\in \mathcal{Y}} \sum_{x\in \mathcal{X}} p_{X,Y,Z}(x,y,z) \log \frac{p_{X,Y,Z}(x,y,z)p_{Z}(z)}{p_{X,Z}(x,z)p_{Y,Z}(y,z)}. $$ संयुक्त रूप से निरंतर यादृच्छिक चर के लिए यह रूप लेता है

\operatorname{I}(X;Y|Z) =  \int_{\mathcal{Z}} \int_{\mathcal{Y}} \int_{\mathcal{X}} {p_Z(z)\, p_{X,Y|Z}(x,y|z) \log\left[\frac{p_{X,Y|Z}(x,y|z)}{p_{X|Z}\,(x|z)p_{Y|Z}(y|z)}\right]} dx dy dz, $$ जिसे इस प्रकार सरल बनाया जा सकता है

\operatorname{I}(X;Y|Z) = \int_{\mathcal{Z}} \int_{\mathcal{Y}} \int_{\mathcal{X}} p_{X,Y,Z}(x,y,z) \log \frac{p_{X,Y,Z}(x,y,z)p_{Z}(z)}{p_{X,Z}(x,z)p_{Y,Z}(y,z)} dx dy dz. $$ तीसरे यादृच्छिक चर पर कंडीशनिंग या तो पारस्परिक सूचना को बढ़ा या घटा सकती है, लेकिन यह हमेशा सच है
 * $$\operatorname{I}(X;Y|Z) \ge 0$$

असतत, संयुक्त रूप से वितरित यादृच्छिक चर के लिए $$X,Y,Z$$. इस परिणाम का उपयोग सूचना सिद्धांत में अन्य असमानताओं को साबित करने के लिए बुनियादी निर्माण खंड के रूप में किया गया है।

इंटरैक्शन सूचना
दो से अधिक यादृच्छिक चरों के लिए पारस्परिक सूचना के कई सामान्यीकरण प्रस्तावित किए गए हैं, जैसे कुल सहसंबंध (या बहु-सूचना) और दोहरा कुल सहसंबंध। बहुभिन्नरूपी उच्च-स्तरीय पारस्परिक सूचना की अभिव्यक्ति और अध्ययन दो प्रतीत होता है स्वतंत्र कार्यों में हासिल किया गया था: मैकगिल (1954) जिन्होंने इन कार्यों को इंटरेक्शन सूचना कहा, और हू कुओ टिंग (1962)। एक वेरिएबल के लिए इंटरैक्शन सूचना इस प्रकार परिभाषित की गई है:
 * $$\operatorname{I}(X_1) = \Eta(X_1)$$

और के लिए $$n > 1,$$

\operatorname{I}(X_1;\,...\,;X_n) = \operatorname{I}(X_1;\,...\,;X_{n-1}) - \operatorname{I}(X_1;\,...\,;X_{n-1}\mid X_n). $$ कुछ लेखक पूर्ववर्ती समीकरण के दाहिनी ओर शब्दों के क्रम को उलट देते हैं, जिससे यादृच्छिक चर की संख्या विषम होने पर चिह्न बदल जाता है। (और इस मामले में, एकल-चर अभिव्यक्ति एन्ट्रापी का ऋणात्मक बन जाती है।) ध्यान दें

I(X_1;\ldots;X_{n-1}\mid X_{n}) = \mathbb{E}_{X_{n}} [D_{\mathrm{KL}}( P_{(X_1,\ldots,X_{n-1})\mid X_{n}} \| P_{X_1\mid X_{n}} \otimes\cdots\otimes P_{X_{n-1}\mid X_{n}} )]. $$

बहुभिन्नरूपी सांख्यिकीय स्वतंत्रता
बहुभिन्नरूपी पारस्परिक सूचना फ़ंक्शंस जोड़ीदार स्वतंत्रता मामले को सामान्यीकृत करते हैं जो बताता है $$X_1, X_2$$ यदि और केवल यदि $$I(X_1; X_2) = 0$$, मनमाने ढंग से असंख्य चर के लिए। n चर परस्पर स्वतंत्र हैं यदि और केवल यदि $$2^n - n - 1$$ पारस्परिक सूचना कार्य लुप्त हो जाते हैं $$I(X_1; \ldots; X_k) = 0$$ साथ $$n \ge k \ge 2$$ (प्रमेय 2 ). इस अर्थ में, $$I(X_1; \ldots; X_k) = 0$$ एक परिष्कृत सांख्यिकीय स्वतंत्रता मानदंड के रूप में उपयोग किया जा सकता है।

अनुप्रयोग
3 चरों के लिए, ब्रेनर एट अल। तंत्रिका कोडिंग के लिए बहुभिन्नरूपी पारस्परिक सूचना लागू की गई और इसे ऋणात्मकता तालमेल कहा गया और वॉटकिंसन एट अल। इसे आनुवंशिक अभिव्यक्ति पर लागू किया। मनमाने ढंग से k चर के लिए, तापिया एट अल। जीन अभिव्यक्ति के लिए बहुभिन्नरूपी पारस्परिक सूचना लागू की गई। यह शून्य, धनात्मक या ऋणात्मक हो सकता है। धनात्मकता जोड़ीदार सहसंबंधों को सामान्यीकृत करने वाले संबंधों से मेल खाती है, शून्यता स्वतंत्रता की परिष्कृत धारणा से मेल खाती है, और ऋणात्मकता उच्च आयामी उभरते संबंधों और क्लस्टर किए गए डेटापॉइंट्स का पता लगाती है ).

एक उच्च-आयामी सामान्यीकरण योजना जो संयुक्त वितरण और अन्य लक्ष्य चर के बीच पारस्परिक सूचना को अधिकतम करती है, फीचर चयन में उपयोगी पाई जाती है। पारस्परिक सूचना का उपयोग सिग्नल प्रोसेसिंग के क्षेत्र में दो सिग्नलों के बीच समानता माप के रूप में भी किया जाता है। उदाहरण के लिए, एफएमआई मीट्रिक एक छवि फ़्यूज़न प्रदर्शन माप है जो फ़्यूज़ की गई छवि में स्रोत छवियों के बारे में सूचना की मात्रा को मापने के लिए पारस्परिक सूचना का उपयोग करता है। इस मीट्रिक के लिए मैटलैब कोड यहां पाया जा सकता है। एन चर के डेटासमुच्चय में सभी बहुभिन्नरूपी पारस्परिक सूचना, सशर्त पारस्परिक सूचना, संयुक्त एन्ट्रॉपी, कुल सहसंबंध, सूचना दूरी की गणना के लिए एक पायथन पैकेज उपलब्ध है।

निर्देशित सूचना
निर्देशित सूचना, $$\operatorname{I}\left(X^n \to Y^n\right)$$, प्रक्रिया से प्रवाहित होने वाली सूचना की मात्रा को मापता है $$X^n$$ को $$Y^n$$, कहाँ $$X^n$$ वेक्टर को दर्शाता है $$X_1, X_2, ..., X_n$$ और $$Y^n$$ अर्थ है $$Y_1, Y_2, ..., Y_n$$. निर्देशित सूचना शब्द जेम्स मैसी द्वारा गढ़ा गया था और इसे इस प्रकार परिभाषित किया गया है

\operatorname{I}\left(X^n \to Y^n\right) = \sum_{i=1}^n \operatorname{I}\left(X_i; Y_i\mid Y_{i-1}\right) $$.

ध्यान दें कि यदि $$n=1$$, निर्देशित सूचना पारस्परिक सूचना बन जाती है। निर्देशित सूचना के उन समस्याओं में कई अनुप्रयोग होते हैं जहां कार्य-कारण महत्वपूर्ण भूमिका निभाता है, जैसे फीडबैक के साथ चैनल क्षमता।

सामान्यीकृत वेरिएंट
पारस्परिक सूचना के सामान्यीकृत संस्करण बाधा के गुणांक द्वारा प्रदान किए जाते हैं, अनिश्चितता गुणांक या प्रवीणता:

C_{XY} = \frac{\operatorname{I}(X;Y)}{\Eta(Y)} ~\mbox{and}~ C_{YX} = \frac{\operatorname{I}(X;Y)}{\Eta(X)}. $$ दोनों गुणांकों का मान [0, 1] के बीच है, लेकिन जरूरी नहीं कि वे बराबर हों। कुछ मामलों में एक सममित माप वांछित हो सकता है, जैसे कि निम्नलिखित अतिरेक (सूचना सिद्धांत) उपाय:
 * $$R = \frac{\operatorname{I}(X;Y)}{\Eta(X) + \Eta(Y)}$$

जब चर स्वतंत्र होते हैं तो न्यूनतम शून्य और अधिकतम मान प्राप्त होता है
 * $$R_\max = \frac{\min\left\{\Eta(X), \Eta(Y)\right\}}{\Eta(X) + \Eta(Y)}$$

जब एक चर दूसरे के ज्ञान से पूरी तरह से अनावश्यक हो जाता है। अतिरेक (सूचना सिद्धांत) भी देखें।

एक अन्य सममित माप सममित अनिश्चितता है, द्वारा दिए गए
 * $$U(X, Y) = 2R = 2\frac{\operatorname{I}(X;Y)}{\Eta(X) + \Eta(Y)}$$

जो दो अनिश्चितता गुणांकों के अनुकूल माध्य का प्रतिनिधित्व करता है $$C_{XY}, C_{YX}$$.

यदि हम पारस्परिक सूचना को कुल सहसंबंध या दोहरे कुल सहसंबंध के एक विशेष मामले के रूप में मानते हैं, तो सामान्यीकृत संस्करण क्रमशः हैं,
 * $$\frac{\operatorname{I}(X; Y)}{\min\left[\Eta(X), \Eta(Y)\right]}$$ और $$\frac{\operatorname{I}(X; Y)}{\Eta(X, Y)}\; .$$

इस सामान्यीकृत संस्करण को सूचना गुणवत्ता अनुपात (आईक्यूआर) के रूप में भी जाना जाता है जो कुल अनिश्चितता के मुकाबले किसी अन्य चर के आधार पर एक चर की सूचना की मात्रा निर्धारित करता है:

IQR(X, Y) = \operatorname{E}[\operatorname{I}(X;Y)] = \frac{\operatorname{I}(X;Y)}{\Eta(X, Y)} = \frac{\sum_{x \in X} \sum_{y \in Y} p(x, y) \log {p(x)p(y)}}{\sum_{x \in X} \sum_{y \in Y} p(x, y) \log {p(x, y)}} - 1 $$ एक सामान्यीकरण है जो सहप्रसरण के अनुरूप पारस्परिक सूचना की पहली सोच से उत्पन्न होता है (इस प्रकार एन्ट्रॉपी (सूचना सिद्धांत) विचरण के अनुरूप है)। फिर सामान्यीकृत पारस्परिक सूचना की गणना पियर्सन उत्पाद-क्षण सहसंबंध गुणांक के समान की जाती है,



\frac{\operatorname{I}(X;Y)}{\sqrt{\Eta(X)\Eta(Y)}}\;. $$

भारित वेरिएंट
पारस्परिक सूचना के पारंपरिक सूत्रीकरण में,



\operatorname{I}(X;Y) = \sum_{y \in Y} \sum_{x \in X} p(x, y) \log \frac{p(x, y)}{p(x)\,p(y)}, $$ प्रत्येक घटना या वस्तु द्वारा निर्दिष्ट $$(x, y)$$ संगत संभाव्यता द्वारा भारित किया जाता है $$p(x, y)$$. यह मानता है कि घटित होने की संभावना के अलावा सभी वस्तुएँ या घटनाएँ समतुल्य हैं। हालाँकि, कुछ अनुप्रयोगों में ऐसा हो सकता है कि कुछ वस्तुएँ या घटनाएँ दूसरों की तुलना में अधिक महत्वपूर्ण हों, या एसोसिएशन के कुछ पैटर्न दूसरों की तुलना में शब्दार्थ की दृष्टि से अधिक महत्वपूर्ण हों।

उदाहरण के लिए, नियतात्मक मानचित्रण $$\{(1,1),(2,2),(3,3)\}$$ नियतात्मक मानचित्रण की तुलना में इसे अधिक मजबूत माना जा सकता है $$\{(1,3),(2,1),(3,2)\}$$, हालाँकि इन संबंधों से समान पारस्परिक सूचना प्राप्त होगी। ऐसा इसलिए है क्योंकि पारस्परिक सूचना परिवर्तनीय मानों में किसी अंतर्निहित क्रम के प्रति बिल्कुल भी संवेदनशील नहीं है, और इसलिए संबंधित चरों के बीच संबंधपरक मानचित्रण के स्वरूप के प्रति बिल्कुल भी संवेदनशील नहीं है। यदि यह वांछित है कि पूर्व संबंध - सभी परिवर्तनीय मूल्यों पर सहमति दिखाते हुए - बाद के संबंध से अधिक मजबूत आंका जाए, तो निम्नलिखित भारित पारस्परिक सूचना का उपयोग करना संभव है.

\operatorname{I}(X;Y) = \sum_{y \in Y} \sum_{x \in X} w(x,y) p(x,y) \log \frac{p(x,y)}{p(x)\,p(y)}, $$ जो एक वजन रखता है $$w(x,y)$$ प्रत्येक चर मान की सह-घटना की संभावना पर, $$p(x,y)$$. यह अनुमति देता है कि कुछ संभावनाएं दूसरों की तुलना में अधिक या कम महत्व ले सकती हैं, जिससे प्रासंगिक समग्र या प्राग्नानज़ कारकों की मात्रा का ठहराव संभव हो जाता है। उपरोक्त उदाहरण में, बड़े सापेक्ष भार का उपयोग किया जा रहा है $$w(1,1)$$, $$w(2,2)$$, और $$w(3,3)$$ संबंध के लिए अधिक सूचनापूर्णता का आकलन करने का प्रभाव होगा $$\{(1,1),(2,2),(3,3)\}$$ रिश्ते के लिए की तुलना में $$\{(1,3),(2,1),(3,2)\}$$, जो पैटर्न पहचान आदि के कुछ मामलों में वांछनीय हो सकता है। यह भारित पारस्परिक सूचना भारित केएल-डाइवर्जेंस का एक रूप है, जो कुछ इनपुट के लिए ऋणात्मक मान लेने के लिए जाना जाता है, और ऐसे उदाहरण हैं जहां भारित पारस्परिक सूचना भी ऋणात्मक मान लेती है।

समायोजित पारस्परिक सूचना
संभाव्यता वितरण को एक समुच्चय के विभाजन के रूप में देखा जा सकता है। तब कोई पूछ सकता है: यदि किसी समुच्चय को यादृच्छिक रूप से विभाजित किया गया था, तो संभावनाओं का वितरण क्या होगा? पारस्परिक सूचना का अपेक्षित मूल्य क्या होगा? समायोजित पारस्परिक सूचना या एएमआई एमआई के अपेक्षित मूल्य को घटा देती है, ताकि जब दो अलग-अलग वितरण यादृच्छिक हों तो एएमआई शून्य हो, और जब दो वितरण समान हों तो एएमआई शून्य हो। एएमआई को एक समुच्चय के दो अलग-अलग विभाजनों के समायोजित रैंड इंडेक्स के अनुरूप परिभाषित किया गया है।

पूर्ण पारस्परिक सूचना
कोलमोगोरोव जटिलता के विचारों का उपयोग करते हुए, कोई भी किसी भी संभाव्यता वितरण से स्वतंत्र दो अनुक्रमों की पारस्परिक सूचना पर विचार कर सकता है:



\operatorname{I}_K(X;Y) = K(X) - K(X\mid Y). $$ यह स्थापित करने के लिए कि यह मात्रा एक लघुगणकीय कारक तक सममित है ($$\operatorname{I}_K(X;Y) \approx \operatorname{I}_K(Y;X)$$) कोलमोगोरोव जटिलता के लिए श्रृंखला नियम की आवश्यकता होती है. डेटा संपीड़न के माध्यम से इस मात्रा के अनुमान का उपयोग अनुक्रमों के किसी भी डोमेन ज्ञान के बिना अनुक्रमों की पदानुक्रमित क्लस्टरिंग करने के लिए मीट्रिक (गणित) को परिभाषित करने के लिए किया जा सकता है।.

रैखिक सहसंबंध
सहसंबंध गुणांकों के विपरीत, जैसे कि उत्पाद क्षण सहसंबंध गुणांक, पारस्परिक सूचना में सभी निर्भरता-रैखिक और गैर-रेखीय-के बारे में सूचना होती है, न कि सहसंबंध गुणांक उपायों के रूप में केवल रैखिक निर्भरता के बारे में। हालाँकि, संकीर्ण मामले में संयुक्त वितरण के लिए $$X$$ और $$Y$$ एक द्विचर सामान्य वितरण है (विशेष रूप से इसका अर्थ यह है कि दोनों सीमांत वितरण सामान्य रूप से वितरित होते हैं), इनके बीच एक सटीक संबंध है $$\operatorname{I}$$ और सहसंबंध गुणांक $$\rho$$.
 * $$\operatorname{I} = -\frac{1}{2} \log\left(1 - \rho^2\right)$$

उपरोक्त समीकरण को द्विचर गाऊसी के लिए इस प्रकार प्राप्त किया जा सकता है:
 * $$\begin{align}

\begin{pmatrix} X_1 \\ X_2 \end{pmatrix} &\sim \mathcal{N} \left( \begin{pmatrix}    \mu_1 \\    \mu_2  \end{pmatrix}, \Sigma \right),\qquad \Sigma = \begin{pmatrix} \sigma^2_1          & \rho\sigma_1\sigma_2 \\ \rho\sigma_1\sigma_2 & \sigma^2_2 \end{pmatrix} \\ \Eta(X_i) &= \frac{1}{2}\log\left(2\pi e \sigma_i^2\right) = \frac{1}{2} + \frac{1}{2}\log(2\pi) + \log\left(\sigma_i\right), \quad i\in\{1, 2\} \\ \Eta(X_1, X_2) &= \frac{1}{2}\log\left[(2\pi e)^2|\Sigma|\right] = 1 + \log(2\pi) + \log\left(\sigma_1 \sigma_2\right) + \frac{1}{2}\log\left(1 - \rho^2\right) \\ \end{align}$$ इसलिए,

\operatorname{I}\left(X_1; X_2\right) = \Eta\left(X_1\right) + \Eta\left(X_2\right) - \Eta\left(X_1, X_2\right) = -\frac{1}{2}\log\left(1 - \rho^2\right) $$

असतत डेटा के लिए
कब $$X$$ और $$Y$$ राज्यों की एक अलग संख्या में होने तक सीमित हैं, अवलोकन डेटा को पंक्ति चर के साथ एक आकस्मिक तालिका में संक्षेपित किया गया है $$X$$ (या $$i$$) और स्तंभ चर $$Y$$ (या $$j$$). पारस्परिक सूचना पंक्ति और स्तंभ चर के बीच संबंध (सांख्यिकी) या सहसंबंध और निर्भरता के उपायों में से एक है।

एसोसिएशन के अन्य उपायों में पियर्सन के ची-स्क्वायर टेस्ट आँकड़े, जी-परीक्षण  आँकड़े आदि सम्मिलित हैं। वास्तव में, एक ही लॉग बेस के साथ, पारस्परिक सूचना जी-टेस्ट लॉग-संभावना आँकड़े के बराबर होगी जिसे विभाजित किया गया है $$2N$$, कहाँ $$N$$ नमूना आकार है.

अनुप्रयोग
कई अनुप्रयोगों में, कोई पारस्परिक सूचना को अधिकतम करना चाहता है (इस प्रकार निर्भरता बढ़ती है), जो अक्सर सशर्त एन्ट्रापी को कम करने के बराबर होती है। उदाहरणों में सम्मिलित:
 * सर्च इंजन प्रौद्योगिकी में, वाक्यांशों और संदर्भों के बीच पारस्परिक सूचना का उपयोग सिमेंटिक क्लस्टर्स (अवधारणाओं) की सर्च के लिए k-अर्थ क्लस्टरिंग  के लिए एक सुविधा के रूप में किया जाता है। उदाहरण के लिए, एक बिग्राम की पारस्परिक सूचना की गणना इस प्रकार की जा सकती है:


 * कहाँ $$f_{XY}$$ बिग्राम xy कॉर्पस में प्रकट होने की संख्या है, $$f_{X}$$ कॉर्पस में यूनीग्राम x प्रकट होने की संख्या है, बी बिग्राम की कुल संख्या है, और यू यूनीग्राम की कुल संख्या है। * दूरसंचार में, चैनल क्षमता पारस्परिक सूचना के बराबर होती है, जो सभी इनपुट वितरणों पर अधिकतम होती है।


 * अधिकतम पारस्परिक सूचना (एमएमआई) मानदंड के आधार पर छिपे छिपा हुआ मार्कोव मॉडल के लिए भेदभावपूर्ण मॉडल प्रक्रियाएं प्रस्तावित की गई हैं।
 * एकाधिक अनुक्रम संरेखण से न्यूक्लिक एसिड माध्यमिक संरचना की पूर्व-सूचना।
 * कार्यात्मक रूप से लिंक जीनों की जोड़ीवार उपस्थिति और गायब होने से फाइलोजेनेटिक प्रोफाइलिंग पूर्व-सूचना।
 * यंत्र अधिगम में फीचर चयन और फीचर परिवर्तनों के लिए पारस्परिक सूचना का उपयोग एक मानदंड के रूप में किया गया है। इसका उपयोग चर की प्रासंगिकता और अतिरेक दोनों को चिह्नित करने के लिए किया जा सकता है, जैसे न्यूनतम अतिरेक सुविधा चयन।
 * किसी डेटासमुच्चय के दो अलग-अलग क्लस्टर विश्लेषण की समानता निर्धारित करने में पारस्परिक सूचना का उपयोग किया जाता है। इस प्रकार, यह पारंपरिक रैंड सूचकांक  पर कुछ लाभ प्रदान करता है।
 * शब्दों की पारस्परिक सूचना का उपयोग अक्सर कॉर्पस भाषाविज्ञान में संयोजनों की गणना के लिए एक महत्वपूर्ण समुच्चय के रूप में किया जाता है। इसमें अतिरिक्त जटिलता यह है कि कोई भी शब्द-उदाहरण दो अलग-अलग शब्दों का उदाहरण नहीं है; बल्कि, ऐसे उदाहरणों को गिना जाता है जहां 2 शब्द आसन्न या निकट निकटता में आते हैं; इससे गणना थोड़ी जटिल हो जाती है, क्योंकि इसमें एक शब्द के घटित होने की अपेक्षित संभावना होती है $$N$$ दूसरे के शब्द, ऊपर जाते हैं $$N$$
 * छवि पंजीकरण के लिए मेडिकल इमेजिंग में पारस्परिक सूचना का उपयोग किया जाता है। एक संदर्भ छवि (उदाहरण के लिए, एक मस्तिष्क स्कैन), और एक दूसरी छवि जिसे संदर्भ छवि के समान समन्वय प्रणाली में डालने की आवश्यकता होती है, यह छवि तब तक विकृत होती है जब तक कि इसके और संदर्भ छवि के बीच पारस्परिक सूचना अधिकतम न हो जाए।
 * समय श्रृंखला विश्लेषण में चरण तुल्यकालन का पता लगाना।
 * न्यूरल-नेट और अन्य मशीन लर्निंग के लिए इन्फोमैक्स विधि में, इन्फोमैक्स-आधारित स्वतंत्र घटक विश्लेषण एल्गोरिदम सहित
 * विलंब एम्बेडिंग प्रमेय में औसत पारस्परिक सूचना का उपयोग एम्बेडिंग विलंब पैरामीटर निर्धारित करने के लिए किया जाता है।
 * माइक्रोएरे डेटा में जीनों के बीच पारस्परिक सूचना का उपयोग जीन नियामक नेटवर्क के पुनर्निर्माण के लिए ARACNE एल्गोरिदम द्वारा किया जाता है।
 * सांख्यिकीय यांत्रिकी में, लॉस्च्मिड्ट के विरोधाभास को पारस्परिक सूचना के संदर्भ में व्यक्त किया जा सकता है। लोस्चमिड्ट ने कहा कि ऐसे भौतिक नियम को निर्धारित करना असंभव है जिसमें समय उलट समरूपता का अभाव है (उदाहरण ऊष्मागतिकी का दूसरा नियम दूसरा नियम) केवल उन भौतिक कानूनों से जिनमें यह समरूपता है। उन्होंने बताया कि बोल्ट्जमान के एच-प्रमेय ने यह धारणा बनाई कि गैस में कणों की गति स्थायी रूप से असंबंधित थी, जिसने एच-प्रमेय में निहित समय समरूपता को हटा दिया। यह दिखाया जा सकता है कि यदि किसी प्रणाली को चरण स्थान में संभाव्यता घनत्व द्वारा वर्णित किया गया है, तो लिउविले के प्रमेय (हैमिल्टनियन) | लिउविले के प्रमेय का तात्पर्य है कि वितरण की संयुक्त सूचना (संयुक्त एन्ट्रापी का ऋणात्मक) समय में स्थिर रहती है। संयुक्त सूचना पारस्परिक सूचना के साथ-साथ प्रत्येक कण समन्वय के लिए सभी सीमांत सूचना (सीमांत एन्ट्रॉपियों का ऋणात्मक) के योग के बराबर है। बोल्ट्ज़मैन की धारणा एन्ट्रापी की गणना में पारस्परिक सूचना को अनदेखा करने के बराबर है, जो थर्मोडायनामिक एन्ट्रॉपी (बोल्ट्ज़मैन स्थिरांक द्वारा विभाजित) उत्पन्न करती है।
 * बदलते परिवेश से जुड़ी स्टोकेस्टिक प्रक्रिया में, पारस्परिक सूचना का उपयोग आंतरिक और प्रभावी पर्यावरणीय निर्भरता को सुलझाने के लिए किया जा सकता है। यह विशेष रूप से तब उपयोगी होता है जब एक भौतिक प्रणाली की गतिशीलता का वर्णन करने वाले मापदंडों में परिवर्तन होता है, उदाहरण के लिए, तापमान में परिवर्तन।
 * पारस्परिक सूचना का उपयोग बायेसियन नेटवर्क/डायनेमिक गतिशील बायेसियन नेटवर्क संरचना को जानने के लिए किया जाता है, जिसके बारे में सोचा जाता है कि यह यादृच्छिक चर के बीच कारण संबंध को समझाता है, जैसा कि ग्लोबलएमआईटी टूलकिट द्वारा उदाहरण दिया गया है: पारस्परिक सूचना परीक्षण मानदंड के साथ विश्व स्तर पर इष्टतम गतिशील बायेसियन नेटवर्क सीखना।
 * पारस्परिक सूचना का उपयोग गिब्स नमूनाकरण  एल्गोरिदम में अद्यतन प्रक्रिया के दौरान प्रसारित सूचना को मापने के लिए किया जाता है।
 * डिसीजन ट्री लर्निंग में लोकप्रिय लागत समुच्चय।
 * आकाशगंगा चिड़ियाघर में आकाशगंगा संपत्तियों पर बड़े पैमाने के वातावरण के प्रभाव का परीक्षण करने के लिए पारस्परिक सूचना का उपयोग ब्रह्मांड विज्ञान में किया जाता है।
 * पारस्परिक सूचना का उपयोग सौर भौतिकी में सौर अंतर रोटेशन प्रोफ़ाइल, सनस्पॉट के लिए एक यात्रा-समय विचलन मानचित्र और शांत-सूर्य माप से एक समय-दूरी आरेख प्राप्त करने के लिए किया गया था।
 * बिना किसी लेबल वाले डेटा के तंत्रिका नेटवर्क क्लासिफायर और छवि सेगमेंटर्स को स्वचालित रूप से प्रशिक्षित करने के लिए अपरिवर्तनीय सूचना क्लस्टरिंग में उपयोग किया जाता है।

यह भी देखें

 * डेटा अंतर
 * बिंदुवार परस्पर सूचना
 * क्वांटम पारस्परिक सूचना
 * विशिष्ट सूचना

संदर्भ

 * English translation of original in Uspekhi Matematicheskikh Nauk 12 (1): 3-52.
 * David J. C. MacKay. Information Theory, Inference, and Learning Algorithms Cambridge: Cambridge University Press, 2003. ISBN 0-521-64298-1 (available free online)
 * Athanasios Papoulis. Probability, Random Variables, and Stochastic Processes, second edition. New York: McGraw-Hill, 1984. (See Chapter 15.)
 * English translation of original in Uspekhi Matematicheskikh Nauk 12 (1): 3-52.
 * David J. C. MacKay. Information Theory, Inference, and Learning Algorithms Cambridge: Cambridge University Press, 2003. ISBN 0-521-64298-1 (available free online)
 * Athanasios Papoulis. Probability, Random Variables, and Stochastic Processes, second edition. New York: McGraw-Hill, 1984. (See Chapter 15.)
 * David J. C. MacKay. Information Theory, Inference, and Learning Algorithms Cambridge: Cambridge University Press, 2003. ISBN 0-521-64298-1 (available free online)
 * Athanasios Papoulis. Probability, Random Variables, and Stochastic Processes, second edition. New York: McGraw-Hill, 1984. (See Chapter 15.)
 * David J. C. MacKay. Information Theory, Inference, and Learning Algorithms Cambridge: Cambridge University Press, 2003. ISBN 0-521-64298-1 (available free online)
 * Athanasios Papoulis. Probability, Random Variables, and Stochastic Processes, second edition. New York: McGraw-Hill, 1984. (See Chapter 15.)
 * Athanasios Papoulis. Probability, Random Variables, and Stochastic Processes, second edition. New York: McGraw-Hill, 1984. (See Chapter 15.)
 * Athanasios Papoulis. Probability, Random Variables, and Stochastic Processes, second edition. New York: McGraw-Hill, 1984. (See Chapter 15.)