पारस्परिक सूचना

संभाव्यता सिद्धांत और सूचना सिद्धांत में, दो यादृच्छिक चर की पारस्परिक जानकारी (एमआई) दो चर के बीच पारस्परिक सांख्यिकीय निर्भरता का एक माप है। अधिक विशेष रूप से, यह दूसरे यादृच्छिक चर को देखकर एक यादृच्छिक चर के बारे में प्राप्त सूचना सामग्री ( शैनन (इकाई) एस ( अंश ्स), नेट (यूनिट) या  हार्टले (इकाई)  जैसी जानकारी की इकाइयों में) की मात्रा निर्धारित करता है। आपसी जानकारी की अवधारणा एक यादृच्छिक चर के एन्ट्रॉपी (सूचना सिद्धांत) से घनिष्ठ रूप से जुड़ी हुई है, सूचना सिद्धांत में एक मौलिक धारणा जो एक यादृच्छिक चर में रखी गई जानकारी की अपेक्षित मात्रा को निर्धारित करती है।

वास्तविक-मूल्यवान यादृच्छिक चर और पियर्सन सहसंबंध गुणांक जैसी रैखिक निर्भरता तक सीमित नहीं, एमआई अधिक सामान्य है और यह निर्धारित करता है कि जोड़ी का संयुक्त वितरण कितना अलग है $$(X,Y)$$ के सीमांत वितरण के उत्पाद से है $$X$$ और $$Y$$. एमआई बिंदुवार पारस्परिक सूचना (पीएमआई) का अपेक्षित मूल्य है।

मात्रा को क्लाउड शैनन ने अपने ऐतिहासिक पेपर संचार का एक गणितीय सिद्धांत में परिभाषित और विश्लेषण किया था, हालांकि उन्होंने इसे पारस्परिक जानकारी नहीं कहा था। यह शब्द बाद में रॉबर्ट फ़ानो द्वारा गढ़ा गया था। पारस्परिक सूचना को सूचना लाभ के रूप में भी जाना जाता है।

परिभाषा
होने देना $$(X,Y)$$ अंतरिक्ष में मानों के साथ यादृच्छिक चर की एक जोड़ी बनें $$\mathcal{X}\times\mathcal{Y}$$. यदि उनका संयुक्त वितरण है $$P_{(X,Y)}$$ और सीमांत वितरण हैं $$P_X$$ और $$P_Y$$, पारस्परिक जानकारी को इस प्रकार परिभाषित किया गया है

कहाँ $$D_{\mathrm{KL}}$$ कुल्बैक-लीब्लर विचलन है।

ध्यान दें, कुल्बैक-लीबलर विचलन की संपत्ति के अनुसार, वह $$I(X;Y)$$ ठीक उसी स्थिति में शून्य के बराबर होता है जब संयुक्त वितरण सीमांत के उत्पाद के साथ मेल खाता है, यानी जब $$X$$ और $$Y$$ स्वतंत्र हैं (और इसलिए अवलोकन कर रहे हैं $$Y$$ आपको इसके बारे में कुछ नहीं बताता $$X$$). $$I(X;Y)$$ गैर-नकारात्मक है, यह एन्कोडिंग के लिए कीमत का एक माप है $$(X,Y)$$ स्वतंत्र यादृच्छिक चरों की एक जोड़ी के रूप में जबकि वास्तव में वे नहीं हैं।

यदि प्राकृतिक लघुगणक का उपयोग किया जाता है, तो पारस्परिक जानकारी की इकाई नेट (इकाई) है। यदि लघुगणक 2 का उपयोग किया जाता है, तो पारस्परिक जानकारी की इकाई शैनन (इकाई) है, जिसे बिट के रूप में भी जाना जाता है। यदि लघुगणक 10 का उपयोग किया जाता है, तो पारस्परिक जानकारी की इकाई हार्टले (इकाई) है, जिसे प्रतिबंध या डीआईटी के रूप में भी जाना जाता है।

अलग-अलग वितरण के लिए पीएमएफ के संदर्भ में
दो संयुक्त रूप से असतत यादृच्छिक चर की पारस्परिक जानकारी $$X$$ और $$Y$$ दोगुनी राशि के रूप में गणना की जाती है:

कहाँ $$P_{(X,Y)}$$ का संयुक्त वितरण है $$X$$ और $$Y$$, और $$P_X$$ और $$P_Y$$ के सीमांत संभाव्यता द्रव्यमान फलन हैं $$X$$ और $$Y$$ क्रमश।

सतत वितरण के लिए पीडीएफ के संदर्भ में
संयुक्त रूप से निरंतर यादृच्छिक चर के मामले में, दोहरे योग को दोहरे अभिन्न अंग द्वारा प्रतिस्थापित किया जाता है:

कहाँ $$P_{(X,Y)}$$ अब का संयुक्त संभाव्यता घनत्व फलन है $$X$$ और $$Y$$, और $$P_X$$ और $$P_Y$$ के सीमांत संभाव्यता घनत्व फलन हैं $$X$$ और $$Y$$ क्रमश।

प्रेरणा
सहज रूप से, आपसी जानकारी उस जानकारी को मापती है $$X$$ और $$Y$$ शेयर: यह मापता है कि इनमें से किसी एक चर को जानने से दूसरे के बारे में अनिश्चितता कितनी कम हो जाती है। उदाहरण के लिए, यदि $$X$$ और $$Y$$ स्वतंत्र हैं, तो जानना $$X$$ के बारे में कोई जानकारी नहीं देता $$Y$$ और इसके विपरीत, इसलिए उनकी पारस्परिक जानकारी शून्य है। दूसरे चरम पर, यदि $$X$$ का एक नियतात्मक कार्य है $$Y$$ और $$Y$$ का एक नियतात्मक कार्य है $$X$$ फिर सारी जानकारी दी गई $$X$$ के साथ साझा किया जाता है $$Y$$: जानना $$X$$ का मूल्य निर्धारित करता है $$Y$$ और इसके विपरीत। परिणामस्वरूप, इस मामले में आपसी जानकारी वैसी ही है जैसी अनिश्चितता निहित है $$Y$$ (या $$X$$) अकेले, अर्थात् की सूचना एन्ट्रापी $$Y$$ (या $$X$$). इसके अलावा, यह पारस्परिक जानकारी एन्ट्रापी के समान है $$X$$ और की एन्ट्रापी के रूप में $$Y$$. (इसका एक बहुत ही खास मामला है जब $$X$$ और $$Y$$ समान यादृच्छिक चर हैं।)

पारस्परिक जानकारी संयुक्त वितरण में व्यक्त अंतर्निहित निर्भरता का एक माप है $$X$$ और $$Y$$ के सीमांत वितरण के सापेक्ष $$X$$ और $$Y$$ स्वतंत्रता की धारणा के तहत. इसलिए पारस्परिक जानकारी निम्नलिखित अर्थों में निर्भरता को मापती है: $$\operatorname{I}(X;Y) = 0$$ अगर और केवल अगर $$X$$ और $$Y$$ स्वतंत्र यादृच्छिक चर हैं। इसे एक दिशा में देखना आसान है: यदि $$X$$ और $$Y$$ फिर स्वतंत्र हैं $$p_{(X,Y)}(x,y)=p_X(x) \cdot p_Y(y)$$, और इसलिए:


 * $$ \log{ \left( \frac{p_{(X,Y)}(x,y)}{p_X(x)\,p_Y(y)} \right) } = \log 1 = 0 .$$

इसके अलावा, आपसी जानकारी गैर-नकारात्मक है (अर्थात $$\operatorname{I}(X;Y) \ge 0$$ नीचे देखें) और सममित फ़ंक्शन (यानी) $$\operatorname{I}(X;Y) = \operatorname{I}(Y;X)$$ नीचे देखें)।

गैर-नकारात्मकता
आपसी जानकारी की परिभाषा पर जेन्सेन की असमानता का उपयोग करके हम यह दिखा सकते हैं $$\operatorname{I}(X;Y)$$ गैर-नकारात्मक है, अर्थात
 * $$\operatorname{I}(X;Y) \ge 0$$

समरूपता

 * $$\operatorname{I}(X;Y) = \operatorname{I}(Y;X)$$

एन्ट्रापी के साथ संबंध को ध्यान में रखते हुए प्रमाण दिया गया है, जैसा कि नीचे दिखाया गया है।

स्वतंत्रता के तहत सुपरमॉड्यूलरिटी
अगर $$ C $$ से स्वतंत्र है $$ (A,B) $$, तब
 * $$\operatorname{I}(Y;A,B,C) - \operatorname{I}(Y;A,B) \ge \operatorname{I}(Y;A,C) - \operatorname{I}(Y;A) $$.

सशर्त और संयुक्त एन्ट्रापी से संबंध
पारस्परिक जानकारी को समान रूप से इस प्रकार व्यक्त किया जा सकता है:


 * $$\begin{align}

\operatorname{I}(X;Y) &{} \equiv \Eta(X) - \Eta(X\mid Y) \\ &{} \equiv \Eta(Y) - \Eta(Y\mid X) \\ &{} \equiv \Eta(X) + \Eta(Y) - \Eta(X, Y) \\ &{} \equiv \Eta(X, Y) - \Eta(X\mid Y) - \Eta(Y\mid X) \end{align}$$ कहाँ $$\Eta(X)$$ और $$\Eta(Y)$$ सीमांत सूचना एन्ट्रापी हैं, $$\Eta(X\mid Y)$$ और $$\Eta(Y\mid X)$$ सशर्त एन्ट्रापी हैं, और $$\Eta(X,Y)$$ की संयुक्त एन्ट्रापी है $$X$$ और $$Y$$.

दो सेटों के मिलन, अंतर और प्रतिच्छेदन की सादृश्यता पर ध्यान दें: इस संबंध में, ऊपर दिए गए सभी सूत्र लेख की शुरुआत में बताए गए वेन आरेख से स्पष्ट हैं।

एक संचार चैनल के संदर्भ में जिसमें आउटपुट $$Y$$ इनपुट का एक शोर संस्करण है $$X$$, इन संबंधों को चित्र में संक्षेपित किया गया है:

क्योंकि $$\operatorname{I}(X;Y)$$ गैर-नकारात्मक है, फलस्वरूप, $$\Eta(X) \ge \Eta(X\mid Y)$$. यहां हम इसका विस्तृत विवरण देते हैं $$\operatorname{I}(X;Y)=\Eta(Y)-\Eta(Y\mid X)$$ संयुक्त रूप से असतत यादृच्छिक चर के मामले के लिए:



\begin{align} \operatorname{I}(X;Y) & {} = \sum_{x \in \mathcal{X},y \in \mathcal{Y}} p_{(X,Y)}(x,y) \log \frac{p_{(X,Y)}(x,y)}{p_X(x)p_Y(y)}\\ & {} = \sum_{x \in \mathcal{X},y \in \mathcal{Y}} p_{(X,Y)}(x,y) \log \frac{p_{(X,Y)}(x,y)}{p_X(x)} - \sum_{x \in \mathcal{X},y \in \mathcal{Y}} p_{(X,Y)}(x,y) \log p_Y(y) \\

& {} = \sum_{x \in \mathcal{X},y \in \mathcal{Y}} p_X(x)p_{Y\mid X=x}(y) \log p_{Y\mid X=x}(y) - \sum_{x \in \mathcal{X},y \in \mathcal{Y}} p_{(X,Y)}(x,y) \log p_Y(y) \\ & {} = \sum_{x \in \mathcal{X}} p_X(x) \left(\sum_{y \in \mathcal{Y}} p_{Y\mid X=x}(y) \log p_{Y\mid X=x}(y)\right) - \sum_{y \in \mathcal{Y}} \left(\sum_{x \in \mathcal{X}} p_{(X,Y)}(x,y)\right) \log p_Y(y) \\ & {} = -\sum_{x \in \mathcal{X}} p_X(x) \Eta(Y\mid X=x) - \sum_{y \in \mathcal{Y}} p_Y(y) \log p_Y(y) \\ & {} = -\Eta(Y\mid X) + \Eta(Y) \\ & {} = \Eta(Y) - \Eta(Y\mid X). \\ \end{align} $$ उपरोक्त अन्य पहचानों के प्रमाण समान हैं। सामान्य मामले का प्रमाण (सिर्फ अलग नहीं) समान है, जिसमें योगों की जगह अभिन्न अंग शामिल हैं।

सहज रूप से, यदि एन्ट्रापी $$\Eta(Y)$$ तब इसे एक यादृच्छिक चर के बारे में अनिश्चितता का माप माना जाता है $$\Eta(Y\mid X)$$ क्या का एक उपाय है $$X$$ के बारे में नहीं कहता $$Y$$. इसे लेकर काफी अनिश्चितता बनी हुई है $$Y$$ बाद $$X$$ ज्ञात है, और इस प्रकार इन समानताओं में से दूसरे के दाहिने पक्ष को अनिश्चितता की मात्रा के रूप में पढ़ा जा सकता है $$Y$$, में अनिश्चितता की मात्रा को घटाकर $$Y$$ जो बाद में रहता है $$X$$ ज्ञात है, जो अनिश्चितता की मात्रा के बराबर है $$Y$$ जो जानने से दूर हो जाता है $$X$$. यह जानकारी की मात्रा (अर्थात अनिश्चितता में कमी) के रूप में पारस्परिक जानकारी के सहज अर्थ की पुष्टि करता है जो किसी भी चर को जानने से दूसरे के बारे में पता चलता है।

ध्यान दें कि अलग मामले में $$\Eta(Y\mid Y) = 0$$ और इसलिए $$\Eta(Y) = \operatorname{I}(Y;Y)$$. इस प्रकार $$\operatorname{I}(Y; Y) \ge \operatorname{I}(X; Y)$$, और कोई भी बुनियादी सिद्धांत बना सकता है कि एक चर में अपने बारे में कम से कम उतनी जानकारी होती है जितनी कोई अन्य चर प्रदान कर सकता है।

कुल्बैक-लीब्लर विचलन से संबंध
संयुक्त रूप से असतत या संयुक्त रूप से निरंतर जोड़े के लिए $$(X,Y)$$, पारस्परिक जानकारी सीमांत वितरण के उत्पाद से कुल्बैक-लीब्लर विचलन है, $$p_X \cdot p_Y$$, संयुक्त वितरण का $$p_{(X,Y)}$$, वह है,

इसके अलावा, चलो $$ p_{(X,Y)}(x,y) =p_{X\mid Y=y}(x)* p_Y(y)$$ सशर्त द्रव्यमान या घनत्व फ़ंक्शन हो। फिर, हमारी पहचान है

संयुक्त रूप से असतत यादृच्छिक चर का प्रमाण इस प्रकार है:

\begin{align} \operatorname{I}(X; Y) &= \sum_{y \in \mathcal Y} \sum_{x \in \mathcal X}   { p_{(X,Y)}(x, y) \log\left(\frac{p_{(X,Y)}(x, y)}{p_X(x)\,p_Y(y)}\right) } \\ &= \sum_{y \in \mathcal{Y}} \sum_{x \in \mathcal{X}} p_{X\mid Y=y}(x) p_Y(y) \log \frac{p_{X\mid Y=y}(x) p_Y(y)}{p_X(x)  p_Y(y)} \\ &= \sum_{y \in \mathcal{Y}} p_Y(y) \sum_{x \in \mathcal{X}} p_{X\mid Y=y}(x) \log \frac{p_{X\mid Y=y}(x)}{p_X(x)} \\ &= \sum_{y \in \mathcal{Y}} p_Y(y) \; D_\text{KL}\!\left(p_{X\mid Y=y} \parallel p_X\right) \\ &= \mathbb{E}_Y \left[D_\text{KL}\!\left(p_{X\mid Y} \parallel p_X\right)\right]. \end{align} $$ इसी प्रकार यह पहचान संयुक्त रूप से निरंतर यादृच्छिक चर के लिए स्थापित की जा सकती है।

ध्यान दें कि यहां कुल्बैक-लीब्लर विचलन में यादृच्छिक चर के मूल्यों पर एकीकरण शामिल है $$X$$ केवल, और अभिव्यक्ति $$D_\text{KL}(p_{X\mid Y} \parallel p_X)$$ अभी भी एक यादृच्छिक चर को दर्शाता है क्योंकि $$Y$$ यादृच्छिक है. इस प्रकार आपसी जानकारी को अविभाज्य वितरण के कुल्बैक-लीब्लर विचलन के अपेक्षित मूल्य के रूप में भी समझा जा सकता है $$p_X$$ का $$X$$ सशर्त वितरण से $$p_{X\mid Y}$$ का $$X$$ दिया गया $$Y$$: वितरण जितने अधिक भिन्न होंगे $$p_{X\mid Y}$$ और $$p_X$$ औसतन, कुल्बैक-लीब्लर विचलन जितना अधिक होगा।

आपसी जानकारी का बायेसियन अनुमान
यदि संयुक्त वितरण से नमूने उपलब्ध हैं, तो उस वितरण की पारस्परिक जानकारी का अनुमान लगाने के लिए बायेसियन दृष्टिकोण का उपयोग किया जा सकता है। ऐसा करने वाला पहला काम था, जिसमें यह भी दिखाया गया कि पारस्परिक जानकारी के अलावा कई अन्य सूचना-सैद्धांतिक गुणों का बायेसियन अनुमान कैसे लगाया जाए। बाद के शोधकर्ताओं ने पुनः प्राप्त किया है और विस्तारित यह विश्लेषण. देखना एक हालिया पेपर के लिए, जो विशेष रूप से पारस्परिक अनुमान के अनुरूप तैयार किया गया है जानकारी प्रति से. इसके अलावा, हाल ही में निरंतर और बहुभिन्नरूपी आउटपुट के लिए एक अनुमान पद्धति लेखांकन, $$Y$$, में प्रस्तावित किया गया था .

स्वतंत्रता धारणाएँ
पारस्परिक जानकारी का कुल्बैक-लीबलर विचलन सूत्रीकरण इस बात पर आधारित है कि कोई व्यक्ति तुलना करने में रुचि रखता है $$p(x,y)$$ पूरी तरह से फ़ैक्टराइज़्ड बाहरी उत्पाद के लिए $$p(x) \cdot p(y)$$. कई समस्याओं में, जैसे कि गैर-नकारात्मक मैट्रिक्स गुणनखंडन, व्यक्ति कम चरम गुणनखंडन में रुचि रखता है; विशेष रूप से, कोई तुलना करना चाहता है $$p(x,y)$$ किसी अज्ञात चर में निम्न-रैंक मैट्रिक्स सन्निकटन के लिए $$w$$; अर्थात्, किसी के पास कितनी डिग्री हो सकती है
 * $$p(x,y)\approx \sum_w p^\prime (x,w) p^{\prime\prime}(w,y)$$

वैकल्पिक रूप से, किसी को यह जानने में रुचि हो सकती है कि कितनी अधिक जानकारी है $$p(x,y)$$ इसके गुणनखंडन को आगे बढ़ाता है। ऐसे में जितनी जानकारी उतनी अधिक वितरण $$p(x,y)$$ मैट्रिक्स फ़ैक्टराइज़ेशन को कुल्बैक-लीब्लर डाइवर्जेंस द्वारा दिया जाता है
 * $$\operatorname{I}_{LRMA} = \sum_{y \in \mathcal{Y}} \sum_{x \in \mathcal{X}}

{p(x,y) \log{ \left(\frac{p(x,y)}{\sum_w p^\prime (x,w) p^{\prime\prime}(w,y)}     \right) }}, $$ आपसी जानकारी की पारंपरिक परिभाषा चरम मामले में पुनर्प्राप्त की जाती है जो कि प्रक्रिया है $$W$$ के लिए केवल एक ही मान है $$w$$.

विविधताएं
विभिन्न आवश्यकताओं के अनुरूप आपसी जानकारी में कई बदलाव प्रस्तावित किए गए हैं। इनमें सामान्यीकृत वेरिएंट और दो से अधिक वेरिएबल के सामान्यीकरण शामिल हैं।

मीट्रिक
कई अनुप्रयोगों के लिए एक मीट्रिक (गणित) की आवश्यकता होती है, अर्थात, बिंदुओं के जोड़े के बीच की दूरी मापना। मात्रा


 * $$\begin{align}

d(X,Y) &= \Eta(X,Y) - \operatorname{I}(X;Y) \\ &= \Eta(X) + \Eta(Y) - 2\operatorname{I}(X;Y) \\ &= \Eta(X\mid Y) + \Eta(Y\mid X) \\ &= 2\Eta(X,Y) - \Eta(X) - \Eta(Y) \end{align}$$ एक मीट्रिक के गुणों को संतुष्ट करता है (त्रिकोण असमानता, गैर-नकारात्मक | गैर-नकारात्मकता, अविवेकी और समरूपता की पहचान)। इस दूरी मीट्रिक को सूचना की भिन्नता के रूप में भी जाना जाता है।

अगर $$X, Y$$ असतत यादृच्छिक चर हैं तो सभी एन्ट्रापी पद गैर-नकारात्मक हैं, इसलिए $$0 \le d(X,Y) \le \Eta(X,Y)$$ और कोई सामान्यीकृत दूरी परिभाषित कर सकता है


 * $$D(X,Y) = \frac{d(X, Y)}{\Eta(X, Y)} \le 1.$$

मीट्रिक $$D$$ एक सार्वभौमिक मीट्रिक है, इसमें यदि कोई अन्य दूरी मापी जाती है $$X$$ और $$Y$$ पास में, फिर $$D$$ उन्हें भी करीब से परखेंगे.

परिभाषाओं को जोड़ने से यह पता चलता है


 * $$D(X,Y) = 1 - \frac{\operatorname{I}(X; Y)}{\Eta(X, Y)}.$$

इसे राजस्की दूरी के नाम से जाना जाता है। जानकारी की एक सेट-सैद्धांतिक व्याख्या में (सशर्त एन्ट्रापी के लिए चित्र देखें), यह प्रभावी रूप से जैककार्ड सूचकांक  है $$X$$ और $$Y$$.

आखिरकार,


 * $$D^\prime(X, Y) = 1 - \frac{\operatorname{I}(X; Y)}{\max\left\{\Eta(X), \Eta(Y)\right\}}$$

एक मीट्रिक भी है.

सशर्त पारस्परिक जानकारी
कभी-कभी दो यादृच्छिक चरों की आपसी जानकारी को किसी तीसरे पर व्यक्त करना उपयोगी होता है।

संयुक्त रूप से असतत यादृच्छिक चर के लिए यह रूप लेता है

\operatorname{I}(X;Y|Z) =  \sum_{z\in \mathcal{Z}} \sum_{y\in \mathcal{Y}} \sum_{x\in \mathcal{X}} {p_Z(z)\, p_{X,Y|Z}(x,y|z) \log\left[\frac{p_{X,Y|Z}(x,y|z)}{p_{X|Z}\,(x|z)p_{Y|Z}(y|z)}\right]}, $$ जिसे इस प्रकार सरल बनाया जा सकता है

\operatorname{I}(X;Y|Z) = \sum_{z\in \mathcal{Z}} \sum_{y\in \mathcal{Y}} \sum_{x\in \mathcal{X}} p_{X,Y,Z}(x,y,z) \log \frac{p_{X,Y,Z}(x,y,z)p_{Z}(z)}{p_{X,Z}(x,z)p_{Y,Z}(y,z)}. $$ संयुक्त रूप से निरंतर यादृच्छिक चर के लिए यह रूप लेता है

\operatorname{I}(X;Y|Z) =  \int_{\mathcal{Z}} \int_{\mathcal{Y}} \int_{\mathcal{X}} {p_Z(z)\, p_{X,Y|Z}(x,y|z) \log\left[\frac{p_{X,Y|Z}(x,y|z)}{p_{X|Z}\,(x|z)p_{Y|Z}(y|z)}\right]} dx dy dz, $$ जिसे इस प्रकार सरल बनाया जा सकता है

\operatorname{I}(X;Y|Z) = \int_{\mathcal{Z}} \int_{\mathcal{Y}} \int_{\mathcal{X}} p_{X,Y,Z}(x,y,z) \log \frac{p_{X,Y,Z}(x,y,z)p_{Z}(z)}{p_{X,Z}(x,z)p_{Y,Z}(y,z)} dx dy dz. $$ तीसरे यादृच्छिक चर पर कंडीशनिंग या तो आपसी जानकारी को बढ़ा या घटा सकती है, लेकिन यह हमेशा सच है
 * $$\operatorname{I}(X;Y|Z) \ge 0$$

असतत, संयुक्त रूप से वितरित यादृच्छिक चर के लिए $$X,Y,Z$$. इस परिणाम का उपयोग सूचना सिद्धांत में अन्य असमानताओं को साबित करने के लिए बुनियादी निर्माण खंड के रूप में किया गया है।

इंटरैक्शन जानकारी
दो से अधिक यादृच्छिक चरों के लिए पारस्परिक जानकारी के कई सामान्यीकरण प्रस्तावित किए गए हैं, जैसे कुल सहसंबंध (या बहु-सूचना) और दोहरा कुल सहसंबंध। बहुभिन्नरूपी उच्च-स्तरीय पारस्परिक जानकारी की अभिव्यक्ति और अध्ययन दो प्रतीत होता है स्वतंत्र कार्यों में हासिल किया गया था: मैकगिल (1954) जिन्होंने इन कार्यों को इंटरेक्शन सूचना कहा, और हू कुओ टिंग (1962)। एक वेरिएबल के लिए इंटरैक्शन जानकारी इस प्रकार परिभाषित की गई है:
 * $$\operatorname{I}(X_1) = \Eta(X_1)$$

और के लिए $$n > 1,$$

\operatorname{I}(X_1;\,...\,;X_n) = \operatorname{I}(X_1;\,...\,;X_{n-1}) - \operatorname{I}(X_1;\,...\,;X_{n-1}\mid X_n). $$ कुछ लेखक पूर्ववर्ती समीकरण के दाहिनी ओर शब्दों के क्रम को उलट देते हैं, जिससे यादृच्छिक चर की संख्या विषम होने पर चिह्न बदल जाता है। (और इस मामले में, एकल-चर अभिव्यक्ति एन्ट्रापी का नकारात्मक बन जाती है।) ध्यान दें

I(X_1;\ldots;X_{n-1}\mid X_{n}) = \mathbb{E}_{X_{n}} [D_{\mathrm{KL}}( P_{(X_1,\ldots,X_{n-1})\mid X_{n}} \| P_{X_1\mid X_{n}} \otimes\cdots\otimes P_{X_{n-1}\mid X_{n}} )]. $$

बहुभिन्नरूपी सांख्यिकीय स्वतंत्रता
बहुभिन्नरूपी पारस्परिक सूचना फ़ंक्शंस जोड़ीदार स्वतंत्रता मामले को सामान्यीकृत करते हैं जो बताता है $$X_1, X_2$$ अगर और केवल अगर $$I(X_1; X_2) = 0$$, मनमाने ढंग से असंख्य चर के लिए। n चर परस्पर स्वतंत्र हैं यदि और केवल यदि $$2^n - n - 1$$ पारस्परिक सूचना कार्य लुप्त हो जाते हैं $$I(X_1; \ldots; X_k) = 0$$ साथ $$n \ge k \ge 2$$ (प्रमेय 2 ). इस अर्थ में, $$I(X_1; \ldots; X_k) = 0$$ एक परिष्कृत सांख्यिकीय स्वतंत्रता मानदंड के रूप में उपयोग किया जा सकता है।

अनुप्रयोग
3 चरों के लिए, ब्रेनर एट अल। तंत्रिका कोडिंग के लिए बहुभिन्नरूपी पारस्परिक जानकारी लागू की गई और इसे नकारात्मकता तालमेल कहा गया और वॉटकिंसन एट अल। इसे आनुवंशिक अभिव्यक्ति पर लागू किया। मनमाने ढंग से k चर के लिए, तापिया एट अल। जीन अभिव्यक्ति के लिए बहुभिन्नरूपी पारस्परिक जानकारी लागू की गई। यह शून्य, सकारात्मक या नकारात्मक हो सकता है। सकारात्मकता जोड़ीदार सहसंबंधों को सामान्यीकृत करने वाले संबंधों से मेल खाती है, शून्यता स्वतंत्रता की परिष्कृत धारणा से मेल खाती है, और नकारात्मकता उच्च आयामी उभरते संबंधों और क्लस्टर किए गए डेटापॉइंट्स का पता लगाती है ).

एक उच्च-आयामी सामान्यीकरण योजना जो संयुक्त वितरण और अन्य लक्ष्य चर के बीच पारस्परिक जानकारी को अधिकतम करती है, फीचर चयन में उपयोगी पाई जाती है। पारस्परिक जानकारी का उपयोग सिग्नल प्रोसेसिंग के क्षेत्र में दो सिग्नलों के बीच समानता माप के रूप में भी किया जाता है। उदाहरण के लिए, एफएमआई मीट्रिक एक छवि फ़्यूज़न प्रदर्शन माप है जो फ़्यूज़ की गई छवि में स्रोत छवियों के बारे में जानकारी की मात्रा को मापने के लिए पारस्परिक जानकारी का उपयोग करता है। इस मीट्रिक के लिए मैटलैब कोड यहां पाया जा सकता है। एन चर के डेटासेट में सभी बहुभिन्नरूपी पारस्परिक जानकारी, सशर्त पारस्परिक जानकारी, संयुक्त एन्ट्रॉपी, कुल सहसंबंध, सूचना दूरी की गणना के लिए एक पायथन पैकेज उपलब्ध है।

निर्देशित जानकारी
निर्देशित जानकारी, $$\operatorname{I}\left(X^n \to Y^n\right)$$, प्रक्रिया से प्रवाहित होने वाली जानकारी की मात्रा को मापता है $$X^n$$ को $$Y^n$$, कहाँ $$X^n$$ वेक्टर को दर्शाता है $$X_1, X_2, ..., X_n$$ और $$Y^n$$ अर्थ है $$Y_1, Y_2, ..., Y_n$$. निर्देशित सूचना शब्द जेम्स मैसी द्वारा गढ़ा गया था और इसे इस प्रकार परिभाषित किया गया है

\operatorname{I}\left(X^n \to Y^n\right) = \sum_{i=1}^n \operatorname{I}\left(X_i; Y_i\mid Y_{i-1}\right) $$.

ध्यान दें कि यदि $$n=1$$, निर्देशित जानकारी पारस्परिक जानकारी बन जाती है। निर्देशित जानकारी के उन समस्याओं में कई अनुप्रयोग होते हैं जहां कार्य-कारण महत्वपूर्ण भूमिका निभाता है, जैसे फीडबैक के साथ चैनल क्षमता।

सामान्यीकृत वेरिएंट
पारस्परिक जानकारी के सामान्यीकृत संस्करण बाधा के गुणांक द्वारा प्रदान किए जाते हैं, अनिश्चितता गुणांक या प्रवीणता:

C_{XY} = \frac{\operatorname{I}(X;Y)}{\Eta(Y)} ~\mbox{and}~ C_{YX} = \frac{\operatorname{I}(X;Y)}{\Eta(X)}. $$ दोनों गुणांकों का मान [0, 1] के बीच है, लेकिन जरूरी नहीं कि वे बराबर हों। कुछ मामलों में एक सममित माप वांछित हो सकता है, जैसे कि निम्नलिखित अतिरेक (सूचना सिद्धांत) उपाय:
 * $$R = \frac{\operatorname{I}(X;Y)}{\Eta(X) + \Eta(Y)}$$

जब चर स्वतंत्र होते हैं तो न्यूनतम शून्य और अधिकतम मान प्राप्त होता है
 * $$R_\max = \frac{\min\left\{\Eta(X), \Eta(Y)\right\}}{\Eta(X) + \Eta(Y)}$$

जब एक चर दूसरे के ज्ञान से पूरी तरह से अनावश्यक हो जाता है। अतिरेक (सूचना सिद्धांत) भी देखें।

एक अन्य सममित माप सममित अनिश्चितता है, द्वारा दिए गए
 * $$U(X, Y) = 2R = 2\frac{\operatorname{I}(X;Y)}{\Eta(X) + \Eta(Y)}$$

जो दो अनिश्चितता गुणांकों के अनुकूल माध्य का प्रतिनिधित्व करता है $$C_{XY}, C_{YX}$$.

यदि हम आपसी जानकारी को कुल सहसंबंध या दोहरे कुल सहसंबंध के एक विशेष मामले के रूप में मानते हैं, तो सामान्यीकृत संस्करण क्रमशः हैं,
 * $$\frac{\operatorname{I}(X; Y)}{\min\left[\Eta(X), \Eta(Y)\right]}$$ और $$\frac{\operatorname{I}(X; Y)}{\Eta(X, Y)}\; .$$

इस सामान्यीकृत संस्करण को सूचना गुणवत्ता अनुपात (आईक्यूआर) के रूप में भी जाना जाता है जो कुल अनिश्चितता के मुकाबले किसी अन्य चर के आधार पर एक चर की जानकारी की मात्रा निर्धारित करता है:

IQR(X, Y) = \operatorname{E}[\operatorname{I}(X;Y)] = \frac{\operatorname{I}(X;Y)}{\Eta(X, Y)} = \frac{\sum_{x \in X} \sum_{y \in Y} p(x, y) \log {p(x)p(y)}}{\sum_{x \in X} \sum_{y \in Y} p(x, y) \log {p(x, y)}} - 1 $$ एक सामान्यीकरण है जो सहप्रसरण के अनुरूप पारस्परिक जानकारी की पहली सोच से उत्पन्न होता है (इस प्रकार एन्ट्रॉपी (सूचना सिद्धांत) विचरण के अनुरूप है)। फिर सामान्यीकृत पारस्परिक जानकारी की गणना पियर्सन उत्पाद-क्षण सहसंबंध गुणांक के समान की जाती है,



\frac{\operatorname{I}(X;Y)}{\sqrt{\Eta(X)\Eta(Y)}}\;. $$

भारित वेरिएंट
पारस्परिक जानकारी के पारंपरिक सूत्रीकरण में,



\operatorname{I}(X;Y) = \sum_{y \in Y} \sum_{x \in X} p(x, y) \log \frac{p(x, y)}{p(x)\,p(y)}, $$ प्रत्येक घटना या वस्तु द्वारा निर्दिष्ट $$(x, y)$$ संगत संभाव्यता द्वारा भारित किया जाता है $$p(x, y)$$. यह मानता है कि घटित होने की संभावना के अलावा सभी वस्तुएँ या घटनाएँ समतुल्य हैं। हालाँकि, कुछ अनुप्रयोगों में ऐसा हो सकता है कि कुछ वस्तुएँ या घटनाएँ दूसरों की तुलना में अधिक महत्वपूर्ण हों, या एसोसिएशन के कुछ पैटर्न दूसरों की तुलना में शब्दार्थ की दृष्टि से अधिक महत्वपूर्ण हों।

उदाहरण के लिए, नियतात्मक मानचित्रण $$\{(1,1),(2,2),(3,3)\}$$ नियतात्मक मानचित्रण की तुलना में इसे अधिक मजबूत माना जा सकता है $$\{(1,3),(2,1),(3,2)\}$$, हालाँकि इन संबंधों से समान पारस्परिक जानकारी प्राप्त होगी। ऐसा इसलिए है क्योंकि पारस्परिक जानकारी परिवर्तनीय मानों में किसी अंतर्निहित क्रम के प्रति बिल्कुल भी संवेदनशील नहीं है, और इसलिए संबंधित चरों के बीच संबंधपरक मानचित्रण के स्वरूप के प्रति बिल्कुल भी संवेदनशील नहीं है। यदि यह वांछित है कि पूर्व संबंध - सभी परिवर्तनीय मूल्यों पर सहमति दिखाते हुए - बाद के संबंध से अधिक मजबूत आंका जाए, तो निम्नलिखित भारित पारस्परिक जानकारी का उपयोग करना संभव है.

\operatorname{I}(X;Y) = \sum_{y \in Y} \sum_{x \in X} w(x,y) p(x,y) \log \frac{p(x,y)}{p(x)\,p(y)}, $$ जो एक वजन रखता है $$w(x,y)$$ प्रत्येक चर मान की सह-घटना की संभावना पर, $$p(x,y)$$. यह अनुमति देता है कि कुछ संभावनाएं दूसरों की तुलना में अधिक या कम महत्व ले सकती हैं, जिससे प्रासंगिक समग्र या प्राग्नानज़ कारकों की मात्रा का ठहराव संभव हो जाता है। उपरोक्त उदाहरण में, बड़े सापेक्ष भार का उपयोग किया जा रहा है $$w(1,1)$$, $$w(2,2)$$, और $$w(3,3)$$ संबंध के लिए अधिक जानकारीपूर्णता का आकलन करने का प्रभाव होगा $$\{(1,1),(2,2),(3,3)\}$$ रिश्ते के लिए की तुलना में $$\{(1,3),(2,1),(3,2)\}$$, जो पैटर्न पहचान आदि के कुछ मामलों में वांछनीय हो सकता है। यह भारित पारस्परिक जानकारी भारित केएल-डाइवर्जेंस का एक रूप है, जो कुछ इनपुट के लिए नकारात्मक मान लेने के लिए जाना जाता है, और ऐसे उदाहरण हैं जहां भारित पारस्परिक जानकारी भी नकारात्मक मान लेती है।

समायोजित पारस्परिक जानकारी
संभाव्यता वितरण को एक सेट के विभाजन के रूप में देखा जा सकता है। तब कोई पूछ सकता है: यदि किसी सेट को यादृच्छिक रूप से विभाजित किया गया था, तो संभावनाओं का वितरण क्या होगा? पारस्परिक जानकारी का अपेक्षित मूल्य क्या होगा? समायोजित पारस्परिक जानकारी या एएमआई एमआई के अपेक्षित मूल्य को घटा देती है, ताकि जब दो अलग-अलग वितरण यादृच्छिक हों तो एएमआई शून्य हो, और जब दो वितरण समान हों तो एएमआई शून्य हो। एएमआई को एक सेट के दो अलग-अलग विभाजनों के समायोजित रैंड इंडेक्स के अनुरूप परिभाषित किया गया है।

पूर्ण पारस्परिक जानकारी
कोलमोगोरोव जटिलता के विचारों का उपयोग करते हुए, कोई भी किसी भी संभाव्यता वितरण से स्वतंत्र दो अनुक्रमों की पारस्परिक जानकारी पर विचार कर सकता है:



\operatorname{I}_K(X;Y) = K(X) - K(X\mid Y). $$ यह स्थापित करने के लिए कि यह मात्रा एक लघुगणकीय कारक तक सममित है ($$\operatorname{I}_K(X;Y) \approx \operatorname{I}_K(Y;X)$$) कोलमोगोरोव जटिलता के लिए श्रृंखला नियम की आवश्यकता होती है. डेटा संपीड़न के माध्यम से इस मात्रा के अनुमान का उपयोग अनुक्रमों के किसी भी डोमेन ज्ञान के बिना अनुक्रमों की पदानुक्रमित क्लस्टरिंग करने के लिए मीट्रिक (गणित) को परिभाषित करने के लिए किया जा सकता है।.

रैखिक सहसंबंध
सहसंबंध गुणांकों के विपरीत, जैसे कि उत्पाद क्षण सहसंबंध गुणांक, पारस्परिक जानकारी में सभी निर्भरता-रैखिक और गैर-रेखीय-के बारे में जानकारी होती है, न कि सहसंबंध गुणांक उपायों के रूप में केवल रैखिक निर्भरता के बारे में। हालाँकि, संकीर्ण मामले में संयुक्त वितरण के लिए $$X$$ और $$Y$$ एक द्विचर सामान्य वितरण है (विशेष रूप से इसका अर्थ यह है कि दोनों सीमांत वितरण सामान्य रूप से वितरित होते हैं), इनके बीच एक सटीक संबंध है $$\operatorname{I}$$ और सहसंबंध गुणांक $$\rho$$.
 * $$\operatorname{I} = -\frac{1}{2} \log\left(1 - \rho^2\right)$$

उपरोक्त समीकरण को द्विचर गाऊसी के लिए इस प्रकार प्राप्त किया जा सकता है:
 * $$\begin{align}

\begin{pmatrix} X_1 \\ X_2 \end{pmatrix} &\sim \mathcal{N} \left( \begin{pmatrix}    \mu_1 \\    \mu_2  \end{pmatrix}, \Sigma \right),\qquad \Sigma = \begin{pmatrix} \sigma^2_1          & \rho\sigma_1\sigma_2 \\ \rho\sigma_1\sigma_2 & \sigma^2_2 \end{pmatrix} \\ \Eta(X_i) &= \frac{1}{2}\log\left(2\pi e \sigma_i^2\right) = \frac{1}{2} + \frac{1}{2}\log(2\pi) + \log\left(\sigma_i\right), \quad i\in\{1, 2\} \\ \Eta(X_1, X_2) &= \frac{1}{2}\log\left[(2\pi e)^2|\Sigma|\right] = 1 + \log(2\pi) + \log\left(\sigma_1 \sigma_2\right) + \frac{1}{2}\log\left(1 - \rho^2\right) \\ \end{align}$$ इसलिए,

\operatorname{I}\left(X_1; X_2\right) = \Eta\left(X_1\right) + \Eta\left(X_2\right) - \Eta\left(X_1, X_2\right) = -\frac{1}{2}\log\left(1 - \rho^2\right) $$

असतत डेटा के लिए
कब $$X$$ और $$Y$$ राज्यों की एक अलग संख्या में होने तक सीमित हैं, अवलोकन डेटा को पंक्ति चर के साथ एक आकस्मिक तालिका में संक्षेपित किया गया है $$X$$ (या $$i$$) और स्तंभ चर $$Y$$ (या $$j$$). पारस्परिक जानकारी पंक्ति और स्तंभ चर के बीच संबंध (सांख्यिकी) या सहसंबंध और निर्भरता के उपायों में से एक है।

एसोसिएशन के अन्य उपायों में पियर्सन के ची-स्क्वायर टेस्ट आँकड़े, जी-परीक्षण  आँकड़े आदि शामिल हैं। वास्तव में, एक ही लॉग बेस के साथ, पारस्परिक जानकारी जी-टेस्ट लॉग-संभावना आँकड़े के बराबर होगी जिसे विभाजित किया गया है $$2N$$, कहाँ $$N$$ नमूना आकार है.

अनुप्रयोग
कई अनुप्रयोगों में, कोई आपसी जानकारी को अधिकतम करना चाहता है (इस प्रकार निर्भरता बढ़ती है), जो अक्सर सशर्त एन्ट्रापी को कम करने के बराबर होती है। उदाहरणों में शामिल:
 * खोज इंजन प्रौद्योगिकी में, वाक्यांशों और संदर्भों के बीच पारस्परिक जानकारी का उपयोग सिमेंटिक क्लस्टर्स (अवधारणाओं) की खोज के लिए k-मतलब क्लस्टरिंग  के लिए एक सुविधा के रूप में किया जाता है। उदाहरण के लिए, एक बिग्राम की पारस्परिक जानकारी की गणना इस प्रकार की जा सकती है:


 * कहाँ $$f_{XY}$$ बिग्राम xy कॉर्पस में प्रकट होने की संख्या है, $$f_{X}$$ कॉर्पस में यूनीग्राम x प्रकट होने की संख्या है, बी बिग्राम की कुल संख्या है, और यू यूनीग्राम की कुल संख्या है। * दूरसंचार में, चैनल क्षमता आपसी जानकारी के बराबर होती है, जो सभी इनपुट वितरणों पर अधिकतम होती है।


 * अधिकतम पारस्परिक जानकारी (एमएमआई) मानदंड के आधार पर छिपे छिपा हुआ मार्कोव मॉडल के लिए भेदभावपूर्ण मॉडल प्रक्रियाएं प्रस्तावित की गई हैं।
 * एकाधिक अनुक्रम संरेखण से न्यूक्लिक एसिड माध्यमिक संरचना की भविष्यवाणी।
 * कार्यात्मक रूप से लिंक जीनों की जोड़ीवार उपस्थिति और गायब होने से फाइलोजेनेटिक प्रोफाइलिंग भविष्यवाणी।
 * यंत्र अधिगम में फीचर चयन और फीचर परिवर्तनों के लिए पारस्परिक जानकारी का उपयोग एक मानदंड के रूप में किया गया है। इसका उपयोग चर की प्रासंगिकता और अतिरेक दोनों को चिह्नित करने के लिए किया जा सकता है, जैसे न्यूनतम अतिरेक सुविधा चयन।
 * किसी डेटासेट के दो अलग-अलग क्लस्टर विश्लेषण की समानता निर्धारित करने में पारस्परिक जानकारी का उपयोग किया जाता है। इस प्रकार, यह पारंपरिक रैंड सूचकांक  पर कुछ लाभ प्रदान करता है।
 * शब्दों की पारस्परिक जानकारी का उपयोग अक्सर कॉर्पस भाषाविज्ञान में संयोजनों की गणना के लिए एक महत्वपूर्ण फ़ंक्शन के रूप में किया जाता है। इसमें अतिरिक्त जटिलता यह है कि कोई भी शब्द-उदाहरण दो अलग-अलग शब्दों का उदाहरण नहीं है; बल्कि, ऐसे उदाहरणों को गिना जाता है जहां 2 शब्द आसन्न या निकट निकटता में आते हैं; इससे गणना थोड़ी जटिल हो जाती है, क्योंकि इसमें एक शब्द के घटित होने की अपेक्षित संभावना होती है $$N$$ दूसरे के शब्द, ऊपर जाते हैं $$N$$
 * छवि पंजीकरण के लिए मेडिकल इमेजिंग में पारस्परिक जानकारी का उपयोग किया जाता है। एक संदर्भ छवि (उदाहरण के लिए, एक मस्तिष्क स्कैन), और एक दूसरी छवि जिसे संदर्भ छवि के समान समन्वय प्रणाली में डालने की आवश्यकता होती है, यह छवि तब तक विकृत होती है जब तक कि इसके और संदर्भ छवि के बीच पारस्परिक जानकारी अधिकतम न हो जाए।
 * समय श्रृंखला विश्लेषण में चरण तुल्यकालन का पता लगाना।
 * न्यूरल-नेट और अन्य मशीन लर्निंग के लिए इन्फोमैक्स विधि में, इन्फोमैक्स-आधारित स्वतंत्र घटक विश्लेषण एल्गोरिदम सहित
 * विलंब एम्बेडिंग प्रमेय में औसत पारस्परिक जानकारी का उपयोग एम्बेडिंग विलंब पैरामीटर निर्धारित करने के लिए किया जाता है।
 * माइक्रोएरे डेटा में जीनों के बीच पारस्परिक जानकारी का उपयोग जीन नियामक नेटवर्क के पुनर्निर्माण के लिए ARACNE एल्गोरिदम द्वारा किया जाता है।
 * सांख्यिकीय यांत्रिकी में, लॉस्च्मिड्ट के विरोधाभास को पारस्परिक जानकारी के संदर्भ में व्यक्त किया जा सकता है। लोस्चमिड्ट ने कहा कि ऐसे भौतिक नियम को निर्धारित करना असंभव है जिसमें समय उलट समरूपता का अभाव है (उदाहरण ऊष्मागतिकी का दूसरा नियम दूसरा नियम) केवल उन भौतिक कानूनों से जिनमें यह समरूपता है। उन्होंने बताया कि बोल्ट्जमान के एच-प्रमेय ने यह धारणा बनाई कि गैस में कणों की गति स्थायी रूप से असंबंधित थी, जिसने एच-प्रमेय में निहित समय समरूपता को हटा दिया। यह दिखाया जा सकता है कि यदि किसी प्रणाली को चरण स्थान में संभाव्यता घनत्व द्वारा वर्णित किया गया है, तो लिउविले के प्रमेय (हैमिल्टनियन) | लिउविले के प्रमेय का तात्पर्य है कि वितरण की संयुक्त जानकारी (संयुक्त एन्ट्रापी का नकारात्मक) समय में स्थिर रहती है। संयुक्त जानकारी आपसी जानकारी के साथ-साथ प्रत्येक कण समन्वय के लिए सभी सीमांत जानकारी (सीमांत एन्ट्रॉपियों का नकारात्मक) के योग के बराबर है। बोल्ट्ज़मैन की धारणा एन्ट्रापी की गणना में पारस्परिक जानकारी को अनदेखा करने के बराबर है, जो थर्मोडायनामिक एन्ट्रॉपी (बोल्ट्ज़मैन स्थिरांक द्वारा विभाजित) उत्पन्न करती है।
 * बदलते परिवेश से जुड़ी स्टोकेस्टिक प्रक्रिया में, आपसी जानकारी का उपयोग आंतरिक और प्रभावी पर्यावरणीय निर्भरता को सुलझाने के लिए किया जा सकता है। यह विशेष रूप से तब उपयोगी होता है जब एक भौतिक प्रणाली की गतिशीलता का वर्णन करने वाले मापदंडों में परिवर्तन होता है, उदाहरण के लिए, तापमान में परिवर्तन।
 * आपसी जानकारी का उपयोग बायेसियन नेटवर्क/डायनेमिक गतिशील बायेसियन नेटवर्क संरचना को जानने के लिए किया जाता है, जिसके बारे में सोचा जाता है कि यह यादृच्छिक चर के बीच कारण संबंध को समझाता है, जैसा कि ग्लोबलएमआईटी टूलकिट द्वारा उदाहरण दिया गया है: पारस्परिक सूचना परीक्षण मानदंड के साथ विश्व स्तर पर इष्टतम गतिशील बायेसियन नेटवर्क सीखना।
 * आपसी जानकारी का उपयोग गिब्स नमूनाकरण  एल्गोरिदम में अद्यतन प्रक्रिया के दौरान प्रसारित जानकारी को मापने के लिए किया जाता है।
 * निर्णय वृक्ष सीखने में लोकप्रिय लागत फ़ंक्शन।
 * आकाशगंगा चिड़ियाघर में आकाशगंगा संपत्तियों पर बड़े पैमाने के वातावरण के प्रभाव का परीक्षण करने के लिए पारस्परिक जानकारी का उपयोग ब्रह्मांड विज्ञान में किया जाता है।
 * आपसी जानकारी का उपयोग सौर भौतिकी में सौर अंतर रोटेशन प्रोफ़ाइल, सनस्पॉट के लिए एक यात्रा-समय विचलन मानचित्र और शांत-सूर्य माप से एक समय-दूरी आरेख प्राप्त करने के लिए किया गया था।
 * बिना किसी लेबल वाले डेटा के तंत्रिका नेटवर्क क्लासिफायर और छवि सेगमेंटर्स को स्वचालित रूप से प्रशिक्षित करने के लिए अपरिवर्तनीय सूचना क्लस्टरिंग में उपयोग किया जाता है।

यह भी देखें

 * डेटा अंतर
 * बिंदुवार परस्पर जानकारी
 * क्वांटम पारस्परिक जानकारी
 * विशिष्ट जानकारी

संदर्भ

 * English translation of original in Uspekhi Matematicheskikh Nauk 12 (1): 3-52.
 * David J. C. MacKay. Information Theory, Inference, and Learning Algorithms Cambridge: Cambridge University Press, 2003. ISBN 0-521-64298-1 (available free online)
 * Athanasios Papoulis. Probability, Random Variables, and Stochastic Processes, second edition. New York: McGraw-Hill, 1984. (See Chapter 15.)
 * English translation of original in Uspekhi Matematicheskikh Nauk 12 (1): 3-52.
 * David J. C. MacKay. Information Theory, Inference, and Learning Algorithms Cambridge: Cambridge University Press, 2003. ISBN 0-521-64298-1 (available free online)
 * Athanasios Papoulis. Probability, Random Variables, and Stochastic Processes, second edition. New York: McGraw-Hill, 1984. (See Chapter 15.)
 * David J. C. MacKay. Information Theory, Inference, and Learning Algorithms Cambridge: Cambridge University Press, 2003. ISBN 0-521-64298-1 (available free online)
 * Athanasios Papoulis. Probability, Random Variables, and Stochastic Processes, second edition. New York: McGraw-Hill, 1984. (See Chapter 15.)
 * David J. C. MacKay. Information Theory, Inference, and Learning Algorithms Cambridge: Cambridge University Press, 2003. ISBN 0-521-64298-1 (available free online)
 * Athanasios Papoulis. Probability, Random Variables, and Stochastic Processes, second edition. New York: McGraw-Hill, 1984. (See Chapter 15.)
 * Athanasios Papoulis. Probability, Random Variables, and Stochastic Processes, second edition. New York: McGraw-Hill, 1984. (See Chapter 15.)
 * Athanasios Papoulis. Probability, Random Variables, and Stochastic Processes, second edition. New York: McGraw-Hill, 1984. (See Chapter 15.)