पारस्परिक सूचना

सहसंबद्ध चर से जुड़े विभिन्न सूचना उपायों के योगात्मक और घटाव संबंधों को दर्शाने वाला वेन आरेख $X$ और $Y$. दोनों वृत्तों में समाहित क्षेत्र संयुक्त एन्ट्रापी है $\mathrm {H} (X,Y)$. बाईं ओर का वृत्त (लाल और बैंगनी) एन्ट्रॉपी (सूचना सिद्धांत) है $\mathrm {H} (X)$, जिसमें लाल सशर्त एन्ट्रापी है $\mathrm {H} (X\mid Y)$. दाहिनी ओर वृत्त (नीला और बैंगनी) है $\mathrm {H} (Y)$, नीले होने के साथ $\mathrm {H} (Y\mid X)$. बैंगनी परस्पर सूचना है $\operatorname {I} (X;Y)$.

संभाव्यता सिद्धांत और सूचना सिद्धांत में, दो यादृच्छिक चर की पारस्परिक सूचना (एमआई) दो चर के बीच पारस्परिक निर्भरता का एक माप है। अधिक विशेष रूप से, यह दूसरे यादृच्छिक चर का अवलोकन करके एक यादृच्छिक चर के बारे में प्राप्त की गई "सूचना की मात्रा" (शैनन (बिट्स), नेट्स या हार्टलेज़ जैसी इकाइयों में) की मात्रा निर्धारित करता है। पारस्परिक सूचना की अवधारणा एक यादृच्छिक चर की एन्ट्रापी से घनिष्ठ रूप से जुड़ी हुई है, सूचना सिद्धांत में एक मौलिक धारणा जो एक यादृच्छिक चर में रखी गई अपेक्षित "सूचना की मात्रा" की मात्रा निर्धारित करती है।

वास्तविक-मूल्य वाले यादृच्छिक चर और सहसंबंध गुणांक जैसी रैखिक निर्भरता तक सीमित नहीं, एमआई अधिक सामान्य है और यह निर्धारित करता है कि जोड़ी का संयुक्त वितरण कितना भिन्न है $(X,Y)$ के सीमांत वितरण के उत्पाद से है $X$ और $Y$. एमआई बिंदुवार पारस्परिक सूचना (पीएमआई) का अपेक्षित मूल्य है।

मात्रा को क्लाउड शैनन ने अपने ऐतिहासिक पेपर "ए मैथमैटिकल थ्योरी ऑफ कम्युनिकेशन" में परिभाषित और विश्लेषण किया था, हालांकि उन्होंने इसे "पारस्परिक सूचना" नहीं कहा था। यह शब्द बाद में रॉबर्ट फ़ानो द्वारा अंकित किया गया था। पारस्परिक सूचना को सूचना लाभ के रूप में भी जाना जाता है।

परिभाषा

मान लीजिए $(X,Y)$ अंतरिक्ष में मानों के साथ यादृच्छिक चर की एक जोड़ी बनें ${\mathcal {X}}\times {\mathcal {Y}}$. यदि उनका संयुक्त वितरण है $P_{(X,Y)}$ और सीमांत वितरण हैं $P_{X}$ और $P_{Y}$, पारस्परिक सूचना को इस प्रकार परिभाषित किया गया है

$I(X;Y)=D_{\mathrm {KL} }(P_{(X,Y)}\|P_{X}\otimes P_{Y})$

जहाँ $D_{\mathrm {KL} }$ समग्र्बैक-लीब्लर विचलन है।

ध्यान दें, समग्र्बैक-लीबलर विचलन की संपत्ति के अनुसार, वह $I(X;Y)$ ठीक उसी स्थिति में शून्य के बराबर होता है जब संयुक्त वितरण सीमांत के उत्पाद के साथ मेल खाता है, यानी जब $X$ और $Y$ स्वतंत्र हैं (और इसलिए अवलोकन कर रहे हैं $Y$ आपको इसके बारे में कुछ नहीं बताता $X$). $I(X;Y)$ गैर-ऋणात्मक है, यह एन्कोडिंग के लिए कीमत का एक माप है $(X,Y)$ स्वतंत्र यादृच्छिक चरों की एक जोड़ी के रूप में जबकि वास्तव में वे नहीं हैं।

यदि प्राकृतिक लघुगणक का उपयोग किया जाता है, तो पारस्परिक सूचना की इकाई नेट (इकाई) है। यदि लघुगणक 2 का उपयोग किया जाता है, तो पारस्परिक सूचना की इकाई शैनन (इकाई) है, जिसे बिट के रूप में भी जाना जाता है। यदि लघुगणक 10 का उपयोग किया जाता है, तो पारस्परिक सूचना की इकाई हार्टले (इकाई) है, जिसे प्रतिबंध या डीआईटी के रूप में भी जाना जाता है।

पृथक-पृथक वितरण के लिए पीएमएफ (PMFs) के संदर्भ में

दो संयुक्त रूप से असतत यादृच्छिक चर की पारस्परिक सूचना $X$ और $Y$ दोगुनी राशि के रूप में गणना की जाती है:

$\operatorname {I} (X;Y)=\sum _{y\in {\mathcal {Y}}}\sum _{x\in {\mathcal {X}}}{P_{(X,Y)}(x,y)\log \left({\frac {P_{(X,Y)}(x,y)}{P_{X}(x)\,P_{Y}(y)}}\right)},$

(Eq.1)

जहाँ $P_{(X,Y)}$ का संयुक्त वितरण है $X$ और $Y$, और $P_{X}$ और $P_{Y}$ के सीमांत संभाव्यता द्रव्यमान फलन हैं $X$ और $Y$ क्रमश:

सतत वितरण के लिए पीडीएफ (PDFs) के संदर्भ में

संयुक्त रूप से निरंतर यादृच्छिक चर के मामले में, दोहरे योग को दोहरे अभिन्न अंग द्वारा प्रतिस्थापित किया जाता है:

$\operatorname {I} (X;Y)=\int _{\mathcal {Y}}\int _{\mathcal {X}}{P_{(X,Y)}(x,y)\log {\left({\frac {P_{(X,Y)}(x,y)}{P_{X}(x)\,P_{Y}(y)}}\right)}}\;dx\,dy,$

(Eq.2)

जहाँ $P_{(X,Y)}$ अब का संयुक्त संभाव्यता घनत्व फलन है $X$ और $Y$, और $P_{X}$ और $P_{Y}$ के सीमांत संभाव्यता घनत्व फलन हैं $X$ और $Y$ क्रमश:

प्रेरणा

सहज रूप से, पारस्परिक सूचना उस सूचना को मापती है $X$ और $Y$ शेयर: यह मापता है कि इनमें से किसी एक चर को जानने से दूसरे के बारे में अनिश्चितता कितनी कम हो जाती है। उदाहरण के लिए, यदि $X$ और $Y$ स्वतंत्र हैं, तो जानना $X$ के बारे में कोई सूचना नहीं देता $Y$ और इसके विपरीत, इसलिए उनकी पारस्परिक सूचना शून्य है। दूसरे गंभीर पर, यदि $X$ का एक नियतात्मक कार्य है $Y$ और $Y$ का एक नियतात्मक कार्य है $X$ फिर सारी सूचना दी गई $X$ के साथ साझा किया जाता है $Y$: जानना $X$ का मूल्य निर्धारित करता है $Y$ और इसके विपरीत है। परिणामस्वरूप, इस मामले में पारस्परिक सूचना वैसी ही है जैसी अनिश्चितता निहित है $Y$ (या $X$) अकेले, अर्थात् की सूचना एन्ट्रापी $Y$ (या $X$). इसके अतिरिक्त, यह पारस्परिक सूचना एन्ट्रापी के समान है $X$ और की एन्ट्रापी के रूप में $Y$. (इसका एक बहुत ही विशेष विषय है जब $X$ और $Y$ समान यादृच्छिक चर हैं।)

पारस्परिक सूचना संयुक्त वितरण में व्यक्त अंतर्निहित निर्भरता का एक माप है $X$ और $Y$ के सीमांत वितरण के सापेक्ष $X$ और $Y$ स्वतंत्रता की धारणा के तहत. इसलिए पारस्परिक सूचना निम्नलिखित अर्थों में निर्भरता को मापती है: $\operatorname {I} (X;Y)=0$ यदि और केवल यदि $X$ और $Y$ स्वतंत्र यादृच्छिक चर हैं। इसे एक दिशा में देखना आसान है: यदि $X$ और $Y$ फिर स्वतंत्र हैं $p_{(X,Y)}(x,y)=p_{X}(x)\cdot p_{Y}(y)$, और इसलिए:

$\log {\left({\frac {p_{(X,Y)}(x,y)}{p_{X}(x)\,p_{Y}(y)}}\right)}=\log 1=0.$

इसके अतिरिक्त, पारस्परिक सूचना गैर-ऋणात्मक है (अर्थात $\operatorname {I} (X;Y)\geq 0$ नीचे देखें) और सममित समुच्चय (यानी) $\operatorname {I} (X;Y)=\operatorname {I} (Y;X)$ नीचे देखें)।

गुण

गैर-ऋणात्मकता

पारस्परिक सूचना की परिभाषा पर जेन्सेन की असमानता का उपयोग करके हम यह दिखा सकते हैं $\operatorname {I} (X;Y)$ गैर-ऋणात्मक है, अर्थात

$\operatorname {I} (X;Y)\geq 0$

समरूपता

$\operatorname {I} (X;Y)=\operatorname {I} (Y;X)$

एन्ट्रापी के साथ संबंध को ध्यान में रखते हुए प्रमाण दिया गया है, जैसा कि नीचे दिखाया गया है।

स्वतंत्रता के तहत सुपरमॉड्यूलरिटी

यदि $C$ से स्वतंत्र है $(A,B)$, तब

$\operatorname {I} (Y;A,B,C)-\operatorname {I} (Y;A,B)\geq \operatorname {I} (Y;A,C)-\operatorname {I} (Y;A)$.

सशर्त और संयुक्त एन्ट्रापी से संबंध

पारस्परिक सूचना को समान रूप से इस प्रकार व्यक्त किया जा सकता है:

${\begin{aligned}\operatorname {I} (X;Y)&{}\equiv \mathrm {H} (X)-\mathrm {H} (X\mid Y)\\&{}\equiv \mathrm {H} (Y)-\mathrm {H} (Y\mid X)\\&{}\equiv \mathrm {H} (X)+\mathrm {H} (Y)-\mathrm {H} (X,Y)\\&{}\equiv \mathrm {H} (X,Y)-\mathrm {H} (X\mid Y)-\mathrm {H} (Y\mid X)\end{aligned}}$

जहाँ $\mathrm {H} (X)$ और $\mathrm {H} (Y)$ सीमांत सूचना एन्ट्रापी हैं, $\mathrm {H} (X\mid Y)$ और $\mathrm {H} (Y\mid X)$ सशर्त एन्ट्रापी हैं, और $\mathrm {H} (X,Y)$ की संयुक्त एन्ट्रापी है $X$ और $Y$.

दो समुच्चयों के मिलन, अंतर और प्रतिच्छेदन की सादृश्यता पर ध्यान दें: इस संबंध में, ऊपर दिए गए सभी सूत्र लेख की प्रारंभ में बताए गए वेन आरेख से स्पष्ट हैं।

एक संचार चैनल के संदर्भ में जिसमें आउटपुट $Y$ इनपुट का एक रव संस्करण है $X$, इन संबंधों को चित्र में संक्षेपित किया गया है:

सूचना सैद्धांतिक मात्राओं के बीच संबंध

क्योंकि $\operatorname {I} (X;Y)$ गैर-ऋणात्मक है, फलस्वरूप, $\mathrm {H} (X)\geq \mathrm {H} (X\mid Y)$. यहां हम इसका विस्तृत विवरण देते हैं $\operatorname {I} (X;Y)=\mathrm {H} (Y)-\mathrm {H} (Y\mid X)$ संयुक्त रूप से असतत यादृच्छिक चर के मामले के लिए:

ऊपर दी गई अन्य पहचानों के प्रमाण समान हैं। सामान्य मामले का प्रमाण (सिर्फ पृथक नहीं) समान है, जिसमें योगों की जगह अभिन्न अंग सम्मिलित हैं।

सहज रूप से, यदि एन्ट्रापी $\mathrm {H} (Y)$ तब इसे एक यादृच्छिक चर के बारे में अनिश्चितता का माप माना जाता है $\mathrm {H} (Y\mid X)$ क्या का एक उपाय है $X$ के बारे में नहीं कहता $Y$. इसे लेकर काफी अनिश्चितता बनी हुई है $Y$ बाद $X$ ज्ञात है, और इस प्रकार इन समानताओं में से दूसरे के दाहिने पक्ष को अनिश्चितता की मात्रा के रूप में पढ़ा जा सकता है $Y$, में अनिश्चितता की मात्रा को घटाकर $Y$ जो बाद में रहता है $X$ ज्ञात है, जो अनिश्चितता की मात्रा के बराबर है $Y$ जो जानने से दूर हो जाता है $X$. यह सूचना की मात्रा (अर्थात अनिश्चितता में कमी) के रूप में पारस्परिक सूचना के सहज अर्थ की पुष्टि करता है जो किसी भी चर को जानने से दूसरे के बारे में पता चलता है।

ध्यान दें कि पृथक मामले में $\mathrm {H} (Y\mid Y)=0$ और इसलिए $\mathrm {H} (Y)=\operatorname {I} (Y;Y)$. इस प्रकार $\operatorname {I} (Y;Y)\geq \operatorname {I} (X;Y)$, और कोई भी मूलभूत सिद्धांत बना सकता है कि एक चर में अपने बारे में कम से कम उतनी सूचना होती है जितनी कोई अन्य चर प्रदान कर सकता है।

समग्र्बैक-लीब्लर विचलन से संबंध

संयुक्त रूप से असतत या संयुक्त रूप से निरंतर जोड़े के लिए $(X,Y)$, पारस्परिक सूचना सीमांत वितरण के उत्पाद से समग्र्बैक-लीब्लर विचलन है, $p_{X}\cdot p_{Y}$, संयुक्त वितरण का $p_{(X,Y)}$, वह है,

$\operatorname {I} (X;Y)=D_{\text{KL}}\left(p_{(X,Y)}\parallel p_{X}p_{Y}\right)$

इसके अतिरिक्त, चलो $p_{(X,Y)}(x,y)=p_{X\mid Y=y}(x)*p_{Y}(y)$ सशर्त द्रव्यमान या घनत्व समुच्चय हो। फिर, हमारी पहचान है

$\operatorname {I} (X;Y)=\mathbb {E} _{Y}\left[D_{\text{KL}}\!\left(p_{X\mid Y}\parallel p_{X}\right)\right]$

संयुक्त रूप से असतत यादृच्छिक चर का प्रमाण इस प्रकार है:

$X$