सशर्त पारस्परिक जानकारी

तीन चरों के लिए सूचना सैद्धांतिक उपायों का वेन आरेख $x$, $y$, और $z$, क्रमशः निचले बाएँ, निचले दाएँ और ऊपरी वृत्तों द्वारा दर्शाया गया है। सशर्त पारस्परिक जानकारी $I(x;z|y)$, $I(y;z|x)$ और $I(x;y|z)$ क्रमशः पीले, सियान और मैजेंटा क्षेत्रों द्वारा दर्शाया गया है।

संभाव्यता सिद्धांत में, विशेष रूप से सूचना सिद्धांत में, सशर्त पारस्परिक जानकारी, अपने सबसे बुनियादी रूप में, दो यादृच्छिक चर की पारस्परिक जानकारी का अपेक्षित मूल्य है जिसे एक तिहाई का मूल्य दिया जाता है।

परिभाषा

समर्थन सेट $X$, $Y$और $Z$ के साथ यादृच्छिक चर ${\mathcal {X}}$, ${\mathcal {Y}}$ और ${\mathcal {Z}}$ के लिए, हम सशर्त पारस्परिक जानकारी को इस प्रकार परिभाषित करते हैं

$I(X;Y|Z)=\int _{\mathcal {Z}}D_{\mathrm {KL} }(P_{(X,Y)|Z}\|P_{X|Z}\otimes P_{Y|Z})dP_{Z}$

इसे अपेक्षा ऑपरेटर के संदर्भ में लिखा जा सकता है: $I(X;Y|Z)=\mathbb {E} _{Z}[D_{\mathrm {KL} }(P_{(X,Y)|Z}\|P_{X|Z}\otimes P_{Y|Z})]$.

इस प्रकार $I(X;Y|Z)$ अपेक्षित है (के संबंध में)। $Z$) सशर्त संयुक्त वितरण से कुल्बैक-लीब्लर विचलन $P_{(X,Y)|Z}$ सशर्त सीमांत के गुणनफल $P_{X|Z}$ और $P_{Y|Z}$ के लिए आपसी जानकारी की परिभाषा से तुलना करें।

असतत वितरण के लिए पीएमएफ के संदर्भ में

असतत यादृच्छिक चर के लिए $X$, $Y$, और $Z$ समर्थन के साथ (गणित) ${\mathcal {X}}$, ${\mathcal {Y}}$ और ${\mathcal {Z}}$, सशर्त पारस्परिक जानकारी $I(X;Y|Z)$ इस प्रकार है

$I(X;Y|Z)=\sum _{z\in {\mathcal {Z}}}p_{Z}(z)\sum _{y\in {\mathcal {Y}}}\sum _{x\in {\mathcal {X}}}p_{X,Y|Z}(x,y|z)\log {\frac {p_{X,Y|Z}(x,y|z)}{p_{X|Z}(x|z)p_{Y|Z}(y|z)}}$

जहां सीमांत, संयुक्त, और/या सशर्त संभाव्यता द्रव्यमान कार्यों को उचित उपस्क्रिप्ट के साथ $p$ द्वारा दर्शाया जाता है। इसे इस प्रकार सरल बनाया जा सकता है

$I(X;Y|Z)=\sum _{z\in {\mathcal {Z}}}\sum _{y\in {\mathcal {Y}}}\sum _{x\in {\mathcal {X}}}p_{X,Y,Z}(x,y,z)\log {\frac {p_{Z}(z)p_{X,Y,Z}(x,y,z)}{p_{X,Z}(x,z)p_{Y,Z}(y,z)}}.$

निरंतर वितरण के लिए पीडीएफ के संदर्भ में

(बिल्कुल) निरंतर यादृच्छिक चर के लिए $X$, $Y$, और $Z$ समर्थन के साथ (गणित) ${\mathcal {X}}$, ${\mathcal {Y}}$ और ${\mathcal {Z}}$, सशर्त पारस्परिक जानकारी $I(X;Y|Z)$ इस प्रकार है

$I(X;Y|Z)=\int _{\mathcal {Z}}{\bigg (}\int _{\mathcal {Y}}\int _{\mathcal {X}}\log \left({\frac {p_{X,Y|Z}(x,y|z)}{p_{X|Z}(x|z)p_{Y|Z}(y|z)}}\right)p_{X,Y|Z}(x,y|z)dxdy{\bigg )}p_{Z}(z)dz$

जहां सीमांत, संयुक्त, और/या सशर्त संभाव्यता घनत्व कार्यों को दर्शाया जाता है $p$ उपयुक्त सबस्क्रिप्ट के साथ. इसे इस तरह सरल बनाया जा सकता है

$I(X;Y|Z)=\int _{\mathcal {Z}}\int _{\mathcal {Y}}\int _{\mathcal {X}}\log \left({\frac {p_{Z}(z)p_{X,Y,Z}(x,y,z)}{p_{X,Z}(x,z)p_{Y,Z}(y,z)}}\right)p_{X,Y,Z}(x,y,z)dxdydz.$

कुछ सर्वसमिका

वैकल्पिक रूप से, हम संयुक्त और सशर्त एन्ट्रॉपी (सूचना सिद्धांत) के रूप में लिख सकते हैं

${\begin{aligned}I(X;Y|Z)&=H(X,Z)+H(Y,Z)-H(X,Y,Z)-H(Z)\\&=H(X|Z)-H(X|Y,Z)\\&=H(X|Z)+H(Y|Z)-H(X,Y|Z).\end{aligned}}$

आपसी जानकारी से इसका संबंध दिखाने के लिए इसे फिर से लिखा जा सकता है

$I(X;Y|Z)=I(X;Y,Z)-I(X;Z)$

सामान्यतः आपसी जानकारी के लिए श्रृंखला नियम के रूप में पुनर्व्यवस्थित किया जाता है

$I(X;Y,Z)=I(X;Z)+I(X;Y|Z)$

या

$I(X;Y|Z)=I(X;Y)-(I(X;Z)-I(X;Z|Y))\,.$

उपरोक्त का दूसरा समकक्ष रूप है

${\begin{aligned}I(X;Y|Z)&=H(Z|X)+H(X)+H(Z|Y)+H(Y)-H(Z|X,Y)-H(X,Y)-H(Z)\\&=I(X;Y)+H(Z|X)+H(Z|Y)-H(Z|X,Y)-H(Z)\end{aligned}}\,.$

सशर्त पारस्परिक जानकारी का एक और समकक्ष रूप है

${\begin{aligned}I(X;Y|Z)=I(X,Z;Y,Z)-H(Z)\end{aligned}}\,.$

पारस्परिक जानकारी की तरह, सशर्त पारस्परिक जानकारी को कुल्बैक-लीबलर विचलन के रूप में व्यक्त किया जा सकता है:

$I(X;Y|Z)=D_{\mathrm {KL} }[p(X,Y,Z)\|p(X|Z)p(Y|Z)p(Z)].$

या सरल कुल्बैक-लीब्लर विचलन के अपेक्षित मूल्य के रूप में:

$I(X;Y|Z)=\sum _{z\in {\mathcal {Z}}}p(Z=z)D_{\mathrm {KL} }[p(X,Y|z)\|p(X|z)p(Y|z)]$,

$I(X;Y|Z)=\sum _{y\in {\mathcal {Y}}}p(Y=y)D_{\mathrm {KL} }[p(X,Z|y)\|p(X|Z)p(Z|y)]$.

अधिक सामान्य परिभाषा

सशर्त पारस्परिक जानकारी की एक अधिक सामान्य परिभाषा, जो निरंतर या अन्य मनमाने वितरण वाले यादृच्छिक चर पर लागू होती है, नियमित सशर्त संभाव्यता की अवधारणा पर निर्भर करेगी।

मान लीजिए $(\Omega ,{\mathcal {F}},{\mathfrak {P}})$ एक संभाव्यता स्थान है, और यादृच्छिक चर $X$, $Y$, मान लीजिए और $Z$ प्रत्येक को $\Omega$ से टोपोलॉजिकल संरचना से संपन्न कुछ राज्य स्थान तक एक बोरेल-मापने योग्य फ़ंक्शन के रूप में परिभाषित किया जाना चाहिए।

प्रत्येक बोरेल द्वारा परिभाषित प्रत्येक यादृच्छिक चर के राज्य स्थान में बोरेल माप (खुले सेटों द्वारा उत्पन्न σ-बीजगणित पर) पर विचार करें, इसकी प्रीइमेज के ${\mathfrak {P}}$-माप को ${\mathcal {F}}$ में सेट करें। इसे पुशफॉरवर्ड माप $X_{*}{\mathfrak {P}}={\mathfrak {P}}{\big (}X^{-1}(\cdot ){\big )}.$ कहा जाता है। एक यादृच्छिक चर के समर्थन को इस माप के टोपोलॉजिकल समर्थन के रूप में परिभाषित किया गया है, यानी $\mathrm {supp} \,X=\mathrm {supp} \,X_{*}{\mathfrak {P}}.$

अब हम यादृच्छिक चरों में से एक (या, उत्पाद टोपोलॉजी के माध्यम से, अधिक) के मान को देखते हुए सशर्त संभाव्यता माप को औपचारिक रूप से परिभाषित कर सकते हैं। मान लीजिए $M$, $\Omega ,$ का मापनीय उपसमुच्चय है (अर्थात् $M\in {\mathcal {F}},$ और मान लीजिए $x\in \mathrm {supp} \,X.$फिर, विघटन प्रमेय का उपयोग करते हुए:

${\mathfrak {P}}(M|X=x)=\lim _{U\ni x}{\frac {{\mathfrak {P}}(M\cap \{X\in U\})}{{\mathfrak {P}}(\{X\in U\})}}\qquad {\textrm {and}}\qquad {\mathfrak {P}}(M|X)=\int _{M}d{\mathfrak {P}}{\big (}\omega |X=X(\omega ){\big )},$

जहां सीमा को $x$ के खुले परिवेश $U$ पर ले लिया गया है, क्योंकि उन्हें सेट समावेशन के संबंध में मनमाने ढंग से छोटा होने की अनुमति है।

अंत में हम लेब्सग्यू एकीकरण के माध्यम से सशर्त पारस्परिक जानकारी को परिभाषित कर सकते हैं:

$I(X;Y|Z)=\int _{\Omega }\log {\Bigl (}{\frac {d{\mathfrak {P}}(\omega |X,Z)\,d{\mathfrak {P}}(\omega |Y,Z)}{d{\mathfrak {P}}(\omega |Z)\,d{\mathfrak {P}}(\omega |X,Y,Z)}}{\Bigr )}d{\mathfrak {P}}(\omega ),$

जहां इंटीग्रैंड रेडॉन-निकोडिम व्युत्पन्न का लघुगणक है जिसमें कुछ सशर्त संभाव्यता उपाय सम्मिलित हैं जिन्हें हमने अभी परिभाषित किया है।

नोटेशन पर नोट

$I(A;B|C),$ $A,$ $B,$ और $C$ जैसी अभिव्यक्ति में जरूरी नहीं कि ये केवल व्यक्तिगत यादृच्छिक चर का प्रतिनिधित्व करने तक ही सीमित हों, बल्कि संयुक्त का भी प्रतिनिधित्व कर सकते हैं। एक ही संभाव्यता स्थान पर परिभाषित यादृच्छिक चर के किसी भी संग्रह का वितरण। जैसा कि संभाव्यता सिद्धांत में आम है, हम ऐसे संयुक्त वितरण को दर्शाने के लिए अल्पविराम का उपयोग कर सकते हैं, जैसे मैं$I(A_{0},A_{1};B_{1},B_{2},B_{3}|C_{0},C_{1}).$। इसलिए आपसी सूचना प्रतीक के प्रमुख तर्कों को अलग करने के लिए अर्धविराम (या कभी-कभी एक कोलन या यहां तक कि एक पच्चर $\wedge$) का उपयोग किया जाता है। (संयुक्त एन्ट्रापी के प्रतीक में ऐसा कोई अंतर आवश्यक नहीं है, क्योंकि किसी भी संख्या में यादृच्छिक चर की संयुक्त एन्ट्रापी उनके संयुक्त वितरण की एन्ट्रापी के समान होती है।)

गुण

गैर-ऋणात्मकता

यह सदैव सत्य है

$I(X;Y|Z)\geq 0$,

असतत, संयुक्त रूप से वितरित यादृच्छिक चर के लिए $X$, $Y$ और $Z$. इस परिणाम का उपयोग सूचना सिद्धांत में अन्य असमानताओं को साबित करने के लिए एक बुनियादी निर्माण खंड के रूप में किया गया है, विशेष रूप से, जिन्हें शैनन-प्रकार की असमानताओं के रूप में जाना जाता है। कुछ नियमितता शर्तों के तहत निरंतर यादृच्छिक चर के लिए सशर्त पारस्परिक जानकारी भी गैर-ऋणात्मकता है।

इंटरैक्शन जानकारी

तीसरे यादृच्छिक चर पर कंडीशनिंग या तो पारस्परिक जानकारी को बढ़ा या घटा सकती है: यानी, अंतर $I(X;Y)-I(X;Y|Z)$, जिसे इंटरैक्शन जानकारी कहा जाता है, धनात्मक, ऋणात्मक या शून्य हो सकता है। यह तब भी मामला है जब यादृच्छिक चर जोड़ीदार स्वतंत्र होते हैं। ऐसी स्थिति तब होती है जब

$$X\sim \mathrm {Bernoulli} (0.5),Z\sim \mathrm {Bernoulli} (0.5),\quad Y=\left\{{\begin{array}{ll}X&{\text{if }}Z=0\\1-X&{\text{if }}Z=1\end{array}}\right.$$

किस स्थिति में $X$, $Y$ और $Z$ जोड़ीवार स्वतंत्र हैं और विशेष रूप से $I(X;Y)=0$, लेकिन $I(X;Y|Z)=1.$

पारस्परिक जानकारी के लिए श्रृंखला नियम

श्रृंखला नियम (जैसा कि ऊपर बताया गया है) विघटित होने के दो तरीके प्रदान करता है $I(X;Y,Z)$:

${\begin{aligned}I(X;Y,Z)&=I(X;Z)+I(X;Y|Z)\\&=I(X;Y)+I(X;Z|Y)\end{aligned}}$

डेटा प्रोसेसिंग असमानता सशर्त पारस्परिक जानकारी से निकटता से संबंधित है और इसे श्रृंखला नियम का उपयोग करके सिद्ध किया जा सकता है।

इंटरेक्शन संबंधी जानकारी

Main article: इंटरेक्शन संबंधी जानकारी

सशर्त पारस्परिक जानकारी का उपयोग परस्पर क्रिया संबंधी जानकारी को आगमनात्मक रूप से परिभाषित करने के लिए किया जाता है, जो कि पारस्परिक जानकारी का सामान्यीकरण है, इस प्रकार है:

$I(X_{1};\ldots ;X_{n+1})=I(X_{1};\ldots ;X_{n})-I(X_{1};\ldots ;X_{n}|X_{n+1}),$

जहाँ

$I(X_{1};\ldots ;X_{n}|X_{n+1})=\mathbb {E} _{X_{n+1}}[D_{\mathrm {KL} }(P_{(X_{1},\ldots ,X_{n})|X_{n+1}}\|P_{X_{1}|X_{n+1}}\otimes \cdots \otimes P_{X_{n}|X_{n+1}})].$

क्योंकि सशर्त पारस्परिक जानकारी अपने बिना शर्त समकक्ष से अधिक या कम हो सकती है, बातचीत की जानकारी धनात्मक, ऋणात्मक या शून्य हो सकती है, जिससे इसकी व्याख्या करना कठिन हो जाता है।