क्रॉस एन्ट्रापी

सूचना सिद्धांत में, दो संभाव्यता वितरणों $p$ और $q$ के मध्य तिर्यक्-एन्ट्रॉपी यदि समुच्चय के लिए उपयोग की जाने वाली कोडन योजना अनुमानित वास्तविक वितरण $p$ के बजाय संभाव्यता वितरण $q$ के लिए अनुकूलित है, तो घटनाओं के समान अंतर्निहित समुच्चय पर समुच्चय से खींची गई घटना की पहचान करने के लिए आवश्यक अंश की औसत संख्या को मापता है।

परिभाषा

वितरण $q$ की तिर्यक्-एन्ट्रॉपी वितरण $p$ के सापेक्ष किसी दिए गए समुच्चय को इस प्रकार परिभाषित किया गया है:

$H(p,q)=-\operatorname {E} _{p}[\log q]$

जहाँ $E_{p}[\cdot ]$ वितरण $p$ के संबंध में अपेक्षित मान संचालक है।

परिभाषा कुल्बैक-लीब्लर विचलन $D_{\mathrm {KL} }(p\parallel q)$ का उपयोग करके तैयार की जा सकती है, विचलन $p$ से $q$ का (इसके संबंध में $q$, $p$ की सापेक्ष एन्ट्रापी के रूप में भी जाना जाता है)।

$H(p,q)=H(p)+D_{\mathrm {KL} }(p\parallel q),$

जहाँ $H(p)$ की एन्ट्रापी $p$ है।

असतत संभाव्यता वितरण $p$ और $q$ के लिए, उसी समर्थन ${\mathcal {X}}$ के साथ (माप सिद्धांत) इसका अर्थ यह है:

$H(P,Q)=-\sum _{x\in {\mathcal {X}}}p(x)\,\log q(x)$

(Eq.1)

सतत वितरण की स्थिति समान है। हमें यह मानना ​​होगा कि कुछ संदर्भ माप $r$ के संबंध में $p$ और $q$ बिल्कुल सतत हैं (सामान्यतः $r$ बोरेल σ-बीजगणित पर एक लेब्सेग माप है। मान लीजिए कि $P$ और $Q$, $p$ और $q$ के संभाव्यता घनत्व फलन $r$ हैं। तब

$-\int _{\mathcal {X}}P(x)\,\log Q(x)\,dr(x)=\operatorname {E} _{p}[-\log Q]$

और इसलिए

$H(p,q)=-\int _{\mathcal {X}}P(x)\,\log Q(x)\,dr(x)$

(Eq.2)

एनबी: संकेतन $H(p,q)$ का उपयोग एक अलग अवधारणा, संयुक्त एन्ट्रापी $p$ और $q$ के लिए भी किया जाता है।

प्रेरणा

सूचना सिद्धांत में, क्राफ्ट-मैकमिलन प्रमेय स्थापित करता है कि एक मान की पहचान करने के लिए किसी संकेत को कोड करने के लिए कोई भी सीधे डिकोड करने योग्य कोडन योजना $x_{i}$ संभावनाओं के एक समुच्चय से बाहर $\{x_1$