विभेदक एन्ट्रापी

विभेदक एन्ट्रॉपी (जिसे निरंतर एन्ट्रॉपी भी कहा जाता है) सूचना सिद्धांत में एक अवधारणा है जो क्लाउड शैनन द्वारा (शैनन) सूचना एन्ट्रॉपी, एक यादृच्छिक चर के औसत (आश्चर्य) का एक उपाय, निरंतर संभावना तक विस्तारित करने के प्रयास के रूप में शुरू हुई थी। वितरण. दुर्भाग्य से, शैनन ने इस सूत्र को प्राप्त नहीं किया, बल्कि यह मान लिया कि यह असतत एन्ट्रापी का सही निरंतर एनालॉग है, लेकिन ऐसा नहीं है। असतत एन्ट्रापी का वास्तविक निरंतर संस्करण असतत बिंदुओं (एलडीडीपी) का सीमित घनत्व है। विभेदक एन्ट्रॉपी (यहाँ वर्णित) आमतौर पर साहित्य में पाई जाती है, लेकिन यह एलडीडीपी का एक सीमित मामला है, और यह असतत सूचना एन्ट्रॉपी के साथ अपना मौलिक जुड़ाव खो देता है।

माप सिद्धांत के संदर्भ में, संभाव्यता माप की विभेदक एन्ट्रापी उस माप से लेब्सेग माप तक नकारात्मक सापेक्ष एन्ट्रापी है, जहां बाद वाले को असामान्य होने के बावजूद इस तरह माना जाता है जैसे कि यह एक संभाव्यता माप था।

परिभाषा
होने देना $$X$$ संभाव्यता घनत्व फ़ंक्शन के साथ एक यादृच्छिक चर बनें $$f$$ जिसका समर्थन (गणित) एक समुच्चय है $$\mathcal X$$. विभेदक एन्ट्रापी $$h(X)$$ या $$h(f)$$ परिभाषित किया जाता है

संभाव्यता वितरण के लिए जिसमें स्पष्ट घनत्व फ़ंक्शन अभिव्यक्ति नहीं है, लेकिन एक स्पष्ट मात्रात्मक कार्य अभिव्यक्ति है, $$Q(p)$$, तब $$h(Q)$$ के व्युत्पन्न के रूप में परिभाषित किया जा सकता है $$Q(p)$$ यानी क्वांटाइल घनत्व फ़ंक्शन $$Q'(p)$$ जैसा


 * $$h(Q) = \int_0^1 \log Q'(p)\,dp$$.

इसके असतत एनालॉग की तरह, विभेदक एन्ट्रापी की इकाइयाँ लघुगणक के आधार पर निर्भर करती हैं, जो आमतौर पर 2 होती है (यानी, इकाइयाँ अंश ्स होती हैं)। विभिन्न आधारों में लिए गए लघुगणक के लिए लघुगणक इकाइयाँ देखें। संयुक्त एन्ट्रॉपी, सशर्त एन्ट्रॉपी अंतर एन्ट्रॉपी, और कुल्बैक-लीबलर विचलन जैसी संबंधित अवधारणाओं को समान तरीके से परिभाषित किया गया है। असतत एनालॉग के विपरीत, अंतर एन्ट्रॉपी में एक ऑफसेट होता है जो मापने के लिए उपयोग की जाने वाली इकाइयों पर निर्भर करता है $$X$$. उदाहरण के लिए, मिलीमीटर में मापी गई मात्रा की अंतर एन्ट्रापी होगी log(1000) मीटर में मापी गई समान मात्रा से अधिक; एक आयामहीन मात्रा में अंतर एन्ट्रापी होगी log(1000) समान मात्रा को 1000 से विभाजित करने पर अधिक।

किसी को असतत एन्ट्रापी के गुणों को विभेदक एन्ट्रापी पर लागू करने का प्रयास करते समय सावधानी बरतनी चाहिए, क्योंकि संभाव्यता घनत्व फ़ंक्शन 1 से अधिक हो सकते हैं। उदाहरण के लिए, समान वितरण (निरंतर) $$\mathcal{U}(0,1/2)$$ नकारात्मक अंतर एन्ट्रापी है; यानी, यह उससे बेहतर ऑर्डर किया गया है $$\mathcal{U}(0,1)$$ जैसा कि अभी दिखाया गया है


 * $$\int_0^\frac{1}{2} -2\log(2)\,dx=-\log(2)\,$$

की तुलना में कम होना $$\mathcal{U}(0,1)$$ जिसमें शून्य अंतर एन्ट्रापी है। इस प्रकार, विभेदक एन्ट्रापी असतत एन्ट्रापी के सभी गुणों को साझा नहीं करती है।

ध्यान दें कि निरंतर पारस्परिक जानकारी $$I(X;Y)$$ असतत जानकारी के माप के रूप में इसके मौलिक महत्व को बनाए रखने का गौरव प्राप्त है क्योंकि यह वास्तव में विभाजनों की असतत पारस्परिक जानकारी की सीमा है $$X$$ और $$Y$$ जैसे-जैसे ये विभाजन बारीक से बारीक होते जाते हैं। इस प्रकार यह गैर-रैखिक होमियोमोर्फिज्म (निरंतर और विशिष्ट रूप से उलटे मानचित्र) के तहत अपरिवर्तनीय है, रैखिक सहित के परिवर्तन $$X$$ और $$Y$$, और अभी भी असतत जानकारी की मात्रा का प्रतिनिधित्व करता है जिसे एक चैनल पर प्रसारित किया जा सकता है जो मूल्यों के निरंतर स्थान को स्वीकार करता है।

निरंतर स्थान तक विस्तारित असतत एन्ट्रापी के प्रत्यक्ष एनालॉग के लिए, असतत बिंदुओं की सीमित घनत्व देखें।

विभेदक एन्ट्रापी के गुण

 * संभाव्यता घनत्व के लिए $$f$$ और $$g$$, कुल्बैक-लीब्लर विचलन $$D_{KL}(f || g)$$ केवल समानता के साथ 0 से बड़ा या उसके बराबर है $$f=g$$ लगभग हर जगह। इसी प्रकार, दो यादृच्छिक चर के लिए $$X$$ और $$Y$$, $$I(X;Y) \ge 0$$ और $$h(X|Y) \le h(X)$$ समानता के साथ यदि और केवल यदि $$X$$ और $$Y$$ सांख्यिकीय स्वतंत्रता हैं.
 * विभेदक एन्ट्रापी के लिए श्रृंखला नियम असतत मामले की तरह ही लागू होता है
 * $$h(X_1, \ldots, X_n) = \sum_{i=1}^{n} h(X_i|X_1, \ldots, X_{i-1}) \leq \sum_{i=1}^{n} h(X_i)$$.


 * विभेदक एन्ट्रापी अनुवाद अपरिवर्तनीय है, अर्थात एक स्थिरांक के लिए $$c$$.
 * $$h(X+c) = h(X)$$


 * विभेदक एन्ट्रापी आम तौर पर मनमाने उलटे मानचित्रों के तहत अपरिवर्तनीय नहीं है।
 * विशेष रूप से, एक स्थिरांक के लिए $$a$$
 * $$h(aX) = h(X)+ \log |a|$$
 * एक वेक्टर मूल्यवान यादृच्छिक चर के लिए $$\mathbf{X}$$ और एक उलटा (वर्ग) मैट्रिक्स (गणित) $$\mathbf{A}$$
 * $$h(\mathbf{A}\mathbf{X})=h(\mathbf{X})+\log \left( |\det \mathbf{A}| \right)$$


 * सामान्य तौर पर, एक यादृच्छिक वेक्टर से समान आयाम वाले दूसरे यादृच्छिक वेक्टर में परिवर्तन के लिए $$\mathbf{Y}=m \left(\mathbf{X}\right)$$, संबंधित एन्ट्रॉपी के माध्यम से संबंधित हैं
 * $$h(\mathbf{Y}) \leq h(\mathbf{X}) + \int f(x) \log \left\vert \frac{\partial m}{\partial x} \right\vert dx$$
 * कहाँ $$\left\vert \frac{\partial m}{\partial x} \right\vert$$ जैकोबियन मैट्रिक्स और परिवर्तन का निर्धारक है $$m$$. यदि परिवर्तन एक आक्षेप है तो उपरोक्त असमानता एक समानता बन जाती है। इसके अलावा, जब $$m$$ एक कठोर घूर्णन, अनुवाद या उसका संयोजन है, जैकोबियन निर्धारक हमेशा 1 होता है, और $$h(Y)=h(X)$$.


 * यदि एक यादृच्छिक वेक्टर $$X \in \mathbb{R}^n$$ माध्य शून्य और सहप्रसरण मैट्रिक्स है $$K$$, $$h(\mathbf{X}) \leq \frac{1}{2} \log(\det{2 \pi e K}) = \frac{1}{2} \log[(2\pi e)^n \det{K}]$$ समानता के साथ यदि और केवल यदि $$X$$ बहुभिन्नरूपी सामान्य वितरण#संयुक्त सामान्यता है (सामान्य वितरण में #अधिकतमीकरण देखें)।

हालाँकि, विभेदक एन्ट्रापी में अन्य वांछनीय गुण नहीं हैं: विभेदक एन्ट्रापी का एक संशोधन जो इन कमियों को संबोधित करता है वह सापेक्ष सूचना एन्ट्रापी है, जिसे कुल्बैक-लीबलर विचलन के रूप में भी जाना जाता है, जिसमें एक अपरिवर्तनीय माप कारक शामिल है (असतत बिंदुओं की सीमित घनत्व देखें)।
 * यह चर के परिवर्तन के तहत अपरिवर्तनीय नहीं है, और इसलिए आयामहीन चर के साथ सबसे उपयोगी है।
 * यह नकारात्मक हो सकता है.

प्रमेय
सामान्य वितरण के साथ, किसी दिए गए विचरण के लिए अंतर एन्ट्रापी अधिकतम होती है। एक गाऊसी यादृच्छिक चर में समान विचरण के सभी यादृच्छिक चर के बीच सबसे बड़ी एन्ट्रापी होती है, या, वैकल्पिक रूप से, माध्य और विचरण की बाधाओं के तहत अधिकतम एन्ट्रापी वितरण गाऊसी होता है।

प्रमाण
होने देना $$g(x)$$ माध्य μ और विचरण के साथ एक सामान्य वितरण संभाव्यता घनत्व फ़ंक्शन बनें $$\sigma^2$$ और $$f(x)$$ समान विचरण के साथ एक मनमाना संभाव्यता घनत्व फ़ंक्शन। चूँकि विभेदक एन्ट्रापी अनुवाद अपरिवर्तनीय है इसलिए हम यह मान सकते हैं $$f(x)$$ का एक ही मतलब है $$\mu$$ जैसा $$g(x)$$.

दो वितरणों के बीच कुल्बैक-लीब्लर विचलन पर विचार करें
 * $$ 0 \leq D_{KL}(f || g) = \int_{-\infty}^\infty f(x) \log \left( \frac{f(x)}{g(x)} \right) dx = -h(f) - \int_{-\infty}^\infty f(x)\log(g(x)) dx.$$

अब उस पर ध्यान दें
 * $$\begin{align}

\int_{-\infty}^\infty f(x)\log(g(x)) dx &= \int_{-\infty}^\infty f(x)\log\left( \frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{(x-\mu)^2}{2\sigma^2}}\right) dx \\ &= \int_{-\infty}^\infty f(x) \log\frac{1}{\sqrt{2\pi\sigma^2}} dx \,+\, \log(e)\int_{-\infty}^\infty f(x)\left( -\frac{(x-\mu)^2}{2\sigma^2}\right) dx \\ &= -\tfrac{1}{2}\log(2\pi\sigma^2) - \log(e)\frac{\sigma^2}{2\sigma^2} \\ &= -\tfrac{1}{2}\left(\log(2\pi\sigma^2) + \log(e)\right) \\ &= -\tfrac{1}{2}\log(2\pi e \sigma^2) \\ &= -h(g) \end{align}$$ क्योंकि परिणाम निर्भर नहीं करता $$f(x)$$ विचरण के अलावा अन्य. दोनों परिणामों को मिलाने से परिणाम प्राप्त होते हैं
 * $$ h(g) - h(f) \geq 0 \!$$

समानता के साथ जब $$f(x)=g(x)$$ कुल्बैक-लीब्लर विचलन के गुणों का अनुसरण करते हुए।

वैकल्पिक प्रमाण
इस परिणाम को विविधताओं की गणना का उपयोग करके भी प्रदर्शित किया जा सकता है। दो लैग्रैन्जियन गुणकों के साथ एक लैग्रैन्जियन फ़ंक्शन को इस प्रकार परिभाषित किया जा सकता है:


 * $$L=\int_{-\infty}^\infty g(x)\ln(g(x))\,dx-\lambda_0\left(1-\int_{-\infty}^\infty g(x)\,dx\right)-\lambda\left(\sigma^2-\int_{-\infty}^\infty g(x)(x-\mu)^2\,dx\right)$$

जहाँ g(x) माध्य μ वाला कोई फलन है। जब g(x) की एन्ट्रापी अधिकतम होती है और बाधा समीकरण, जिसमें सामान्यीकरण की स्थिति शामिल होती है $$\left(1=\int_{-\infty}^\infty g(x)\,dx\right)$$ और निश्चित विचरण की आवश्यकता $$\left(\sigma^2=\int_{-\infty}^\infty g(x)(x-\mu)^2\,dx\right)$$, दोनों संतुष्ट हैं, तो g(x) के बारे में एक छोटा बदलाव δg(x) L के बारे में एक बदलाव δL उत्पन्न करेगा जो शून्य के बराबर है:


 * $$0=\delta L=\int_{-\infty}^\infty \delta g(x)\left (\ln(g(x))+1+\lambda_0+\lambda(x-\mu)^2\right )\,dx$$

चूँकि यह किसी भी छोटे δg(x) के लिए होना चाहिए, कोष्ठक में पद शून्य होना चाहिए, और g(x) के लिए हल करने पर परिणाम प्राप्त होंगे:


 * $$g(x)=e^{-\lambda_0-1-\lambda(x-\mu)^2}$$

λ को हल करने के लिए बाधा समीकरणों का उपयोग करना0 और λ सामान्य वितरण उत्पन्न करता है:


 * $$g(x)=\frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{(x-\mu)^2}{2\sigma^2}}$$

उदाहरण: घातीय वितरण
होने देना $$X$$ पैरामीटर के साथ एक घातीय वितरण यादृच्छिक चर बनें $$\lambda$$, अर्थात्, संभाव्यता घनत्व फ़ंक्शन के साथ


 * $$f(x) = \lambda e^{-\lambda x} \mbox{ for } x \geq 0.$$

इसकी विभेदक एन्ट्रापी तब है यहाँ, $$h_e(X)$$ के स्थान पर प्रयोग किया गया $$h(X)$$ यह स्पष्ट करने के लिए कि गणना को सरल बनाने के लिए लघुगणक को आधार ई पर लिया गया था।

आकलनकर्ता त्रुटि से संबंध
अंतर एन्ट्रापी एक अनुमानक की अपेक्षित वर्ग त्रुटि पर निचली सीमा उत्पन्न करती है। किसी भी यादृच्छिक चर के लिए $$X$$ और अनुमानक $$\widehat{X}$$ निम्नलिखित धारण करता है: :$$\operatorname{E}[(X - \widehat{X})^2] \ge \frac{1}{2\pi e}e^{2h(X)}$$ समानता के साथ यदि और केवल यदि $$X$$ एक गाऊसी यादृच्छिक चर है और $$\widehat{X}$$ का माध्य है $$X$$.

विभिन्न वितरणों के लिए विभेदक एन्ट्रॉपी
नीचे दी गई तालिका में $$\Gamma(x) = \int_0^{\infty} e^{-t} t^{x-1} dt$$ गामा फ़ंक्शन है, $$\psi(x) = \frac{d}{dx} \ln\Gamma(x)=\frac{\Gamma'(x)}{\Gamma(x)}$$ डिगामा फ़ंक्शन है, $$B(p,q) = \frac{\Gamma(p)\Gamma(q)}{\Gamma(p+q)}$$ बीटा फ़ंक्शन है, और γE यूलर-माशेरोनी स्थिरांक है|यूलर का स्थिरांक।

अनेक विभेदक एन्ट्रापी से हैं।

वेरिएंट
जैसा कि ऊपर वर्णित है, विभेदक एन्ट्रॉपी असतत एन्ट्रॉपी के सभी गुणों को साझा नहीं करती है। उदाहरण के लिए, विभेदक एन्ट्रापी नकारात्मक हो सकती है; निरंतर समन्वय परिवर्तनों के तहत भी यह अपरिवर्तनीय नहीं है। एडविन थॉम्पसन जेन्स ने वास्तव में दिखाया कि उपरोक्त अभिव्यक्ति संभावनाओं के एक सीमित सेट के लिए अभिव्यक्ति की सही सीमा नहीं है।

विभेदक एन्ट्रापी का एक संशोधन इसे ठीक करने के लिए एक अपरिवर्तनीय माप कारक जोड़ता है, (असतत बिंदुओं की सीमित घनत्व देखें)। अगर $$m(x)$$ आगे संभाव्यता घनत्व होने के लिए बाध्य किया गया है, परिणामी धारणा को सूचना सिद्धांत में सापेक्ष एन्ट्रापी कहा जाता है:


 * $$D(p||m) = \int p(x)\log\frac{p(x)}{m(x)}\,dx.$$

उपरोक्त विभेदक एन्ट्रापी की परिभाषा को सीमा को विभाजित करके प्राप्त किया जा सकता है $$X$$ लंबाई के डिब्बे में $$h$$ संबंधित नमूना बिंदुओं के साथ $$ih$$ डिब्बे के भीतर, के लिए $$X$$ रीमैन अभिन्न. यह का क्वांटाइज़ेशन (सिग्नल प्रोसेसिंग) संस्करण देता है $$X$$, द्वारा परिभाषित $$X_h = ih$$ अगर $$ih \le X \le (i+1)h$$. फिर की एन्ट्रापी $$X_h = ih$$ है


 * $$H_h=-\sum_i hf(ih)\log (f(ih)) - \sum hf(ih)\log(h).$$

दाईं ओर का पहला पद अंतर एन्ट्रापी का अनुमान लगाता है, जबकि दूसरा पद लगभग है $$-\log(h)$$. ध्यान दें कि यह प्रक्रिया बताती है कि एक सतत यादृच्छिक चर के असतत अर्थ में एन्ट्रापी होनी चाहिए $$\infty$$.

यह भी देखें

 * सूचना एन्ट्रापी
 * स्वयं जानकारी
 * एंट्रॉपी अनुमान