बाइनरी एन्ट्रॉपी फ़ंक्शन

सूचना सिद्धांत में, बाइनरी एन्ट्रॉपी फ़ंक्शन को दर्शाया गया है $$\operatorname H(p)$$ या $$\operatorname H_\text{b}(p)$$, को संभाव्यता के साथ बर्नौली प्रक्रिया की एन्ट्रॉपी (सूचना सिद्धांत) के रूप में परिभाषित किया गया है $$p$$ दो मूल्यों में से एक। यह एक विशेष मामला है $$\Eta(X)$$, सूचना एन्ट्रापी। गणितीय रूप से, बर्नौली परीक्षण को एक यादृच्छिक चर के रूप में तैयार किया गया है $$X$$ यह केवल दो मान ले सकता है: 0 और 1, जो परस्पर अनन्य और संपूर्ण हैं।

अगर $$\operatorname{Pr}(X=1) = p$$, तब $$\operatorname{Pr}(X=0) = 1-p $$ और की एन्ट्रापी $$X$$ (शैनन (इकाई) में) द्वारा दिया गया है


 * $$\operatorname H(X) = \operatorname H_\text{b}(p) = -p \log_2 p - (1 - p) \log_2 (1 - p)$$,

कहाँ $$0 \log_2 0$$ इसे 0 माना जाता है। इस सूत्र में लघुगणक आमतौर पर आधार 2 पर लिया जाता है (जैसा कि ग्राफ में दिखाया गया है)। बाइनरी लघुगणक देखें।

कब $$p=\tfrac 1 2$$, बाइनरी एन्ट्रापी फ़ंक्शन अपने अधिकतम मूल्य को प्राप्त करता है। यह एक उचित सिक्के का मामला है.

$$\operatorname H(p)$$ सूचना एन्ट्रापी से अलग है $$\Eta(X)$$ इसमें पहला एक पैरामीटर के रूप में एक वास्तविक संख्या लेता है जबकि बाद वाला एक पैरामीटर के रूप में एक वितरण या यादृच्छिक चर लेता है। कभी-कभी बाइनरी एन्ट्रापी फ़ंक्शन को इस प्रकार भी लिखा जाता है $$\operatorname H_2(p)$$. हालाँकि, यह रेनी एन्ट्रॉपी से भिन्न है और इसे इसके साथ भ्रमित नहीं किया जाना चाहिए, जिसे इस रूप में दर्शाया गया है $$\Eta_2(X)$$.

स्पष्टीकरण
सूचना सिद्धांत के संदर्भ में, एन्ट्रापी को एक संदेश में अनिश्चितता का माप माना जाता है। इसे सहज रूप से कहें तो मान लीजिए $$p=0$$. इस संभावना पर, यह निश्चित है कि घटना कभी घटित नहीं होगी, और इसलिए बिल्कुल भी अनिश्चितता नहीं है, जिससे एन्ट्रापी 0 हो जाती है। यदि $$p=1$$, परिणाम फिर से निश्चित है, इसलिए यहां एन्ट्रापी भी 0 है। कब $$p=1/2$$, अनिश्चितता अधिकतम पर है; यदि किसी को इस मामले में परिणाम पर उचित दांव लगाना है, तो संभावनाओं के पूर्व ज्ञान से कोई लाभ नहीं होगा। इस मामले में, एन्ट्रापी 1 बिट के मान पर अधिकतम होती है। इन मामलों के बीच मध्यवर्ती मूल्य आते हैं; उदाहरण के लिए, यदि $$p=1/4$$, परिणाम पर अभी भी अनिश्चितता का एक माप है, लेकिन कोई अभी भी परिणाम की सही भविष्यवाणी कर सकता है, इसलिए अनिश्चितता माप, या एन्ट्रापी, 1 पूर्ण बिट से कम है।

व्युत्पन्न
बाइनरी एन्ट्रॉपी फ़ंक्शन के व्युत्पन्न को लॉगिट फ़ंक्शन के नकारात्मक के रूप में व्यक्त किया जा सकता है:
 * $$ {d \over dp} \operatorname H_\text{b}(p) = - \operatorname{logit}_2(p) = -\log_2\left( \frac{p}{1-p} \right)$$.

टेलर श्रृंखला
1/2 के पड़ोस में बाइनरी एन्ट्रॉपी फ़ंक्शन की टेलर श्रृंखला है
 * $$\operatorname H_\text{b}(p) = 1 - \frac{1}{2\ln 2} \sum^{\infin}_{n=1} \frac{(1-2p)^{2n}}{n(2n-1)} $$

के लिए $$0\le p\le 1$$.

सीमा
निम्नलिखित सीमाएँ मान्य हैं $$0 < p < 1$$:
 * $$\ln(2) \cdot \log_2(p) \cdot \log_2(1-p) \leq H_\text{b}(p) \leq \log_2(p) \cdot \log_2(1-p) $$

और
 * $$4p(1-p) \leq H_\text{b}(p) \leq (4p(1-p))^{(1/\ln 4)} $$

कहाँ $$\ln$$ प्राकृतिक लघुगणक को दर्शाता है।

यह भी देखें

 * मीट्रिक एन्ट्रापी
 * सूचना सिद्धांत
 * सूचना एन्ट्रापी
 * जानकारी की मात्रा

अग्रिम पठन

 * MacKay, David J. C. Information Theory, Inference, and Learning Algorithms Cambridge: Cambridge University Press, 2003. ISBN 0-521-64298-1

二元熵函數