अधिकतम एन्ट्रापी संभाव्यता वितरण

सांख्यिकी और सूचना सिद्धांत में, अधिकतम एन्ट्रापी संभाव्यता वितरण में सूचना एन्ट्रापी होती है जो कम से कम संभाव्यता वितरण के एक निर्दिष्ट वर्ग के अन्य सभी सदस्यों जितनी महान होती है। अधिकतम एन्ट्रापी के सिद्धांत के अनुसार, यदि किसी वितरण के बारे में कुछ भी ज्ञात नहीं है, सिवाय इसके कि वह एक निश्चित वर्ग (आमतौर पर निर्दिष्ट गुणों या मापों के संदर्भ में परिभाषित) से संबंधित है, तो सबसे बड़ी एन्ट्रापी वाले वितरण को सबसे कम जानकारीपूर्ण के रूप में चुना जाना चाहिए। गलती करना। प्रेरणा दुगनी है: सबसे पहले, एन्ट्रापी को अधिकतम करने से वितरण में निर्मित पूर्व संभाव्यता की मात्रा कम हो जाती है; दूसरा, कई भौतिक प्रणालियाँ समय के साथ अधिकतम एन्ट्रापी विन्यास की ओर बढ़ती हैं।

एन्ट्रापी और विभेदक एन्ट्रापी की परिभाषा

Further information: Entropy (information theory)

अगर $X$ वितरण के साथ एक असतत यादृच्छिक चर है

$\operatorname {Pr} (X=x_{k})=p_{k}\quad {\mbox{ for }}k=1,2,\ldots$

फिर की एन्ट्रापी $X$ परिभाषित किया जाता है

$H(X)=-\sum _{k\geq 1}p_{k}\log p_{k}.$

अगर $X$ संभाव्यता घनत्व फ़ंक्शन के साथ एक सतत यादृच्छिक चर है $p(x)$, फिर अंतर एन्ट्रापी $X$ परिभाषित किया जाता है

$H(X)=-\int _{-\infty }^{\infty }p(x)\log p(x)\,dx.$

मात्रा $p(x)\log p(x)$ जब भी शून्य समझा जाता है $p(x)=0$.

यह एन्ट्रॉपी (सूचना सिद्धांत), अधिकतम एन्ट्रॉपी का सिद्धांत, और अंतर एन्ट्रॉपी लेखों में वर्णित अधिक सामान्य रूपों का एक विशेष मामला है। अधिकतम एन्ट्रॉपी वितरण के संबंध में, यह एकमात्र आवश्यक है, क्योंकि अधिकतमीकरण $H(X)$ अधिक सामान्य रूपों को भी अधिकतम करेगा।

लघुगणक का आधार तब तक महत्वपूर्ण नहीं है जब तक कि एक ही का लगातार उपयोग किया जाता है: आधार के परिवर्तन से केवल एन्ट्रापी में पुनः वृद्धि होती है। सूचना सिद्धांतकार एन्ट्रापी को अंश ्स में व्यक्त करने के लिए आधार 2 का उपयोग करना पसंद कर सकते हैं; गणितज्ञ और भौतिक विज्ञानी अक्सर प्राकृतिक लघुगणक को प्राथमिकता देंगे, जिसके परिणामस्वरूप एन्ट्रापी के लिए नेट (इकाई) की एक इकाई होगी।

माप का चुनाव $dx$ हालाँकि, एन्ट्रापी और परिणामी अधिकतम एन्ट्रापी वितरण को निर्धारित करने में महत्वपूर्ण है, भले ही लेब्सेग माप का सामान्य सहारा अक्सर प्राकृतिक के रूप में बचाव किया जाता है।

मापा स्थिरांक के साथ वितरण

लागू हित के कई सांख्यिकीय वितरण वे हैं जिनके लिए क्षण (गणित) या अन्य मापनीय मात्राएँ स्थिरांक होने के लिए बाध्य हैं। लुडविग बोल्ट्ज़मान द्वारा निम्नलिखित प्रमेय इन बाधाओं के तहत संभाव्यता घनत्व का रूप देता है।

सतत मामला

कल्पना करना $S$ वास्तविक संख्याओं का एक बंद समुच्चय है $\mathbb {R}$ और हम निर्दिष्ट करना चुनते हैं $n$ मापने योग्य कार्य $f_{1},\cdots ,f_{n}$ और $n$ नंबर $a_{1},\ldots ,a_{n}$. हम वर्ग पर विचार करते हैं $C$ सभी वास्तविक-मूल्यवान यादृच्छिक चर जो समर्थित हैं $S$ (अर्थात् जिसका घनत्व फलन बाहर शून्य है $S$) और जो संतुष्ट करता है

$n$ पल की शर्तें:

$\mathbb {E} [f_{j}(X)]\geq a_{j}\quad {\mbox{ for }}j=1,\ldots ,n$ यदि कोई सदस्य है $C$ जिसका घनत्व फलन हर जगह सकारात्मक है $S$, और यदि इसके लिए अधिकतम एन्ट्रापी वितरण मौजूद है $C$, तो इसकी संभाव्यता घनत्व $p(x)$ निम्नलिखित रूप है:

$p(x)=\exp \left(\sum _{j=0}^{n}\lambda _{j}f_{j}(x)\right)\quad {\mbox{ for all }}x\in S$

जहां हम ऐसा मानते हैं $f_{0}(x)=1$. अटल $\lambda _{0}$ और यह $n$ लैग्रेंज गुणक ${\boldsymbol {\lambda }}=(\lambda _{1},\ldots ,\lambda _{n})$ विवश अनुकूलन समस्या को हल करें $a_{0}=1$ (यह शर्त यह सुनिश्चित करती है $p$ एकता में एकीकृत):

$\max _{\lambda _{0};{\boldsymbol {\lambda }}}\left\{\sum _{j=0}^{n}\lambda _{j}a_{j}-\int \exp \left(\sum _{j=0}^{n}\lambda _{j}f_{j}(x)\right)dx\right\}\quad \mathrm {subject\;to:\;\;} {\boldsymbol {\lambda }}\geq \mathbf {0}$

करुश-कुह्न-टकर स्थितियों का उपयोग करके, यह दिखाया जा सकता है कि अनुकूलन समस्या का एक अनूठा समाधान है क्योंकि अनुकूलन में उद्देश्य फ़ंक्शन अवतल है ${\boldsymbol {\lambda }}$.

ध्यान दें कि यदि क्षणिक स्थितियाँ समानताएँ हैं (असमानताओं के बजाय), अर्थात,

$\mathbb {E} [f_{j}(X)]=a_{j}\quad {\mbox{ for }}j=1,\ldots ,n,$ फिर बाधा की स्थिति ${\boldsymbol {\lambda }}\geq \mathbf {0}$ हटा दिया गया है, जिससे लैग्रेंज मल्टीप्लायरों पर अनुकूलन अप्रतिबंधित हो गया है।

असतत मामला

कल्पना करना $S=\{x_{1},x_{2},...\}$ वास्तविकताओं का एक (परिमित या अनंत) असतत उपसमुच्चय है और हम निर्दिष्ट करना चुनते हैं $n$ कार्य एफ₁,...,एफ_n और n संख्या ए₁,...,ए_n. हम सभी असतत यादृच्छिक चर एक्स के वर्ग सी पर विचार करते हैं जो एस पर समर्थित हैं और जो एन पल की शर्तों को पूरा करते हैं

$\operatorname {E} (f_{j}(X))\geq a_{j}\quad {\mbox{ for }}j=1,\ldots ,n$ यदि C का कोई सदस्य मौजूद है जो S के सभी सदस्यों को सकारात्मक संभावना प्रदान करता है और यदि C के लिए अधिकतम एन्ट्रापी वितरण मौजूद है, तो इस वितरण का निम्नलिखित आकार है:

$\operatorname {Pr} (X=x_{k})=\exp \left(\sum _{j=0}^{n}\lambda _{j}f_{j}(x_{k})\right)\quad {\mbox{ for }}k=1,2,\ldots$

जहां हम ऐसा मानते हैं $f_{0}=1$ और स्थिरांक $\lambda _{0},\;{\boldsymbol {\lambda }}=(\lambda _{1},\ldots ,\lambda _{n})$ विवश अनुकूलन समस्या को हल करें $a_{0}=1$:

$\max _{\lambda _{0};{\boldsymbol {\lambda }}}\left\{\sum _{j=0}^{n}\lambda _{j}a_{j}-\sum _{k\geq 1}\exp \left(\sum _{j=0}^{n}\lambda _{j}f_{j}(x_{k})\right)\right\}\quad \mathrm {subject\;to:\;\;} {\boldsymbol {\lambda }}\geq \mathbf {0}$

पुनः, यदि क्षण स्थितियाँ समानताएँ हैं (असमानताओं के बजाय), तो बाधा स्थिति ${\boldsymbol {\lambda }}\geq \mathbf {0}$ अनुकूलन में मौजूद नहीं है.

समानता बाधाओं के मामले में प्रमाण

समानता बाधाओं के मामले में, यह प्रमेय विविधताओं की गणना और लैग्रेंज गुणकों के साथ सिद्ध होता है। बाधाओं को इस प्रकार लिखा जा सकता है

$\int _{-\infty }^{\infty }f_{j}(x)p(x)dx=a_{j}$

हम कार्यात्मक (गणित) पर विचार करते हैं

$J(p)=\int _{-\infty }^{\infty }p(x)\ln {p(x)}dx-\eta _{0}\left(\int _{-\infty }^{\infty }p(x)dx-1\right)-\sum _{j=1}^{n}\lambda _{j}\left(\int _{-\infty }^{\infty }f_{j}(x)p(x)dx-a_{j}\right)$

कहाँ $\eta _{0}$ और $\lambda _{j},j\geq 1$ लैग्रेंज गुणक हैं। शून्यवाँ अवरोध संभाव्यता स्वयंसिद्ध#दूसरा सिद्धांत सुनिश्चित करता है। अन्य बाधाएं यह हैं कि फ़ंक्शन के माप को क्रम के अनुसार स्थिरांक दिए जाते हैं $n$. जब कार्यात्मक व्युत्पन्न शून्य के बराबर होता है तो एन्ट्रापी चरम सीमा पर पहुंच जाती है:

${\frac {\delta J}{\delta p}}\left(p\right)=\ln {p(x)}+1-\eta _{0}-\sum _{j=1}^{n}\lambda _{j}f_{j}(x)=0$

इसलिए, इस मामले में चरम एन्ट्रापी संभाव्यता वितरण इस रूप का होना चाहिए ($\lambda _{0}:=\eta _{0}-1$),

$p(x)=e^{-1+\eta _{0}}\cdot e^{\sum _{j=1}^{n}\lambda _{j}f_{j}(x)}=\exp \left(\sum _{j=0}^{n}\lambda _{j}f_{j}(x)\right)\;,$

उसे याद करते हुए $f_{0}(x)=1$. यह जाँच कर सत्यापित किया जा सकता है कि यह अधिकतम समाधान है कि इस समाधान के आसपास भिन्नता हमेशा नकारात्मक होती है।

अधिकतम की विशिष्टता

कल्पना करना $p$, $p'$ अपेक्षा-बाधाओं को संतुष्ट करने वाले वितरण हैं। दे $\alpha \in (0,1)$ और वितरण पर विचार कर रहे हैं $q=\alpha \cdot p+(1-\alpha )\cdot p'$ यह स्पष्ट है कि यह वितरण अपेक्षा-बाधाओं को पूरा करता है और इसके अलावा समर्थन के रूप में भी है $\mathrm {supp} (q)=\mathrm {supp} (p)\cup \mathrm {supp} (p')$. एन्ट्रापी के बारे में बुनियादी तथ्यों से, यह ऐसा है ${\mathcal {H}}(q)\geq \alpha {\mathcal {H}}(p)+(1-\alpha ){\mathcal {H}}(p')$. सीमा लेना $\alpha \longrightarrow 1$ और $\alpha \longrightarrow 0$ क्रमशः पैदावार होती है ${\mathcal {H}}(q)\geq {\mathcal {H}}(p),{\mathcal {H}}(p')$.

इसका तात्पर्य यह है कि अपेक्षा-बाधाओं को संतुष्ट करने वाले और एन्ट्रापी को अधिकतम करने वाले वितरण को आवश्यक रूप से पूर्ण समर्थन प्राप्त होना चाहिए - i. इ। वितरण लगभग हर जगह सकारात्मक है। इसका तात्पर्य यह है कि अधिकतम वितरण अपेक्षा-बाधाओं को संतुष्ट करने वाले वितरण के स्थान में एक आंतरिक बिंदु होना चाहिए, अर्थात यह एक स्थानीय चरम होना चाहिए। इस प्रकार यह दिखाना पर्याप्त है कि स्थानीय चरम अद्वितीय है, दोनों को यह दिखाने के लिए कि एन्ट्रापी-अधिकतम वितरण अद्वितीय है (और इससे यह भी पता चलता है कि स्थानीय चरम वैश्विक अधिकतम है)।

कल्पना करना $p,p'$ स्थानीय चरम सीमाएँ हैं। उपरोक्त गणनाओं को पुन: स्वरूपित करते हुए इन्हें मापदंडों द्वारा चित्रित किया गया है ${\vec {\lambda }},{\vec {\lambda }}'\in \mathbb {R} ^{n}$ के जरिए $p(x)={\frac {e^{\langle {\vec {\lambda }},{\vec {f}}(x)\rangle }}{C({\vec {\lambda }})}}$ और इसी तरह के लिए $p'$, कहाँ $C({\vec {\lambda }})=\int _{x\in \mathbb {R} }e^{\langle {\vec {\lambda }},{\vec {f}}(x)\rangle }~dx$. अब हम पहचानों की एक श्रृंखला पर ध्यान देते हैं: अपेक्षा-बाधाओं की संतुष्टि और ग्रेडिएंट/दिशात्मक डेरिवेटिव का उपयोग करके, किसी के पास है $D\log(C(\cdot ))\vert _{\vec {\lambda }}=\left.{\frac {DC(\cdot )}{C(\cdot )}}\right|_{\vec {\lambda }}=\mathbb {E} _{p}[{\vec {f}}(X)]={\vec {a}}$ और इसी तरह के लिए ${\vec {\lambda }}'$. दे $u={\vec {\lambda }}'-{\vec {\lambda }}\in \mathbb {R} ^{n}$ कोई प्राप्त करता है:

$0=\langle u,{\vec {a}}-{\vec {a}}\rangle =D_{u}\log(C(\cdot ))\vert _{{\vec {\lambda }}'}-D_{u}\log(C(\cdot ))\vert _{\vec {\lambda }}=D_{u}^{2}\log(C(\cdot ))\vert _{\vec {\gamma }}$

कहाँ ${\vec {\gamma }}=\theta {\vec {\lambda }}+(1-\theta ){\vec {\lambda }}'$ कुछ के लिए $\theta \in (0,1)$. आगे की गणना करना किसी के पास है

${\begin{array}{rcl}0&=&D_{u}^{2}\log(C(\cdot ))\vert _{\vec {\gamma }}\\&=&\left.D_{u}\left({\frac {D_{u}C(\cdot )}{C(\cdot )}}\right)\right|_{\vec {\gamma }}\\&=&\left.{\frac {D_{u}^{2}C(\cdot )}{C(\cdot )}}\right|_{\vec {\gamma }}-\left.{\frac {(D_{u}C(\cdot ))^{2}}{C(\cdot )^{2}}}\right|_{\vec {\gamma }}\\&=&\mathbb {E} _{q}[(\langle u,{\vec {f}}(X)\rangle )^{2}]-\left(\mathbb {E} _{q}[\langle u,{\vec {f}}(X)\rangle ]\right)^{2}=\mathrm {Var} _{q}(\langle u,{\vec {f}}(X)\rangle )\\\end{array}}$

कहाँ $q$ उपरोक्त वितरण के समान है, केवल पैरामीटरयुक्त है ${\vec {\gamma }}$. यह मानते हुए कि वेधशालाओं का कोई भी गैर-तुच्छ रैखिक संयोजन लगभग हर जगह (एई) स्थिर नहीं है, (उदाहरण के लिए यदि वेधशालाएं स्वतंत्र हैं और यानी स्थिर नहीं हैं), तो यह माना जाता है कि $\langle u,{\vec {f}}(X)\rangle$ गैर-शून्य विचरण है, जब तक कि $u=0$. उपरोक्त समीकरण से यह स्पष्ट है कि उत्तरार्द्ध मामला होना चाहिए। इस तरह ${\vec {\lambda }}'-{\vec {\lambda }}=u=0$, इसलिए स्थानीय एक्स्ट्रेमा की विशेषता बताने वाले पैरामीटर $p,p'$ समान हैं, जिसका अर्थ है कि वितरण स्वयं समान हैं। इस प्रकार, स्थानीय चरम अद्वितीय है और उपरोक्त चर्चा के अनुसार, अधिकतम अद्वितीय है - बशर्ते कि स्थानीय चरम वास्तव में मौजूद हो।

चेतावनी

ध्यान दें कि वितरण के सभी वर्गों में अधिकतम एन्ट्रापी वितरण नहीं होता है। यह संभव है कि किसी वर्ग में मनमाने ढंग से बड़े एन्ट्रॉपी के वितरण हों (उदाहरण के लिए आर पर सभी निरंतर वितरणों का वर्ग जिसका मतलब 0 है लेकिन मनमाना मानक विचलन है), या कि एन्ट्रॉपी ऊपर सीमित हैं लेकिन कोई वितरण नहीं है जो अधिकतम एन्ट्रॉपी प्राप्त करता है। यह भी संभव है कि वर्ग सी के लिए अपेक्षित मूल्य प्रतिबंध एस के कुछ सबसेट में संभाव्यता वितरण को शून्य होने के लिए मजबूर करते हैं। उस स्थिति में हमारा प्रमेय लागू नहीं होता है, लेकिन सेट एस को सिकोड़कर कोई इसके आसपास काम कर सकता है।

उदाहरण

प्रत्येक संभाव्यता वितरण इस बाधा के तहत तुच्छ रूप से एक अधिकतम एन्ट्रापी संभाव्यता वितरण है कि वितरण की अपनी एन्ट्रापी है। इसे देखने के लिए घनत्व को इस प्रकार पुनः लिखें $p(x)=\exp {(\ln {p(x)})}$ और उपरोक्त प्रमेय की अभिव्यक्ति से तुलना करें। चुनने के द्वारा $\ln {p(x)}\rightarrow f(x)$ मापने योग्य कार्य होना और

$\int \exp {(f(x))}f(x)dx=-H$

स्थिर रहना, $p(x)$ बाधा के तहत अधिकतम एन्ट्रापी संभाव्यता वितरण है

$\int p(x)f(x)dx=-H$.

गैर-तुच्छ उदाहरण ऐसे वितरण हैं जो कई बाधाओं के अधीन हैं जो एन्ट्रापी के असाइनमेंट से भिन्न हैं। इन्हें अक्सर एक ही प्रक्रिया से शुरू करके पाया जाता है $\ln {p(x)}\rightarrow f(x)$ और उसे ढूँढना $f(x)$ भागों में विभाजित किया जा सकता है।

लिस्मान (1972) में अधिकतम एन्ट्रापी वितरण के उदाहरणों की एक तालिका दी गई है और पार्क एंड बेरा (2009)।

एक समान और टुकड़े-टुकड़े समान वितरण

अंतराल [ए, बी] पर समान वितरण (निरंतर) सभी निरंतर वितरणों के बीच अधिकतम एन्ट्रापी वितरण है जो अंतराल [ए, बी] में समर्थित हैं, और इस प्रकार अंतराल के बाहर संभाव्यता घनत्व 0 है। यह एकसमान घनत्व लाप्लास के उदासीनता के सिद्धांत से संबंधित हो सकता है, जिसे कभी-कभी अपर्याप्त कारण का सिद्धांत भी कहा जाता है। अधिक सामान्यतः, यदि हमें एक उपविभाजन a=a दिया गया है₀ < ए₁ < ... < ए_k = अंतराल का बी [ए,बी] और संभावनाएं पी₁,...,पी_k जिसका योग एक हो, तो हम सभी सतत वितरणों के वर्ग पर विचार कर सकते हैं

$\operatorname {Pr} (a_{j-1}\leq X<a_{j})=p_{j}\quad {\mbox{ for }}j=1,\ldots ,k$

इस वर्ग के लिए अधिकतम एन्ट्रापी वितरण का घनत्व प्रत्येक अंतराल पर स्थिर है [ए_j-1,ए_j). परिमित समुच्चय पर समान वितरण {x₁,...,एक्स_n} (जो इन मानों में से प्रत्येक के लिए 1/एन की संभावना निर्दिष्ट करता है) इस सेट पर समर्थित सभी असतत वितरणों के बीच अधिकतम एन्ट्रापी वितरण है।

सकारात्मक और निर्दिष्ट माध्य: घातीय वितरण

घातीय वितरण, जिसके लिए घनत्व फ़ंक्शन है

$p(x|\lambda )={\begin{cases}\lambda e^{-\lambda x}&x\geq 0,\\0&x<0,\end{cases}}$

[0,∞) में समर्थित सभी निरंतर वितरणों के बीच अधिकतम एन्ट्रापी वितरण है जिसका निर्दिष्ट माध्य 1/λ है।

[0,∞) पर समर्थित वितरण के मामले में, अधिकतम एन्ट्रापी वितरण पहले और दूसरे क्षण के बीच संबंधों पर निर्भर करता है। विशिष्ट मामलों में, यह घातीय वितरण हो सकता है, या कोई अन्य वितरण हो सकता है, या अपरिभाषित हो सकता है।

निर्दिष्ट माध्य और विचरण: सामान्य वितरण

सामान्य वितरण N(μ,σ²), जिसके लिए घनत्व फ़ंक्शन है

$p(x|\mu ,\sigma )={\frac {1}{\sigma {\sqrt {2\pi }}}}e^{-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}},$

निर्दिष्ट विचरण σ के साथ (−∞,∞) पर समर्थित सभी वास्तविक संख्या-मूल्यवान वितरणों के बीच अधिकतम एन्ट्रापी है² (एक विशेष क्षण (गणित))। माध्य μ और विचरण σ होने पर भी यही बात सत्य है² निर्दिष्ट है (पहले दो क्षण), क्योंकि एन्ट्रापी (−∞,∞) पर अनुवाद अपरिवर्तनीय है। इसलिए, सामान्यता की धारणा इन क्षणों से परे न्यूनतम पूर्व संरचनात्मक बाधा लगाती है। (व्युत्पत्ति के लिए सामान्य वितरण लेख में डिफरेंशियल एन्ट्रापी#मैक्सिमाइजेशन देखें।)

निर्दिष्ट माध्य के साथ असतत वितरण

सेट पर समर्थित सभी असतत वितरणों के बीच {x₁,...,एक्स_n} एक निर्दिष्ट माध्य μ के साथ, अधिकतम एन्ट्रापी वितरण का आकार निम्नलिखित है:

$\operatorname {Pr} (X=x_{k})=Cr^{x_{k}}\quad {\mbox{ for }}k=1,\ldots ,n$

जहां सकारात्मक स्थिरांक C और r को आवश्यकताओं द्वारा निर्धारित किया जा सकता है कि सभी संभावनाओं का योग 1 होना चाहिए और अपेक्षित मान μ होना चाहिए।

उदाहरण के लिए, यदि बड़ी संख्या में N पासे फेंके जाते हैं, और आपको बताया जाता है कि सभी दिखाए गए नंबरों का योग S है। अकेले इस जानकारी के आधार पर, 1, 2 दिखाने वाले पासों की संख्या के लिए एक उचित धारणा क्या होगी। ..., 6? यह ऊपर मानी गई स्थिति का एक उदाहरण है, {x के साथ₁,...,एक्स₆} = {1,...,6} और μ = एस/एन।

अंत में, अनंत सेट पर समर्थित सभी असतत वितरणों के बीच $\{x_{1},x_{2},...\}$ माध्य μ के साथ, अधिकतम एन्ट्रापी वितरण का आकार होता है:

$\operatorname {Pr} (X=x_{k})=Cr^{x_{k}}\quad {\mbox{ for }}k=1,2,\ldots ,$

जहां फिर से स्थिरांक सी और आर को आवश्यकताओं द्वारा निर्धारित किया गया था कि सभी संभावनाओं का योग 1 होना चाहिए और अपेक्षित मूल्य μ होना चाहिए। उदाहरण के लिए, उस मामले में x_k = k, यह देता है

$C={\frac {1}{\mu -1}},\quad \quad r={\frac {\mu -1}{\mu }},$

ऐसा कि संबंधित अधिकतम एन्ट्रापी वितरण ज्यामितीय वितरण है।

वृत्ताकार यादृच्छिक चर

एक सतत यादृच्छिक चर के लिए $\theta _{i}$ यूनिट सर्कल के बारे में वितरित, वॉन मिज़ वितरण एन्ट्रापी को अधिकतम करता है जब पहले दिशात्मक आंकड़ों के वास्तविक और काल्पनिक भाग निर्दिष्ट होते हैं या, समकक्ष, वृत्ताकार माध्य और वृत्ताकार विचरण निर्दिष्ट हैं।

जब कोणों का माध्य और प्रसरण $\theta _{i}$ मापांक $2\pi$ निर्दिष्ट हैं, लपेटा हुआ सामान्य वितरण एन्ट्रापी को अधिकतम करता है।

निर्दिष्ट माध्य, विचरण और तिरछा के लिए मैक्सिमाइज़र

निरंतर यादृच्छिक चर की एन्ट्रापी पर एक ऊपरी सीमा मौजूद होती है $\mathbb {R}$ एक निर्दिष्ट माध्य, विचरण और तिरछापन के साथ। हालाँकि, ऐसा कोई वितरण नहीं है जो इस ऊपरी सीमा को प्राप्त करता हो, क्योंकि $p(x)=c\exp {(\lambda _{1}x+\lambda _{2}x^{2}+\lambda _{3}x^{3})}$ जब असीमित है $\lambda _{3}\neq 0$ (देखें कवर और थॉमस (2006: अध्याय 12))। हालाँकि, एन्ट्रापी अधिकतम है ε-प्राप्त करने योग्य: वितरण की एन्ट्रापी मनमाने ढंग से ऊपरी सीमा के करीब हो सकती है। निर्दिष्ट माध्य और विचरण के सामान्य वितरण से प्रारंभ करें। एक सकारात्मक तिरछा परिचय देने के लिए, कई मान पर सामान्य वितरण को एक छोटी राशि से ऊपर की ओर परेशान करें σ माध्य से बड़ा. तिरछापन, तीसरे क्षण के समानुपाती होने के कारण, निचले क्रम के क्षणों की तुलना में अधिक प्रभावित होगा।

यह सामान्य मामले का एक विशेष मामला है जिसमें x में किसी भी विषम-क्रम बहुपद का घातांक असीमित होगा $\mathbb {R}$. उदाहरण के लिए, $ce^{\lambda x}$ इसी तरह अबाधित होगा $\mathbb {R}$, लेकिन जब समर्थन एक सीमित या अर्ध-सीमाबद्ध अंतराल तक सीमित होता है तो ऊपरी एन्ट्रापी सीमा प्राप्त की जा सकती है (उदाहरण के लिए यदि x अंतराल [0,∞] और λ< 0 में स्थित है, तो घातीय वितरण परिणाम होगा)।

निर्दिष्ट माध्य और विचलन जोखिम माप के लिए अधिकतमीकरण

लॉगरिदमिक रूप से अवतल फ़ंक्शन के साथ प्रत्येक वितरण | लॉग-अवतल घनत्व निर्दिष्ट माध्य μ और विचलन जोखिम माप डी के साथ एक अधिकतम एन्ट्रापी वितरण है। विशेष रूप से, निर्दिष्ट माध्य के साथ अधिकतम एन्ट्रापी वितरण $E(x)=\mu$ और विचलन $D(x)=d$ है:

• सामान्य वितरण $N(m,d^{2})$, अगर $D(x)={\sqrt {E[(x-\mu )^{2}]}}$ मानक विचलन है;
• लाप्लास वितरण, यदि $D(x)=E(|x-\mu |)$ औसत निरपेक्ष विचलन है;* प्रपत्र के घनत्व के साथ वितरण $f(x)=c\exp(ax+b{[x-\mu ]_{-}}^{2})$ अगर $D(x)={\sqrt {E[{(x-\mu )_{-}}^{2}]}}$ मानक निचला अर्ध-विचलन है, जहां $[x]_{-}:=\max\{0,-x\}$, और ए, बी, सी स्थिरांक हैं।

अन्य उदाहरण

नीचे दी गई तालिका में, प्रत्येक सूचीबद्ध वितरण तीसरे कॉलम में सूचीबद्ध कार्यात्मक बाधाओं के एक विशेष सेट के लिए एन्ट्रापी को अधिकतम करता है, और यह बाधा कि x को संभाव्यता घनत्व के समर्थन में शामिल किया जाता है, जो चौथे कॉलम में सूचीबद्ध है।सूचीबद्ध कई उदाहरण (बर्नौली, ज्यामितीय, घातीय, लाप्लास, पेरेटो) तुच्छ रूप से सत्य हैं क्योंकि उनकी संबद्ध बाधाएं उनकी एन्ट्रॉपी के असाइनमेंट के बराबर हैं। उन्हें वैसे भी शामिल किया गया है क्योंकि उनकी बाधा एक सामान्य या आसानी से मापी जाने वाली मात्रा से संबंधित है। संदर्भ के लिए, $\Gamma (x)=\int _{0}^{\infty }e^{-t}t^{x-1}dt$ गामा फ़ंक्शन है, $\psi (x)={\frac {d}{dx}}\ln \Gamma (x)={\frac {\Gamma '(x)}{\Gamma (x)}}$ डिगामा फ़ंक्शन है, $B(p,q)={\frac {\Gamma (p)\Gamma (q)}{\Gamma (p+q)}}$ बीटा फ़ंक्शन है, और γ_E यूलर-माशेरोनी स्थिरांक है।

Table of probability distributions and corresponding maximum entropy constraints

Distribution Name	Probability density/mass function	Maximum Entropy Constraint	Support
Uniform (discrete)	$f(k)={\frac {1}{b-a+1}}$	None	$\{a,a+1,...,b-1,b\}\,$
Uniform (continuous)	$f(x)={\frac {1}{b-a}}$	None	$[a,b]\,$
Bernoulli	$f(k)=p^{k}(1-p)^{1-k}$	$\operatorname {E} (k)=p\,$	$\{0,1\}\,$
Geometric	$f(k)=(1-p)^{k-1}\,p$	$\operatorname {E} (k)={\frac {1}{p}}\,$	$\mathbb {N} \setminus \left\{0\right\}=\{1,2,3,...\}$
Exponential	$f(x)=\lambda \exp \left(-\lambda x\right)$	$\operatorname {E} (x)={\frac {1}{\lambda }}\,$	$[0,\infty )\,$
Laplace	Failed to parse (Conversion error. Server ("cli") reported: "SyntaxError: Expected "-", "[", "\\", "\\begin", "\\begin{", "]", "^", "_", "{", "}", [ \t\n\r], [%$], [().], [,:;?!'], [/|], [0-9], [><~], [\-+*=], or [a-zA-Z] but "ब" found.in 1:64"): {\displaystyle f(x) = \frac{1}{2b} \exp\left(-\frac{|x - \mu|}{बी}\दाएं)</गणित> || गणित>\ऑपरेटरनाम{E}(|x-\mu|)=b\,}	$(-\infty ,\infty )\,$
असममित लाप्लास वितरण	$f(x)={\frac {\lambda \,e^{-(x-m)\lambda s\kappa ^{s}}}{\kappa +1/\kappa }}\,(s\!=\!\operatorname {sgn}(x\!-\!m))$	$\operatorname {E} ((x-m)s\kappa ^{s})=1/\lambda \,$	$(-\infty ,\infty )\,$
पेरेटो वितरण	$f(x)={\frac {\alpha x_{m}^{\alpha }}{x^{\alpha +1}}}$	$\operatorname {E} (\ln(x))={\frac {1}{\alpha }}+\ln(x_{m})\,$	$[x_{m},\infty )\,$
सामान्य वितरण	$f(x)={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right)$	$\operatorname {E} (x)=\mu ,\,\operatorname {E} ((x-\mu )^{2})=\sigma ^{2}$	$(-\infty ,\infty )\,$
सामान्य वितरण छोटा कर दिया गया	(लेख देखें)	$\operatorname {E} (x)=\mu _{T},\,\operatorname {E} ((x-\mu _{T})^{2})=\sigma _{T}^{2}$	$[a,b]$
वॉन मिज़ कास्ट	$f(\theta )={\frac {1}{2\pi I_{0}(\kappa )}}\exp {(\kappa \cos {(\theta -\mu )})}$	$\operatorname {E} (\cos \theta )={\frac {I_{1}(\kappa )}{I_{0}(\kappa )}}\cos \mu ,\,\operatorname {E} (\sin \theta )={\frac {I_{1}(\kappa )}{I_{0}(\kappa )}}\sin \mu$	$[0,2\pi )\,$
रेले वितरण	$f(x)={\frac {x}{\sigma ^{2}}}\exp \left(-{\frac {x^{2}}{2\sigma ^{2}}}\right)$	$\operatorname {E} (x^{2})=2\sigma ^{2},\operatorname {E} (\ln(x))={\frac {\ln(2\sigma ^{2})-\gamma _{\mathrm {E} }}{2}}\,$	$[0,\infty )\,$
बीटा वितरण	$f(x)={\frac {x^{\alpha -1}(1-x)^{\beta -1}}{B(\alpha ,\beta )}}$ के लिए $0\leq x\leq 1$	$\operatorname {E} (\ln(x))=\psi (\alpha )-\psi (\alpha +\beta )\,$ $\operatorname {E} (\ln(1-x))=\psi (\beta )-\psi (\alpha +\beta )\,$	$[0,1]\,$
कॉची वितरण	$f(x)={\frac {1}{\pi (1+x^{2})}}$	$\operatorname {E} (\ln(1+x^{2}))=2\ln 2$	$(-\infty ,\infty )\,$
ची वितरण	$f(x)={\frac {2}{2^{k/2}\Gamma (k/2)}}x^{k-1}\exp \left(-{\frac {x^{2}}{2}}\right)$	$\operatorname {E} (x^{2})=k,\,\operatorname {E} (\ln(x))={\frac {1}{2}}\left[\psi \left({\frac {k}{2}}\right)\!+\!\ln(2)\right]$	$[0,\infty )\,$
ची-वर्ग वितरण|ची-वर्ग	$f(x)={\frac {1}{2^{k/2}\Gamma (k/2)}}x^{{\frac {k}{2}}\!-\!1}\exp \left(-{\frac {x}{2}}\right)$	$\operatorname {E} (x)=k,\,\operatorname {E} (\ln(x))=\psi \left({\frac {k}{2}}\right)+\ln(2)$	$[0,\infty )\,$
एर्लांग वितरण	$f(x)={\frac {\lambda ^{k}}{(k-1)!}}x^{k-1}\exp(-\lambda x)$	$\operatorname {E} (x)=k/\lambda ,\,\operatorname {E} (\ln(x))=\psi (k)-\ln(\lambda )$	$[0,\infty )\,$
गामा वितरण	$f(x)={\frac {x^{k-1}\exp(-{\frac {x}{\theta }})}{\theta ^{k}\Gamma (k)}}$	$\operatorname {E} (x)=k\theta ,\,\operatorname {E} (\ln(x))=\psi (k)+\ln(\theta )$	$[0,\infty )\,$
लॉग-सामान्य वितरण	$f(x)={\frac {1}{\sigma x{\sqrt {2\pi }}}}\exp \left(-{\frac {(\ln x-\mu )^{2}}{2\sigma ^{2}}}\right)$	$\operatorname {E} (\ln(x))=\mu ,\operatorname {E} ((\ln(x)-\mu )^{2})=\sigma ^{2}\,$	$(0,\infty )\,$
मैक्सवेल-बोल्ट्ज़मैन	$f(x)={\frac {1}{a^{3}}}{\sqrt {\frac {2}{\pi }}}\,x^{2}\exp \left(-{\frac {x^{2}}{2a^{2}}}\right)$	$\operatorname {E} (x^{2})=3a^{2},\,\operatorname {E} (\ln(x))\!=\!1\!+\!\ln \left({\frac {a}{\sqrt {2}}}\right)\!-\!{\frac {\gamma _{\mathrm {E} }}{2}}$	$[0,\infty )\,$
वेइबुल वितरण	$f(x)={\frac {k}{\lambda ^{k}}}x^{k-1}\exp \left(-{\frac {x^{k}}{\lambda ^{k}}}\right)$	$\operatorname {E} (x^{k})=\lambda ^{k},\operatorname {E} (\ln(x))=\ln(\lambda )-{\frac {\gamma _{\mathrm {E} }}{k}}\,$	$[0,\infty )\,$
बहुभिन्नरूपी सामान्य वितरण	$f_{X}({\vec {x}})=$ ${\frac {\exp \left(-{\frac {1}{2}}({\vec {x}}-{\vec {\mu }})^{\top }\Sigma ^{-1}\cdot ({\vec {x}}-{\vec {\mu }})\right)}{(2\pi )^{N/2}\left|\Sigma \right|^{1/2}}}$	$\operatorname {E} ({\vec {x}})={\vec {\mu }},\,\operatorname {E} (({\vec {x}}-{\vec {\mu }})({\vec {x}}-{\vec {\mu }})^{T})=\Sigma \,$	$\mathbb {R} ^{n}$
द्विपद वितरण	$f(k)={n \choose k}p^{k}(1-p)^{n-k}$	$\operatorname {E} (x)=\mu ,f\in {\text{n-generalized binomial distribution}}$	$\left\{0,{\ldots },n\right\}$
पॉइसन वितरण	$f(k)={\frac {\lambda ^{k}\exp(-\lambda )}{k!}}$	$\operatorname {E} (x)=\lambda ,f\in {\infty }{\text{-generalized binomial distribution}}$	$\mathbb {N} =\left\{0,1,{\ldots }\right\}$
लॉजिस्टिक वितरण	$f(x)={\frac {e^{-x}}{(1+e^{-x})^{2}}}$	$\operatorname {E} (x)=0,\operatorname {E} (\ln(1+e^{-x}))=1$	$\left\{-\infty ,\infty \right\}$

अधिकतम एन्ट्रापी सिद्धांत का उपयोग सांख्यिकीय मिश्रण की एन्ट्रापी को ऊपरी सीमा तक सीमित करने के लिए किया जा सकता है।

यह भी देखें

• घातीय परिवार
• गिब्स माप
• विभाजन फलन (गणित)
• अधिकतम एन्ट्रापी रैंडम वॉक - एक ग्राफ के लिए एन्ट्रापी दर को अधिकतम करना

संदर्भ

• Cover, T. M.; Thomas, J. A. (2006). "Chapter 12, Maximum Entropy" (PDF). Elements of Information Theory (2 ed.). Wiley. ISBN 978-0471241959.
• F. Nielsen, R. Nock (2017), MaxEnt upper bounds for the differential entropy of univariate continuous distributions, IEEE Signal Processing Letters, 24(4), 402-406
• I. J. Taneja (2001), Generalized Information Measures and Their Applications. Chapter 1
• Nader Ebrahimi, Ehsan S. Soofi, Refik Soyer (2008), "Multivariate maximum entropy identification, transformation, and dependence", Journal of Multivariate Analysis 99: 1217–1231, doi:10.1016/j.jmva.2007.08.004