अधिकतम संभावना अनुमान

This article is about सांख्यिकीय तकनीकें. For कंप्यूटर डेटा संचयन, see आंशिक-प्रतिक्रिया अधिकतम-संभावना.

आंकड़ों में, अधिकतम संभावना अनुमान (एमएलई) अनुमान सिद्धांत की विधि है, जो कुछ देखे गए डेटा को देखते हुए अनुमानित संभाव्यता वितरण का सांख्यिकीय मापदंड है। यह गणितीय अनुकूलन द्वारा संभावना फलन द्वारा प्राप्त किया जाता है जिससे अनुमानित सांख्यिकीय मॉडल के अनुसार, प्राप्ति (संभावना) अधिक संभावित होते है । मापदंड समिष्ट में वह बिंदु अनुमान जो संभावना फलन को अधिकतम करता है, अधिकतम संभावना अनुमान कहलाता है। इस प्रकार अधिकतम संभावना का तर्क सहज और नम्य दोनों है, और इस प्रकार से यह विधि सांख्यिकीय अनुमान का प्रमुख साधन बन गई है।

यदि संभाव्यता फलन अवकलनीय फलन है, तो मैक्सिमा खोजने के लिए व्युत्पन्न परीक्षण क्रियान्वित किया जा सकता है। इस प्रकार कुछ स्तिथि में, संभावना फलन की प्रथम-क्रम स्थितियों को विश्लेषणात्मक रूप से हल किया जा सकता है; उदाहरण के लिए, रेखीय प्रतिगमन मॉडल के लिए सामान्य न्यूनतम वर्ग अनुमानक संभावना को अधिकतम करता है जब यादृच्छिक त्रुटियों को समान विचरण के साथ सामान्य वितरण वितरण माना जाता है।

अतः बायेसियन अनुमान के परिप्रेक्ष्य से, एमएलई सामान्यतः अधिकतम पोस्टीरियर अनुमान के समान है | इस प्रकार साधारण वितरण (निरंतर) पूर्व संभावना (या अनंत के मानक विचलन के साथ सामान्य वितरण पूर्व वितरण) के साथ अधिकतम पोस्टीरियर (एमएपी) अनुमान के समान है । किन्तु फ़्रीक्वेंटिस्ट अनुमान में, एमएलई चरम अनुमानक का विशेष स्तिथि है, जिसमें उद्देश्य फलन की संभावना है।

सिद्धांत

हम अज्ञात संयुक्त संभाव्यता वितरण से यादृच्छिक प्रतिरूप (सांख्यिकी) के रूप में अवलोकनों के समुच्चय को मॉडल करते हैं, इस प्रकार जिसे सांख्यिकीय मापदंडों के समुच्चय के रूप में व्यक्त किया जाता है। अधिकतम संभावना अनुमान का लक्ष्य उन मापदंडों को निर्धारित करना है जिनके लिए देखे गए डेटा में सबसे अधिक संयुक्त संभावना है। हम संयुक्त वितरण को नियंत्रित करने वाले मापदंडों को सदिश $\;\theta =\left[\theta _{1},\,\theta _{2},\,\ldots ,\,\theta _{k}\right]^{\mathsf {T}}\;$ के रूप में लिखते हैं इस प्रकार जिससे यह वितरण पैरामीट्रिक वर्ग के अंतर्गत आ जाए $\;\{f(\cdot \,;\theta )\mid \theta \in \Theta \}\;,$ जहाँ $\,\Theta \,$ मापदंड समिष्ट कहा जाता है, जो की यूक्लिडियन समिष्ट का परिमित-आयामी उपसमुच्चय है। देखे गए डेटा प्रतिरूप पर संयुक्त घनत्व का मूल्यांकन करना $\;\mathbf {y} =(y_{1},y_{2},\ldots ,y_{n})\;$ वास्तविक-मूल्यवान फलन देता है,

${\mathcal {L}}_{n}(\theta )={\mathcal {L}}_{n}(\theta ;\mathbf {y} )=f_{n}(\mathbf {y} ;\theta )\;,$

जिसे संभाव्यता फलन कहा जाता है। स्वतंत्र और समान रूप से वितरित यादृच्छिक वरिएबल के लिए, $f_{n}(\mathbf {y} ;\theta )$ अविभाज्य संभाव्यता घनत्व फलन का उत्पाद होगा:

$f_{n}(\mathbf {y} ;\theta )=\prod _{k=1}^{n}\,f_{k}^{\mathsf {univar}}(y_{k};\theta )~.$

अधिकतम संभावना अनुमान का लक्ष्य मॉडल मापदंड के मानों को दर्शाता है जो मापदंड समिष्ट पर संभावना फलन को अधिकतम करते हैं, जब:

${\hat {\theta }}={\underset {\theta \in \Theta }{\operatorname {arg\;max} }}\,{\mathcal {L}}_{n}(\theta \,;\mathbf {y} )~.$

सहज रूप से, यह उन मापदंड मानों का चयन करता है जो देखे गए डेटा को सबसे अधिक संभावित बनाते हैं। विशिष्ट मूल्य $~{\hat {\theta }}={\hat {\theta }}_{n}(\mathbf {y} )\in \Theta ~$ यह संभावना फलन को अधिकतम करता है अधिकतम संभावना $\,{\mathcal {L}}_{n}\,$अनुमान कहा जाता है. इसके अतिरिक्त , यदि फलन $\;{\hat {\theta }}_{n}:\mathbb {R} ^{n}\to \Theta \;$ इसलिए परिभाषित मापन योग्य कार्य है, तो इसे अधिकतम संभावना अनुमानक कहा जाता है। यह सामान्यतः प्रतिरूप समिष्ट पर परिभाषित फलन है, अर्थात किसी दिए गए प्रतिरूप को इसके तर्क के रूप में लेता है। इस प्रकार इसके अस्तित्व के लिए आवश्यकता और पर्याप्तता की नियम यह है कि संभावना फलन मापदंड समिष्ट $\,\Theta \,$ पर निरंतर कार्य करता है वह सघन समिष्ट है। संवृत समुच्चय $\,\Theta \,$ के लिए संभावना फलन सर्वोच्च मूल्य तक पहुंचे बिना भी बढ़ सकता है।

वास्तव में , संभावना फलन के प्राकृतिक लघुगणक के साथ कार्य करना अधिकांशतः सुविधाजनक होता है, जिसे लॉग-संभावना कहा जाता है:

$\ell (\theta \,;\mathbf {y} )=\ln {\mathcal {L}}_{n}(\theta \,;\mathbf {y} )~.$

चूंकि लघुगणक मोनोटोनिक फलन है, अधिकतम $\;\ell (\theta \,;\mathbf {y} )\;$ के समान मान $\theta$ पर होता है जैसा कि अधिकतम $\,{\mathcal {L}}_{n}~.$ होता है इस प्रकार यदि $\ell (\theta \,;\mathbf {y} )$ में $\,\Theta \,,$ में भिन्न है अधिकतम (या न्यूनतम) की घटना के लिए व्युत्पन्न परीक्षण हैं

${\frac {\partial \ell }{\partial \theta _{1}}}=0,\quad {\frac {\partial \ell }{\partial \theta _{2}}}=0,\quad \ldots ,\quad {\frac {\partial \ell }{\partial \theta _{k}}}=0~,$

संभाव्यता समीकरण के रूप में जाना जाता है। कुछ मॉडलों के लिए, इन समीकरणों $\,{\widehat {\theta \,}}\,,$ को स्पष्ट रूप से हल किया जा सकता है किन्तु सामान्यतः अधिकतमीकरण समस्या का कोई विवृत-रूप समाधान ज्ञात या उपलब्ध नहीं है, और एमएलई केवल गणितीय अनुकूलन के माध्यम से पाया जा सकता है। और समस्या यह है कि परिमित प्रतिरूपों में, संभावना समीकरणों के लिए फलन के एकाधिक शून्य उपस्तिथ हो सकते हैं। क्या पहचानी गई जड़ $\,{\widehat {\theta \,}}\,$ संभावना समीकरण वास्तव में (स्थानीय) अधिकतम है या नहीं यह इस बात पर निर्भर करता है कि दूसरे क्रम के आंशिक और क्रॉस-आंशिक डेरिवेटिव का आव्युह , तथाकथित हेस्सियन आव्युह

$\mathbf {H} \left({\widehat {\theta \,}}\right)={\begin{bmatrix}\left.{\frac {\partial ^{2}\ell }{\partial \theta _{1}^{2}}}\right|_{\theta ={\widehat {\theta \,}}}&\left.{\frac {\partial ^{2}\ell }{\partial \theta _{1}\,\partial \theta _{2}}}\right|_{\theta ={\widehat {\theta \,}}}&\dots &\left.{\frac {\partial ^{2}\ell }{\partial \theta _{1}\,\partial \theta _{k}}}\right|_{\theta ={\widehat {\theta \,}}}\\\left.{\frac {\partial ^{2}\ell }{\partial \theta _{2}\,\partial \theta _{1}}}\right|_{\theta ={\widehat {\theta \,}}}&\left.{\frac {\partial ^{2}\ell }{\partial \theta _{2}^{2}}}\right|_{\theta ={\widehat {\theta \,}}}&\dots &\left.{\frac {\partial ^{2}\ell }{\partial \theta _{2}\,\partial \theta _{k}}}\right|_{\theta ={\widehat {\theta \,}}}\\\vdots &\vdots &\ddots &\vdots \\\left.{\frac {\partial ^{2}\ell }{\partial \theta _{k}\,\partial \theta _{1}}}\right|_{\theta ={\widehat {\theta \,}}}&\left.{\frac {\partial ^{2}\ell }{\partial \theta _{k}\,\partial \theta _{2}}}\right|_{\theta ={\widehat {\theta \,}}}&\dots &\left.{\frac {\partial ^{2}\ell }{\partial \theta _{k}^{2}}}\right|_{\theta ={\widehat {\theta \,}}}\end{bmatrix}}~,$

इस प्रकार ${\widehat {\theta \,}}$ पर ऋणात्मक अर्ध-निश्चित है , क्योंकि यह स्थानीय अवतल फलन को इंगित करता है। सुविधाजनक रूप से, अधिकांश सामान्य संभाव्यता वितरण विशेष रूप से घातीय वर्ग - लघुगणकीय रूप से अवतल फलन हैं।

प्रतिबंधित मापदंड समिष्ट

Not to be confused with प्रतिबंधित अधिकतम संभावना.

जबकि संभावना फलन का डोमेन मापदंड समिष्ट सामान्यतः यूक्लिडियन समिष्ट का परिमित-आयामी उपसमुच्चय है, इस प्रकार अतिरिक्त प्रतिबंध (गणित) को कभी-कभी अनुमान प्रक्रिया में सम्मिलित करने की आवश्यकता होती है। मापदंड समिष्ट को इस प्रकार व्यक्त किया जा सकता है

$\Theta =\left\{\theta :\theta \in \mathbb {R} ^{k},\;h(\theta )=0\right\}~,$

जहाँ $\;h(\theta )=\left[h_{1}(\theta ),h_{2}(\theta ),\ldots ,h_{r}(\theta )\right]\;$ सदिश-मूल्यवान फलन मैपिंग $\,\mathbb {R} ^{k}\,$ में $\;\mathbb {R} ^{r}~.$ है सही मापदंड का अनुमान लगाना $\theta$ से संबंधित $\Theta$ तो , वास्तविक स्तिथि के रूप में, बाधा (गणित) के अधीन अधिकतम संभावना फलन $~h(\theta )=0~.$ को दर्शाता है

सैद्धांतिक रूप से, इस विवश अनुकूलन समस्या का सबसे स्वाभाविक दृष्टिकोण प्रतिस्थापन की विधि है, जो प्रतिबंधों को दर्शाता है $\;h_{1},h_{2},\ldots ,h_{r}\;$ समुच्चय के लिए $\;h_{1},h_{2},\ldots ,h_{r},h_{r+1},\ldots ,h_{k}\;$ इस तरह से कि $\;h^{\ast }=\left[h_{1},h_{2},\ldots ,h_{k}\right]\;$ से एक-से- कार्य है $\mathbb {R} ^{k}$ स्वयं के लिए, और सेटिंग द्वारा संभावना फलन को पुन: मापें $\;\phi _{i}=h_{i}(\theta _{1},\theta _{2},\ldots ,\theta _{k})~.$ अधिकतम संभावना अनुमानक की समानता के कारण, एमएलई के गुण प्रतिबंधित अनुमानों पर भी क्रियान्वित होते हैं। उदाहरण के लिए, बहुभिन्नरूपी सामान्य वितरण में सहप्रसरण आव्युह $\,\Sigma \,$ धनात्मक-निश्चित आव्युह होना चाहिए | धनात्मक-निश्चित; प्रतिस्थापित करके यह प्रतिबंध $\;\Sigma =\Gamma ^{\mathsf {T}}\Gamma \;,$ लगाया जा सकता है जहाँ $\Gamma$ वास्तविक ऊपरी त्रिकोणीय आव्युह है और $\Gamma ^{\mathsf {T}}$ इसका स्थानांतरण है.

वास्तव में , प्रतिबंध सामान्यतः लैग्रेंज की विधि का उपयोग करके लगाए जाते हैं, जो ऊपर परिभाषित बाधाओं को देखते हुए, प्रतिबंधित संभावना समीकरणों की ओर ले जाता है।

${\frac {\partial \ell }{\partial \theta }}-{\frac {\partial h(\theta )^{\mathsf {T}}}{\partial \theta }}\lambda =0$

और $h(\theta )=0\;,$ जहाँ $~\lambda =\left[\lambda _{1},\lambda _{2},\ldots ,\lambda _{r}\right]^{\mathsf {T}}~$ लैग्रेंज गुणक का कॉलम-सदिश है और $\;{\frac {\partial h(\theta )^{\mathsf {T}}}{\partial \theta }}\;$ है आंशिक व्युत्पन्नों का k × r जैकोबियन आव्युह ।स्वाभाविक रूप से, यदि बाधाएं अधिकतम पर बाध्यकारी नहीं हैं, तो लैग्रेंज गुणक शून्य होना चाहिए। यह बदले में बाधा की वैधता के सांख्यिकीय परीक्षण की अनुमति देता है, जिसे लैग्रेंज गुणक परीक्षण के रूप में जाना जाता है।

गुण

अधिकतम संभावना अनुमानक चरम अनुमानक है जो θ के फलन के रूप में, उद्देश्य फलन ${\widehat {\ell \,}}(\theta \,;x)$ को अधिकतम करके प्राप्त किया जाता है। . यदि डेटा स्वतंत्र और समान रूप से वितरित है, तो हमारे पास है

${\widehat {\ell \,}}(\theta \,;x)={\frac {1}{n}}\sum _{i=1}^{n}\ln f(x_{i}\mid \theta ),$

यह अपेक्षित लॉग-संभावना $\ell (\theta )=\operatorname {\mathbb {E} } [\,\ln f(x_{i}\mid \theta )\,]$ का प्रतिरूप एनालॉग है , जहां इस अपेक्षा को वास्तविक घनत्व के संबंध में लिया जाता है।

अधिकतम-संभावना अनुमानकों के पास परिमित प्रतिरूपों के लिए कोई इष्टतम गुण नहीं हैं, इस अर्थ में कि (जब परिमित प्रतिरूपों पर मूल्यांकन किया जाता है) अन्य अनुमानकों के पास वास्तविक मापदंड-मूल्य के आसपास अधिक एकाग्रता हो सकती है। चूंकि , अन्य अनुमान विधियों की तरह, अधिकतम संभावना अनुमान में कई आकर्षक एसिम्प्टोटिक सिद्धांत (सांख्यिकी) होते हैं: जैसे-जैसे प्रतिरूप आकार अनंत तक बढ़ता है, अधिकतम संभावना अनुमानकों के अनुक्रम में ये गुण होते हैं:

• अनुमानक की स्थिरता: एमएलई का अनुक्रम अनुमान लगाए जा रहे मूल्य की संभावना में परिवर्तित हो जाता है।
• अपरिवर्तनीय अनुमानक: यदि ${\hat {\theta }}$, $\theta$के लिए अधिकतम संभावना अनुमानक है और यदि $g(\theta )$, $\theta$ का कोई परिवर्तन है तो $\alpha =g(\theta )$ के लिए अधिकतम संभावना अनुमानक ${\hat {\alpha }}=g({\hat {\theta }})$ है। इस संपत्ति को सामान्यतः कार्यात्मक समतुल्य मानचित्र के रूप में जाना जाता है। अपरिवर्तनीय गुण मनमाना परिवर्तन $g$ के लिए मान्य है, चूंकि यदि $g$ एक-से-एक परिवर्तनों तक सीमित है तो प्रमाण सरल हो जाता है।
• कुशल अनुमानक, अर्थात जब प्रतिरूप आकार अनंत तक जाता है तो यह क्रैमर-राव निचली सीमा को प्राप्त करता है। इसका कारण यह है कि किसी भी सुसंगत अनुमानक के पास एमएलई (या इस सीमा को प्राप्त करने वाले अन्य अनुमानकों) की तुलना में कम एसिम्प्टोटिक माध्य वर्ग त्रुटि नहीं है, जिसका अर्थ यह भी है कि एमएलई में स्थानीय एसिम्प्टोटिक सामान्यता है।
• पूर्वाग्रह के सुधार के बाद दूसरे क्रम की दक्षता है ।

एकरूपता

नीचे उल्लिखित नियम के अनुसार, अधिकतम संभावना सुसंगत अनुमानक है। एकरूपता का अर्थ है कि यदि डेटा $f(\cdot \,;\theta _{0})$ द्वारा उत्पन्न किया गया था और हमारे पास पर्याप्त संख्या में अवलोकन n हैं, तो मनमानी सटीकता के साथ θ₀ का मान ज्ञात करना संभव है। गणितीय शब्दों में इसका अर्थ यह है कि जैसे ही n अनंत तक जाता है, अनुमानक ${\widehat {\theta \,}}$ संभाव्यता में अपने वास्तविक मान में परिवर्तित हो जाता है:

${\widehat {\theta \,}}_{\mathrm {mle} }\ \xrightarrow {\text{p}} \ \theta _{0}.$

थोड़ी जटिल परिस्थितियों में, अनुमानक लगभग निश्चित अभिसरण (या दृढ़ता से) अभिसरण करता है:

${\widehat {\theta \,}}_{\mathrm {mle} }\ \xrightarrow {\text{a.s.}} \ \theta _{0}.$

वास्तविक अनुप्रयोगों में, डेटा कभी भी $f(\cdot \,;\theta _{0})$ द्वारा उत्पन्न नहीं होता है . किन्तु $f(\cdot \,;\theta _{0})$, डेटा द्वारा उत्पन्न प्रक्रिया का मॉडल है, जो अधिकांशतः आदर्श रूप में होता है। आंकड़ों में यह आम कहावत है कि सभी मॉडल गलत हैं। इस प्रकार, वास्तविक अनुप्रयोगों में सच्ची स्थिरता नहीं होती है। फिर भी, स्थिरता को अधिकांशतः अनुमानकर्ता के लिए वांछनीय गुण माना जाता है।

एकरूपता स्थापित करने के लिए निम्नलिखित स्थितियाँ पर्याप्त हैं।

1. Identification of the model:

   $\theta \neq \theta _{0}\quad \Leftrightarrow \quad f(\cdot \mid \theta )\neq f(\cdot \mid \theta _{0}).$

   In other words, different parameter values θ correspond to different distributions within the model. If this condition did not hold, there would be some value θ₁ such that θ₀ and θ₁ generate an identical distribution of the observable data. Then we would not be able to distinguish between these two parameters even with an infinite amount of data—these parameters would have been observationally equivalent.
   

   The identification condition is absolutely necessary for the ML estimator to be consistent. When this condition holds, the limiting likelihood function ℓ(θ|·) has unique global maximum at θ₀.
2. Compactness: the parameter space Θ of the model is compact.
   

   The identification condition establishes that the log-likelihood has a unique global maximum. Compactness implies that the likelihood cannot approach the maximum value arbitrarily close at some other point (as demonstrated for example in the picture on the right).

   Compactness is only a sufficient condition and not a necessary condition. Compactness can be replaced by some other conditions, such as:

   • both concavity of the log-likelihood function and compactness of some (nonempty) upper level sets of the log-likelihood function, or
   • existence of a compact neighborhood N of θ₀ such that outside of N the log-likelihood function is less than the maximum by at least some ε > 0.
3. Continuity: the function ln f(x | θ) is continuous in θ for almost all values of x:

   $\operatorname {\mathbb {P} } {\Bigl [}\;\ln f(x\mid \theta )\;\in \;C^{0}(\Theta )\;{\Bigr ]}=1.$

   The continuity here can be replaced with a slightly weaker condition of upper semi-continuity.
4. Dominance: there exists D(x) integrable with respect to the distribution f(x | θ₀) such that

   ${\Bigl |}\ln f(x\mid \theta ){\Bigr |}<D(x)\quad {\text{ for all }}\theta \in \Theta .$

   By the uniform law of large numbers, the dominance condition together with continuity establish the uniform convergence in probability of the log-likelihood:

   $\sup _{\theta \in \Theta }\left|{\widehat {\ell \,}}(\theta \mid x)-\ell (\theta )\,\right|\ \xrightarrow {\text{p}} \ 0.$

प्रभुत्व की स्थिति को आई.आई.डी. के स्तिथि में नियोजित किया जा सकता है। इस प्रकार अवलोकन. गैर-आई.आई.डी. में स्थिति में, संभाव्यता में एकसमान अभिसरण को यह दिखाकर जांचा जा सकता है कि अनुक्रम ${\widehat {\ell \,}}(\theta \mid x)$ स्टोकेस्टिक रूप से समविरंतर है। यदि कोई यह प्रदर्शित करना चाहता है कि एमएल अनुमानक ${\widehat {\theta \,}}$लगभग निश्चित रूप से ${\widehat {\theta \,}}$ θ पर आ जाता है, इस प्रकार समान अभिसरण की एक जटिल स्थिति लगभग निश्चित रूप से क्रियान्वित करनी होगी:

$\sup _{\theta \in \Theta }\left\|\;{\widehat {\ell \,}}(\theta \mid x)-\ell (\theta )\;\right\|\ \xrightarrow {\text{a.s.}} \ 0.$

इसके अतिरिक्त, यदि (जैसा कि ऊपर माना गया है) डेटा $f(\cdot \,;\theta _{0})$ द्वारा उत्पन्न किया गया था , फिर कुछ नियम के अनुसार, यह भी दिखाया जा सकता है कि अधिकतम संभावना अनुमानक सामान्य वितरण में वितरण में अभिसरण करता है। विशेष रूप से है ,

${\sqrt {n}}\left({\widehat {\theta \,}}_{\mathrm {mle} }-\theta _{0}\right)\ \xrightarrow {d} \ {\mathcal {N}}\left(0,\,I^{-1}\right)$

जहाँ I फिशर सूचना है.

कार्यात्मक अपरिवर्तन

अधिकतम संभावना अनुमानक मापदंड मान का चयन करता है जो देखे गए डेटा को अधिक उच्च संभावित संभावना (या निरंतर स्तिथि में संभाव्यता घनत्व) देता है। इस प्रकार यदि मापदंड में कई घटक सम्मिलित हैं, तो हम उनके अलग-अलग अधिकतम संभावना अनुमानकों को पूर्ण मापदंड के एमएलई के संबंधित घटक के रूप में परिभाषित करते हैं। इसके अनुरूप, यदि $\theta$, ${\widehat {\theta \,}}$ के लिए एमएलई है और यदि $g(\theta )$, 0 का कोई परिवर्तन है तो $\alpha =g(\theta )$ के लिए एमएलई परिभाषा के अनुसार है

${\widehat {\alpha }}=g(\,{\widehat {\theta \,}}\,).\,$

यह तथाकथित संभावना फलन या प्रोफ़ाइल संभावना को अधिकतम करता है:

${\bar {L}}(\alpha )=\sup _{\theta :\alpha =g(\theta )}L(\theta ).\,$

डेटा के कुछ परिवर्तनों के संबंध में एमएलई भी समतुल्य है। यदि $y=g(x)$ जहाँ $g$ से है और अनुमान लगाए जाने वाले मापदंडों पर निर्भर नहीं है, तो घनत्व फलन संतुष्ट होते हैं

$f_{Y}(y)={\frac {f_{X}(x)}{|g'(x)|}}$

और इसलिए $X$ और $Y$ के लिए संभाव्यता फलन केवल एक कारक से भिन्न होते हैं जो मॉडल मापदंडों पर निर्भर नहीं करता है।

उदाहरण के लिए, लॉग-सामान्य वितरण के एमएलई मापदंड डेटा के लघुगणक में फिट किए गए सामान्य वितरण के समान हैं।

दक्षता

जैसा कि ऊपर माना गया है, यदि डेटा उत्पन्न किया गया था $~f(\cdot \,;\theta _{0})~,$ फिर कुछ नियम के अनुसार, यह भी दिखाया जा सकता है कि अधिकतम संभावना अनुमानक सामान्य वितरण में वितरण में अभिसरण करता है। यह है √n -सुसंगत और स्पर्शोन्मुख रूप से कुशल, जिसका अर्थ है कि यह क्रैमर-राव सीमा तक पहुंचता है। विशेष रूप से,

${\sqrt {n\,}}\,\left({\widehat {\theta \,}}_{\text{mle}}-\theta _{0}\right)\ \ \xrightarrow {d} \ \ {\mathcal {N}}\left(0,\ {\mathcal {I}}^{-1}\right)~,$

जहाँ $~{\mathcal {I}}~$ फिशर सूचना आव्युह है:

${\mathcal {I}}_{jk}=\operatorname {\mathbb {E} } \,{\biggl [}\;-{\frac {\partial ^{2}\ln f_{\theta _{0}}(X_{t})}{\partial \theta _{j}\,\partial \theta _{k}}}\;{\biggr ]}~.$

विशेष रूप से, इसका कारण है कि अधिकतम संभावना अनुमानक का पूर्वाग्रह क्रम तक शून्य के समान 1/√n  है .

पूर्वाग्रह के लिए सुधार के बाद दूसरे क्रम की दक्षता

चूंकि , जब हम इस अनुमानक के वितरण के एजवर्थ विस्तार में उच्च-क्रम की नियम पर विचार करते हैं, तो यह पता चलता है कि θ_mle आदेश का पूर्वाग्रह 1⁄n है . यह पूर्वाग्रह (घटकवार) के समान है

$b_{h}\;\equiv \;\operatorname {\mathbb {E} } {\biggl [}\;\left({\widehat {\theta }}_{\mathrm {mle} }-\theta _{0}\right)_{h}\;{\biggr ]}\;=\;{\frac {1}{\,n\,}}\,\sum _{i,j,k=1}^{m}\;{\mathcal {I}}^{hi}\;{\mathcal {I}}^{jk}\left({\frac {1}{\,2\,}}\,K_{ijk}\;+\;J_{j,ik}\right)$

जहाँ ${\mathcal {I}}^{jk}$ (सुपरस्क्रिप्ट के साथ) व्युत्क्रम फिशर सूचना आव्युह के (जे,के)-वें घटक ${\mathcal {I}}^{-1}$ को दर्शाता है , और

${\frac {1}{\,2\,}}\,K_{ijk}\;+\;J_{j,ik}\;=\;\operatorname {\mathbb {E} } \,{\biggl [}\;{\frac {1}{2}}{\frac {\partial ^{3}\ln f_{\theta _{0}}(X_{t})}{\partial \theta _{i}\;\partial \theta _{j}\;\partial \theta _{k}}}+{\frac {\;\partial \ln f_{\theta _{0}}(X_{t})\;}{\partial \theta _{j}}}\,{\frac {\;\partial ^{2}\ln f_{\theta _{0}}(X_{t})\;}{\partial \theta _{i}\,\partial \theta _{k}}}\;{\biggr ]}~.$

इन सूत्रों का उपयोग करके अधिकतम संभावना अनुमानक के दूसरे क्रम के पूर्वाग्रह का अनुमान लगाना संभव है, और इसे घटाकर उस पूर्वाग्रह को सही करना संभव है:

${\widehat {\theta \,}}_{\text{mle}}^{*}={\widehat {\theta \,}}_{\text{mle}}-{\widehat {b\,}}~.$

यह अनुमानक आदेश की नियम के प्रति निष्पक्ष है 1/ n , और इसे पूर्वाग्रह-संशोधित अधिकतम संभावना अनुमानक कहा जाता है।

यह पूर्वाग्रह-सुधारित अनुमानक है दूसरे क्रम का कुशल (कम से कम घुमावदार घातीय वर्ग के अन्दर), जिसका अर्थ है कि ऑर्डर की नियम तक, सभी दूसरे क्रम के पूर्वाग्रह-सुधारित अनुमानकों के बीच इसमें न्यूनतम माध्य वर्ग त्रुटि 1/ n²  है . इस प्रक्रिया को जारी रखना संभव है, अर्थात तीसरे क्रम के पूर्वाग्रह-सुधार शब्द को प्राप्त करना, इत्यादि। चूंकि , अधिकतम संभावना अनुमानक तीसरे क्रम का कुशल नहीं है।

बायेसियन अनुमान से संबंध

अधिकतम संभावना अनुमानक अधिकतम पोस्टीरियर बायेसियन अनुमानक के साथ मेल खाता है, इस प्रकार जिसे मापदंड समिष्ट पर समान वितरण (निरंतर) पूर्व संभावना दी गई है। वास्तव में, अधिकतम पश्चवर्ती अनुमान मापदंड θ है जो की संभावना को अधिकतम करता है इस प्रकार θ बेयस प्रमेय द्वारा दिया गया डेटा दिया गया है:

$\operatorname {\mathbb {P} } (\theta \mid x_{1},x_{2},\ldots ,x_{n})={\frac {f(x_{1},x_{2},\ldots ,x_{n}\mid \theta )\operatorname {\mathbb {P} } (\theta )}{\operatorname {\mathbb {P} } (x_{1},x_{2},\ldots ,x_{n})}}$

जहाँ $\operatorname {\mathbb {P} } (\theta )$ मापदंड के लिए पूर्व वितरण है θ और जहाँ $\operatorname {\mathbb {P} } (x_{1},x_{2},\ldots ,x_{n})$ सभी मापदंडों पर औसत डेटा की संभावना है। चूँकि प्रत्येक स्वतंत्र है θ, बायेसियन अनुमानक $f(x_{1},x_{2},\ldots ,x_{n}\mid \theta )\operatorname {\mathbb {P} } (\theta )$ अधिकतम करके प्राप्त किया जाता है इसके संबंध में θ. यदि हम आगे यह मान लें कि पूर्व $\operatorname {\mathbb {P} } (\theta )$ समान वितरण है, बायेसियन अनुमानक संभावना फलन को अधिकतम $f(x_{1},x_{2},\ldots ,x_{n}\mid \theta )$ करके प्राप्त किया जाता है . इस प्रकार बायेसियन अनुमानक समान पूर्व वितरण के लिए अधिकतम संभावना अनुमानक $\operatorname {\mathbb {P} } (\theta )$ के साथ मेल खाता है .

बेयस निर्णय सिद्धांत में अधिकतम-संभावना अनुमान का अनुप्रयोग

यंत्र अधिगम में कई वास्तविक अनुप्रयोगों में, अधिकतम संभावना अनुमान का उपयोग मापदंड अनुमान के मॉडल के रूप में किया जाता है।

बायेसियन निर्णय सिद्धांत क्लासिफायरियर को डिजाइन करने के बारे में है जो कुल अपेक्षित कठिन परिस्थिति को कम करता है, इस प्रकार जब विभिन्न निर्णयों से जुड़ी निवेश (हानि फलन ) समान होती है, तो क्लासिफायरियर पूरे वितरण पर त्रुटि को कम कर रहा है। इस प्रकार, बेयस निर्णय नियम के रूप में कहा गया है

माना $\;w_{1}\;$ यदि $~\operatorname {\mathbb {P} } (w_{1}|x)\;>\;\operatorname {\mathbb {P} } (w_{2}|x)~;~$$\;w_{2}\;$ अन्यथा निर्णय करें जहाँ $\;w_{1}\,,w_{2}\;$ विभिन्न वर्गों की पूर्वानुमान हैं। इस प्रकार त्रुटि को न्यूनतम करने के दृष्टिकोण से इसे इस प्रकार भी कहा जा सकता है

$w={\underset {w}{\operatorname {arg\;max} }}\;\int _{-\infty }^{\infty }\operatorname {\mathbb {P} } ({\text{ error}}\mid x)\operatorname {\mathbb {P} } (x)\,\operatorname {d} x~$

जहाँ

$\operatorname {\mathbb {P} } ({\text{ error}}\mid x)=\operatorname {\mathbb {P} } (w_{1}\mid x)~$

यदि हम निर्णय $\;w_{2}\;$ और $\;\operatorname {\mathbb {P} } ({\text{ error}}\mid x)=\operatorname {\mathbb {P} } (w_{2}\mid x)\;$ लेते हैं यदि हम $\;w_{1}\;.$ निर्णय लेते हैं बेयस प्रमेय को क्रियान्वित करके

$\operatorname {\mathbb {P} } (w_{i}\mid x)={\frac {\operatorname {\mathbb {P} } (x\mid w_{i})\operatorname {\mathbb {P} } (w_{i})}{\operatorname {\mathbb {P} } (x)}}$,

और यदि हम आगे शून्य-या- हानि फलन मानते हैं, जो सभी त्रुटियों के लिए ही हानि है, तो बेयस निर्णय नियम को इस प्रकार पुन: तैयार किया जा सकता है:

$h_{\text{Bayes}}={\underset {w}{\operatorname {arg\;max} }}\,{\bigl [}\,\operatorname {\mathbb {P} } (x\mid w)\,\operatorname {\mathbb {P} } (w)\,{\bigr ]}\;,$

जहाँ $h_{\text{Bayes}}$ पूर्वानुमान है और $\;\operatorname {\mathbb {P} } (w)\;$ पूर्व संभावना है.

कुल्बैक-लीबलर विचलन और क्रॉस एन्ट्रॉपी को न्यूनतम करने से संबंध

जो संभावना ${\hat {\theta }}$ को अधिकतम करता है वह असम्बद्ध रूप से खोजने ${\hat {\theta }}$ के समान है यह संभाव्यता वितरण ($Q_{\hat {\theta }}$) को परिभाषित करता है इस प्रकार जिसकी कुलबैक-लीबलर विचलन के संदर्भ में, वास्तविक संभाव्यता वितरण से न्यूनतम दूरी है, जिससे हमारा डेटा उत्पन्न हुआ था (अर्थात ,$P_{\theta _{0}}$ द्वारा उत्पन्न) आदर्श दुनिया में, p और क्यू ही हैं (और केवल चीज अज्ञात है $\theta$ जो p को परिभाषित करता है), किन्तु तथापि वे नहीं हैं और जिस मॉडल का हम उपयोग करते हैं वह गलत निर्दिष्ट है, फिर भी एमएलई हमें निकटतम वितरण देगा (मॉडल क्यू के प्रतिबंध के अन्दर जो निर्भर करता है) ${\hat {\theta }}$) वास्तविक वितरण $P_{\theta _{0}}$ के लिए है .

Proof.

For simplicity of notation, let's assume that P=Q. Let there be n i.i.d data samples $\mathbf {y} =(y_{1},y_{2},\ldots ,y_{n})$ from some probability $y\sim P_{\theta _{0}}$, that we try to estimate by finding ${\hat {\theta }}$ that will maximize the likelihood using $P_{\theta }$, then:

Where $h_{\theta }(x)=\log {\frac {P(x\mid \theta _{0})}{P(x\mid \theta )}}$. Using h helps see how we are using the law of large numbers to move from the average of h(x) to the expectancy of it using the law of the unconscious statistician. The first several transitions have to do with laws of logarithm and that finding ${\hat {\theta }}$ that maximizes some function will also be the one that maximizes some monotonic transformation of that function (i.e.: adding/multiplying by a constant).

चूंकि कुल्बैक-लीबलर विचलन क्रॉस एन्ट्रॉपी केवल एन्ट्रॉपी (सूचना सिद्धांत) है शैनन की एन्ट्रॉपी प्लस केएल विचलन, और एन्ट्रॉपी के बाद से $P_{\theta _{0}}$ स्थिर है, तो एमएलई भी असम्बद्ध रूप से क्रॉस एन्ट्रापी को कम कर रहा है।

उदाहरण

असतत समान वितरण

Main article: जर्मन टैंक समस्या

ऐसे स्तिथि पर विचार करें जहां 1 से n तक क्रमांकित n टिकट बॉक्स में रखे गए हैं और जिसको यादृच्छिक रूप से चुना गया है (समान वितरण (अलग) देखें); इस प्रकार, प्रतिरूप आकार 1 है। यदि n अज्ञात है, तो अधिकतम संभावना अनुमानक ${\widehat {n}}$ है निकाले गए टिकट पर n का अंक m है। इस प्रकार (n<m के लिए संभावना 0 है, 1⁄n n ≥ m के लिए, और यह सबसे बड़ा है जब n = m। ध्यान दें कि n की अधिकतम संभावना का अनुमान संभावित मानों की सीमा के मध्य में कहीं होने के अतिरिक्त संभावित मानों {m,m +1,...} के निचले छोर पर होता है, जिसके परिणामस्वरूप कम पूर्वाग्रह होगा।) निकाले गए टिकट पर संख्या एम का अपेक्षित मूल्य, और इसलिए अपेक्षित मूल्य ${\widehat {n}}$, (n+1)/2 है। परिणामस्वरूप, 1 के प्रतिरूप आकार के साथ, n के लिए अधिकतम संभावना अनुमानक व्यवस्थित रूप से n को (n − 1)/2 से कम प्राप्त होता है।

असतत वितरण, परिमित मापदंड समिष्ट

मान लीजिए कि कोई यह निर्धारित करना चाहता है कि अन्यायपूर्ण सिक्का कितना पक्षपातपूर्ण है। हेड' p उछालने की प्रायिकता को कॉल करें। फिर लक्ष्य p निर्धारित करना बन जाता है।

मान लीजिए कि सिक्के को 80 बार उछाला गया है: अर्थात प्रतिरूप x₁= H, x₂= T, ..., x₈₀= T जैसा कुछ हो सकता है, और विपरीत और विपरीत H की संख्या की गिनती देखी जाती है।

हेड उछालने की प्रायिकता 1 − p है (इसलिए यहाँ p θ ऊपर है)। मान लीजिए कि परिणाम 49 चित और 31 ‍सामने और ‍हेड है, और मान लीजिए कि सिक्का बॉक्स से लिया गया है जिसमें तीन सिक्के हैं: जो प्रायिकता p =1⁄3 के साथ चित देता है , वह जो प्रायिकता p=1⁄2 के साथ शीर्ष देता है और दूसरा जो प्रायिकता p=2⁄3 के साथ शीर्ष देता है. इस प्रकार सिक्कों ने अपना लेबल खो दिया है, इसलिए यह अज्ञात है कि यह कौन सा था। अधिकतम संभावना अनुमान का उपयोग करके, देखे गए डेटा को देखते हुए, जिस सिक्के की संभावना सबसे अधिक है, उसे पाया जा सकता है। 80 के समान प्रतिरूप आकार के साथ द्विपद वितरण के संभाव्यता द्रव्यमान फलन का उपयोग करके, संख्या सफलताएं 49 के समान होती हैं किन्तु p (सफलता की संभावना) के विभिन्न मूल्यों के लिए, संभावना फलन (नीचे परिभाषित) तीन मानों में से लेता है:

${\begin{aligned}\operatorname {\mathbb {P} } {\bigl [}\;\mathrm {H} =49\mid p={\tfrac {1}{3}}\;{\bigr ]}&={\binom {80}{49}}({\tfrac {1}{3}})^{49}(1-{\tfrac {1}{3}})^{31}\approx 0.000,\\[6pt]\operatorname {\mathbb {P} } {\bigl [}\;\mathrm {H} =49\mid p={\tfrac {1}{2}}\;{\bigr ]}&={\binom {80}{49}}({\tfrac {1}{2}})^{49}(1-{\tfrac {1}{2}})^{31}\approx 0.012,\\[6pt]\operatorname {\mathbb {P} } {\bigl [}\;\mathrm {H} =49\mid p={\tfrac {2}{3}}\;{\bigr ]}&={\binom {80}{49}}({\tfrac {2}{3}})^{49}(1-{\tfrac {2}{3}})^{31}\approx 0.054~.\end{aligned}}$

संभावना तब अधिकतम होती है जब p = 2⁄3, और इसलिए यह इसके p लिए अधिकतम संभावना अनुमान है.

असतत वितरण, सतत मापदंड समिष्ट

अब मान लीजिए कि सिक्का ही था किन्तु है p कोई भी मूल्य हो सकता था 0 ≤ p ≤ 1 . संभावना फलन को अधिकतम किया जाना है

$L(p)=f_{D}(\mathrm {H} =49\mid p)={\binom {80}{49}}p^{49}(1-p)^{31}~,$

और अधिकतमीकरण सभी संभावित मूल्यों 0 ≤ p ≤ 1 . से अधिक है

द्विपद प्रक्रिया के आनुपातिक मान के लिए संभावना फलन (n = 10)

इस फलन को अधिकतम करने का विधि इसके संबंध p और शून्य पर सेटिंग में व्युत्पन्न है:

${\begin{aligned}0&={\frac {\partial }{\partial p}}\left({\binom {80}{49}}p^{49}(1-p)^{31}\right)~,\\[8pt]0&=49p^{48}(1-p)^{31}-31p^{49}(1-p)^{30}\\[8pt]&=p^{48}(1-p)^{30}\left[49(1-p)-31p\right]\\[8pt]&=p^{48}(1-p)^{30}\left[49-80p\right]~.\end{aligned}}$

यह तीन पदों का गुणनफल है। पहला पद 0 है जब p = 0. दूसरा 0 है जब p=1. तीसरा शून्य है जब p = 49⁄80. संभावना को अधिकतम करने वाला समाधान स्पष्ट रूप से है p = 49⁄80 (तब से p=0 और p = 0 की संभावना में 1 परिणाम)। इस प्रकार के लिए अधिकतम संभावना अनुमानक p =49⁄80 है .

जैसे किसी अक्षर को प्रतिस्थापित करके इस परिणाम को सरलता से सामान्यीकृत किया जा सकता है इस प्रकार s 49 के समिष्ट पर हमारे बर्नौली परीक्षण की 'सफलताओं' की देखी गई संख्या का प्रतिनिधित्व करने के लिए, और पत्र जैसे n बर्नौली परीक्षणों की संख्या को दर्शाने के लिए 80 के समिष्ट पर बिल्कुल वैसी ही गणना s⁄n से परिणाम मिलता है जो किसी भी अनुक्रम n बर्नौली परीक्षणों के परिणामस्वरूप s 'सफलताएँ के लिए अधिकतम संभावना अनुमानक है'।

सतत वितरण, सतत मापदंड समिष्ट

सामान्य वितरण के लिए ${\mathcal {N}}(\mu ,\sigma ^{2})$ जिसमें संभाव्यता घनत्व फलन है

$f(x\mid \mu ,\sigma ^{2})={\frac {1}{{\sqrt {2\pi \sigma ^{2}}}\ }}\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right),$

प्रतिरूप के लिए संगत संभाव्यता घनत्व फलन n स्वतंत्र रूप से समान रूप से वितरित सामान्य यादृच्छिक वरिएबल (संभावना) है

$f(x_{1},\ldots ,x_{n}\mid \mu ,\sigma ^{2})=\prod _{i=1}^{n}f(x_{i}\mid \mu ,\sigma ^{2})=\left({\frac {1}{2\pi \sigma ^{2}}}\right)^{n/2}\exp \left(-{\frac {\sum _{i=1}^{n}(x_{i}-\mu )^{2}}{2\sigma ^{2}}}\right).$

वितरण के इस वर्ग के दो मापदंड θ = (μ, σ) हैं: ; इसलिए हम संभावना ${\mathcal {L}}(\mu ,\sigma ^{2})=f(x_{1},\ldots ,x_{n}\mid \mu ,\sigma ^{2})$ को अधिकतम करते हैं, दोनों मापदंडों पर साथ, या यदि संभव हो तो, व्यक्तिगत रूप से प्रयोग किया जाता है।

चूँकि प्राकृतिक लघुगणक फलन स्वयं सतत कार्य है जो संभावना की सीमा (सांख्यिकी) पर सख्ती से बढ़ने वाला कार्य है, इस प्रकार जो मान संभावना को अधिकतम करते हैं, वे इसके लघुगणक को भी अधिकतम करेंगे (लॉग-संभावना स्वयं सख्ती से बढ़ नहीं रही है)। लॉग-संभावना को इस प्रकार लिखा जा सकता है:

$\log {\Bigl (}{\mathcal {L}}(\mu ,\sigma ^{2}){\Bigr )}=-{\frac {\,n\,}{2}}\log(2\pi \sigma ^{2})-{\frac {1}{2\sigma ^{2}}}\sum _{i=1}^{n}(\,x_{i}-\mu \,)^{2}$

(नोट: लॉग-संभावना सूचना एन्ट्रापी और फिशर सूचना से निकटता से संबंधित है।)

अब हम इस लॉग-संभावना के डेरिवेटिव की गणना निम्नानुसार करते हैं।

${\begin{aligned}0&={\frac {\partial }{\partial \mu }}\log {\Bigl (}{\mathcal {L}}(\mu ,\sigma ^{2}){\Bigr )}=0-{\frac {\;-2n({\bar {x}}-\mu )\;}{2\sigma ^{2}}}.\end{aligned}}$

जहाँ ${\bar {x}}$ प्रतिरूप माध्य है. इसका समाधान इसके द्वारा किया जाता है

${\widehat {\mu }}={\bar {x}}=\sum _{i=1}^{n}{\frac {\,x_{i}\,}{n}}.$

यह वास्तव में कार्य की अधिकतम सीमा है, क्योंकि यह इसमें एकमात्र महत्वपूर्ण मोड़ μ है और दूसरा व्युत्पन्न बिल्कुल शून्य से कम है। इसका अपेक्षित मान मापदंड μ के समान है दिए गए वितरण का उपयोग करते है,

$\operatorname {\mathbb {E} } {\bigl [}\;{\widehat {\mu }}\;{\bigr ]}=\mu ,\,$

जिसका अर्थ है कि अधिकतम संभावना अनुमानक ${\widehat {\mu }}$ निष्पक्ष है.

इसी प्रकार हम लॉग-संभावना के संबंध σ और शून्य के समान में अंतर करते हैं :

${\begin{aligned}0&={\frac {\partial }{\partial \sigma }}\log {\Bigl (}{\mathcal {L}}(\mu ,\sigma ^{2}){\Bigr )}=-{\frac {\,n\,}{\sigma }}+{\frac {1}{\sigma ^{3}}}\sum _{i=1}^{n}(\,x_{i}-\mu \,)^{2}.\end{aligned}}$

जिसका समाधान किया गया है

${\widehat {\sigma }}^{2}={\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-\mu )^{2}.$

अनुमान $\mu ={\widehat {\mu }}$ सम्मिलित करते है हमने प्राप्त

${\widehat {\sigma }}^{2}={\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}^{2}-{\frac {1}{n^{2}}}\sum _{i=1}^{n}\sum _{j=1}^{n}x_{i}x_{j}.$

इसके अपेक्षित मूल्य की गणना करने के लिए, शून्य-माध्य यादृच्छिक वरिएबल (सांख्यिकीय त्रुटि) के संदर्भ में अभिव्यक्ति को फिर $\delta _{i}\equiv \mu -x_{i}$ से लिखना सुविधाजनक है . इन वेरिएबल्स में अनुमान व्यक्त करने से प्राप्ति होती है

${\widehat {\sigma }}^{2}={\frac {1}{n}}\sum _{i=1}^{n}(\mu -\delta _{i})^{2}-{\frac {1}{n^{2}}}\sum _{i=1}^{n}\sum _{j=1}^{n}(\mu -\delta _{i})(\mu -\delta _{j}).$

उपरोक्त अभिव्यक्ति को सरल बनाते हुए, तथ्यों $\operatorname {\mathbb {E} } {\bigl [}\;\delta _{i}\;{\bigr ]}=0$ और $\operatorname {E} {\bigl [}\;\delta _{i}^{2}\;{\bigr ]}=\sigma ^{2}$ का उपयोग करते हुए , हमें प्राप्त करने की अनुमति देता है

$\operatorname {\mathbb {E} } {\bigl [}\;{\widehat {\sigma }}^{2}\;{\bigr ]}={\frac {\,n-1\,}{n}}\sigma ^{2}.$

इसका कारण यह है कि अनुमानक ${\widehat {\sigma }}^{2}$ के लिए पक्षपाती $\sigma ^{2}$ है . वो भी दिखाया जा सकता है इस प्रकार ${\widehat {\sigma }}$ के लिए पक्षपाती $\sigma$ है , किन्तु वह दोनों ${\widehat {\sigma }}^{2}$ और ${\widehat {\sigma }}$ सुसंगत है।

औपचारिक रूप से हम कहते हैं कि अधिकतम संभावना अनुमानक $\theta =(\mu ,\sigma ^{2})$ है

${\widehat {\theta \,}}=\left({\widehat {\mu }},{\widehat {\sigma }}^{2}\right).$

इस स्तिथि में एमएलई को व्यक्तिगत रूप से प्राप्त किया जा सकता है। सामान्यतः यह स्तिथि नहीं हो सकता है, और एमएलई को साथ प्राप्त करता है।

सामान्य लॉग-संभावना अपने अधिकतम स्तर पर विशेष रूप से सरल रूप लेती है:

$\log {\Bigl (}{\mathcal {L}}({\widehat {\mu }},{\widehat {\sigma }}){\Bigr )}={\frac {\,-n\;\;}{2}}{\bigl (}\,\log(2\pi {\widehat {\sigma }}^{2})+1\,{\bigr )}$

यह अधिकतम लॉग-संभावना अधिक सामान्य न्यूनतम वर्गों के लिए समान दिखाई जा सकती है, यहां तक ​​कि गैर-रेखीय न्यूनतम वर्गों के लिए भी इसका उपयोग अधिकांशतः संभावना-आधारित अनुमानित आत्मबल अंतराल और आत्मबल क्षेत्र को निर्धारित करने में किया जाता है, जो सामान्यतः ऊपर चर्चा की गई स्पर्शोन्मुख सामान्यता का उपयोग करने वालों की तुलना में अधिक स्पष्ट होते हैं।

गैर-स्वतंत्र वरिएबल

ऐसा हो सकता है कि वरिएबल सहसंबंधित हों, अर्थात स्वतंत्र न हों। दो यादृच्छिक वरिएबल $y_{1}$ और $y_{2}$ केवल तभी स्वतंत्र होते हैं जब उनका संयुक्त संभाव्यता घनत्व फलन व्यक्तिगत संभाव्यता घनत्व कार्यों का उत्पाद होता है, अर्थात ।

$f(y_{1},y_{2})=f(y_{1})f(y_{2})\,$

मान लीजिए कि कोई यादृच्छिक वरिएबल से ऑर्डर-एन गॉसियन सदिश $(y_{1},\ldots ,y_{n})$ बनाता है , जहां प्रत्येक वरिएबल $(\mu _{1},\ldots ,\mu _{n})$ के साधन दिए गए हैं . इसके अतिरिक्त , मान लीजिए कि सहप्रसरण आव्युह को इसके ${\mathit {\Sigma }}$ द्वारा निरूपित किया जाता है . इन n यादृच्छिक चरों का संयुक्त संभाव्यता घनत्व फलन तब दिए गए बहुभिन्नरूपी सामान्य वितरण का अनुसरण करता है:

$f(y_{1},\ldots ,y_{n})={\frac {1}{(2\pi )^{n/2}{\sqrt {\det({\mathit {\Sigma }})}}}}\exp \left(-{\frac {1}{2}}\left[y_{1}-\mu _{1},\ldots ,y_{n}-\mu _{n}\right]{\mathit {\Sigma }}^{-1}\left[y_{1}-\mu _{1},\ldots ,y_{n}-\mu _{n}\right]^{\mathrm {T} }\right)$

द्विचर विश्लेषण स्तिथि में, संयुक्त संभाव्यता घनत्व फलन इस प्रकार दिया गया है:

$f(y_{1},y_{2})={\frac {1}{2\pi \sigma _{1}\sigma _{2}{\sqrt {1-\rho ^{2}}}}}\exp \left[-{\frac {1}{2(1-\rho ^{2})}}\left({\frac {(y_{1}-\mu _{1})^{2}}{\sigma _{1}^{2}}}-{\frac {2\rho (y_{1}-\mu _{1})(y_{2}-\mu _{2})}{\sigma _{1}\sigma _{2}}}+{\frac {(y_{2}-\mu _{2})^{2}}{\sigma _{2}^{2}}}\right)\right]$

इस और अन्य स्तिथि में जहां संयुक्त घनत्व फलन उपस्तिथ है, संभावना फलन को इस घनत्व का उपयोग करते हुए अधिकतम संभावना सिद्धांत अनुभाग में उपरोक्त के रूप में परिभाषित किया गया है।

उदाहरण

इस प्रकार $X_{1},\ X_{2},\ldots ,\ X_{m}$ सेलों/बक्सों में गिनती 1 से मी तक होती है; प्रत्येक बॉक्स की अलग संभावना होती है (बक्से के बड़े या छोटे होने के बारे में सोचें) और हम गिरने वाली गेंदों की संख्या $n$ तय करते हैं :. प्रत्येक डिब्बे $x_{1}+x_{2}+\cdots +x_{m}=n$ की प्रायिकता $p_{i}$ है , बाधा के साथ: $p_{1}+p_{2}+\cdots +p_{m}=1$. यह ऐसा स्तिथि है जिसमें $X_{i}$ s स्वतंत्र नहीं हैं, सदिश की संयुक्त संभावना $x_{1},\ x_{2},\ldots ,x_{m}$ बहुपद कहा जाता है और इसका रूप है:

$f(x_{1},x_{2},\ldots ,x_{m}\mid p_{1},p_{2},\ldots ,p_{m})={\frac {n!}{\prod x_{i}!}}\prod p_{i}^{x_{i}}={\binom {n}{x_{1},x_{2},\ldots ,x_{m}}}p_{1}^{x_{1}}p_{2}^{x_{2}}\cdots p_{m}^{x_{m}}$

अन्य सभी बक्सों से अलग लिया गया प्रत्येक बक्सा द्विपद है और यह उसका विस्तार है।

इसकी लॉग-संभावना है:

$\ell (p_{1},p_{2},\ldots ,p_{m})=\log n!-\sum _{i=1}^{m}\log x_{i}!+\sum _{i=1}^{m}x_{i}\log p_{i}$

बाधा को ध्यान में रखना होगा और लैग्रेंज मल्टीप्लायरों का उपयोग करना होता है:

$L(p_{1},p_{2},\ldots ,p_{m},\lambda )=\ell (p_{1},p_{2},\ldots ,p_{m})+\lambda \left(1-\sum _{i=1}^{m}p_{i}\right)$

सभी व्युत्पन्नों को 0 मानकर, सबसे स्वाभाविक अनुमान प्राप्त किया जाता है

${\hat {p}}_{i}={\frac {x_{i}}{n}}$

लॉग संभावना को अधिकतम करना, बाधाओं के साथ और बिना, विवृत रूप में अघुलनशील समस्या हो सकती है, तो हमें पुनरावृत्त प्रक्रियाओं का उपयोग करता है।

पुनरावृत्त प्रक्रियाएं

विशेष स्तिथि को छोड़कर, संभाव्यता समीकरण

${\frac {\partial \ell (\theta ;\mathbf {y} )}{\partial \theta }}=0$

किसी अनुमानक के लिए स्पष्ट रूप से ${\widehat {\theta }}={\widehat {\theta }}(\mathbf {y} )$ हल नहीं किया जा सकता है . इसके अतिरिक्त, उन्हें पुनरावृत्त विधि से हल करने की आवश्यकता है: प्रारंभिक अनुमान से प्रारंभ करना $\theta$ ${\widehat {\theta }}_{1}$, कोई अभिसरण अनुक्रम $\left\{{\widehat {\theta }}_{r}\right\}$ प्राप्त करना चाहता है . इस प्रकार की अनुकूलन समस्या के लिए कई विधियाँ उपलब्ध हैं, किन्तु सबसे अधिक उपयोग किए जाने वाले फॉर्म के अपडेटिंग सूत्र पर आधारित एल्गोरिदम हैं

${\widehat {\theta }}_{r+1}={\widehat {\theta }}_{r}+\eta _{r}\mathbf {d} _{r}\left({\widehat {\theta }}\right)$

जहां सदिश $\mathbf {d} _{r}\left({\widehat {\theta }}\right)$ rवें चरण की अवतरण दिशा और अदिश $\eta _{r}$ को इंगित करता है चरण की लंबाई कैप्चर करता है, सीखने की दर के रूप में भी जाना जाता है।

ढतला हुआ वंश विधि

(नोट: यहां यह अधिकतमीकरण समस्या है, इसलिए ग्रेडिएंट से पहले का चिह्न फ़्लिप किया गया है)

$\eta _{r}\in \mathbb {R} ^{+}$ यह अभिसरण के लिए काफी छोटा है और $\mathbf {d} _{r}\left({\widehat {\theta }}\right)=\nabla \ell \left({\widehat {\theta }}_{r};\mathbf {y} \right)$

ग्रेडिएंट डिसेंट विधि के लिए rवें पुनरावृत्ति पर ग्रेडिएंट की गणना करने की आवश्यकता होती है, किन्तु दूसरे क्रम के व्युत्पन्न के व्युत्क्रम, अर्थात , हेसियन आव्युह की गणना करने की आवश्यकता नहीं होती है। इसलिए, यह न्यूटन-रेफसन विधि की तुलना में कम्प्यूटेशनल रूप से तेज़ है।

न्यूटन की विधि|न्यूटन-रेफसन विधि

$\eta _{r}=1$ और $\mathbf {d} _{r}\left({\widehat {\theta }}\right)=-\mathbf {H} _{r}^{-1}\left({\widehat {\theta }}\right)\mathbf {s} _{r}\left({\widehat {\theta }}\right)$

जहाँ $\mathbf {s} _{r}({\widehat {\theta }})$ स्कोर (सांख्यिकी) है और $\mathbf {H} _{r}^{-1}\left({\widehat {\theta }}\right)$ लॉग-संभावना फलन के हेसियन आव्युह का व्युत्क्रमणीय आव्युह है, दोनों ने rवें पुनरावृत्ति का मूल्यांकन किया था। किन्तु क्योंकि हेसियन आव्युह की गणना कम्प्यूटेशनल जटिलता है, इसलिए कई विकल्प प्रस्तावित किए गए हैं। लोकप्रिय बर्नड्ट-हॉल-हौसमैन एल्गोरिदम अपेक्षित ग्रेडिएंट के बाहरी उत्पाद के साथ हेसियन का अनुमान लगाता है, जैसे कि

$\mathbf {d} _{r}\left({\widehat {\theta }}\right)=-\left[{\frac {1}{n}}\sum _{t=1}^{n}{\frac {\partial \ell (\theta ;\mathbf {y} )}{\partial \theta }}\left({\frac {\partial \ell (\theta ;\mathbf {y} )}{\partial \theta }}\right)^{\mathsf {T}}\right]^{-1}\mathbf {s} _{r}\left({\widehat {\theta }}\right)$

अर्ध-न्यूटन विधियाँ

अन्य अर्ध-न्यूटन विधियाँ हेसियन आव्युह का सन्निकटन देने के लिए अधिक विस्तृत सेकेंट अपडेट का उपयोग करती हैं।

डेविडन-फ्लेचर-पॉवेल सूत्र

डीएफपी सूत्र ऐसा समाधान खोजता है जो सममित, धनात्मक-निश्चित और दूसरे क्रम के व्युत्पन्न के वर्तमान अनुमानित मूल्य के सबसे निकटहै:

$\mathbf {H} _{k+1}=\left(I-\gamma _{k}y_{k}s_{k}^{\mathsf {T}}\right)\mathbf {H} _{k}\left(I-\gamma _{k}s_{k}y_{k}^{\mathsf {T}}\right)+\gamma _{k}y_{k}y_{k}^{\mathsf {T}},$

जहाँ

$y_{k}=\nabla \ell (x_{k}+s_{k})-\nabla \ell (x_{k}),$

$\gamma _{k}={\frac {1}{y_{k}^{T}s_{k}}},$

$s_{k}=x_{k+1}-x_{k}.$

ब्रोयडेन-फ्लेचर-गोल्डफार्ब-शैनो एल्गोरिथ्म

बीएफजीएस समाधान भी देता है जो सममित और धनात्मक-निश्चित है:

$B_{k+1}=B_{k}+{\frac {y_{k}y_{k}^{\mathsf {T}}}{y_{k}^{\mathsf {T}}s_{k}}}-{\frac {B_{k}s_{k}s_{k}^{\mathsf {T}}B_{k}^{\mathsf {T}}}{s_{k}^{\mathsf {T}}B_{k}s_{k}}}\ ,$

जहाँ

$y_{k}=\nabla \ell (x_{k}+s_{k})-\nabla \ell (x_{k}),$

$s_{k}=x_{k+1}-x_{k}.$

बीएफजीएस पद्धति के अभिसरण की गारंटी नहीं है जब तक कि फलन में इष्टतम के निकटद्विघात टेलर विस्तार नही होता है। चूंकि , गैर-सुचारू अनुकूलन उदाहरणों के लिए भी बीएफजीएस का प्रदर्शन स्वीकार्य हो सकता है

स्कोरिंग एल्गोरिदम या फिशर का स्कोरिंग

अन्य लोकप्रिय विधि हेसियन ${\mathcal {I}}(\theta )=\operatorname {\mathbb {E} } \left[\mathbf {H} _{r}\left({\widehat {\theta }}\right)\right]$ को फिशर सूचना आव्युह से बदलना है, हमें फिशर स्कोरिंग एल्गोरिदम दे रहा है। यह प्रक्रिया सामान्यीकृत रैखिक मॉडल जैसे कई विधियों के आकलन में मानक है।

चूँकि लोकप्रिय, अर्ध-न्यूटन विधियां स्थिर बिंदु पर परिवर्तित हो सकती हैं जो आवश्यक नहीं कि स्थानीय या वैश्विक अधिकतम हो सकता था, किन्तु स्थानीय न्यूनतम या काठी बिंदु इसलिए, संभावना समीकरणों के प्राप्त समाधान की वैधता का आकलन करना महत्वपूर्ण है, यह सत्यापित करके कि समाधान पर मूल्यांकन किया गया हेसियन, ऋणात्मक निश्चित और अच्छी तरह से वातानुकूलित दोनों है।

इतिहास

1913 में रोनाल्ड फिशर

अधिकतम संभावना के प्रारंभिक उपयोगकर्ता कार्ल फ्रेडरिक गॉस, पियरे-साइमन लाप्लास, थोरवाल्ड एन. थीले और फ्रांसिस य्सिड्रो एडगेवर्थ थे। चूंकि ,इस प्रकार इसका व्यापक उपयोग 1912 और 1922 के बीच बढ़ गया जब रोनाल्ड फिशर ने पक्षसमर्थन किया था, व्यापक रूप से लोकप्रिय बनाया था, और अधिकतम-संभावना अनुमान का सावधानीपूर्वक विश्लेषण किया था (गणितीय प्रमाण पर निरर्थक प्रयासों के साथ)।

अधिकतम-संभावना अनुमान अंततः 1938 में सैमुअल एस. विल्क्स द्वारा प्रकाशित प्रमाण में अनुमानी औचित्य से आगे निकल गया था, जिसे अब विल्क्स प्रमेय कहा जाता है। प्रमेय से पता चलता है कि कई स्वतंत्र अवलोकनों से अनुमानों के लिए संभावना मानों के लघुगणक में त्रुटि असममित रूप से ची-वर्ग वितरण है | इस प्रकार χ²-वितरित, जो मापदंडों के किसी भी अनुमान के आसपास विश्वास क्षेत्र के सुविधाजनक निर्धारण को सक्षम बनाता है। इस प्रकार विल्क्स के प्रमाण का एकमात्र कठिन भाग फिशर सूचना आव्युह के अपेक्षित मूल्य पर निर्भर करता है, जो फिशर द्वारा सिद्ध प्रमेय द्वारा प्रदान किया जाता है। विल्क्स ने जीवन भर प्रमेय की व्यापकता में सुधार करना जारी रखा था , उनका सबसे सामान्य प्रमाण 1962 में प्रकाशित हुआ था । इस प्रकार अधिकतम संभावना अनुमान के विकास की समीक्षाएँ कई लेखकों द्वारा प्रदान की गई हैं।

यह भी देखें

संबंधित अवधारणाएँ

• अकाइक सूचना मानदंड: एमएलई पर आधारित सांख्यिकीय मॉडल की तुलना करने के लिए मानदंड
• चरम अनुमानक: आकलनकर्ताओं का अधिक सामान्य वर्ग जिसमें एमएलई सम्मिलित है
• फिशर सूचना : सूचना आव्युह , एमएल अनुमानों के सहप्रसरण आव्युह से इसका संबंध
• माध्य वर्ग त्रुटि: वितरण मापदंड का अनुमानक कितना 'अच्छा' है इसका माप (वह अधिकतम संभावना अनुमानक हो या कोई अन्य अनुमानक)
• आरएएनसैक: गणितीय मॉडल के दिए गए डेटा के मापदंडों का अनुमान लगाने की विधि जिसमें बाहरी कारकों के कारण सम्मिलित हैं
• राव-ब्लैकवेल प्रमेय: सर्वोत्तम संभव निष्पक्ष अनुमानक खोजने के लिए प्रक्रिया उत्पन्न करता है (न्यूनतम माध्य वर्ग त्रुटि होने के अर्थ में); एमएलई अधिकांशतः प्रक्रिया के लिए अच्छी प्रारंभ होता है
• संभावना-अनुपात परीक्षण#एसिम्प्टोटिक वितरण: विल्क्स प्रमेय या विल्क्स प्रमेय: एकल प्रतिरूप से सूचना का उपयोग करके, जनसंख्या के मापदंड मानों के लिए लगभग समान रूप से संभावित अनुमानों के क्षेत्र के आकार और आकार का अनुमान लगाने का साधन प्रदान करता है।

अन्य अनुमान विधियाँ

• क्षणों की सामान्यीकृत विधि: अधिकतम संभावना अनुमान में संभावना समीकरण से संबंधित विधियाँ
• एम-आकलनकर्ता: सशक्त आंकड़ों में प्रयुक्त दृष्टिकोण
• अधिकतम पोस्टीरियरी (एमएपी) अनुमानक: जब पूर्व ज्ञान का अनुमान लगाया जाता है तो अनुमानकों की गणना करने के विधि में अंतर के लिए
• अधिकतम अंतर अनुमान: संबंधित विधि जो कई स्थितियों में अधिक सशक्त है
• अधिकतम एन्ट्रापी का सिद्धांत
• क्षणों की विधि (सांख्यिकी): वितरण के मापदंडों को खोजने के लिए और लोकप्रिय विधि है
• समर्थन की विधि, अधिकतम संभावना तकनीक का रूपांतर
• न्यूनतम-दूरी का अनुमान
• पैनल डेटा के लिए आंशिक संभावना विधियाँ
• अर्ध-अधिकतम संभावना अनुमानक: एमएलई अनुमानक जो गलत निर्दिष्ट है, किन्तु फिर भी सुसंगत है
• प्रतिबंधित अधिकतम संभावना: डेटा के परिवर्तित समुच्चय से गणना की गई संभावना फलन का उपयोग करके भिन्नता प्राप्त होती है

अग्रिम पठन

• Cramer, J.S. (1986). Econometric Applications of Maximum Likelihood Methods. New York, NY: Cambridge University Press. ISBN 0-521-25317-9.
• Eliason, Scott R. (1993). Maximum Likelihood Estimation : Logic and Practice. Newbury Park: Sage. ISBN 0-8039-4107-2.
• King, Gary (1989). Unifying Political Methodology : the Likehood Theory of Statistical Inference. Cambridge University Press. ISBN 0-521-36697-6.
• Le Cam, Lucien (1990). "Maximum likelihood : An Introduction". ISI Review. 58 (2): 153–171. doi:10.2307/1403464. JSTOR 1403464.
• Magnus, Jan R. (2017). "Maximum Likelihood". Introduction to the Theory of Econometrics. Amsterdam, NL: VU University Press. pp. 53–68. ISBN 978-90-8659-766-6.
• Millar, Russell B. (2011). Maximum Likelihood Estimation and Inference. Hoboken, NJ: Wiley. ISBN 978-0-470-09482-2.
• Pickles, Andrew (1986). An Introduction to Likelihood Analysis. Norwich: W. H. Hutchins & Sons. ISBN 0-86094-190-6.
• Severini, Thomas A. (2000). Likelihood Methods in Statistics. New York, NY: Oxford University Press. ISBN 0-19-850650-3.
• Ward, Michael D.; Ahlquist, John S. (2018). Maximum Likelihood for Social Science : Strategies for Analysis. Cambridge University Press. ISBN 978-1-316-63682-4.

बाहरी संबंध

• Tilevik, Andreas (2022). Maximum likelihood vs least squares in linear regression (video)
• "Maximum-likelihood method", Encyclopedia of Mathematics, EMS Press, 2001 [1994]
• Purcell, S. "Maximum Likelihood Estimation".
• Sargent, Thomas; Stachurski, John. "Maximum Likelihood Estimation". Quantitative Economics with Python.
• Toomet, Ott; Henningsen, Arne (2019-05-19). "maxLik: A package for maximum likelihood estimation in R".
• Lesser, Lawrence M. (2007). "'MLE' song lyrics". Mathematical Sciences / College of Science. math.utep.edu. El Paso, TX: University of Texas. Retrieved 2021-03-06.{{cite web}}: CS1 maint: url-status (link)