लेवेनबर्ग-मार्क्वार्ड एल्गोरिदम: Difference between revisions

Latest revision as of 17:51, 10 August 2023

गणित और कंप्यूटिंग में, लेवेनबर्ग-मार्क्वार्ड एल्गोरिदम (एलएमए या सिर्फ एलएम), जिसे डैम्प्ड न्यूनतम-वर्ग (डीएलएस) विधि के रूप में भी जाना जाता है, इसका उपयोग गैर-रेखीय न्यूनतम वर्ग समस्याओं का समाधान करने के लिए किया जाता है। यह न्यूनतमकरण समस्याएँ विशेष रूप से न्यूनतम वर्ग वक्र फिटिंग में उत्पन्न होती हैं। एलएमए गॉस-न्यूटन एल्गोरिदम (जीएनए) और ग्रेडिएंट डिसेंट की विधि के मध्य अंतरण करता है। एलएमए जीएनए की तुलना में अधिक शक्तिशाली (कंप्यूटर विज्ञान) है, जिसका अर्थ है कि अनेक स्थितियों में यह अंतिम न्यूनतम से बहुत दूर से प्रारंभ होने वाला समाधान ढूंढता है। अच्छे व्यवहार वाले कार्यों और उचित प्रारंभिक मापदंडों के लिए, एलएमए जीएनए की तुलना में धीमा होता है। ट्रस्ट क्षेत्र दृष्टिकोण का उपयोग करके एलएमए को गॉस-न्यूटन के रूप में भी देखा जा सकता है।

एल्गोरिथम पसमाधानी बार 1944 में केनेथ लेवेनबर्ग द्वारा फ्रैंकफोर्ड आर्मी आर्सेनल में काम करते समय प्रकाशित किया गया था।^[1] इसे 1963 में ड्यूपॉन्ट में सांख्यिकीविद् के रूप में काम करने वाले डोनाल्ड मार्क्वार्ट^[2] द्वारा और इंडिपेंडेंट रूप से गिरार्ड विने^[3] और मॉरिसन^[4] द्वारा फिर से खोजा गया था।^[5]

सामान्य कर्व-फिटिंग समस्याओं का समाधान करने के लिए अनेक सॉफ्टवेयर एप्लीकेशनों में एलएमए का उपयोग किया जाता है। गॉस-न्यूटन एल्गोरिदम का उपयोग करके यह अधिकांश प्रथम-क्रम विधियों की तुलना में तेज़ी से परिवर्तित होता है।^[6] चूँकि, अन्य पुनरावृत्त अनुकूलन एल्गोरिदम की तरह, एलएमए केवल स्थानीय न्यूनतम पाता है, जो आवश्यक नहीं कि वैश्विक न्यूनतम हो।

समस्या

लेवेनबर्ग-मार्क्वार्ड एल्गोरिथ्म का प्राथमिक अनुप्रयोग न्यूनतम-वर्ग वक्र फिटिंग समस्या में है: इंडिपेंडेंट और डिपेंडेंट वेरिएबल के $m$ अनुभवजन्य जोड़े $\left(x_{i},y_{i}\right)$ का एक समूह दिया गया है, मॉडल वक्र के पैरामीटर ${\boldsymbol {\beta }}$ ढूंढें $f\left(x,{\boldsymbol {\beta }}\right)$ जिससे विचलन $S\left({\boldsymbol {\beta }}\right)$ के वर्गों का योग कम से कम हो:

{\hat {\boldsymbol {\beta }}}\in \operatorname {argmin} \limits _{\boldsymbol {\beta }}S\left({\boldsymbol {\beta }}\right)\equiv \operatorname {argmin} \limits _{\boldsymbol {\beta }}\sum _{i=1}^{m}\left[y_{i}-f\left(x_{i},{\boldsymbol {\beta }}\right)\right]^{2},

जिसे गैर-रिक्त माना जाता है।

समाधान

अन्य संख्यात्मक न्यूनतमकरण एल्गोरिदम की तरह, लेवेनबर्ग-मार्क्वार्ड एल्गोरिदम एक पुनरावृत्त प्रक्रिया है। न्यूनतमकरण प्रारंभ करने के लिए उपयोगकर्ता को पैरामीटर सदिश ${\boldsymbol {\beta }}$ के लिए प्रारंभिक अनुमान प्रदान करना होगा। केवल एक न्यूनतम वाले स्थितियों में, ${\boldsymbol {\beta }}^{\text{T}}={\begin{pmatrix}1,\ 1,\ \dots ,\ 1\end{pmatrix}}$ जैसा एक अनइंफोर्मेड मानक अनुमान ठीक काम करेगा; मल्टीपल मिनिमा वाले स्थितियों में, एल्गोरिदम वैश्विक न्यूनतम में तभी परिवर्तित होता है जब प्रारंभिक अनुमान पसमाधाने से ही अंतिम समाधान के कुछ निकट हो।

प्रत्येक पुनरावृत्ति चरण में, पैरामीटर सदिश ${\boldsymbol {\beta }}$ को एक नए अनुमान ${\boldsymbol {\beta }}+{\boldsymbol {\delta }}$ द्वारा प्रतिस्थापित किया जाता है। ${\boldsymbol {\delta }}$ निर्धारित करने के लिए, फलन $f\left(x_{i},{\boldsymbol {\beta }}+{\boldsymbol {\delta }}\right)$ को इसके रैखिककरण द्वारा अनुमानित किया जाता है:

f\left(x_{i},{\boldsymbol {\beta }}+{\boldsymbol {\delta }}\right)\approx f\left(x_{i},{\boldsymbol {\beta }}\right)+\mathbf {J} _{i}{\boldsymbol {\delta }},

जहाँ

\mathbf {J} _{i}={\frac {\partial f\left(x_{i},{\boldsymbol {\beta }}\right)}{\partial {\boldsymbol {\beta }}}}

{\boldsymbol {\beta }}

के संबंध में

f

का ग्रेडियेंट (इस स्थिति में पंक्ति-सदिश) है।

वर्ग विचलन के योग $S\left({\boldsymbol {\beta }}\right)$ का ${\boldsymbol {\beta }}$ के संबंध में शून्य ग्रेडिएंट पर न्यूनतम होता है। $f\left(x_{i},{\boldsymbol {\beta }}+{\boldsymbol {\delta }}\right)$ का उपरोक्त प्रथम-क्रम सन्निकटन देता है

S\left({\boldsymbol {\beta }}+{\boldsymbol {\delta }}\right)\approx \sum _{i=1}^{m}\left[y_{i}-f\left(x_{i},{\boldsymbol {\beta }}\right)-\mathbf {J} _{i}{\boldsymbol {\delta }}\right]^{2},

या सदिश संकेतन में,

{\begin{aligned}S\left({\boldsymbol {\beta }}+{\boldsymbol {\delta }}\right)&\approx \left\|\mathbf {y} -\mathbf {f} \left({\boldsymbol {\beta }}\right)-\mathbf {J} {\boldsymbol {\delta }}\right\|^{2}\\&=\left[\mathbf {y} -\mathbf {f} \left({\boldsymbol {\beta }}\right)-\mathbf {J} {\boldsymbol {\delta }}\right]^{\mathrm {T} }\left[\mathbf {y} -\mathbf {f} \left({\boldsymbol {\beta }}\right)-\mathbf {J} {\boldsymbol {\delta }}\right]\\&=\left[\mathbf {y} -\mathbf {f} \left({\boldsymbol {\beta }}\right)\right]^{\mathrm {T} }\left[\mathbf {y} -\mathbf {f} \left({\boldsymbol {\beta }}\right)\right]-\left[\mathbf {y} -\mathbf {f} \left({\boldsymbol {\beta }}\right)\right]^{\mathrm {T} }\mathbf {J} {\boldsymbol {\delta }}-\left(\mathbf {J} {\boldsymbol {\delta }}\right)^{\mathrm {T} }\left[\mathbf {y} -\mathbf {f} \left({\boldsymbol {\beta }}\right)\right]+{\boldsymbol {\delta }}^{\mathrm {T} }\mathbf {J} ^{\mathrm {T} }\mathbf {J} {\boldsymbol {\delta }}\\&=\left[\mathbf {y} -\mathbf {f} \left({\boldsymbol {\beta }}\right)\right]^{\mathrm {T} }\left[\mathbf {y} -\mathbf {f} \left({\boldsymbol {\beta }}\right)\right]-2\left[\mathbf {y} -\mathbf {f} \left({\boldsymbol {\beta }}\right)\right]^{\mathrm {T} }\mathbf {J} {\boldsymbol {\delta }}+{\boldsymbol {\delta }}^{\mathrm {T} }\mathbf {J} ^{\mathrm {T} }\mathbf {J} {\boldsymbol {\delta }}.\end{aligned}}

का व्युत्पन्न लेना $S\left({\boldsymbol {\beta }}+{\boldsymbol {\delta }}\right)$ इसके संबंध में ${\boldsymbol {\delta }}$ और परिणाम को शून्य पर समूह करने से परिणाम मिलता है

\left(\mathbf {J} ^{\mathrm {T} }\mathbf {J} \right){\boldsymbol {\delta }}=\mathbf {J} ^{\mathrm {T} }\left[\mathbf {y} -\mathbf {f} \left({\boldsymbol {\beta }}\right)\right],

जहाँ $\mathbf {J}$ जैकोबियन आव्यूह और निर्धारक है, जिसका $i$ -वीं पंक्ति $\mathbf {J} _{i}$ के समान होती है, और जहां $\mathbf {f} \left({\boldsymbol {\beta }}\right)$ और $\mathbf {y}$ क्रमशः $i$ -वें घटक $f\left(x_{i},{\boldsymbol {\beta }}\right)$ और $y_{i}$ वाले सदिश हैं। ${\boldsymbol {\beta }}$ के लिए प्राप्त उपरोक्त अभिव्यक्ति गॉस-न्यूटन विधि के अंतर्गत आती है। ऊपर परिभाषित जैकोबियन आव्यूह (सामान्यतः) एक वर्ग आव्यूह नहीं है, ऊपर परिभाषित जैकोबियन आव्यूह (सामान्यतः) वर्ग आव्यूह नहीं है, किन्तु आकार $m\times n$ का आयताकार आव्यूह है, जहाँ $n$ पैरामीटरों (सदिश ${\boldsymbol {\beta }}$ का आकार) है) की संख्या है। आव्यूह गुणन $\left(\mathbf {J} ^{\mathrm {T} }\mathbf {J} \right)$ आवश्यक $n\times n$ वर्ग आव्यूह उत्पन्न करता है और दाईं ओर आव्यूह-सदिश उत्पाद आकार $n$ का एक सदिश उत्पन्न करता है। परिणाम $n$ रैखिक समीकरणों का एक समूह है, जिसे ${\boldsymbol {\delta }}$ के लिए समाधान किया जा सकता है।

लेवेनबर्ग का योगदान इस समीकरण को नम संस्करण द्वारा प्रतिस्थापित करना है:

\left(\mathbf {J} ^{\mathrm {T} }\mathbf {J} +\lambda \mathbf {I} \right){\boldsymbol {\delta }}=\mathbf {J} ^{\mathrm {T} }\left[\mathbf {y} -\mathbf {f} \left({\boldsymbol {\beta }}\right)\right],

जहां $\mathbf {I}$ पहचान आव्यूह है, जो अनुमानित पैरामीटर सदिश ${\boldsymbol {\beta }}$ में वृद्धि ${\boldsymbol {\delta }}$ देता है।

(गैर-नकारात्मक) डंपिंग फैक्टर $\lambda$ को प्रत्येक पुनरावृत्ति पर समायोजित किया जाता है। यदि $S$ की कमी तेजी से होती है, तब एक छोटे मान का उपयोग किया जा सकता है, जो एल्गोरिदम को गॉस-न्यूटन एल्गोरिदम के निकट लाता है, जबकि यदि कोई पुनरावृत्ति अवशिष्ट में अपर्याप्त कमी देता है, तब $\lambda$ को ग्रेडिएंट-डिसेंट दिशा के निकट एक चरण बढ़ाते हुए बढ़ाया जा सकता है।

ध्यान दें कि ${\boldsymbol {\beta }}$ के संबंध में $S$ का ग्रेडिएंट $-2\left(\mathbf {J} ^{\mathrm {T} }\left[\mathbf {y} -\mathbf {f} \left({\boldsymbol {\beta }}\right)\right]\right)^{\mathrm {T} }$ के समान है। इसलिए, $\lambda$ के बड़े मानों के लिए, चरण लगभग ग्रेडिएंट के विपरीत दिशा में उठाया जाएगा। यदि परिकलित चरण डेल्टा की लंबाई या नवीनतम पैरामीटर सदिश ${\boldsymbol {\beta }}+{\boldsymbol {\delta }}$ से वर्गों के योग में कमी पूर्वनिर्धारित सीमा से नीचे आती है, तब पुनरावृत्ति रुक जाती है, और अंतिम पैरामीटर सदिश ${\boldsymbol {\beta }}$ को समाधान माना जाता है।

जब डंपिंग फैक्टर $\lambda$ $\|\mathbf {J} ^{\mathrm {T} }\mathbf {J} \|$ के सापेक्ष बड़ा होता है, तब $\mathbf {J} ^{\mathrm {T} }\mathbf {J} +\lambda \mathbf {I}$ को इनवर्ट करना आवश्यक नहीं होता है, क्योंकि अपडेट को छोटे ग्रेडिएंट चरण $\lambda ^{-1}\mathbf {J} ^{\mathrm {T} }\left[\mathbf {y} -\mathbf {f} \left({\boldsymbol {\beta }}\right)\right]$ द्वारा अच्छी तरह से अनुमानित किया जाता है।

समाधान पैमाने को अपरिवर्तनीय बनाने के लिए मार्क्वार्ड के एल्गोरिदम ने वक्रता के अनुसार ग्रेडिएंट के प्रत्येक घटक को स्केल करके एक संशोधित समस्या हल की। यह उन दिशाओं में बड़ी गति प्रदान करता है जहां ग्रेडिएंट छोटी है, जो छोटी ग्रेडिएंट की दिशा में धीमी गति से अभिसरण से बचाती है। फ्लेचर ने अपने 1971 के पेपर में गैर-रेखीय न्यूनतम वर्गों के लिए एक संशोधित मार्क्वार्ड सबरूटीन ने फॉर्म को सरल बनाया, पहचान आव्यूह $\mathbf {I}$ को $\mathbf {J} ^{\text{T}}\mathbf {J}$ के विकर्ण तत्वों से युक्त विकर्ण आव्यूह के साथ बदल दिया।

\left[\mathbf {J} ^{\mathrm {T} }\mathbf {J} +\lambda \operatorname {diag} \left(\mathbf {J} ^{\mathrm {T} }\mathbf {J} \right)\right]{\boldsymbol {\delta }}=\mathbf {J} ^{\mathrm {T} }\left[\mathbf {y} -\mathbf {f} \left({\boldsymbol {\beta }}\right)\right].

समान डंपिंग फैक्टर तिखोनोव नियमितीकरण में दिखाई देता है, जिसका उपयोग रैखिक खराब समस्याओं का समाधान करने के लिए किया जाता है, इसके साथ ही रिज प्रतिगमन , सांख्यिकी में अनुमान सिद्धांत विधि में भी किया जाता है।

डंपिंग पैरामीटर का विकल्प

डंपिंग पैरामीटर $\lambda$ के सर्वोत्तम विकल्प के लिए विभिन्न कमोबेश अनुमानी तर्क सामने रखे गए हैं। सैद्धांतिक तर्क उपस्थित हैं जो दिखाते हैं कि इनमें से कुछ विकल्प एल्गोरिदम के स्थानीय अभिसरण की गारंटी क्यों देते हैं; चूँकि, यह विकल्प एल्गोरिदम के वैश्विक अभिसरण को विशेष रूप से इष्टतम के निकट बहुत धीमी गति से अभिसरण के अवांछनीय गुणों से ग्रस्त कर सकते हैं।

किसी भी विकल्प का पूर्ण मूल्य इस बात पर निर्भर करता है कि प्रारंभिक समस्या कितनी अच्छी तरह से मापी गई है। मार्क्वार्ड ने मान $\lambda _{0}$ और फैक्टर $\nu >1$ से प्रारंभ करने की अनुशंसा की। प्रारंभ में $\lambda =\lambda _{0}$ समूह करना और प्रारंभिक बिंदु से एक चरण के पश्चात् $\lambda =\lambda _{0}$ के डंपिंग फैक्टर के साथ और दूसरे $\lambda _{0}/\nu$ के साथ वर्गों $S\left({\boldsymbol {\beta }}\right)$ के अवशिष्ट योग की गणना करना है। यदि यह दोनों प्रारंभिक बिंदु से भी वर्से हैं, तब डंपिंग को $\nu$ द्वारा क्रमिक गुणन द्वारा बढ़ाया जाता है जब तक कि कुछ $k$ के लिए $\lambda _{0}\nu ^{k}$ के नए डंपिंग फैक्टर के साथ एक उत्तम बिंदु नहीं मिल जाता है।

यदि अवमंदन कारक $\lambda /\nu$ के उपयोग से वर्ग अवशिष्ट में कमी आती है, तब इसे $\lambda$ (और नया इष्टतम स्थान इस डंपिंग फैक्टर से प्राप्त स्थान के रूप में लिया जाता है) के नए मान के रूप में लिया जाता है और प्रक्रिया जारी रहती है; यदि $\lambda /\nu$ का उपयोग करने से परिणाम खराब होता है, किन्तु $\lambda$ का उपयोग करने से उत्तम अवशेष प्राप्त होता है, तब $\lambda$ को अपरिवर्तित छोड़ दिया जाता है और $\lambda$ के साथ प्राप्त मान को डंपिंग फैक्टर के रूप में नए इष्टतम के रूप में लिया जाता है।

डंपिंग पैरामीटर के नियंत्रण के लिए प्रभावी रणनीति, जिसे विलंबित संतुष्टि कहा जाता है, में प्रत्येक चढ़ाई वाले चरण के लिए पैरामीटर को थोड़ी मात्रा में बढ़ाना और प्रत्येक डाउनहिल चरण के लिए बड़ी मात्रा में कमी करना सम्मिलित है। इस रणनीति के पीछे का विचार अनुकूलन की प्रारंभ में बहुत तेजी से नीचे की ओर बढ़ने से बचना है, इसलिए भविष्य के पुनरावृत्तियों में उपलब्ध चरणों को प्रतिबंधित करना और इसलिए अभिसरण को धीमा करना है।^[7] अधिकांश स्थितियों में 2 के फैक्टर की वृद्धि और 3 के फैक्टर की कमी को प्रभावी दिखाया गया है, जबकि बड़ी समस्याओं के लिए 1.5 के फैक्टर की वृद्धि और 5 के फैक्टर की कमी के साथ अधिक उच्चतम मान उत्तम काम कर सकते हैं।^[8]

जियोडेसिक त्वरण

पैरामीटर स्पेस में जियोडेसिक पथ के साथ लेवेनबर्ग-मार्क्वार्ड चरण को वेग ${\boldsymbol {v}}_{k}$ के रूप में व्याख्या करते समय, त्वरण ${\boldsymbol {a}}_{k}$ के लिए जिम्मेदार दूसरे ऑर्डर शब्द को जोड़कर विधि में सुधार करना संभव है। जियोडेसिक के साथ

{\boldsymbol {v}}_{k}+{\frac {1}{2}}{\boldsymbol {a}}_{k}

जहाँ ${\boldsymbol {a}}_{k}$ का समाधान है

{\boldsymbol {J}}_{k}{\boldsymbol {a}}_{k}=-f_{vv}.

चूंकि यह जियोडेसिक त्वरण शब्द केवल वेग ${\boldsymbol {v}}$ की दिशा के साथ दिशात्मक व्युत्पन्न $f_{vv}=\sum _{\mu \nu }v_{\mu }v_{\nu }\partial _{\mu }\partial _{\nu }f({\boldsymbol {x}})$ पर निर्भर करता है, इसलिए इसमें पूर्ण दूसरे क्रम के व्युत्पन्न आव्यूह की गणना करने की आवश्यकता नहीं होती है, जिसके लिए कंप्यूटिंग निवेश के संदर्भ में केवल एक छोटे ओवरहेड की आवश्यकता होती है।^[9] चूंकि दूसरे क्रम का व्युत्पन्न अधिक जटिल अभिव्यक्ति हो सकता है, इसलिए इसे सीमित अंतर सन्निकटन के साथ बदलना सुविधाजनक हो सकता है

{\begin{aligned}f_{vv}^{i}&\approx {\frac {f_{i}({\boldsymbol {x}}+h{\boldsymbol {\delta }})-2f_{i}({\boldsymbol {x}})+f_{i}({\boldsymbol {x}}-h{\boldsymbol {\delta }})}{h^{2}}}\\&={\frac {2}{h}}\left({\frac {f_{i}({\boldsymbol {x}}+h{\boldsymbol {\delta }})-f_{i}({\boldsymbol {x}})}{h}}-{\boldsymbol {J}}_{i}{\boldsymbol {\delta }}\right)\end{aligned}}

जहां $f({\boldsymbol {x}})$ और ${\boldsymbol {J}}$ की गणना पहले ही एल्गोरिदम द्वारा की जा चुकी है, इसलिए $f({\boldsymbol {x}}+h{\boldsymbol {\delta }})$ की गणना के लिए केवल एक अतिरिक्त फलन मूल्यांकन की आवश्यकता है। परिमित अंतर चरण $h$ का चुनाव एल्गोरिथम की स्थिरता को प्रभावित कर सकता है, और लगभग 0.1 का मान सामान्यतः उचित होता है।^[8]

चूँकि त्वरण वेग के विपरीत दिशा की ओर निरुपित कर सकता है, इसलिए यदि डंपिंग बहुत छोटा है तब विधि को रोकने से रोकने के लिए, चरण को स्वीकार करने के लिए त्वरण पर अतिरिक्त मानदंड जोड़ा जाता है, जिसके लिए आवश्यक है

{\frac {2\left\|{\boldsymbol {a}}_{k}\right\|}{\left\|{\boldsymbol {v}}_{k}\right\|}}\leq \alpha

जहाँ $\alpha$ सामान्यतः कठिन समस्याओं के लिए छोटे मान के साथ, 1 से कम मान पर तय किया जाता है।^[8]

जियोडेसिक त्वरण शब्द को जोड़ने से अभिसरण गति में महत्वपूर्ण वृद्धि हो सकती है और यह विशेष रूप से तब उपयोगी होता है जब एल्गोरिदम उद्देश्य फलन के परिदृश्य में संकीर्ण घाटियों के माध्यम से आगे बढ़ रहा है, जहां अनुमत चरण छोटे होते हैं और दूसरे क्रम के शब्द के कारण उच्च शुद्धता महत्वपूर्ण सुधार देती है।^[8]

उदाहरण

खराब फिटिंग

उत्तम फिट

सबसे अच्छा फिट

इस उदाहरण में हम जीएनयू ऑक्टेव में लीस्कर फलन के रूप में कार्यान्वित लेवेनबर्ग-मार्क्वार्ड एल्गोरिदम का उपयोग करके फलन $y=a\cos \left(bX\right)+b\sin \left(aX\right)$ को फिट करने का प्रयास करते हैं। ग्राफ प्रारंभिक वक्र में उपयोग किए गए पैरामीटर $a=100$ , $b=102$ के लिए उत्तरोत्तर उत्तम फिटिंग दिखाते हैं। केवल जब अंतिम ग्राफ़ में पैरामीटर मूल के सबसे निकट चुने जाते हैं, तब वक्र बिल्कुल फिट होते हैं। यह समीकरण लेवेनबर्ग-मार्क्वार्ड एल्गोरिथम के लिए बहुत संवेदनशील प्रारंभिक स्थितियों का एक उदाहरण है। इस संवेदनशीलता का एक कारण मल्टीपल मिनिमा का अस्तित्व है - फलन $\cos \left(\beta x\right)$ में पैरामीटर मान ${\hat {\beta }}$ और ${\hat {\beta }}+2n\pi$ पर न्यूनतम है।

यह भी देखें

ट्रस्ट क्षेत्र
नेल्डर-मीड विधि
लेवेनबर्ग-मार्क्वार्ड एल्गोरिदम के वेरिएंट का उपयोग समीकरणों की गैर-रेखीय प्रणालियों का समाधान करने के लिए भी किया गया है।^[10]

संदर्भ

↑ Levenberg, Kenneth (1944). "A Method for the Solution of Certain Non-Linear Problems in Least Squares". Quarterly of Applied Mathematics. 2 (2): 164–168. doi:10.1090/qam/10666.
↑ Marquardt, Donald (1963). "An Algorithm for Least-Squares Estimation of Nonlinear Parameters". SIAM Journal on Applied Mathematics. 11 (2): 431–441. doi:10.1137/0111030. hdl:10338.dmlcz/104299.
↑ Girard, André (1958). "Excerpt from Revue d'optique théorique et instrumentale". Rev. Opt. 37: 225–241, 397–424.
↑ Wynne, C. G. (1959). "Lens Designing by Electronic Digital Computer: I". Proc. Phys. Soc. Lond. 73 (5): 777–787. Bibcode:1959PPS....73..777W. doi:10.1088/0370-1328/73/5/310.
↑ Morrison, David D. (1960). "Methods for nonlinear least squares problems and convergence proofs". Proceedings of the Jet Propulsion Laboratory Seminar on Tracking Programs and Orbit Determination: 1–9.
↑ Wiliamowski, Bogdan; Yu, Hao (June 2010). "Improved Computation for Levenberg–Marquardt Training" (PDF). IEEE Transactions on Neural Networks and Learning Systems. 21 (6).
↑ Transtrum, Mark K; Machta, Benjamin B; Sethna, James P (2011). "Geometry of nonlinear least squares with applications to sloppy models and optimization". Physical Review E. APS. 83 (3): 036701. arXiv:1010.1449. Bibcode:2011PhRvE..83c6701T. doi:10.1103/PhysRevE.83.036701. PMID 21517619. S2CID 15361707.
↑ ^8.0 ^8.1 ^8.2 ^8.3 Transtrum, Mark K; Sethna, James P (2012). "Improvements to the Levenberg-Marquardt algorithm for nonlinear least-squares minimization". arXiv:1201.5885 [physics.data-an].
↑ "अरेखीय न्यूनतम-वर्ग फिटिंग". GNU Scientific Library. Archived from the original on 2020-04-14.
↑ Kanzow, Christian; Yamashita, Nobuo; Fukushima, Masao (2004). "Levenberg–Marquardt methods with strong local convergence properties for solving nonlinear equations with convex constraints". Journal of Computational and Applied Mathematics. 172 (2): 375–397. Bibcode:2004JCoAM.172..375K. doi:10.1016/j.cam.2004.02.013.

अग्रिम पठन

Moré, Jorge J.; Sorensen, Daniel C. (1983). "Computing a Trust-Region Step" (PDF). SIAM J. Sci. Stat. Comput. 4 (3): 553–572. doi:10.1137/0904038.
Gill, Philip E.; Murray, Walter (1978). "Algorithms for the solution of the nonlinear least-squares problem". SIAM Journal on Numerical Analysis. 15 (5): 977–992. Bibcode:1978SJNA...15..977G. doi:10.1137/0715063.
Pujol, Jose (2007). "The solution of nonlinear inverse problems and the Levenberg-Marquardt method". Geophysics. SEG. 72 (4): W1–W16. Bibcode:2007Geop...72W...1P. doi:10.1190/1.2732552.^{[permanent dead link]}
Nocedal, Jorge; Wright, Stephen J. (2006). Numerical Optimization (2nd ed.). Springer. ISBN 978-0-387-30303-1.

बाहरी संबंध

Detailed description of the algorithm can be found in Numerical Recipes in C, Chapter 15.5: Nonlinear models
C. T. Kelley, Iterative Methods for Optimization, SIAM Frontiers in Applied Mathematics, no 18, 1999, ISBN 0-89871-433-8. Online copy
History of the algorithm in SIAM news
A tutorial by Ananth Ranganathan
K. Madsen, H. B. Nielsen, O. Tingleff, Methods for Non-Linear Least Squares Problems (nonlinear least-squares tutorial; L-M code: analytic Jacobian secant)
T. Strutz: Data Fitting and Uncertainty (A practical introduction to weighted least squares and beyond). 2nd edition, Springer Vieweg, 2016, ISBN 978-3-658-11455-8.
H. P. Gavin, The Levenberg-Marquardt method for nonlinear least-squares curve-fitting problems (MATLAB implementation included)

| group5 = Metaheuristics | abbr5 = heuristic | list5 =

| below =

Software

}} | group5 =Metaheuuristic |abbr5 = heuristic | list5 =*विकासवादी एल्गोरिथ्म

| below =* सॉफ्टवेयर

}}

[Levenberg-1] Levenberg, Kenneth (1944). "A Method for the Solution of Certain Non-Linear Problems in Least Squares". Quarterly of Applied Mathematics. 2 (2): 164–168. doi:10.1090/qam/10666.

[Marquardt-2] Marquardt, Donald (1963). "An Algorithm for Least-Squares Estimation of Nonlinear Parameters". SIAM Journal on Applied Mathematics. 11 (2): 431–441. doi:10.1137/0111030. hdl:10338.dmlcz/104299.

[Girard-3] Girard, André (1958). "Excerpt from Revue d'optique théorique et instrumentale". Rev. Opt. 37: 225–241, 397–424.

[Wynne-4] Wynne, C. G. (1959). "Lens Designing by Electronic Digital Computer: I". Proc. Phys. Soc. Lond. 73 (5): 777–787. Bibcode:1959PPS....73..777W. doi:10.1088/0370-1328/73/5/310.

[Morrison-5] Morrison, David D. (1960). "Methods for nonlinear least squares problems and convergence proofs". Proceedings of the Jet Propulsion Laboratory Seminar on Tracking Programs and Orbit Determination: 1–9.

[6] Wiliamowski, Bogdan; Yu, Hao (June 2010). "Improved Computation for Levenberg–Marquardt Training" (PDF). IEEE Transactions on Neural Networks and Learning Systems. 21 (6).

[Transtrum2011-7] Transtrum, Mark K; Machta, Benjamin B; Sethna, James P (2011). "Geometry of nonlinear least squares with applications to sloppy models and optimization". Physical Review E. APS. 83 (3): 036701. arXiv:1010.1449. Bibcode:2011PhRvE..83c6701T. doi:10.1103/PhysRevE.83.036701. PMID 21517619. S2CID 15361707.

[Transtrum2012-8] 8.0 ^8.1 ^8.2 ^8.3 Transtrum, Mark K; Sethna, James P (2012). "Improvements to the Levenberg-Marquardt algorithm for nonlinear least-squares minimization". arXiv:1201.5885 [physics.data-an].

[9] "अरेखीय न्यूनतम-वर्ग फिटिंग". GNU Scientific Library. Archived from the original on 2020-04-14.

[10] Kanzow, Christian; Yamashita, Nobuo; Fukushima, Masao (2004). "Levenberg–Marquardt methods with strong local convergence properties for solving nonlinear equations with convex constraints". Journal of Computational and Applied Mathematics. 172 (2): 375–397. Bibcode:2004JCoAM.172..375K. doi:10.1016/j.cam.2004.02.013.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

@@ Line 1: / Line 1: @@
 {{short description|Algorithm used to solve non-linear least squares problems}}
-गणित और कंप्यूटिंग में, लेवेनबर्ग-मार्क्वार्ड एल्गोरिदम (एलएमए या सिर्फ एलएम), जिसे डैम्प्ड न्यूनतम-वर्ग (डीएलएस) विधि के रूप में भी जाना जाता है, का उपयोग गैर-रेखीय न्यूनतम वर्ग समस्याओं को हल करने के लिए किया जाता है। ये न्यूनतमकरण समस्याएँ विशेष रूप से न्यूनतम वर्ग [[वक्र फिटिंग]] में उत्पन्न होती हैं। एलएमए गॉस-न्यूटन एल्गोरिदम (जीएनए) और [[ ढतला हुआ वंश ]] की विधि के बीच अंतरण करता है। एलएमए जीएनए की तुलना में अधिक [[मजबूती (कंप्यूटर विज्ञान)]] है, जिसका अर्थ है कि कई मामलों में यह समाधान ढूंढ लेता है, भले ही यह अंतिम न्यूनतम से बहुत दूर शुरू हो। अच्छे व्यवहार वाले कार्यों और उचित शुरुआती मापदंडों के लिए, एलएमए जीएनए की तुलना में धीमा होता है। ट्रस्ट क्षेत्र दृष्टिकोण का उपयोग करके एलएमए को गॉस-न्यूटन के रूप में भी देखा जा सकता है।
+गणित और कंप्यूटिंग में, '''लेवेनबर्ग-मार्क्वार्ड एल्गोरिदम''' ('''एलएमए''' या सिर्फ '''एलएम'''), जिसे डैम्प्ड न्यूनतम-वर्ग (डीएलएस) विधि के रूप में भी जाना जाता है, इसका उपयोग गैर-रेखीय न्यूनतम वर्ग समस्याओं का समाधान करने के लिए किया जाता है। यह न्यूनतमकरण समस्याएँ विशेष रूप से न्यूनतम वर्ग [[वक्र फिटिंग]] में उत्पन्न होती हैं। एलएमए गॉस-न्यूटन एल्गोरिदम (जीएनए) और [[ ढतला हुआ वंश |ग्रेडिएंट डिसेंट]] की विधि के मध्य अंतरण करता है। एलएमए जीएनए की तुलना में अधिक [[मजबूती (कंप्यूटर विज्ञान)|शक्तिशाली (कंप्यूटर विज्ञान)]] है, जिसका अर्थ है कि अनेक स्थितियों में यह अंतिम न्यूनतम से बहुत दूर से प्रारंभ होने वाला समाधान ढूंढता है। अच्छे व्यवहार वाले कार्यों और उचित प्रारंभिक मापदंडों के लिए, एलएमए जीएनए की तुलना में धीमा होता है। ट्रस्ट क्षेत्र दृष्टिकोण का उपयोग करके एलएमए को गॉस-न्यूटन के रूप में भी देखा जा सकता है।
-एल्गोरिथम पहली बार 1944 में [[केनेथ लेवेनबर्ग]] द्वारा प्रकाशित किया गया था,<ref name="Levenberg"/>[[फ्रैंकफोर्ड शस्त्रागार]] में काम करते समय। इसे 1963 में [[डोनाल्ड मार्क्वार्ट]] द्वारा पुनः खोजा गया था,<ref name="Marquardt"/>जिन्होंने ड्यूपॉन्ट में [[सांख्यिकीविद]]् के रूप में और गिरार्ड द्वारा स्वतंत्र रूप से काम किया,<ref name="Girard"/>वेन<ref name="Wynne"/>और मॉरिसन.<ref name="Morrison"/>
+एल्गोरिथम पसमाधानी बार 1944 में [[केनेथ लेवेनबर्ग]] द्वारा [[फ्रैंकफोर्ड शस्त्रागार|फ्रैंकफोर्ड आर्मी आर्सेनल]] में काम करते समय प्रकाशित किया गया था।<ref name="Levenberg"/> इसे 1963 में ड्यूपॉन्ट में [[सांख्यिकीविद|सांख्यिकीविद्]] के रूप में काम करने वाले [[डोनाल्ड मार्क्वार्ट]]<ref name="Marquardt"/> द्वारा और इंडिपेंडेंट रूप से गिरार्ड विने<ref name="Girard"/> और मॉरिसन<ref name="Wynne"/> द्वारा फिर से खोजा गया था।<ref name="Morrison"/>
-सामान्य कर्व-फिटिंग समस्याओं को हल करने के लिए कई सॉफ्टवेयर अनुप्रयोगों में एलएमए का उपयोग किया जाता है। गॉस-न्यूटन एल्गोरिदम का उपयोग करके यह अक्सर प्रथम-क्रम विधियों की तुलना में तेज़ी से परिवर्तित होता है।<ref>{{cite journal|title=Improved Computation for Levenberg–Marquardt Training|last1=Wiliamowski|first1=Bogdan|last2=Yu|first2=Hao|journal=IEEE Transactions on Neural Networks and Learning Systems|volume=21|issue=6|date=June 2010|url=https://www.eng.auburn.edu/~wilambm/pap/2010/Improved%20Computation%20for%20LM%20Training.pdf}}</ref> हालाँकि, अन्य पुनरावृत्त अनुकूलन एल्गोरिदम की तरह, एलएमए केवल [[स्थानीय न्यूनतम]] पाता है, जो जरूरी नहीं कि [[वैश्विक न्यूनतम]] हो।
+सामान्य कर्व-फिटिंग समस्याओं का समाधान करने के लिए अनेक सॉफ्टवेयर एप्लीकेशनों में एलएमए का उपयोग किया जाता है। गॉस-न्यूटन एल्गोरिदम का उपयोग करके यह अधिकांश प्रथम-क्रम विधियों की तुलना में तेज़ी से परिवर्तित होता है।<ref>{{cite journal|title=Improved Computation for Levenberg–Marquardt Training|last1=Wiliamowski|first1=Bogdan|last2=Yu|first2=Hao|journal=IEEE Transactions on Neural Networks and Learning Systems|volume=21|issue=6|date=June 2010|url=https://www.eng.auburn.edu/~wilambm/pap/2010/Improved%20Computation%20for%20LM%20Training.pdf}}</ref> चूँकि, अन्य पुनरावृत्त अनुकूलन एल्गोरिदम की तरह, एलएमए केवल [[स्थानीय न्यूनतम]] पाता है, जो आवश्यक  नहीं कि [[वैश्विक न्यूनतम]] हो।
 == समस्या ==
-लेवेनबर्ग-मार्क्वार्ड एल्गोरिथ्म का प्राथमिक अनुप्रयोग न्यूनतम-वर्ग वक्र फिटिंग समस्या में है: का सेट दिया गया है <math>m</math> अनुभवजन्य जोड़े <math>\left (x_i, y_i\right )</math> स्वतंत्र और आश्रित चर के पैरामीटर खोजें {{tmath|\boldsymbol\beta}} मॉडल वक्र का <math>f\left (x, \boldsymbol\beta\right )</math> ताकि विचलनों के वर्गों का योग हो <math>S\left (\boldsymbol\beta\right )</math> न्यूनतम किया गया है:
+लेवेनबर्ग-मार्क्वार्ड एल्गोरिथ्म का प्राथमिक अनुप्रयोग न्यूनतम-वर्ग वक्र फिटिंग समस्या में है: इंडिपेंडेंट और डिपेंडेंट वेरिएबल के <math>m</math> अनुभवजन्य जोड़े <math>\left (x_i, y_i\right )</math> का एक समूह दिया गया है, मॉडल वक्र के पैरामीटर {{tmath|\boldsymbol\beta}} ढूंढें <math>f\left (x, \boldsymbol\beta\right )</math> जिससे विचलन <math>S\left (\boldsymbol\beta\right )</math> के वर्गों का योग कम से कम हो:
-:<math>\hat{\boldsymbol\beta} \in \operatorname{argmin}\limits_{\boldsymbol\beta} S\left (\boldsymbol\beta\right ) \equiv \operatorname{argmin}\limits_{\boldsymbol\beta} \sum_{i=1}^m \left [y_i - f\left (x_i, \boldsymbol\beta\right )\right ]^2,</math> जिसे गैर-रिक्त माना जाता है।
+:<math>\hat{\boldsymbol\beta} \in \operatorname{argmin}\limits_{\boldsymbol\beta} S\left (\boldsymbol\beta\right ) \equiv \operatorname{argmin}\limits_{\boldsymbol\beta} \sum_{i=1}^m \left [y_i - f\left (x_i, \boldsymbol\beta\right )\right ]^2,</math>
+:जिसे गैर-रिक्त माना जाता है।
 == समाधान ==
-अन्य संख्यात्मक न्यूनीकरण एल्गोरिदम की तरह, लेवेनबर्ग-मार्क्वार्ड एल्गोरिदम पुनरावृत्ति प्रक्रिया है। न्यूनतमकरण शुरू करने के लिए, उपयोगकर्ता को पैरामीटर वेक्टर के लिए प्रारंभिक अनुमान प्रदान करना होगा {{tmath|\boldsymbol\beta}}. केवल न्यूनतम वाले मामलों में, बेख़बर मानक अनुमान जैसा होता है <math>\boldsymbol\beta^\text{T} = \begin{pmatrix}1,\ 1,\ \dots,\ 1\end{pmatrix}</math> ठीक काम करेगा; स्थानीय न्यूनतम वाले मामलों में, एल्गोरिदम वैश्विक न्यूनतम में तभी परिवर्तित होता है जब प्रारंभिक अनुमान पहले से ही अंतिम समाधान के कुछ करीब हो।
+अन्य संख्यात्मक न्यूनतमकरण एल्गोरिदम की तरह, लेवेनबर्ग-मार्क्वार्ड एल्गोरिदम एक पुनरावृत्त प्रक्रिया है। न्यूनतमकरण प्रारंभ करने के लिए उपयोगकर्ता को पैरामीटर सदिश {{tmath|\boldsymbol\beta}} के लिए प्रारंभिक अनुमान प्रदान करना होगा। केवल एक न्यूनतम वाले स्थितियों में, <math>\boldsymbol\beta^\text{T} = \begin{pmatrix}1,\ 1,\ \dots,\ 1\end{pmatrix}</math> जैसा एक अनइंफोर्मेड मानक अनुमान ठीक काम करेगा; मल्टीपल मिनिमा वाले स्थितियों में, एल्गोरिदम वैश्विक न्यूनतम में तभी परिवर्तित होता है जब प्रारंभिक अनुमान पसमाधाने से ही अंतिम समाधान के कुछ निकट हो।
-प्रत्येक पुनरावृत्ति चरण में, पैरामीटर वेक्टर {{tmath|\boldsymbol\beta}} को नए अनुमान से बदल दिया गया है {{tmath|\boldsymbol\beta + \boldsymbol\delta}}. इरादा करना {{tmath|\boldsymbol\delta}}, कार्यक्रम <math>f\left (x_i, \boldsymbol\beta + \boldsymbol\delta\right )</math> इसके Gradient#Linear_approximation_to_a_function द्वारा अनुमानित है:
+प्रत्येक पुनरावृत्ति चरण में, पैरामीटर सदिश {{tmath|\boldsymbol\beta}} को एक नए अनुमान {{tmath|\boldsymbol\beta + \boldsymbol\delta}} द्वारा प्रतिस्थापित किया जाता है। {{tmath|\boldsymbol\delta}} निर्धारित करने के लिए, फलन <math>f\left (x_i, \boldsymbol\beta + \boldsymbol\delta\right )</math> को इसके रैखिककरण द्वारा अनुमानित किया जाता है:
 : <math>f\left (x_i, \boldsymbol\beta + \boldsymbol\delta\right ) \approx f\left (x _i, \boldsymbol\beta\right ) + \mathbf J_i \boldsymbol\delta,</math>
-कहाँ
+जहाँ
-: <math>\mathbf J_i = \frac{\partial f\left (x_i, \boldsymbol\beta\right )}{\partial \boldsymbol\beta}</math> का [[ ग्रेडियेंट ]] (इस मामले में पंक्ति-वेक्टर) है {{tmath|f}} इसके संबंध में {{tmath|\boldsymbol\beta}}.
+: <math>\mathbf J_i = \frac{\partial f\left (x_i, \boldsymbol\beta\right )}{\partial \boldsymbol\beta}</math>
+:{{tmath|\boldsymbol\beta}} के संबंध में {{tmath|f}} का [[ ग्रेडियेंट |ग्रेडियेंट]] (इस स्थिति में पंक्ति-सदिश) है।
-योग <math>S\left (\boldsymbol\beta\right )</math> वर्ग विचलन के संबंध में शून्य ढाल पर इसका न्यूनतम स्तर होता है {{tmath|\boldsymbol\beta}}. उपरोक्त प्रथम-क्रम सन्निकटन <math>f\left (x_i, \boldsymbol\beta + \boldsymbol\delta\right )</math> देता है
+वर्ग विचलन के योग <math>S\left (\boldsymbol\beta\right )</math> का {{tmath|\boldsymbol\beta}} के संबंध में शून्य ग्रेडिएंट पर न्यूनतम होता है। <math>f\left (x_i, \boldsymbol\beta + \boldsymbol\delta\right )</math> का उपरोक्त प्रथम-क्रम सन्निकटन देता है
 : <math>S\left (\boldsymbol\beta + \boldsymbol\delta\right ) \approx \sum_{i=1}^m \left [y_i - f\left (x_i, \boldsymbol\beta\right ) - \mathbf J_i \boldsymbol\delta\right ]^2,</math>
-या वेक्टर संकेतन में,
+या सदिश संकेतन में,
 : <math>\begin{align}
   S\left (\boldsymbol\beta + \boldsymbol\delta\right ) &\approx \left \|\mathbf y - \mathbf f\left (\boldsymbol\beta\right ) - \mathbf J\boldsymbol\delta\right \|^2\\
@@ Line 29: / Line 31: @@
    &= \left [\mathbf y - \mathbf f\left (\boldsymbol\beta\right )\right ]^{\mathrm T}\left [\mathbf y - \mathbf f\left (\boldsymbol\beta\right )\right ] - 2\left [\mathbf y - \mathbf f\left (\boldsymbol\beta\right )\right ]^{\mathrm T} \mathbf J \boldsymbol\delta + \boldsymbol\delta^{\mathrm T} \mathbf J^{\mathrm T} \mathbf J\boldsymbol\delta.
 \end{align}</math>
-का व्युत्पन्न लेना <math>S\left (\boldsymbol\beta + \boldsymbol\delta\right )</math> इसके संबंध में {{tmath|\boldsymbol\delta}} और परिणाम को शून्य पर सेट करने से परिणाम मिलता है
+का व्युत्पन्न लेना <math>S\left (\boldsymbol\beta + \boldsymbol\delta\right )</math> इसके संबंध में {{tmath|\boldsymbol\delta}} और परिणाम को शून्य पर समूह करने से परिणाम मिलता है
 :<math>\left (\mathbf J^{\mathrm T} \mathbf J\right )\boldsymbol\delta = \mathbf J^{\mathrm T}\left [\mathbf y - \mathbf f\left (\boldsymbol\beta\right )\right ],</math>
-कहाँ <math>\mathbf J</math> [[जैकोबियन मैट्रिक्स और निर्धारक]] है, जिसका {{tmath|i}}-वीं पंक्ति बराबर होती है <math>\mathbf J_i</math>, और कहाँ <math>\mathbf f\left (\boldsymbol\beta\right )</math> और <math>\mathbf y</math> वेक्टर के साथ हैं {{tmath|i}}-वाँ घटक
+जहाँ <math>\mathbf J</math> [[जैकोबियन मैट्रिक्स और निर्धारक|जैकोबियन आव्यूह और निर्धारक]] है, जिसका {{tmath|i}}-वीं पंक्ति <math>\mathbf J_i</math> के समान होती है, और जहां <math>\mathbf f\left (\boldsymbol\beta\right )</math> और <math>\mathbf y</math> क्रमशः {{tmath|i}}-वें घटक <math>f\left (x_i, \boldsymbol\beta\right )</math> और <math>y_i</math> वाले सदिश हैं। {{tmath|\boldsymbol\beta}} के लिए प्राप्त उपरोक्त अभिव्यक्ति गॉस-न्यूटन विधि के अंतर्गत आती है। ऊपर परिभाषित जैकोबियन आव्यूह (सामान्यतः) एक वर्ग आव्यूह नहीं है, ऊपर परिभाषित जैकोबियन आव्यूह (सामान्यतः) वर्ग आव्यूह नहीं है, किन्तु आकार <math>m \times n</math> का आयताकार आव्यूह है, जहाँ <math>n</math> पैरामीटरों (सदिश <math>\boldsymbol\beta</math> का आकार) है) की संख्या है। आव्यूह गुणन <math>\left (\mathbf J^{\mathrm T} \mathbf J\right)</math> आवश्यक <math>n \times n</math> वर्ग आव्यूह उत्पन्न करता है और दाईं ओर आव्यूह-सदिश उत्पाद आकार <math>n</math> का एक सदिश उत्पन्न करता है। परिणाम <math>n</math> रैखिक समीकरणों का एक समूह है, जिसे {{tmath|\boldsymbol\delta}} के लिए समाधान किया जा सकता है।
- <math>f\left (x_i, \boldsymbol\beta\right )</math> और <math>y_i</math> क्रमश। उपरोक्त अभिव्यक्ति के लिए प्राप्त की गई {{tmath|\boldsymbol\beta}} गॉस-न्यूटन विधि के अंतर्गत आता है। ऊपर परिभाषित जैकोबियन मैट्रिक्स (सामान्य तौर पर) वर्ग मैट्रिक्स नहीं है, बल्कि आकार का आयताकार मैट्रिक्स है <math>m \times n</math>, कहाँ <math>n</math> पैरामीटरों की संख्या (वेक्टर का आकार) है <math>\boldsymbol\beta</math>). मैट्रिक्स गुणन <math>\left (\mathbf J^{\mathrm T} \mathbf J\right)</math> आवश्यक उपज देता है <math>n \times n</math> वर्ग मैट्रिक्स और दाहिनी ओर मैट्रिक्स-वेक्टर उत्पाद आकार का वेक्टर उत्पन्न करता है <math>n</math>. परिणाम का सेट है <math>n</math> रैखिक समीकरण, जिन्हें हल किया जा सकता है {{tmath|\boldsymbol\delta}}.
 लेवेनबर्ग का योगदान इस समीकरण को नम संस्करण द्वारा प्रतिस्थापित करना है:
 :<math>\left (\mathbf J^{\mathrm T} \mathbf J + \lambda\mathbf I\right ) \boldsymbol\delta = \mathbf J^{\mathrm T}\left [\mathbf y - \mathbf f\left (\boldsymbol\beta\right )\right],</math>
-कहाँ {{tmath|\mathbf I}} पहचान मैट्रिक्स है, जो वेतन वृद्धि के रूप में देता है {{tmath|\boldsymbol\delta}} अनुमानित पैरामीटर वेक्टर के लिए {{tmath|\boldsymbol\beta}}.
+जहां {{tmath|\mathbf I}} पहचान आव्यूह है, जो अनुमानित पैरामीटर सदिश {{tmath|\boldsymbol\beta}} में वृद्धि {{tmath|\boldsymbol\delta}} देता है।
-(गैर-नकारात्मक) अवमंदन कारक {{tmath|\lambda}} को प्रत्येक पुनरावृत्ति पर समायोजित किया जाता है। यदि की कमी हो {{tmath|S}} तीव्र है, छोटे मूल्य का उपयोग किया जा सकता है, जो एल्गोरिदम को गॉस-न्यूटन एल्गोरिदम के करीब लाता है, जबकि यदि कोई पुनरावृत्ति अवशिष्ट में अपर्याप्त कमी देता है, {{tmath|\lambda}} को ग्रेडिएंट-डिसेंट दिशा के करीब कदम बढ़ाते हुए बढ़ाया जा सकता है। ध्यान दें कि का ग्रेडिएंट {{tmath|S}} इसके संबंध में {{tmath|\boldsymbol\beta}} बराबर है <math>-2\left (\mathbf J^{\mathrm T}\left [\mathbf y - \mathbf f\left (\boldsymbol\beta\right )\right ]\right )^{\mathrm T}</math>. इसलिए, के बड़े मूल्यों के लिए {{tmath|\lambda}}, कदम लगभग ढाल के विपरीत दिशा में उठाया जाएगा। यदि या तो परिकलित चरण की लंबाई {{tmath|\boldsymbol\delta}} या नवीनतम पैरामीटर वेक्टर से वर्गों के योग में कमी {{tmath|\boldsymbol\beta + \boldsymbol\delta}} पूर्वनिर्धारित सीमा से नीचे गिरना, पुनरावृत्ति रुकना, और अंतिम पैरामीटर वेक्टर {{tmath|\boldsymbol\beta}} को समाधान माना जाता है।
+(गैर-नकारात्मक) डंपिंग फैक्टर {{tmath|\lambda}} को प्रत्येक पुनरावृत्ति पर समायोजित किया जाता है। यदि {{tmath|S}} की कमी तेजी से होती है, तब एक छोटे मान का उपयोग किया जा सकता है, जो एल्गोरिदम को गॉस-न्यूटन एल्गोरिदम के निकट लाता है, जबकि यदि कोई पुनरावृत्ति अवशिष्ट में अपर्याप्त कमी देता है, तब {{tmath|\lambda}} को ग्रेडिएंट-डिसेंट दिशा के निकट एक चरण बढ़ाते हुए बढ़ाया जा सकता है।
-जब अवमंदन कारक {{tmath|\lambda}} के सापेक्ष बड़ा है <math> \| \mathbf J^{\mathrm T} \mathbf J \| </math>, उलटना <math> \mathbf J^{\mathrm T} \mathbf J + \lambda \mathbf I </math> यह आवश्यक नहीं है, क्योंकि अपडेट छोटे ग्रेडिएंट चरण द्वारा अच्छी तरह से अनुमानित है <math> \lambda^{-1} \mathbf J^{\mathrm T}\left [\mathbf y - \mathbf f\left (\boldsymbol\beta\right )\right ]</math>.
+ध्यान दें कि {{tmath|\boldsymbol\beta}} के संबंध में {{tmath|S}} का ग्रेडिएंट <math>-2\left (\mathbf J^{\mathrm T}\left [\mathbf y - \mathbf f\left (\boldsymbol\beta\right )\right ]\right )^{\mathrm T}</math> के समान है। इसलिए, {{tmath|\lambda}} के बड़े मानों के लिए, चरण लगभग ग्रेडिएंट के विपरीत दिशा में उठाया जाएगा। यदि परिकलित चरण डेल्टा की लंबाई या नवीनतम पैरामीटर सदिश {{tmath|\boldsymbol\beta + \boldsymbol\delta}} से वर्गों के योग में कमी पूर्वनिर्धारित सीमा से नीचे आती है, तब पुनरावृत्ति रुक जाती है, और अंतिम पैरामीटर सदिश {{tmath|\boldsymbol\beta}} को समाधान माना जाता है।
-समाधान पैमाने को अपरिवर्तनीय बनाने के लिए मार्क्वार्ड के एल्गोरिदम ने वक्रता के अनुसार ढाल के प्रत्येक घटक को स्केल करके संशोधित समस्या हल की। यह उन दिशाओं में बड़ी गति प्रदान करता है जहां ढाल छोटी है, जो छोटी ढाल की दिशा में धीमी गति से अभिसरण से बचाती है। फ्लेचर ने अपने 1971 के पेपर में गैर-रेखीय न्यूनतम वर्गों के लिए संशोधित मार्क्वार्ड सबरूटीन ने पहचान मैट्रिक्स को प्रतिस्थापित करते हुए फॉर्म को सरल बनाया। {{tmath|\mathbf I}} विकर्ण तत्वों से युक्त विकर्ण मैट्रिक्स के साथ {{tmath|\mathbf J^\text{T}\mathbf J}}:
+जब डंपिंग फैक्टर {{tmath|\lambda}} <math> \| \mathbf J^{\mathrm T} \mathbf J \| </math> के सापेक्ष बड़ा होता है, तब <math> \mathbf J^{\mathrm T} \mathbf J + \lambda \mathbf I </math> को इनवर्ट करना आवश्यक नहीं होता है, क्योंकि अपडेट को छोटे ग्रेडिएंट चरण <math> \lambda^{-1} \mathbf J^{\mathrm T}\left [\mathbf y - \mathbf f\left (\boldsymbol\beta\right )\right ]</math> द्वारा अच्छी तरह से अनुमानित किया जाता है।
+समाधान पैमाने को अपरिवर्तनीय बनाने के लिए मार्क्वार्ड के एल्गोरिदम ने वक्रता के अनुसार ग्रेडिएंट के प्रत्येक घटक को स्केल करके एक संशोधित समस्या हल की। यह उन दिशाओं में बड़ी गति प्रदान करता है जहां ग्रेडिएंट छोटी है, जो छोटी ग्रेडिएंट की दिशा में धीमी गति से अभिसरण से बचाती है। फ्लेचर ने अपने 1971 के पेपर में गैर-रेखीय न्यूनतम वर्गों के लिए एक संशोधित मार्क्वार्ड सबरूटीन ने फॉर्म को सरल बनाया, पहचान आव्यूह {{tmath|\mathbf I}} को {{tmath|\mathbf J^\text{T}\mathbf J}} के विकर्ण तत्वों से युक्त विकर्ण आव्यूह के साथ बदल दिया।
 :<math>\left [\mathbf J^{\mathrm T} \mathbf J + \lambda \operatorname{diag}\left (\mathbf J^{\mathrm T} \mathbf J\right )\right ] \boldsymbol\delta = \mathbf J^{\mathrm T}\left [\mathbf y - \mathbf f\left (\boldsymbol\beta\right )\right ].</math>
-समान अवमंदन कारक [[तिखोनोव नियमितीकरण]] में दिखाई देता है, जिसका उपयोग रैखिक खराब समस्याओं को हल करने के लिए किया जाता है, साथ ही [[ रिज प्रतिगमन ]], सांख्यिकी में [[अनुमान सिद्धांत]] तकनीक में भी किया जाता है।
+समान डंपिंग फैक्टर [[तिखोनोव नियमितीकरण]] में दिखाई देता है, जिसका उपयोग रैखिक खराब समस्याओं का समाधान करने के लिए किया जाता है, इसके साथ ही [[ रिज प्रतिगमन |रिज प्रतिगमन]] , सांख्यिकी में [[अनुमान सिद्धांत]] विधि में भी किया जाता है।
+=== डंपिंग पैरामीटर का विकल्प ===
+डंपिंग पैरामीटर {{tmath|\lambda}} के सर्वोत्तम विकल्प के लिए विभिन्न कमोबेश अनुमानी तर्क सामने रखे गए हैं। सैद्धांतिक तर्क उपस्थित हैं जो दिखाते हैं कि इनमें से कुछ विकल्प एल्गोरिदम के स्थानीय अभिसरण की गारंटी क्यों देते हैं; चूँकि, यह विकल्प एल्गोरिदम के वैश्विक अभिसरण को विशेष रूप से इष्टतम के निकट बहुत धीमी गति से अभिसरण के अवांछनीय गुणों से ग्रस्त कर सकते हैं।
+किसी भी विकल्प का पूर्ण मूल्य इस बात पर निर्भर करता है कि प्रारंभिक समस्या कितनी अच्छी तरह से मापी गई है। मार्क्वार्ड ने मान {{tmath|\lambda_0}} और फैक्टर {{tmath|\nu > 1}} से प्रारंभ करने की अनुशंसा की। प्रारंभ में <math>\lambda = \lambda_0</math> समूह करना और प्रारंभिक बिंदु से एक चरण के पश्चात् <math>\lambda = \lambda_0</math> के डंपिंग फैक्टर के साथ और दूसरे {{tmath|\lambda_0 / \nu}} के साथ वर्गों <math>S\left (\boldsymbol\beta\right )</math> के अवशिष्ट योग की गणना करना है। यदि यह दोनों प्रारंभिक बिंदु से भी वर्से हैं, तब डंपिंग को {{tmath|\nu}} द्वारा क्रमिक गुणन द्वारा बढ़ाया जाता है जब तक कि कुछ {{tmath|k}} के लिए {{tmath|\lambda_0\nu^k}} के नए डंपिंग फैक्टर के साथ एक उत्तम बिंदु नहीं मिल जाता है।
-=== भिगोना पैरामीटर का विकल्प ===
+यदि अवमंदन कारक {{tmath|\lambda / \nu}} के उपयोग से वर्ग अवशिष्ट में कमी आती है, तब इसे {{tmath|\lambda}} (और नया इष्टतम स्थान इस डंपिंग फैक्टर से प्राप्त स्थान के रूप में लिया जाता है) के नए मान के रूप में लिया जाता है और प्रक्रिया जारी रहती है; यदि {{tmath|\lambda / \nu}} का उपयोग करने से परिणाम खराब होता है, किन्तु {{tmath|\lambda}} का उपयोग करने से उत्तम अवशेष प्राप्त होता है, तब {{tmath|\lambda}} को अपरिवर्तित छोड़ दिया जाता है और {{tmath|\lambda}} के साथ प्राप्त मान को डंपिंग फैक्टर के रूप में नए इष्टतम के रूप में लिया जाता है।
-डंपिंग पैरामीटर के सर्वोत्तम विकल्प के लिए विभिन्न कमोबेश अनुमानी तर्क सामने रखे गए हैं {{tmath|\lambda}}. सैद्धांतिक तर्क मौजूद हैं जो दिखाते हैं कि इनमें से कुछ विकल्प एल्गोरिदम के स्थानीय अभिसरण की गारंटी क्यों देते हैं; हालाँकि, ये विकल्प एल्गोरिदम के वैश्विक अभिसरण को ग्रेडिएंट डिसेंट के अवांछनीय गुणों से ग्रस्त कर सकते हैं, विशेष रूप से, इष्टतम के करीब बहुत धीमी गति से अभिसरण।
-किसी भी विकल्प का पूर्ण मूल्य इस बात पर निर्भर करता है कि प्रारंभिक समस्या कितनी अच्छी तरह से मापी गई है। मार्क्वार्ड ने मूल्य से शुरुआत करने की सिफारिश की {{tmath|\lambda_0}} और कारक {{tmath|\nu > 1}}. प्रारंभ में सेटिंग <math>\lambda = \lambda_0</math> और वर्गों के शेष योग की गणना करना <math>S\left (\boldsymbol\beta\right )</math> प्रारंभिक बिंदु से कदम के बाद अवमंदन कारक के साथ <math>\lambda = \lambda_0</math> और दूसरे के साथ {{tmath|\lambda_0 / \nu}}. यदि ये दोनों प्रारंभिक बिंदु से भी बदतर हैं, तो अवमंदन को क्रमिक गुणन द्वारा बढ़ाया जाता है {{tmath|\nu}} जब तक नए अवमंदन कारक के साथ बेहतर बिंदु नहीं मिल जाता {{tmath|\lambda_0\nu^k}} कुछ के लिए {{tmath|k}}.
+डंपिंग पैरामीटर के नियंत्रण के लिए प्रभावी रणनीति, जिसे विलंबित संतुष्टि कहा जाता है, में प्रत्येक चढ़ाई वाले चरण के लिए पैरामीटर को थोड़ी मात्रा में बढ़ाना और प्रत्येक डाउनहिल चरण के लिए बड़ी मात्रा में कमी करना सम्मिलित है। इस रणनीति के पीछे का विचार अनुकूलन की प्रारंभ में बहुत तेजी से नीचे की ओर बढ़ने से बचना है, इसलिए भविष्य के पुनरावृत्तियों में उपलब्ध चरणों को प्रतिबंधित करना और इसलिए अभिसरण को धीमा करना है।<ref name="Transtrum2011" /> अधिकांश स्थितियों में 2 के फैक्टर की वृद्धि और 3 के फैक्टर की कमी को प्रभावी दिखाया गया है, जबकि बड़ी समस्याओं के लिए 1.5 के फैक्टर की वृद्धि और 5 के फैक्टर की कमी के साथ अधिक उच्चतम मान उत्तम काम कर सकते हैं।<ref name="Transtrum2012" />
-यदि अवमंदन कारक का उपयोग करें {{tmath|\lambda / \nu}} के परिणामस्वरूप वर्ग अवशिष्ट में कमी आती है, तो इसे नए मान के रूप में लिया जाता है {{tmath|\lambda}} (और नया इष्टतम स्थान इस अवमंदन कारक से प्राप्त स्थान के रूप में लिया जाता है) और प्रक्रिया जारी रहती है; यदि उपयोग कर रहे हैं {{tmath|\lambda / \nu}} के परिणामस्वरूप बदतर अवशेष मिला, लेकिन उपयोग किया गया {{tmath|\lambda}} परिणामस्वरूप बेहतर अवशेष प्राप्त हुआ {{tmath|\lambda}} को अपरिवर्तित छोड़ दिया जाता है और नए इष्टतम को प्राप्त मूल्य के रूप में लिया जाता है {{tmath|\lambda}} अवमंदन कारक के रूप में।
-डंपिंग पैरामीटर के नियंत्रण के लिए प्रभावी रणनीति, जिसे विलंबित संतुष्टि कहा जाता है, में प्रत्येक चढ़ाई वाले चरण के लिए पैरामीटर को थोड़ी मात्रा में बढ़ाना और प्रत्येक डाउनहिल चरण के लिए बड़ी मात्रा में कमी करना शामिल है। इस रणनीति के पीछे का विचार अनुकूलन की शुरुआत में बहुत तेजी से नीचे की ओर बढ़ने से बचना है, इसलिए भविष्य के पुनरावृत्तियों में उपलब्ध चरणों को प्रतिबंधित करना और इसलिए अभिसरण को धीमा करना है।<ref name="Transtrum2011"/>अधिकांश मामलों में 2 के कारक की वृद्धि और 3 के कारक की कमी को प्रभावी दिखाया गया है, जबकि बड़ी समस्याओं के लिए 1.5 के कारक की वृद्धि और 5 के कारक की कमी के साथ अधिक चरम मूल्य बेहतर काम कर सकते हैं।<ref name="Transtrum2012"/>
 === जियोडेसिक त्वरण ===
-लेवेनबर्ग-मार्क्वार्ट चरण की वेग के रूप में व्याख्या करते समय <math>\boldsymbol{v}_k</math> पैरामीटर स्पेस में [[जियोडेसिक]] पथ के साथ, त्वरण के लिए जिम्मेदार दूसरे ऑर्डर शब्द को जोड़कर विधि में सुधार करना संभव है <math>\boldsymbol{a}_k</math> जियोडेसिक के साथ
+पैरामीटर स्पेस में [[जियोडेसिक]] पथ के साथ लेवेनबर्ग-मार्क्वार्ड चरण को वेग <math>\boldsymbol{v}_k</math> के रूप में व्याख्या करते समय, त्वरण <math>\boldsymbol{a}_k</math> के लिए जिम्मेदार दूसरे ऑर्डर शब्द को जोड़कर विधि में सुधार करना संभव है। जियोडेसिक के साथ
 :<math>
 \boldsymbol{v}_k + \frac{1}{2} \boldsymbol{a}_k
 </math>
-कहाँ <math>\boldsymbol{a}_k</math> का समाधान है
+जहाँ <math>\boldsymbol{a}_k</math> का समाधान है
 :<math>
 \boldsymbol{J}_k \boldsymbol{a}_k = -f_{vv} .
 </math>
-चूँकि यह जियोडेसिक त्वरण शब्द केवल [[दिशात्मक व्युत्पन्न]] पर निर्भर करता है <math>f_{vv} = \sum_{\mu\nu} v_{\mu} v_{\nu} \partial_{\mu} \partial_{\nu} f (\boldsymbol{x})</math> वेग की दिशा में <math>\boldsymbol{v}</math>, इसमें पूर्ण दूसरे क्रम के व्युत्पन्न मैट्रिक्स की गणना करने की आवश्यकता नहीं है, कंप्यूटिंग लागत के संदर्भ में केवल छोटे ओवरहेड की आवश्यकता होती है।<ref>{{cite web|url=https://www.gnu.org/software/gsl/doc/html/nls.html|title=अरेखीय न्यूनतम-वर्ग फिटिंग|publisher=GNU Scientific Library|archive-url=https://web.archive.org/web/20200414204913/https://www.gnu.org/software/gsl/doc/html/nls.html|archive-date=2020-04-14}}</ref> चूंकि दूसरे क्रम का व्युत्पन्न काफी जटिल अभिव्यक्ति हो सकता है, इसलिए इसे सीमित अंतर सन्निकटन के साथ बदलना सुविधाजनक हो सकता है
+चूंकि यह जियोडेसिक त्वरण शब्द केवल वेग <math>\boldsymbol{v}</math> की दिशा के साथ [[दिशात्मक व्युत्पन्न]] <math>f_{vv} = \sum_{\mu\nu} v_{\mu} v_{\nu} \partial_{\mu} \partial_{\nu} f (\boldsymbol{x})</math> पर निर्भर करता है, इसलिए इसमें पूर्ण दूसरे क्रम के व्युत्पन्न आव्यूह की गणना करने की आवश्यकता नहीं होती है, जिसके लिए कंप्यूटिंग निवेश के संदर्भ में केवल एक छोटे ओवरहेड की आवश्यकता होती है।<ref>{{cite web|url=https://www.gnu.org/software/gsl/doc/html/nls.html|title=अरेखीय न्यूनतम-वर्ग फिटिंग|publisher=GNU Scientific Library|archive-url=https://web.archive.org/web/20200414204913/https://www.gnu.org/software/gsl/doc/html/nls.html|archive-date=2020-04-14}}</ref> चूंकि दूसरे क्रम का व्युत्पन्न अधिक जटिल अभिव्यक्ति हो सकता है, इसलिए इसे सीमित अंतर सन्निकटन के साथ बदलना सुविधाजनक हो सकता है
 :<math>
@@ Line 79: / Line 84: @@
 \end{align}
 </math>
-कहाँ <math>f(\boldsymbol{x})</math> और <math>\boldsymbol{J}</math> एल्गोरिदम द्वारा पहले ही गणना की जा चुकी है, इसलिए गणना करने के लिए केवल अतिरिक्त फ़ंक्शन मूल्यांकन की आवश्यकता है <math>f(\boldsymbol{x} + h \boldsymbol{\delta})</math>. परिमित अंतर चरण का चुनाव <math>h</math> एल्गोरिदम की स्थिरता को प्रभावित कर सकता है, और लगभग 0.1 का मान आमतौर पर सामान्य रूप से उचित होता है।<ref name="Transtrum2012"/>
+जहां <math>f(\boldsymbol{x})</math> और <math>\boldsymbol{J}</math> की गणना पहले ही एल्गोरिदम द्वारा की जा चुकी है, इसलिए <math>f(\boldsymbol{x} + h \boldsymbol{\delta})</math> की गणना के लिए केवल एक अतिरिक्त फलन मूल्यांकन की आवश्यकता है। परिमित अंतर चरण <math>h</math> का चुनाव एल्गोरिथम की स्थिरता को प्रभावित कर सकता है, और लगभग 0.1 का मान सामान्यतः उचित होता है।<ref name="Transtrum2012"/>
-चूँकि त्वरण वेग के विपरीत दिशा की ओर इंगित कर सकता है, इसलिए यदि अवमंदन बहुत छोटा है तो विधि को रोकने से रोकने के लिए, चरण को स्वीकार करने के लिए त्वरण पर अतिरिक्त मानदंड जोड़ा जाता है, जिसके लिए आवश्यक है
+चूँकि त्वरण वेग के विपरीत दिशा की ओर निरुपित कर सकता है, इसलिए यदि डंपिंग बहुत छोटा है तब विधि को रोकने से रोकने के लिए, चरण को स्वीकार करने के लिए त्वरण पर अतिरिक्त मानदंड जोड़ा जाता है, जिसके लिए आवश्यक है
 :<math>
 \frac{2 \left\| \boldsymbol{a}_k \right\|}{\left\| \boldsymbol{v}_k \right\|} \le \alpha
 </math>
-कहाँ <math>\alpha</math> आमतौर पर कठिन समस्याओं के लिए छोटे मान के साथ, 1 से कम मान पर तय किया जाता है।<ref name="Transtrum2012"/>
+जहाँ <math>\alpha</math> सामान्यतः कठिन समस्याओं के लिए छोटे मान के साथ, 1 से कम मान पर तय किया जाता है।<ref name="Transtrum2012"/>
-जियोडेसिक त्वरण शब्द को जोड़ने से अभिसरण गति में महत्वपूर्ण वृद्धि हो सकती है और यह विशेष रूप से तब उपयोगी होता है जब एल्गोरिदम उद्देश्य फ़ंक्शन के परिदृश्य में संकीर्ण घाटियों के माध्यम से आगे बढ़ रहा है, जहां अनुमत चरण छोटे होते हैं और दूसरे क्रम के शब्द के कारण उच्च सटीकता महत्वपूर्ण सुधार देती है।<ref name="Transtrum2012"/>
+जियोडेसिक त्वरण शब्द को जोड़ने से अभिसरण गति में महत्वपूर्ण वृद्धि हो सकती है और यह विशेष रूप से तब उपयोगी होता है जब एल्गोरिदम उद्देश्य फलन के परिदृश्य में संकीर्ण घाटियों के माध्यम से आगे बढ़ रहा है, जहां अनुमत चरण छोटे होते हैं और दूसरे क्रम के शब्द के कारण उच्च शुद्धता महत्वपूर्ण सुधार देती है।<ref name="Transtrum2012"/>
@@ Line 94: / Line 99: @@
 [[Image:Lev-Mar-poor-fit.png|thumb|खराब फिटिंग]]
-[[Image:Lev-Mar-better-fit.png|thumb|बेहतर फिट]]
+[[Image:Lev-Mar-better-fit.png|thumb|उत्तम फिट]]
-[[Image:Lev-Mar-best-fit.png|thumb|सबसे अच्छा फिट]]इस उदाहरण में हम फ़ंक्शन को फिट करने का प्रयास करते हैं <math>y = a \cos\left (bX\right ) + b \sin\left (aX\right )</math> लीस्कर फ़ंक्शन के रूप में [[जीएनयू ऑक्टेव]] में कार्यान्वित लेवेनबर्ग-मार्क्वार्ड एल्गोरिदम का उपयोग करना। ग्राफ़ मापदंडों के लिए उत्तरोत्तर बेहतर फिटिंग दिखाते हैं <math>a = 100</math>, <math>b = 102</math> इस्तेमाल किया गया
+[[Image:Lev-Mar-best-fit.png|thumb|सबसे अच्छा फिट]]इस उदाहरण में हम [[जीएनयू ऑक्टेव]] में लीस्कर फलन के रूप में कार्यान्वित लेवेनबर्ग-मार्क्वार्ड एल्गोरिदम का उपयोग करके फलन <math>y = a \cos\left (bX\right ) + b \sin\left (aX\right )</math> को फिट करने का प्रयास करते हैं। ग्राफ प्रारंभिक वक्र में उपयोग किए गए पैरामीटर <math>a = 100</math>, <math>b = 102</math> के लिए उत्तरोत्तर उत्तम फिटिंग दिखाते हैं। केवल जब अंतिम ग्राफ़ में पैरामीटर मूल के सबसे निकट चुने जाते हैं, तब वक्र बिल्कुल फिट होते हैं। यह समीकरण लेवेनबर्ग-मार्क्वार्ड एल्गोरिथम के लिए बहुत संवेदनशील प्रारंभिक स्थितियों का एक उदाहरण है। इस संवेदनशीलता का एक कारण मल्टीपल मिनिमा का अस्तित्व है - फलन <math>\cos\left (\beta x\right )</math> में पैरामीटर मान <math>\hat\beta</math> और <math>\hat\beta + 2n\pi</math> पर न्यूनतम है।
-प्रारंभिक वक्र में. केवल जब अंतिम ग्राफ़ में पैरामीटर मूल के सबसे करीब चुने जाते हैं, तो वक्र बिल्कुल फिट होते हैं। यह समीकरण
-लेवेनबर्ग-मार्क्वार्ड एल्गोरिथम के लिए बहुत संवेदनशील प्रारंभिक स्थितियों का उदाहरण है। इस संवेदनशीलता का कारण मल्टीपल मिनिमा - फ़ंक्शन का अस्तित्व है <math>\cos\left (\beta x\right )</math> पैरामीटर मान पर न्यूनतम है <math>\hat\beta</math> और <math>\hat\beta + 2n\pi</math>.
 == यह भी देखें ==
 * ट्रस्ट क्षेत्र
 * नेल्डर-मीड विधि
-* लेवेनबर्ग-मार्क्वार्ड एल्गोरिदम के वेरिएंट का उपयोग समीकरणों की गैर-रेखीय प्रणालियों को हल करने के लिए भी किया गया है।<ref>{{cite journal |doi=10.1016/j.cam.2004.02.013|title=Levenberg–Marquardt methods with strong local convergence properties for solving nonlinear equations with convex constraints|journal=Journal of Computational and Applied Mathematics|volume=172|issue=2|pages=375–397|year=2004|last1=Kanzow|first1=Christian|last2=Yamashita|first2=Nobuo|last3=Fukushima|first3=Masao|bibcode=2004JCoAM.172..375K|doi-access=free}}</ref>
+* लेवेनबर्ग-मार्क्वार्ड एल्गोरिदम के वेरिएंट का उपयोग समीकरणों की गैर-रेखीय प्रणालियों का समाधान करने के लिए भी किया गया है।<ref>{{cite journal |doi=10.1016/j.cam.2004.02.013|title=Levenberg–Marquardt methods with strong local convergence properties for solving nonlinear equations with convex constraints|journal=Journal of Computational and Applied Mathematics|volume=172|issue=2|pages=375–397|year=2004|last1=Kanzow|first1=Christian|last2=Yamashita|first2=Nobuo|last3=Fukushima|first3=Masao|bibcode=2004JCoAM.172..375K|doi-access=free}}</ref>
@@ Line 224: / Line 226: @@
 {{DEFAULTSORT:Levenberg-Marquardt algorithm}}
- 	[[Category: सांख्यिकीय एल्गोरिदम]] [[Category: अनुकूलन एल्गोरिदम और विधियाँ]] [[Category: कम से कम वर्गों]]
-[[Category: Machine Translated Page]]
+[[Category:All articles with dead external links|Levenberg-Marquardt algorithm]]
-[[Category:Created On 24/07/2023]]
+[[Category:Articles with dead external links from February 2020|Levenberg-Marquardt algorithm]]
+[[Category:Articles with permanently dead external links|Levenberg-Marquardt algorithm]]
+[[Category:Collapse templates|Levenberg-Marquardt algorithm]]
+[[Category:Created On 24/07/2023|Levenberg-Marquardt algorithm]]
+[[Category:Lua-based templates|Levenberg-Marquardt algorithm]]
+[[Category:Machine Translated Page|Levenberg-Marquardt algorithm]]
+[[Category:Navigational boxes| ]]
+[[Category:Navigational boxes without horizontal lists|Levenberg-Marquardt algorithm]]
+[[Category:Pages using duplicate arguments in template calls|Levenberg-Marquardt algorithm]]
+[[Category:Pages with script errors|Levenberg-Marquardt algorithm]]
+[[Category:Short description with empty Wikidata description|Levenberg-Marquardt algorithm]]
+[[Category:Sidebars with styles needing conversion|Levenberg-Marquardt algorithm]]
+[[Category:Template documentation pages|Documentation/doc]]
+[[Category:Templates Translated in Hindi|Levenberg-Marquardt algorithm]]
+[[Category:Templates Vigyan Ready|Levenberg-Marquardt algorithm]]
+[[Category:Templates generating microformats|Levenberg-Marquardt algorithm]]
+[[Category:Templates that add a tracking category|Levenberg-Marquardt algorithm]]
+[[Category:Templates that are not mobile friendly|Levenberg-Marquardt algorithm]]
+[[Category:Templates that generate short descriptions|Levenberg-Marquardt algorithm]]
+[[Category:Templates using TemplateData|Levenberg-Marquardt algorithm]]
+[[Category:Wikipedia metatemplates|Levenberg-Marquardt algorithm]]
+[[Category:अनुकूलन एल्गोरिदम और विधियाँ|Levenberg-Marquardt algorithm]]
+[[Category:कम से कम वर्गों|Levenberg-Marquardt algorithm]]
+[[Category:सांख्यिकीय एल्गोरिदम|Levenberg-Marquardt algorithm]]

Anonymous

Search

लेवेनबर्ग-मार्क्वार्ड एल्गोरिदम: Difference between revisions

Namespaces

More

Page actions

Latest revision as of 17:51, 10 August 2023

Contents

समस्या

समाधान

डंपिंग पैरामीटर का विकल्प

जियोडेसिक त्वरण

उदाहरण

यह भी देखें

संदर्भ

अग्रिम पठन

बाहरी संबंध

Navigation

Navigation

Wiki tools

Wiki tools

Anonymous

Search

लेवेनबर्ग-मार्क्वार्ड एल्गोरिदम: Difference between revisions

Latest revision as of 17:51, 10 August 2023

समस्या

समाधान

डंपिंग पैरामीटर का विकल्प

जियोडेसिक त्वरण

उदाहरण

यह भी देखें

संदर्भ

अग्रिम पठन

बाहरी संबंध

Navigation

Wiki tools

Page tools

Other projects

Categories