गणितीय अनुकूलन





 गणितीय अनुकूलन  (वैकल्पिक रूप से वर्तनी  अनुकूलन ) या  गणितीय प्रोग्रामिंग  एक सर्वोत्तम तत्व का चयन है, कुछ मानदंड के संबंध में, उपलब्ध विकल्पों के कुछ सेट से  कंप्यूटर विज्ञान  और   इंजीनियरिंग से सभी मात्रात्मक विषयों में प्रकार की अनुकूलन समस्याएं उत्पन्न होती हैं]  [[ संचालन अनुसंधान  और   अर्थशास्त्र, और समाधान विधियों का विकास   गणित  में सदियों से रुचि रहा है

सरलतम मामले में,  अनुकूलन समस्या  में    अधिकतम या कम से कम  एक वास्तविक चर |  वास्तविक फ़ंक्शन ]] का एक    इनपुट  मानों के    मान  की गणना करना।अन्य योगों के लिए अनुकूलन सिद्धांत और तकनीकों का सामान्यीकरण   लागू गणित  के एक बड़े क्षेत्र का गठन करता है।आम तौर पर, अनुकूलन में कुछ उद्देश्य फ़ंक्शन के सर्वोत्तम उपलब्ध मानों को खोजना शामिल है, जो एक फ़ंक्शन |  डोमेन ]] (या इनपुट) के एक परिभाषित  [[ डोमेन को दिया गया है, जिसमें विभिन्न प्रकार के उद्देश्य कार्यों और विभिन्न प्रकार के डोमेन शामिल हैं।गैर-उत्तल वैश्विक अनुकूलन की सामान्य समस्या एनपी-पूर्ण है और स्वीकार्य गहरी स्थानीय मिनीमा आनुवंशिक एल्गोरिदम (जीए), कण झुंड अनुकूलन (पीएसओ) और सिम्युलेटेड एनीलिंग (एसए) जैसे उत्तराधिकारियों का उपयोग करके पाए जाते हैं।<ref name=": 1

अनुकूलन समस्याएं
एक अनुकूलन समस्या को निम्नलिखित तरीके से दर्शाया जा सकता है:
 *  दिया गया:  एक   फ़ंक्शन  $f : A → ℝ$ कुछ    सेट  $A$   वास्तविक संख्या  एस तक
 *  मांग:  एक तत्व $x_{0} ∈ A$ ऐसा है कि $f(x_{0}) ≤ f(x)$ सबके लिए $x ∈ A$ (कम से कम) या ऐसा $f(x_{0}) ≥ f(x)$ सबके लिए $x ∈ A$ (अधिकतमकरण)।

इस तरह के सूत्रीकरण को   ऑप्टिमाइज़ेशन समस्या   या एक  गणितीय प्रोग्रामिंग समस्या  कहा जाता है ''' (एक शब्द सीधे   कंप्यूटर प्रोग्रामिंग  से संबंधित नहीं है, लेकिन अभी भी   रैखिक प्रोग्रामिंग  में उदाहरण के लिए उपयोग में है -    इतिहास  देखेंनीचे)।कई वास्तविक दुनिया और सैद्धांतिक समस्याओं को इस सामान्य ढांचे में बनाया जा सकता है।

चूंकि निम्नलिखित मान्य है$$f\left(\mathbf{x}_{0}\right)\geq f\left(\mathbf{x}\right) \Leftrightarrow \tilde{f}\left(\mathbf{x}_{0}\right)\leq \tilde{f}\left(\mathbf{x}\right)$$ साथ$$\tilde{f}\left(\mathbf{x}\right) := - f\left(\mathbf{x}\right),\, \tilde{f}\, :\, A \rightarrow \mathbb{R}$$ यह कम से कम समस्याओं को हल करने के लिए अधिक सुविधाजनक है।हालाँकि, विपरीत परिप्रेक्ष्य भी मान्य होगा।

भौतिकी के क्षेत्रों में इस तकनीक का उपयोग करके तैयार की गई समस्याएं तकनीक को    ऊर्जा  न्यूनतमकरण  के रूप में संदर्भित कर सकती हैं, जो फ़ंक्शन के मूल्य की बात कर रही है $f$   प्रणाली  की ऊर्जा का प्रतिनिधित्व करने के रूप में     मॉडल किया गया।  मशीन लर्निंग  में,    लागत फ़ंक्शन  का उपयोग करके डेटा मॉडल की गुणवत्ता का लगातार मूल्यांकन करना हमेशा आवश्यक होता है, जहां एक न्यूनतम का अर्थ है कि एक इष्टतम (सबसे कम) त्रुटि के साथ संभवतः इष्टतम मापदंडों का एक सेट है।

आमतौर पर, $A$  यूक्लिडियन स्पेस  के कुछ   सबसेट  है $ℝ^{n}$, अक्सर     बाधाओं के एक सेट द्वारा निर्दिष्ट  , समानताएं या असमानताएं जो सदस्य हैं $A$ संतुष्ट करना है।एक फ़ंक्शन का    डोमेन  $A$ का $f$  खोज स्थान  या  चॉइस सेट  कहा जाता है, जबकि के तत्व $A$    उम्मीदवार समाधान  s  या  व्यवहार्य समाधान  कहा जाता है।

कार्यक्रम $f$ कहा जाता है, विभिन्न रूप से, एक  उद्देश्य फ़ंक्शन , एक   हानि फ़ंक्शन   या  लागत फ़ंक्शन  (न्यूनतमकरण)  एक  यूटिलिटी फ़ंक्शन  या  फिटनेस फ़ंक्शन  (अधिकतमकरण), या, कुछ क्षेत्रों में, एक  एनर्जी फ़ंक्शन  या  एनर्जी    फंक्शनल  ।एक व्यवहार्य समाधान जो कम से कम (या अधिकतम करता है, यदि वह लक्ष्य है) तो उद्देश्य फ़ंक्शन को  इष्टतम समाधान  कहा जाता है।

गणित में, पारंपरिक अनुकूलन समस्याएं आमतौर पर न्यूनतमकरण के संदर्भ में बताई जाती हैं।

एक  स्थानीय न्यूनतम  $x*$ एक तत्व के रूप में परिभाषित किया गया है जिसके लिए कुछ मौजूद है $δ > 0$ ऐसा है कि$$\forall\mathbf{x}\in A \; \text{where} \;\left\Vert\mathbf{x}-\mathbf{x}^{\ast}\right\Vert\leq\delta,\,$$

भाव $f(x*) ≤ f(x)$ होल्ड्स;

यह कहना है, आसपास के कुछ क्षेत्र पर $x*$ सभी फ़ंक्शन मान उस तत्व के मूल्य से अधिक या बराबर हैं। स्थानीय मैक्सिमा को समान रूप से परिभाषित किया गया है।

जबकि एक स्थानीय न्यूनतम कम से कम किसी भी आस -पास के तत्वों के रूप में अच्छा है,  वैश्विक न्यूनतम  कम से कम हर संभव तत्व के रूप में अच्छा है। आम तौर पर, जब तक कि उद्देश्य फ़ंक्शन   उत्तल  एक न्यूनतमकरण समस्या में नहीं है, तब तक कई स्थानीय मिनीमा हो सकते हैं। एक   उत्तल समस्या  में, अगर कोई स्थानीय न्यूनतम है जो इंटीरियर है (फीसिब के सेट के किनारे पर नहींLe Elements), यह वैश्विक न्यूनतम भी है, लेकिन एक नॉनकनेक्स समस्या में एक से अधिक स्थानीय न्यूनतम हो सकती है, जिनमें से सभी को वैश्विक मिनीमा की आवश्यकता नहीं है।

नॉनकॉनवेक्स समस्याओं को हल करने के लिए प्रस्तावित एल्गोरिदम की एक बड़ी संख्या - व्यावसायिक रूप से उपलब्ध सॉल्वरों के बहुमत सहित - स्थानीय रूप से इष्टतम समाधानों और विश्व स्तर पर इष्टतम समाधानों के बीच अंतर करने में सक्षम नहीं हैं, और पूर्व को मूल समस्या के वास्तविक समाधान के रूप में मानेंगे। ग्लोबल ऑप्टिमाइज़ेशन    एप्लाइड मैथमेटिक्स  और   न्यूमेरिकल एनालिसिस  की शाखा है जो कि नियतात्मक एल्गोरिदम के विकास से संबंधित है जो एक नॉनकॉवेक्स समस्या के वास्तविक इष्टतम समाधान के लिए परिमित समय में अभिसरण की गारंटी देने में सक्षम हैं।

संकेतन
अनुकूलन समस्याओं को अक्सर विशेष संकेतन के साथ व्यक्त किया जाता है।यहां कुछ उदाहरण दिए गए हैं:

न्यूनतम और एक फ़ंक्शन का अधिकतम मूल्य
निम्नलिखित संकेतन पर विचार करें:$$\min_{x\in\mathbb R}\; \left(x^2 + 1\right)$$

यह उद्देश्य फ़ंक्शन के न्यूनतम   मान  को दर्शाता है $x^{2} + 1$, जब चुनना $x$   वास्तविक संख्या  एस के सेट से $ℝ$।इस मामले में न्यूनतम मूल्य 1 है, पर होता है $x = 0$।

इसी तरह, संकेतन$$\max_{x\in\mathbb R}\; 2x$$

उद्देश्य फ़ंक्शन के अधिकतम मूल्य के लिए पूछता है $2x$, कहाँ पे $x$ कोई भी वास्तविक संख्या हो सकती है।इस मामले में, ऐसा कोई अधिकतम नहीं है क्योंकि उद्देश्य फ़ंक्शन अनबाउंड है, इसलिए इसका उत्तर  इन्फिनिटी  या अपरिभाषित है।

इष्टतम इनपुट तर्क
निम्नलिखित संकेतन पर विचार करें:$$\underset{x\in(-\infty,-1]}{\operatorname{arg\,min}} \; x^2 + 1,$$ या समकक्ष रूप से$$\underset{x}{\operatorname{arg\,min}} \; x^2 + 1, \; \text{subject to:} \; x\in(-\infty,-1].$$

यह एक फ़ंक्शन | तर्क ]] के    अंतराल  $(−∞,−1]$ यह उद्देश्य फ़ंक्शन को कम (या कम से कम) करता है $x^{2} + 1$ (उस फ़ंक्शन का वास्तविक न्यूनतम मूल्य वह नहीं है जो समस्या के लिए पूछती है)।इस मामले में, जवाब है $x = −1$, के बाद से $x = 0$ infeasible है, अर्थात्, यह   संभव सेट  से संबंधित नहीं है।

इसी तरह,$$\underset{x\in[-5,5], \; y\in\mathbb R}{\operatorname{arg\,max}} \; x\cos y,$$ या समकक्ष रूप से$$\underset{x, \; y}{\operatorname{arg\,max}} \; x\cos y, \; \text{subject to:} \; x\in[-5,5], \; y\in\mathbb R,$$

प्रतिनिधित्व करता है ${x, y }$ जोड़ी (या जोड़े) जो उद्देश्य फ़ंक्शन के मान को अधिकतम (या अधिकतम) करती है $x cos y$, अतिरिक्त बाधा के साथ $x$ अंतराल में झूठ बोलना $[−5,5]$ (फिर से, अभिव्यक्ति का वास्तविक अधिकतम मूल्य कोई फर्क नहीं पड़ता)।इस मामले में, समाधान फॉर्म के जोड़े हैं {5, 2k$\pi$<परत>} {−5, (2k + 1)π}, बकाया $x$ सभी  पूर्णांक  एस पर रेंज।

ऑपरेटर्स $arg min$ और $arg max$ कभी -कभी भी लिखा जाता है $argmin$ और $argmax$, और  न्यूनतम  और  अधिकतम का तर्क  के लिए खड़े होकर खड़े हों।

इतिहास
फर्मेट और    लैग्रेंज  ने ऑप्टिमा की पहचान के लिए कैलकुलस-आधारित सूत्र पाए, जबकि    न्यूटन  और    गॉस  ने एक इटोरेंट इंट्रोरेंट वेट्स को आगे बढ़ाया।

कुछ अनुकूलन मामलों के लिए  रैखिक प्रोग्रामिंग  शब्द    जॉर्ज & nbsp; बी के कारण था।Dantzig, हालांकि 1939 में   लियोनिद कांटोरोविच  द्वारा सिद्धांत का अधिकांश हिस्सा पेश किया गया था।संयुक्त राज्य अमेरिका की सेना प्रस्तावित प्रशिक्षण और   लॉजिस्टिक्स  शेड्यूल का उल्लेख करने के लिए, जो उस समय डैंटज़िग की समस्याओं की समस्याएं थीं।) डैंटज़िग ने 1947 में   सिम्प्लेक्स एल्गोरिथ्म  प्रकाशित किया, और   जॉन वॉन न्यूमैन  ने    द्वंद्व

गणितीय अनुकूलन में अन्य उल्लेखनीय शोधकर्ताओं में निम्नलिखित शामिल हैं:


 * रिचर्ड बेलमैन
 * दिमित्री बर्टसेक
 * मिशेल बिएलेयर
 * स्टीफन बॉयड
 * रोजर फ्लेचर
 * रोनाल्ड ए। हॉवर्ड
 * फ्रिट्ज जॉन
 * नरेंद्र कर्मकार
 * विलियम करुश
 * लियोनिद खचियान
 * बर्नार्ड कोपमैन
 * हेरोल्ड कुहन
 * lászló lovász
 * अर्कदी नेमिरोवस्की
 * YURII NESTEROV
 * लेव पोंट्रीगिन
 * आर। टायरेल रॉकफेलर
 * NAUM Z. SHOR
 * अल्बर्ट टकर

<!-वास्तव में, कुछ गणितीय प्रोग्रामिंग काम पहले किया गया था ... (किसी को भी?-गॉस ने यहां कुछ सामान किया), गॉस ने कम से कम वर्गों की विधि विकसित की, जो एक अनुकूलन विधि है।->

मेजर सबफील्ड्स

 * उत्तल प्रोग्रामिंग मामले का अध्ययन करें जब उद्देश्य फ़ंक्शन    उत्तल  (न्यूनतमकरण) या    अवतल  (अधिकतमकरण) और बाधा सेट    कॉनवेक्स  है। इसे nonlinear प्रोग्रामिंग के एक विशेष मामले के रूप में या रैखिक या उत्तल द्विघात प्रोग्रामिंग के सामान्यीकरण के रूप में देखा जा सकता है।
 * रैखिक प्रोग्रामिंग (एलपी), एक प्रकार का उत्तल प्रोग्रामिंग, उस मामले का अध्ययन करता है जिसमें उद्देश्य फ़ंक्शन  एफ  रैखिक है और बाधाएं केवल रैखिक समानताओं और असमानताओं का उपयोग करके निर्दिष्ट की जाती हैं। इस तरह के एक बाधा सेट को   पॉलीहेड्रॉन  या   पॉलीटोप  कहा जाता है यदि यह    बाउंड  है।
 * सेकंड-ऑर्डर कोन प्रोग्रामिंग (SOCP) एक उत्तल कार्यक्रम है, और इसमें कुछ प्रकार के द्विघात कार्यक्रम शामिल हैं।
 * सेमाइडफिनाइट प्रोग्रामिंग (एसडीपी) उत्तल ऑप्टिमाइज़ेशन का एक सबफील्ड है जहां अंतर्निहित चर   सेमाइडफाइनेट     मैट्रिस  हैं। यह रैखिक और उत्तल द्विघात प्रोग्रामिंग का एक सामान्यीकरण है।
 * CONIC प्रोग्रामिंग उत्तल प्रोग्रामिंग का एक सामान्य रूप है। एलपी, एसओसीपी और एसडीपी सभी को उचित प्रकार के शंकु के साथ शंकु कार्यक्रमों के रूप में देखा जा सकता है।
 * ज्यामितीय प्रोग्रामिंग एक ऐसी तकनीक है जिसके द्वारा   पॉसिओमिअल  के रूप में व्यक्त किए गए उद्देश्य और असमानता की कमी और   मोनोमिअल  के रूप में समानता की कमी को एक उत्तल कार्यक्रम में बदल दिया जा सकता है।
 * पूर्णांक प्रोग्रामिंग अध्ययन रैखिक कार्यक्रम जिसमें कुछ या सभी चर   पूर्णांक  मान लेने के लिए विवश हैं। यह उत्तल नहीं है, और सामान्य रूप से नियमित रैखिक प्रोग्रामिंग की तुलना में बहुत अधिक कठिन है।
 * द्विघात प्रोग्रामिंग उद्देश्य फ़ंक्शन को द्विघात शब्द देने की अनुमति देता है, जबकि व्यवहार्य सेट को रैखिक समानताओं और असमानताओं के साथ निर्दिष्ट किया जाना चाहिए। द्विघात शब्द के विशिष्ट रूपों के लिए, यह एक प्रकार का उत्तल प्रोग्रामिंग है।
 * आंशिक प्रोग्रामिंग अध्ययन दो नॉनलाइनियर कार्यों के अनुपात का अनुकूलन। अवतल आंशिक कार्यक्रमों के विशेष वर्ग को एक उत्तल अनुकूलन समस्या में बदल दिया जा सकता है।
 * नॉनलाइनर प्रोग्रामिंग सामान्य मामले का अध्ययन करता है जिसमें उद्देश्य फ़ंक्शन या बाधाओं या दोनों में नॉनलाइनर भाग होते हैं। यह एक उत्तल कार्यक्रम हो सकता है या नहीं भी हो सकता है। सामान्य तौर पर, क्या कार्यक्रम उत्तल है, इसे हल करने की कठिनाई को प्रभावित करता है।
 * स्टोकेस्टिक प्रोग्रामिंग उस मामले का अध्ययन करता है जिसमें कुछ बाधाएं या पैरामीटर   यादृच्छिक चर  एस पर निर्भर करते हैं।
 * मजबूत अनुकूलन, स्टोकेस्टिक प्रोग्रामिंग की तरह, अनुकूलन समस्या को अंतर्निहित डेटा में अनिश्चितता को पकड़ने का प्रयास। मजबूत अनुकूलन का उद्देश्य उन समाधानों को खोजना है जो अनिश्चितता सेट द्वारा परिभाषित अनिश्चितताओं के सभी संभावित अहसासों के तहत मान्य हैं।
 * कॉम्बिनेटरियल ऑप्टिमाइज़ेशन उन समस्याओं से संबंधित है जहां व्यवहार्य समाधानों का सेट असतत है या    असतत  एक तक कम किया जा सकता है।
 * स्टोकेस्टिक ऑप्टिमाइज़ेशन का उपयोग यादृच्छिक (शोर) फ़ंक्शन माप या खोज प्रक्रिया में यादृच्छिक इनपुट के साथ किया जाता है।
 * अनंत-आयामी अनुकूलन मामले का अध्ययन करता है जब संभव समाधानों का सेट एक अनंत-  आयाम  अल अंतरिक्ष का एक सबसेट है, जैसे कि कार्यों का एक स्थान।
 * HEURISTICS और   METAHEURISTIC  S समस्या को अनुकूलित करने के बारे में कुछ या कोई धारणा नहीं बनाते हैं। आमतौर पर, heuristics गारंटी नहीं देते हैं कि किसी भी इष्टतम समाधान की आवश्यकता है। दूसरी ओर, कई जटिल अनुकूलन समस्याओं के लिए अनुमानित समाधान खोजने के लिए heuristics का उपयोग किया जाता है।
 * बाधा संतुष्टि उस मामले का अध्ययन करती है जिसमें उद्देश्य कार्य  एफ  स्थिर है (इसका उपयोग   आर्टिफिशियल इंटेलिजेंस  में किया जाता है, विशेष रूप से   स्वचालित तर्क  में)।
 * बाधा प्रोग्रामिंग एक प्रोग्रामिंग प्रतिमान है जिसमें चर के बीच संबंध बाधाओं के रूप में बताए गए हैं।
 * असंतुष्ट प्रोग्रामिंग का उपयोग किया जाता है जहां कम से कम एक बाधा को संतुष्ट किया जाना चाहिए लेकिन सभी नहीं। यह बराबर हैशेड्यूलिंग में ticular उपयोग।
 * स्पेस मैपिंग एक इंजीनियरिंग सिस्टम के मॉडलिंग और अनुकूलन के लिए एक अवधारणा है जो उच्च-निष्ठा (ठीक) मॉडल सटीकता के लिए एक उपयुक्त शारीरिक रूप से सार्थक मोटे या   सरोगेट मॉडल  का शोषण करता है।

कई उपक्षेत्रों में, तकनीकों को मुख्य रूप से गतिशील संदर्भों में अनुकूलन के लिए डिज़ाइन किया गया है (यानी, समय के साथ निर्णय लेना):
 * गणनाओं की गणना निर्देशांक के एक समारोह को अलग करके एक चरम पर कुछ स्थान पर एक कार्रवाई के अभिन्न को अनुकूलित करने का प्रयास करती है।
 * इष्टतम नियंत्रण सिद्धांत विविधताओं के कलन का एक सामान्यीकरण है जो नियंत्रण नीतियों का परिचय देता है।
 * डायनेमिक प्रोग्रामिंग स्टोकेस्टिक, रैंडमनेस और अज्ञात मॉडल मापदंडों के साथ   स्टोकेस्टिक ऑप्टिमाइज़ेशन  समस्या को हल करने का दृष्टिकोण है। यह उस मामले का अध्ययन करता है जिसमें अनुकूलन रणनीति समस्या को छोटे उपप्रकारों में विभाजित करने पर आधारित है। समीकरण जो इन उपप्रकारों के बीच संबंध का वर्णन करता है, उसे   बेलमैन समीकरण  कहा जाता है।
 * गणितीय प्रोग्रामिंग के साथ संतुलन की कमी वह है जहां बाधाओं में   वैरिएशनल असमानताएं  या    पूरक  शामिल हैं।

बहु-उद्देश्य अनुकूलन
एक अनुकूलन समस्या में एक से अधिक उद्देश्य जोड़ना जटिलता जोड़ता है। उदाहरण के लिए, एक संरचनात्मक डिजाइन का अनुकूलन करने के लिए, एक डिजाइन की इच्छा होगी जो प्रकाश और कठोर दोनों है। जब दो उद्देश्य संघर्ष करते हैं, तो एक व्यापार-बंद बनाया जाना चाहिए। एक सबसे हल्का डिज़ाइन, एक कठोर डिजाइन, और एक अनंत संख्या में डिज़ाइन हो सकते हैं जो वजन और कठोरता के कुछ समझौते हैं। ट्रेड-ऑफ डिजाइनों का सेट जो एक मानदंड में सुधार करता है, दूसरे की कीमत पर  पेरेटो सेट  के रूप में जाना जाता है। सबसे अच्छे डिजाइनों की कठोरता के खिलाफ वजन वाले वक्र ने   पेरेटो फ्रंटियर  के रूप में जाना जाता है।

एक डिज़ाइन को पेरेटो इष्टतम (समकक्ष, पेरेटो कुशल या पेरेटो सेट में) होने के लिए आंका जाता है यदि यह किसी अन्य डिज़ाइन पर हावी नहीं है: यदि यह कुछ मामलों में किसी अन्य डिजाइन से भी बदतर है और किसी भी मामले में बेहतर नहीं है, तो यह हावी है। और पेरेटो इष्टतम नहीं है।

पसंदीदा समाधान निर्धारित करने के लिए पेरेटो इष्टतम समाधानों के बीच की पसंद निर्णय निर्माता को सौंप दी गई है। दूसरे शब्दों में, समस्या को बहु-उद्देश्य अनुकूलन संकेतों के रूप में परिभाषित करना कि कुछ जानकारी गायब है: वांछनीय उद्देश्य दिए गए हैं, लेकिन उनमें से संयोजनों को एक दूसरे के सापेक्ष रेट नहीं किया गया है। कुछ मामलों में, लापता जानकारी निर्णय निर्माता के साथ इंटरैक्टिव सत्रों द्वारा प्राप्त की जा सकती है।

बहु-उद्देश्य अनुकूलन समस्याओं को  वेक्टर अनुकूलन  समस्याओं में आगे सामान्यीकृत किया गया है जहां (आंशिक) ऑर्डरिंग अब पेरेटो ऑर्डरिंग द्वारा नहीं दिया गया है।

बहु-मोडल या वैश्विक अनुकूलन
अनुकूलन की समस्याएं अक्सर बहु-मोडल होती हैं;यही है, उनके पास कई अच्छे समाधान हैं।वे सभी विश्व स्तर पर अच्छे (एक ही लागत फ़ंक्शन मूल्य) हो सकते हैं या विश्व स्तर पर अच्छे और स्थानीय रूप से अच्छे समाधानों का मिश्रण हो सकता है।सभी (या कम से कम कुछ) को प्राप्त करना एक बहु-मोडल ऑप्टिमाइज़र का लक्ष्य है।

शास्त्रीय अनुकूलन तकनीक उनके पुनरावृत्त दृष्टिकोण के कारण संतोषजनक ढंग से प्रदर्शन नहीं करती है जब वे कई समाधान प्राप्त करने के लिए उपयोग किए जाते हैं, क्योंकि यह गारंटी नहीं है कि एल्गोरिथ्म के कई रनों में विभिन्न शुरुआती बिंदुओं के साथ भी अलग -अलग समाधान प्राप्त किए जाएंगे।

ग्लोबल ऑप्टिमाइज़ेशन समस्याओं के लिए सामान्य दृष्टिकोण, जहां कई स्थानीय एक्सट्रैमा मौजूद हो सकते हैं, उनमें   विकासवादी एल्गोरिथ्म  एस,   बायेसियन ऑप्टिमाइज़ेशन  और   सिम्युलेटेड एनीलिंग  शामिल हैं।

व्यवहार्यता समस्या
  संतोषजनक समस्या  , जिसे '' व्यवहार्यता समस्या 'भी कहा जाता है, केवल उद्देश्य मूल्य के संबंध में बिना किसी   संभव समाधान  को खोजने की समस्या है।इसे गणितीय अनुकूलन के विशेष मामले के रूप में माना जा सकता है जहां उद्देश्य मूल्य प्रत्येक समाधान के लिए समान है, और इस प्रकार कोई भी समाधान इष्टतम है।

कई अनुकूलन एल्गोरिदम को एक संभव बिंदु से शुरू करने की आवश्यकता है।इस तरह के एक बिंदु को प्राप्त करने का एक तरीका   को  को आराम करें   स्लैक चर  का उपयोग करके व्यवहार्यता की स्थिति;पर्याप्त सुस्त के साथ, कोई भी प्रारंभिक बिंदु संभव है।फिर, उस स्लैक चर को कम से कम करें जब तक कि स्लैक शून्य या नकारात्मक न हो।

अस्तित्व
कार्ल वेयरस्ट्रास के   एक्सट्रीम वैल्यू प्रमेय  में कहा गया है कि कॉम्पैक्ट सेट पर एक निरंतर वास्तविक-मूल्यवान फ़ंक्शन इसके अधिकतम और न्यूनतम मूल्य को प्राप्त करता है।अधिक आम तौर पर, एक कॉम्पैक्ट सेट पर एक कम अर्ध-निरंतर कार्य इसके न्यूनतम को प्राप्त करता है;एक कॉम्पैक्ट सेट पर एक ऊपरी अर्ध-निरंतर फ़ंक्शन अपने अधिकतम बिंदु या दृश्य को प्राप्त करता है।

इष्टतमता के लिए आवश्यक शर्तें
फर्मेट के प्रमेयों में से एक में कहा गया है कि अप्रतिबंधित समस्याओं का ऑप्टिमा   स्टेशनरी प्वाइंट  एस पर पाया जाता है, जहां पहला व्युत्पन्न या उद्देश्य फ़ंक्शन का ढाल शून्य है (  पहले व्युत्पन्न परीक्षण  देखें)।आम तौर पर, वे    क्रिटिकल पॉइंट  पर पाए जा सकते हैं, जहां ऑब्जेक्टिव फ़ंक्शन का पहला व्युत्पन्न या ढाल शून्य है या अपरिभाषित है, या पसंद सेट की सीमा पर है।एक समीकरण (या समीकरणों का सेट) यह बताते हुए कि एक आंतरिक इष्टतम में पहले व्युत्पन्न (एस) के बराबर (एस) शून्य को 'प्रथम-क्रम की स्थिति' या प्रथम-क्रम स्थितियों का एक सेट कहा जाता है।

समानता-विवश समस्याओं के ऑप्टिमा को  Lagrange गुणक  विधि द्वारा पाया जा सकता है।समानता और/या असमानता की बाधाओं के साथ समस्याओं का ऑप्टिमा '  करुश -कुहन -टकर शर्तों ' का उपयोग करके पाया जा सकता है।

इष्टतमता के लिए पर्याप्त शर्तें
जबकि पहला व्युत्पन्न परीक्षण उन बिंदुओं की पहचान करता है जो एक्सट्रैमा हो सकते हैं, यह परीक्षण एक ऐसे बिंदु को अलग नहीं करता है जो एक से न्यूनतम है जो अधिकतम या एक है जो न तो है।जब उद्देश्य फ़ंक्शन दो बार अलग -अलग होता है, तो इन मामलों को अप्रतिबंधित समस्याओं में दूसरे व्युत्पन्न या दूसरे डेरिवेटिव ( हेसियन मैट्रिक्स  कहा जाता है) के मैट्रिक्स की जांच करके प्रतिष्ठित किया जा सकता है, या ऑब्जेक्टिव फ़ंक्शन के दूसरे डेरिवेटिव और कहा जाता है।   की सीमा को विवश समस्याओं में हेसियन  की सीमा की।अन्य स्थिर बिंदुओं से मैक्सिमा, या मिनिमा को अलग करने वाली स्थितियों को 'दूसरे क्रम की स्थिति' कहा जाता है (देखें '  दूसरा व्युत्पन्न परीक्षण ')।यदि कोई उम्मीदवार समाधान पहले-क्रम की स्थितियों को संतुष्ट करता है, तो दूसरे क्रम की स्थितियों की संतुष्टि के साथ-साथ कम से कम स्थानीय इष्टतमता को स्थापित करने के लिए पर्याप्त है।

संवेदनशीलता और ऑप्टिमा की निरंतरता
लिफाफा प्रमेय बताता है कि एक अंतर्निहित   पैरामीटर  में परिवर्तन होने पर एक इष्टतम समाधान का मूल्य कैसे बदलता है।इस परिवर्तन की गणना करने की प्रक्रिया को   तुलनात्मक स्टेटिक्स  कहा जाता है।

क्लाउड बर्ज (1963) का   अधिकतम प्रमेय  अंतर्निहित मापदंडों के एक समारोह के रूप में एक इष्टतम समाधान की निरंतरता का वर्णन करता है।

अनुकूलन की पथरी
दो बार-अलग-अलग कार्यों के साथ अप्रतिबंधित समस्याओं के लिए, कुछ   क्रिटिकल पॉइंट्स  उन बिंदुओं को खोजकर पाया जा सकता है जहां ऑब्जेक्टिव फ़ंक्शन के   ग्रेडिएंट  शून्य है (यानी, स्थिर अंक)। अधिक आम तौर पर, एक शून्य   सबग्रिडिएंट  यह प्रमाणित करता है कि    के लिए एक स्थानीय न्यूनतम पाया गया है जो उत्तल     फ़ंक्शन  और अन्य    स्थानीय रूप से    LIPSCHITZ फ़ंक्शन 2 ]]]]]]222 ]]  [[111 LIPSCHITZ फ़ंक्शन के साथ।

इसके अलावा,  हेसियन मैट्रिक्स  की    डेफिटनेस  का उपयोग करके महत्वपूर्ण बिंदुओं को वर्गीकृत किया जा सकता है: यदि हेसियन एक महत्वपूर्ण बिंदु पर 'पॉजिटिव' 'निश्चित है, तो बिंदु एक स्थानीय न्यूनतम है; यदि हेसियन मैट्रिक्स नकारात्मक निश्चित है, तो बिंदु एक स्थानीय अधिकतम है; अंत में, यदि अनिश्चितकालीन है, तो बिंदु कुछ प्रकार के   सैडल पॉइंट  है।

विवश समस्याओं को अक्सर  Lagrange गुणक  s की मदद से अप्रतिबंधित समस्याओं में बदल दिया जा सकता है।   Lagrangian विश्राम  भी कठिन विवश समस्याओं के अनुमानित समाधान प्रदान कर सकता है।

जब उद्देश्य फ़ंक्शन  उत्तल फ़ंक्शन  है, तो कोई भी स्थानीय न्यूनतम भी एक वैश्विक न्यूनतम होगा। उत्तल कार्यों को कम करने के लिए कुशल संख्यात्मक तकनीकें मौजूद हैं, जैसे कि   इंटीरियर-पॉइंट विधि  एस।

वैश्विक अभिसरण
आम तौर पर, यदि उद्देश्य फ़ंक्शन एक द्विघात कार्य नहीं है, तो कई अनुकूलन विधियां यह सुनिश्चित करने के लिए अन्य तरीकों का उपयोग करती हैं कि पुनरावृत्तियों के कुछ बाद एक इष्टतम समाधान में परिवर्तित हो जाते हैं।अभिसरण सुनिश्चित करने के लिए पहली और अभी भी लोकप्रिय विधि  लाइन खोज  ईएस पर निर्भर करती है, जो एक आयाम के साथ एक फ़ंक्शन को अनुकूलित करती है।अभिसरण सुनिश्चित करने के लिए एक दूसरा और तेजी से लोकप्रिय तरीका   ट्रस्ट क्षेत्र  एस का उपयोग करता है।दोनों लाइन खोजों और ट्रस्ट क्षेत्रों का उपयोग    गैर-विभेद्य अनुकूलन  के आधुनिक तरीकों में किया जाता है।आमतौर पर, एक वैश्विक ऑप्टिमाइज़र उन्नत स्थानीय ऑप्टिमाइज़र (जैसे    BFGS ) की तुलना में बहुत धीमा होता है, इसलिए अक्सर विभिन्न शुरुआती बिंदुओं से स्थानीय ऑप्टिमाइज़र शुरू करके एक कुशल वैश्विक ऑप्टिमाइज़र का निर्माण किया जा सकता है।एक अनुमानित समाधान की गणना करने वाले हेयुरिस्टिक आधारित अनुकूलन एल्गोरिदम का भी उपयोग किया जा सकता है

कम्प्यूटेशनल ऑप्टिमाइज़ेशन तकनीक
समस्याओं को हल करने के लिए, शोधकर्ता  एल्गोरिथम  एस का उपयोग कर सकते हैं जो चरणों की एक परिमित संख्या में समाप्त हो जाते हैं, या   पुनरावृत्त विधि  एस जो एक समाधान में परिवर्तित होते हैं (समस्याओं के कुछ निर्दिष्ट वर्ग पर), या    HEURISTICS  जो प्रदान कर सकते हैंकुछ समस्याओं के अनुमानित समाधान (हालांकि उनके पुनरावृत्तियों को अभिसरण की आवश्यकता नहीं है)।

अनुकूलन एल्गोरिदम

 * सिम्प्लेक्स एल्गोरिथ्म का   जॉर्ज डैंटज़िग,   रैखिक प्रोग्रामिंग  के लिए डिज़ाइन किया गया
 * सिम्प्लेक्स एल्गोरिथ्म के एक्सटेंशन,  द्विघात प्रोग्रामिंग  के लिए डिज़ाइन किए गए और   रैखिक-फ्रैक्टल प्रोग्रामिंग  के लिए
 * सिंप्लेक्स एल्गोरिथ्म के वेरिएंट जो विशेष रूप से   नेटवर्क ऑप्टिमाइज़ेशन  के लिए अनुकूल हैं
 * कॉम्बिनेटरियल एल्गोरिदम
 * क्वांटम अनुकूलन एल्गोरिदम

पुनरावृत्त तरीके
iterative विधियाँ   nonlinear प्रोग्रामिंग  की समस्याओं को हल करने के लिए उपयोग की जाती हैं कि क्या वे    का मूल्यांकन     हेसियन, ग्रेडिएंट्स, या केवल फ़ंक्शन मानों का मूल्यांकन करते हैं। हेसियन (एच) और ग्रेडिएंट्स (जी) का मूल्यांकन करते समय अभिसरण की दर में सुधार होता है, उन कार्यों के लिए जिनके लिए ये मात्राएँ मौजूद हैं और पर्याप्त रूप से सुचारू रूप से भिन्न होती हैं, इस तरह के मूल्यांकन प्रत्येक पुनरावृत्ति के    कम्प्यूटेशनल जटिलता  (या कम्प्यूटेशनल लागत) को बढ़ाते हैं। कुछ मामलों में, कम्प्यूटेशनल जटिलता अत्यधिक उच्च हो सकती है।

ऑप्टिमाइज़र के लिए एक प्रमुख मानदंड केवल आवश्यक फ़ंक्शन मूल्यांकन की संख्या है क्योंकि यह अक्सर पहले से ही एक बड़ा कम्प्यूटेशनल प्रयास होता है, आमतौर पर ऑप्टिमाइज़र के भीतर ही बहुत अधिक प्रयास होता है, जिसे मुख्य रूप से एन चर पर संचालित करना पड़ता है। डेरिवेटिव ऐसे ऑप्टिमाइज़र के लिए विस्तृत जानकारी प्रदान करते हैं, लेकिन गणना करने के लिए और भी कठिन हैं, उदा। ग्रेडिएंट का अनुमान लगाने से कम से कम N+1 फ़ंक्शन मूल्यांकन होता है। द्वितीय डेरिवेटिव (हेसियन मैट्रिक्स में एकत्र) के अनुमानों के लिए, फ़ंक्शन मूल्यांकन की संख्या n of के क्रम में है। न्यूटन की विधि के लिए 2-ऑर्डर डेरिवेटिव्स की आवश्यकता होती है, इसलिए प्रत्येक पुनरावृत्ति के लिए, फ़ंक्शन कॉल की संख्या N, के क्रम में है, लेकिन एक सरल शुद्ध ढाल ऑप्टिमाइज़र के लिए यह केवल N है। हालांकि, ग्रेडिएंट ऑप्टिमाइज़र को आमतौर पर न्यूटन के एल्गोरिथ्म की तुलना में अधिक पुनरावृत्तियों की आवश्यकता होती है। फ़ंक्शन कॉल की संख्या के संबंध में कौन सा सबसे अच्छा है, यह समस्या पर निर्भर करता है।
 * ऐसे तरीके जो हेसियन (या अनुमानित हेसियन का मूल्यांकन करते हैं,  परिमित अंतर  s का उपयोग करते हुए):
 * न्यूटन की विधि
 * अनुक्रमिक द्विघात प्रोग्रामिंग : लघु-मध्यम पैमाने के लिए एक न्यूटन-आधारित विधि  विवश  समस्याएं। कुछ संस्करण बड़े-आयामी समस्याओं को संभाल सकते हैं।
 * इंटीरियर पॉइंट मेथड्स : यह विवश अनुकूलन के लिए तरीकों का एक बड़ा वर्ग है, जिनमें से कुछ केवल (उप) ग्रेडिएंट जानकारी का उपयोग करते हैं और जिनमें से अन्य को हेसियन के मूल्यांकन की आवश्यकता होती है।
 * ऐसे तरीके जो ग्रेडिएंट्स का मूल्यांकन करते हैं, या किसी तरह से अनुमानित ग्रेडिएंट्स (या यहां तक ​​कि सबग्रैडिएंट्स):
 * समन्वय वंश तरीके: एल्गोरिदम जो प्रत्येक पुनरावृत्ति में एक एकल समन्वय को अपडेट करते हैं
 * संयुग्म ग्रेडिएंट विधि एस:   ITERATIVE विधि  बड़ी समस्याओं के लिए। (सिद्धांत रूप में, ये विधियाँ द्विघात उद्देश्य कार्यों के साथ चरणों की एक परिमित संख्या में समाप्त हो जाती हैं, लेकिन यह परिमित समाप्ति परिमित -पूर्व -प्रक्षेपण कंप्यूटरों पर व्यवहार में नहीं देखा जाता है।)
 * ग्रेडिएंट डिसेंट (वैकल्पिक रूप से, सबसे कठिन वंश या सबसे खड़ी चढ़ाई): ऐतिहासिक और सैद्धांतिक रुचि का एक (धीमा) विधि, जिसने भारी समस्याओं के अनुमानित समाधान खोजने के लिए रुचि को नवीनीकृत किया है।
 * सबग्रिडिएंट विधि एस: बड़े    के लिए एक पुनरावृत्त विधि स्थानीय रूप से     लिप्स्चिट्ज़ फ़ंक्शंस     सामान्यीकृत ग्रैडेंट्स  का उपयोग करते हुए। बोरिस टी। पॉलीक के बाद, सबग्रिडिएंट -प्रोजेक्शन विधियाँ संयुग्म -ग्रैडिएंट विधियों के समान हैं।
 * वंश की बंडल विधि: स्थानीय रूप से लिप्स्चिट्ज़ कार्यों के साथ छोटे-मेडियम-आकार की समस्याओं के लिए एक पुनरावृत्ति विधि, विशेष रूप से   उत्तल न्यूनतमकरण  समस्याओं के लिए (संयुग्म ग्रेडिएंट विधियों के समान)।
 * एलिपोसिड विधि :   Quasiconvex  उद्देश्य कार्यों और महान सैद्धांतिक रुचि के साथ छोटी समस्याओं के लिए एक पुनरावृत्ति विधि, विशेष रूप से कुछ कॉम्बिनेटरियल ऑप्टिमाइज़ेशन समस्याओं की बहुपद समय जटिलता को स्थापित करने में। इसमें अर्ध-न्यूटन विधियों के साथ समानताएं हैं।
 * सशर्त ग्रेडिएंट विधि (फ्रैंक -वुल्फ)   रैखिक बाधाओं के साथ विशेष रूप से संरचित समस्याओं के अनुमानित न्यूनतमकरण के लिए, विशेष रूप से ट्रैफ़िक नेटवर्क के साथ। सामान्य अप्रतिबंधित समस्याओं के लिए, यह विधि ढाल विधि को कम कर देती है, जिसे अप्रचलित माना जाता है (लगभग सभी समस्याओं के लिए)।
 * क्वासी-न्यूटन एमETHOD S: मध्यम-बड़ी समस्याओं के लिए पुनरावृत्त तरीके (जैसे n <1000)।
 * स्टोकेस्टिक ऑप्टिमाइज़ेशन के लिए एक साथ गड़बड़ी स्टोकेस्टिक सन्निकटन (एसपीएसए) विधि;यादृच्छिक (कुशल) ढाल सन्निकटन का उपयोग करता है।
 * वे तरीके जो केवल फ़ंक्शन मानों का मूल्यांकन करते हैं: यदि कोई समस्या लगातार अलग है, तो ग्रेडिएंट्स को परिमित अंतर का उपयोग करके अनुमानित किया जा सकता है, जिस स्थिति में एक ढाल-आधारित विधि का उपयोग किया जा सकता है।
 * प्रक्षेप विधियाँ
 * पैटर्न खोज विधियाँ, जिनमें    नेल्डर -मेड हेयुरिस्टिक (सिम्पलिस के साथ)  की तुलना में बेहतर अभिसरण गुण हैं, जो नीचे सूचीबद्ध है।
 * मिरर वंश

heuristics
इसके अलावा (बारीक रूप से समाप्ति)  एल्गोरिथ्म  एस और (अभिसरण)   पुनरावृत्त विधि  एस,    हेयुरिस्टिक्स  हैं एक हेयुरिस्टिक कोई भी एल्गोरिथ्म है जो समाधान खोजने के लिए (गणितीय रूप से) गारंटी नहीं है, लेकिन जो कुछ व्यावहारिक स्थितियों में फिर भी उपयोगी है।कुछ प्रसिद्ध heuristics की सूची:


 * मेमेटिक एल्गोरिथ्म
 * डिफरेंशियल इवोल्यूशन
 * विकासवादी एल्गोरिदम
 * गतिशील विश्राम
 * आनुवंशिक एल्गोरिदम
 * हिल चढ़ाई यादृच्छिक पुनरारंभ के साथ
 * नेल्डर -मेड सरलीशियस हेयुरिस्टिक : अनुमानित न्यूनतमकरण के लिए एक लोकप्रिय अनुमानी (बिना ग्रेडिएंट्स के कॉलिंग)
 * पार्टिकल झुंड अनुकूलन
 * सिम्युलेटेड एनीलिंग
 * स्टोकेस्टिक टनलिंग
 * [[ तबू खोज]

यांत्रिकी
कठोर शरीर की गतिशीलता में समस्याएं (विशेष रूप से स्पष्ट रूप से कठोर शरीर की गतिशीलता) में अक्सर गणितीय प्रोग्रामिंग तकनीकों की आवश्यकता होती है, क्योंकि आप कठोर शरीर की गतिशीलता को देख सकते हैं। बाधाएं विभिन्न nonlinear ज्यामितीय बाधाएं हैं जैसे कि इन दो बिंदुओं को हमेशा संयोग होना चाहिए, इस सतह को किसी अन्य में प्रवेश नहीं करना चाहिए, या इस बिंदु को हमेशा इस वक्र पर कहीं झूठ बोलना चाहिए।इसके अलावा, कंप्यूटिंग संपर्क बलों की समस्या   रैखिक पूरक समस्या  को हल करके की जा सकती है, जिसे क्यूपी (द्विघात प्रोग्रामिंग) समस्या के रूप में भी देखा जा सकता है।

कई डिजाइन समस्याओं को अनुकूलन कार्यक्रमों के रूप में भी व्यक्त किया जा सकता है।इस एप्लिकेशन को डिज़ाइन ऑप्टिमाइज़ेशन कहा जाता है।एक सबसेट  इंजीनियरिंग ऑप्टिमाइज़ेशन  है, और इस क्षेत्र का एक और हाल ही में और बढ़ता सबसेट   मल्टीडिसिप्लिनरी डिज़ाइन ऑप्टिमाइज़ेशन  है, जो कई समस्याओं में उपयोगी है, विशेष रूप से   एयरोस्पेस इंजीनियरिंग  समस्याओं पर लागू किया गया है।

यह दृष्टिकोण ब्रह्मांड विज्ञान और खगोल भौतिकी में लागू किया जा सकता है

अर्थशास्त्र और वित्त
इकोनॉमिक्स    एजेंट्स  के अनुकूलन से निकटता से जुड़ा हुआ है कि एक प्रभावशाली परिभाषा से संबंधित अर्थशास्त्र का वर्णन किया गया है  क्वा  विज्ञान के रूप में मानव व्यवहार के अध्ययन के रूप में अंत और   दुर्लभ  का मतलब वैकल्पिक उपयोग के साथ वैकल्पिक उपयोग के साथ है।  आधुनिक अनुकूलन सिद्धांत में पारंपरिक अनुकूलन सिद्धांत शामिल है, लेकिन यह भी   गेम थ्योरी  और आर्थिक    संतुलन  के अध्ययन के साथ ओवरलैप है।    जर्नल ऑफ़ इकोनॉमिक लिटरेचर      कोड   [[ JEL वर्गीकरण कोड#गणितीय और मात्रात्मक तरीके JEL के तहत गणितीय प्रोग्रामिंग, ऑप्टिमाइज़ेशन तकनीकों और संबंधित विषयों को वर्गीकृत करें।

माइक्रोइकॉनॉमिक्स में,  उपयोगिता अधिकतमकरण समस्या  और इसकी   दोहरी समस्या,   व्यय न्यूनतमकरण समस्या , आर्थिक अनुकूलन समस्याएं हैं। Insofar के रूप में वे लगातार व्यवहार करते हैं,   उपभोक्ता  s को उनकी   उपयोगिता  को अधिकतम करने के लिए माना जाता है, जबकि   फर्म  s को आमतौर पर अपने    लाभ  को अधिकतम करने के लिए माना जाता है। इसके अलावा, एजेंटों को अक्सर    जोखिम-प्रति- ]] होता है, जिससे जोखिम से बचने के लिए प्राथमिकता होती है।    एसेट प्राइस  भी ऑप्टिमाइज़ेशन थ्योरी का उपयोग करके मॉडलिंग की जाती है, हालांकि अंतर्निहित गणित स्थैतिक अनुकूलन के बजाय   स्टोकेस्टिक प्रक्रिया  ईएस के अनुकूलन पर निर्भर करता है।   अंतर्राष्ट्रीय व्यापार सिद्धांत  राष्ट्रों के बीच व्यापार पैटर्न को समझाने के लिए अनुकूलन का भी उपयोग करता है।    पोर्टफोलियो  का अनुकूलन अर्थशास्त्र में बहु-उद्देश्य अनुकूलन का एक उदाहरण है।

1970 के दशक के बाद से, अर्थशास्त्रियों ने  नियंत्रण सिद्धांत  का उपयोग करके समय के साथ गतिशील निर्णय लिए हैं उदाहरण के लिए, डायनेमिक    खोज मॉडल  का उपयोग    श्रम-बाजार व्यवहार  का अध्ययन करने के लिए किया जाता है एक महत्वपूर्ण अंतर नियतात्मक और स्टोकेस्टिक मॉडल के बीच है     मैक्रोइकॉनॉमिस्ट  बिल्ड    डायनेमिक स्टोकेस्टिक जनरल इक्विलिब्रियम (डीएसजीई)  मॉडल जो पूरी अर्थव्यवस्था की गतिशीलता का वर्णन करते हैं।

इलेक्ट्रिकल इंजीनियरिंग
इलेक्ट्रिकल इंजीनियरिंग में अनुकूलन तकनीकों के कुछ सामान्य अनुप्रयोगों में   सक्रिय फ़िल्टर  डिजाइन शामिल हैं सुपरकंडक्टिंग मैग्नेटिक एनर्जी स्टोरेज सिस्टम में स्ट्रे फ़ील्ड में कमी,   स्पेस मैपिंग  डिजाइन   माइक्रोवेव  स्ट्रक्चर्स हैंडसेट एंटेना   इलेक्ट्रोमैग्नेटिक्स-आधारित डिजाइन।माइक्रोवेव घटकों और एंटेना के इलेक्ट्रोमैग्नेटिक रूप से मान्य डिजाइन अनुकूलन ने एक उपयुक्त भौतिकी-आधारित या अनुभवजन्य   सरोगेट मॉडल  और   स्पेस मैपिंग  कार्यप्रणाली का व्यापक उपयोग किया है।

सिविल इंजीनियरिंग
सिविल इंजीनियरिंग में अनुकूलन का व्यापक रूप से उपयोग किया गया है। कंस्ट्रक्शन मैनेजमेंट  और   ट्रांसपोर्टेशन इंजीनियरिंग  सिविल इंजीनियरिंग की मुख्य शाखाओं में से हैं जो अनुकूलन पर बहुत अधिक भरोसा करते हैं।सबसे आम सिविल इंजीनियरिंग समस्याएं जो अनुकूलन द्वारा हल की जाती हैं   संसाधन समतल  <ref name=": ०    जल संसाधन आवंटन,   यातायात  प्रबंधन और अनुसूची अनुकूलन।

संचालन अनुसंधान
एक अन्य क्षेत्र जो अनुकूलन तकनीकों का बड़े पैमाने पर उपयोग करता है, वह है  संचालन अनुसंधान  संचालन अनुसंधान भी बेहतर निर्णय लेने का समर्थन करने के लिए स्टोकेस्टिक मॉडलिंग और सिमुलेशन का उपयोग करता है।तेजी से, संचालन अनुसंधान   स्टोकेस्टिक प्रोग्रामिंग  का उपयोग करता है, जो कि घटनाओं के अनुकूल होने वाले गतिशील निर्णयों को मॉडल करने के लिए है;इस तरह की समस्याओं को बड़े पैमाने पर अनुकूलन और   स्टोकेस्टिक ऑप्टिमाइज़ेशन  विधियों के साथ हल किया जा सकता है।

नियंत्रण इंजीनियरिंग
गणितीय अनुकूलन का उपयोग बहुत आधुनिक नियंत्रक डिजाइन में किया जाता है।उच्च-स्तरीय नियंत्रक जैसे कि  मॉडल प्रेडिक्टिव कंट्रोल  (एमपीसी) या रियल-टाइम ऑप्टिमाइज़ेशन (आरटीओ) गणितीय अनुकूलन को नियोजित करते हैं।ये एल्गोरिदम ऑनलाइन चलते हैं और बार -बार निर्णय चर के लिए मूल्यों को निर्धारित करते हैं, जैसे कि एक प्रक्रिया संयंत्र में चोक ओपनिंग, पुनरावृत्ति द्वारा एक गणितीय अनुकूलन समस्या को हल करके बाधाओं और सिस्टम के एक मॉडल को नियंत्रित करने के लिए।

भूभौतिकी
अनुकूलन तकनीकों का उपयोग नियमित रूप से   भूभौतिकीय  पैरामीटर अनुमान समस्याओं में किया जाता है।भूभौतिकीय माप का एक सेट दिया गया, उदा।   भूकंपीय रिकॉर्डिंग, यह    भौतिक गुण  और पृथ्वी की    ज्यामितीय आकार  अंतर्निहित चट्टानों और तरल पदार्थों के लिए हल करना आम है।भूभौतिकी में अधिकांश समस्याएं नियतात्मक और स्टोकेस्टिक दोनों तरीकों के साथ व्यापक रूप से उपयोग किए जा रहे हैं।

आणविक मॉडलिंग
नॉनलाइनियर ऑप्टिमाइज़ेशन विधियों का व्यापक रूप से  कंफॉर्मल एनालिसिस  में उपयोग किया जाता है।

कम्प्यूटेशनल सिस्टम बायोलॉजी
अनुकूलन तकनीकों का उपयोग कम्प्यूटेशनल सिस्टम जीव विज्ञान के कई पहलुओं में किया जाता है जैसे कि मॉडल बिल्डिंग, इष्टतम प्रयोगात्मक डिजाइन, चयापचय इंजीनियरिंग और सिंथेटिक जीव विज्ञान  रैखिक प्रोग्रामिंग  किण्वन उत्पादों की अधिकतम संभावित पैदावार की गणना करने के लिए लागू किया गया है और कई माइक्रोएरे डेटासेट से जीन नियामक नेटवर्क का अनुमान लगाने के लिए साथ ही उच्च-थ्रूपुट डेटा से ट्रांसक्रिप्शनल नियामक नेटवर्क   nonlinear प्रोग्रामिंग  का उपयोग ऊर्जा चयापचय का विश्लेषण करने के लिए किया गया है और जैव रासायनिक मार्गों में चयापचय इंजीनियरिंग और पैरामीटर अनुमान के लिए लागू किया गया है