गणितीय अनुकूलन





गणितीय अनुकूलन  (वैकल्पिक रूप से वर्तनी  अनुकूलन ) या  गणितीय कार्यरचना उपलब्ध विकल्पों के कुछ समुच्चय से कुछ मानदंड के संबंध में, सर्वोत्तम तत्व का चयन है। इसे आम तौर पर दो उपक्षेत्रों में विभाजित किया जाता है: असतत अनुकूलन और निरंतर अनुकूलन। कंप्यूटर विज्ञान और इंजीनियरिंग से लेकर संचालन अनुसंधान और अर्थशास्त्र तक सभी मात्रात्मक विषयों में प्रकार की अनुकूलन समस्याएं उत्पन्न होती हैं, और समाधान विधियों का विकास गणित में सदियों से रुचि रखता रहा है।

सामान्य दृष्टिकोण में, अनुकूलन समस्या में एक अनुमत समुच्चय के भीतर से निवेश मानों को व्यवस्थित रूप से चुनकर वास्तविक फलन को अधिकतम या कम से कम करना और फलन के मान की गणना करना शामिल है। अन्य योगों के लिए अनुकूलन सिद्धांत और तकनीकों का सामान्यीकरण अनुप्रयुक्त गणित के एक बड़े क्षेत्र का गठन करता है। आम तौर पर, अनुकूलन में परिभाषित डोमेन (या निवेश) में से दिए गए कुछ उद्देश्य फलन के "सर्वोत्तम उपलब्ध" मानों को खोजना शामिल है, जिसमें विभिन्न प्रकार के उद्देश्य फलन और विभिन्न प्रकार के डोमेन शामिल हैं।

अनुकूलन समस्याएं
अनुकूलन समस्याओं को दो श्रेणियों में विभाजित किया जा सकता है, यह इस बात पर निर्भर करता है कि चर निरंतर हैं या असतत:


 * असतत चर के साथ अनुकूलन समस्या असतत अनुकूलन के रूप में जानी जाती है, जिसमें पूर्णांक, क्रमचय या ग्राफ जैसी वस्तु को एक गणनीय समुच्चय से पाया जाना चाहिए।
 * निरंतर चर के साथ एक समस्या को निरंतर अनुकूलन के रूप में जाना जाता है, जिसमें निरंतर कार्य से इष्टतम मूल्य मिलना चाहिए। वे विवश समस्याओं और बहुविध समस्याओं को भी शामिल कर सकते हैं।

अनुकूलन समस्या को निम्नलिखित तरीके से दर्शाया जा सकता है:
 *  दिया गया: फलन $f : A → ℝ$ समुच्चय $A$ से वास्तविक संख्या तक
 *  मांग: तत्व $x_{0} ∈ A$ ऐसा है कि $f(x_{0}) ≤ f(x)$ सभी $x ∈ A$ (कम से कम) के लिए या $f(x_{0}) ≥ f(x)$ सभी $x ∈ A$ (अधिकतमकरण) के लिए।

इस तरह के सूत्रीकरण को अनुकूलन समस्या या गणितीय कार्यरचना समस्या कहा जाता है (एक शब्द सीधे कंप्यूटर कार्यरचना से संबंधित नहीं है, लेकिन अभी भी रैखिक कार्यरचना में उदाहरण के लिए उपयोग में है - इतिहास नीचे देखें)। कई वास्तविक दुनिया और सैद्धांतिक समस्याओं को इस सामान्य ढांचे में प्रतिरूपित जा सकता है।

चूंकि निम्नलिखित मान्य है

$$f\left(\mathbf{x}_{0}\right)\geq f\left(\mathbf{x}\right) \Leftrightarrow \tilde{f}\left(\mathbf{x}_{0}\right)\leq \tilde{f}\left(\mathbf{x}\right)$$

यह केवल न्यूनीकरण की समस्याओं को हल करने के लिए पर्याप्त है। हालाँकि, केवल अधिकतमकरण की समस्याओं पर विचार करने का विपरीत परिप्रेक्ष्य भी मान्य होगा।

भौतिकी के क्षेत्रों में इस तकनीक का उपयोग करके तैयार की गई समस्याएं तकनीक को ऊर्जा न्यूनतमकरण  के रूप में संदर्भित कर सकती हैं, जो फलन $f$ के मूल्य की बात करते हुए सिस्टम की ऊर्जा का प्रतिनिधित्व करती है। यंत्र अधिगम में, मूल्य फलन का उपयोग करके आँकड़ा निदर्श की गुणवत्ता का लगातार मूल्यांकन करना हमेशा आवश्यक होता है, जहां एक न्यूनतम का अर्थ है कि एक इष्टतम (सबसे कम) त्रुटि के साथ संभवतः इष्टतम मापदंडों का समुच्चय है।

आमतौर पर, $A$ यूक्लिडियन स्पेस $ℝ^{n}$ का सबसमुच्चय है, जो अक्सर बाधाओं, समानता या असमानताओं के समुच्चय द्वारा निर्दिष्ट होता है जिसे $A$ के सदस्यों को संतुष्ट करना होता है। फलन $f$ के डोमेन $A$ को खोज स्थान  या  विकल्प समुच्चय  कहा जाता है, जबकि $A$ के तत्व उम्मीदवार समाधानया व्यवहार्य समाधान  कहा जाता है।

फलन $f$ को, विभिन्न रूप से, उद्देश्य फलन, हानि फलन या लागत फलन (न्यूनीकरण), उपयोगिता फलन या आरोग्य फलन (अधिकतमकरण), या, कुछ क्षेत्रों में, ऊर्जा फलन या ऊर्जा क्रियात्मक  कहा जाता है। व्यवहार्य समाधान जो उद्देश्य फलन को कम करता है (या अधिकतम करता है, यदि वह लक्ष्य है) को इष्टतम समाधान कहा जाता है।

गणित में, पारंपरिक अनुकूलन समस्याएं आमतौर पर न्यूनतमकरण के संदर्भ में बताई जाती हैं।

स्थानीय न्यूनतम  $x*$ तत्व के रूप में परिभाषित किया गया है जिसके लिए कुछ $δ > 0$ मौजूद ऐसा है कि$$\forall\mathbf{x}\in A \; \text{where} \;\left\Vert\mathbf{x}-\mathbf{x}^{\ast}\right\Vert\leq\delta,\,$$

व्यंजक $f(x*) ≤ f(x)$ धारण करता है;

यानी, $x*$ के आस-पास के किसी क्षेत्र पर सभी फलन मान उस तत्व के मान से अधिक या उसके बराबर हैं। स्थानीय मैक्सिमा को समान रूप से परिभाषित किया गया है।

जबकि स्थानीय न्यूनतम कम से कम किसी भी आस -पास के तत्वों जितना अच्छा है, वैश्विक न्यूनतम कम से कम उतना ही अच्छा है जितना हर संभव तत्व। आम तौर पर, जब तक कि एक न्यूनीकरण समस्या में उद्देश्य फलन उत्तल नहीं है, तब तक कई स्थानीय न्यूनतम हो सकते हैं। उत्तल समस्या में, अगर कोई स्थानीय न्यूनतम है जो आंतरिक है (व्यवहार्य तत्वों के समुच्चय के किनारे पर नहीं), तो यह वैश्विक न्यूनतम भी है, लेकिन एक गैर-उत्तल समस्या में एक से अधिक स्थानीय न्यूनतम हो सकते हैं, जिनमें से सभी को वैश्विक न्यूनतम की आवश्यकता नहीं है।

गैर-उत्तल समस्याओं को हल करने के लिए प्रस्तावित कलन विधि की एक बड़ी संख्या - व्यावसायिक रूप से उपलब्ध समाधानकर्ता के बहुमत सहित - स्थानीय रूप से इष्टतम समाधानों और विश्व स्तर पर इष्टतम समाधानों के बीच अंतर करने में सक्षम नहीं हैं, और पूर्व को मूल समस्या के वास्तविक समाधान के रूप में मानेंगे। ग्लोबल अनुकूलन अनुप्रयुक्त गणित और संख्यात्मक विश्लेषणस की शाखा है जो कि नियतात्मक कलन विधि के विकास से संबंधित है जो गैर-उत्तल समस्या के वास्तविक इष्टतम समाधान के लिए परिमित समय में अभिसरण की गारंटी देने में सक्षम हैं।

संकेतन
अनुकूलन समस्याओं को अक्सर विशेष संकेतन के साथ व्यक्त किया जाता है। यहां कुछ उदाहरण दिए गए हैं:

फलन का न्यूनतम और अधिकतम मूल्य
निम्नलिखित संकेतन पर विचार करें:

$$\min_{x\in\mathbb R}\; \left(x^2 + 1\right)$$

यह उद्देश्य फलन $x^{2} + 1$ के न्यूनतम मान को दर्शाता है, जब वास्तविक संख्याओं $ℝ$ के समुच्चय में से $x$ का चयन करते है। इस मामले में न्यूनतम मूल्य 1 है, जो $x = 0$ पर घटित होता है।

इसी तरह, संकेतन

$$\max_{x\in\mathbb R}\; 2x$$

उद्देश्य फलन $2x$ का अधिकतम मान माँगता है, जहाँ पे $x$ कोई भी वास्तविक संख्या हो सकती है। इस मामले में, ऐसा कोई अधिकतम नहीं है क्योंकि उद्देश्य फलन असीमित है, इसलिए इसका उत्तर  "अनंत" या "अपरिभाषित" है।

इष्टतम निवेश तर्क
निम्नलिखित संकेतन पर विचार करें:

$$\underset{x\in(-\infty,-1]}{\operatorname{arg\,min}} \; x^2 + 1,$$

या समकक्ष रूप से

$$\underset{x}{\operatorname{arg\,min}} \; x^2 + 1, \; \text{subject to:} \; x\in(-\infty,-1].$$

यह अंतराल $(−∞,−1]$ में तर्क $x$ के मान (या मूल्यों) का प्रतिनिधित्व करता है, उद्देश्य फलन $x^{2} + 1$ को कम (या कम से कम) करता है (उस फलन का वास्तविक न्यूनतम मूल्य वह नहीं है जो समस्या में पूछा जाता है)। इस मामले में, जवाब $x = −1$ है, क्योंकि $x = 0$ अव्यवहार्य है, अर्थात, यह संभव समुच्चय से संबंधित नहीं है।

इसी तरह,

$$\underset{x\in[-5,5], \; y\in\mathbb R}{\operatorname{arg\,max}} \; x\cos y,$$

या समकक्ष रूप से

$$\underset{x, \; y}{\operatorname{arg\,max}} \; x\cos y, \; \text{subject to:} \; x\in[-5,5], \; y\in\mathbb R,$$

${x, y }$ जोड़ी (या जोड़े) का प्रतिनिधित्व करता है जो उद्देश्य फलन $x cos y$ के मान को उस अतिरिक्त बाधा के साथ अधिकतम करता है, जो $x$ अंतराल $[−5,5]$ में स्थित है (फिर से, अभिव्यक्ति का वास्तविक अधिकतम मूल्य मायने नहीं रखता)। इस मामले में, समाधान {5, 2kπ} और {5, 2kπ} के रूप के जोड़े हैं, जहां $k$ सभी पूर्णांक पर है।

ऑपरेटर्स $arg min$ और $arg max$ को कभी -कभी $argmin$ और $argmax$ भी लिखा जाता है, और यह न्यूनतम  और अधिकतम के तर्क के लिए माने जाते हैं।

इतिहास
फर्मेट और लैग्रेंज ने ऑप्टिमा की पहचान के लिए कलन-आधारित सूत्र पाए, जबकि न्यूट और गॉस ने इष्टतम की ओर बढ़ने के लिए पुनरावृत्त तरीकों का प्रस्ताव दिया।

कुछ अनुकूलन मामलों के लिए रैखिक कार्यरचना शब्द जॉर्ज बी. डेंटज़िग के कारण था, हालांकि अधिकांश सिद्धांत 1939 में लियोनिद कांटोरोविच द्वारा पेश किए गए थे। (इस संदर्भ में कार्यरचना कंप्यूटर कार्यरचना को संदर्भित नहीं करता है, लेकिन राज्य अमेरिका की सेना प्रस्तावित प्रशिक्षण और रसद कार्यक्रम का उल्लेख करने के लिए संदर्भित करता है, जो उस समय डैंटज़िग द्वारा अध्ययन की गई समस्याएं थीं।) डैंटज़िग ने 1947 में सिम्प्लेक्स कलन विधि प्रकाशित किया, और जॉन वॉन न्यूमैन ने उसी वर्ष द्वैत का सिद्धांत विकसित किया।

गणितीय अनुकूलन में अन्य उल्लेखनीय शोधकर्ताओं में निम्नलिखित शामिल हैं:


 * रिचर्ड बेलमैन
 * दिमित्री बर्टसेक
 * मिशेल बिएलेयर
 * स्टीफन बॉयड
 * रोजर फ्लेचर
 * रोनाल्ड ए। हॉवर्ड
 * फ्रिट्ज जॉन
 * नरेंद्र कर्मकार
 * विलियम करुश
 * लियोनिद खचियान
 * बर्नार्ड कोपमैन
 * हेरोल्ड कुहन
 * lászló lovász
 * अर्कदी नेमिरोवस्की
 * YURII NESTEROV
 * लेव पोंट्रीगिन
 * आर। टायरेल रॉकफेलर
 * NAUM Z. SHOR
 * अल्बर्ट टकर

मेजर सबफील्ड्स

 * उत्तल कार्यरचना उस मामले का अध्ययन करती है जब उद्देश्य फ़ंक्शन उत्तल (न्यूनतमकरण) या अवतल (अधिकतमकरण) होता है और बाधा समुच्चय उत्तल होता है। इसे गैर-रेखीय कार्यरचना के एक विशेष मामले के रूप में या रैखिक या उत्तल द्विघात कार्यरचना के सामान्यीकरण के रूप में देखा जा सकता है।
 * रैखिक कार्यरचना (एलपी), उत्तल कार्यरचना का एक प्रकार, उस मामले का अध्ययन करता है जिसमें उद्देश्य फलन f  रैखिक होता है और बाधाएं केवल रैखिक समानताओं और असमानताओं का उपयोग करके निर्दिष्ट की जाती हैं। इस तरह के बाधा समुच्चय को बहुतल या बहुतलीय  कहा जाता है यदि यह बाध्य है।
 * द्वितीय-क्रम कोन कार्यरचना (SOCP) एक उत्तल कार्यक्रम है, और इसमें कुछ प्रकार के द्विघात कार्यक्रम शामिल हैं।
 * अर्द्धनिश्चित कार्यरचना (एसडीपी) उत्तल अनुकूलन का उपक्षेत्र है जहां अंतर्निहित चर अर्द्धनिश्चितआव्यूह हैं। यह रैखिक और उत्तल द्विघात कार्यरचना का सामान्यीकरण है।
 * शांकव कार्यरचना उत्तल कार्यरचना का सामान्य रूप है। एल.पी, एस.ओ.सी.पी और एस.डी.पी सभी को उचित प्रकार के शंकु के साथ शंकु कार्यक्रमों के रूप में देखा जा सकता है।
 * ज्यामितीय कार्यरचना एक ऐसी तकनीक है जिसके द्वारा वस्तुनिष्ठ और असमानता बाधाओं को बहुपदीय के रूप में व्यक्त किया जाता है और समानता बाधाओं को एकपदी के रूप में उत्तल कार्यक्रम में परिवर्तित किया जा सकता है।
 * पूर्णांक कार्यरचना रैखिक कार्यक्रमों का अध्ययन करती है जिसमें पूर्णांक मान लेने के लिए कुछ या सभी चर विवश होते हैं। यह उत्तल नहीं है, और सामान्य रूप से नियमित रैखिक कार्यरचना की तुलना में बहुत अधिक कठिन है।
 * द्विघात कार्यरचना उद्देश्य फलन को द्विघात शब्दों की अनुमति देता है, जबकि व्यवहार्य समुच्चय को रैखिक समानताओं और असमानताओं के साथ निर्दिष्ट किया जाना चाहिए। द्विघात शब्द के विशिष्ट रूपों के लिए, यह एक प्रकार का उत्तल कार्यरचना है।
 * आंशिक कार्यरचना दो अरैखिक फलन के अनुपात का अनुकूलन का अध्ययन करती है। अवतल भिन्नात्मक कार्यक्रमों के विशेष वर्ग को उत्तल अनुकूलन समस्या में बदला जा सकता है।
 * गैर-रैखिक कार्यरचना सामान्य मामले का अध्ययन करती है जिसमें उद्देश्य फलन या बाधाओं या दोनों में गैर-रैखिक भाग होते हैं। यह उत्तल कार्यक्रम हो सकता है या नहीं भी हो सकता है। सामान्य तौर पर, क्या कार्यक्रम उत्तल है, इसे हल करने की कठिनाई को प्रभावित करता है।
 * स्टोकेस्टिक कार्यरचना उस मामले का अध्ययन करता है जिसमें कुछ बाधाएं या मापदंडों यादृच्छिक चर पर निर्भर करते हैं।
 * स्वस्थ अनुकूलन ,प्रसंभाव्य कार्यरचना की तरह, अनुकूलन समस्या को अंतर्निहित डेटा में अनिश्चितता को पकड़ने का प्रयास है। स्वस्थ अनुकूलन का उद्देश्य उन समाधानों को खोजना है जो अनिश्चितता समुच्चय द्वारा परिभाषित अनिश्चितताओं के सभी संभावित प्रत्यक्षीकरण के तहत मान्य हैं।
 * कॉम्बिनेटरियल अनुकूलन उन समस्याओं से संबंधित है जहां व्यवहार्य समाधानों का समुच्चय असतत है या असतत में बदला जा सकता है।
 * स्टोकेस्टिक अनुकूलन का उपयोग यादृच्छिक (शोर) फलन माप या खोज प्रक्रिया में यादृच्छिक निवेश के साथ किया जाता है।
 * अनंत-आयामी अनुकूलन उस मामले का अध्ययन करता है जब व्यवहार्य समाधानों का समुच्चय अनंत - आयाम स्थान का उपसमुच्चय होता है, जैसे कि फलन का की जगह।
 * ह्यूरिस्टिक्स और मेटाह्यूरिस्टिक्स समस्या के अनुकूलित होने के बारे में कुछ या कोई धारणा नहीं बनाते हैं। आमतौर पर, ह्यूरिस्टिक्स इस बात ीग ारंटी नहीं देते हैं कि किसी भी इष्टतम समाधान की आवश्यकता है। दूसरी ओर, कई जटिल अनुकूलन समस्याओं के लिए अनुमानित समाधान खोजने के लिए ह्यूरिस्टिक्स का उपयोग किया जाता है।
 * बाधा संतुष्टि उस मामले का अध्ययन करती है जिसमें उद्देश्य कार्य f स्थिर है (इसका उपयोगआर्टिफिशियल इंटेलिजेंस में किया जाता है, विशेष रूप से स्वचालित तर्क में)।
 * बाधा कार्यरचना एक कार्यरचना प्रतिमान है जिसमें चर के बीच संबंध बाधाओं के रूप में बताए गए हैं।
 * असंतुष्ट कार्यरचना का उपयोग वहांक िया जाता है जहां कम से कम एक बाधा को संतुष्ट किया जाना चाहिए लेकिन सभी को नहीं। यह नियोजन में विशेष रूप से उपयोगी है।
 * स्पेस मैपिंग इंजीनियरिंग प्रणाली के मॉडलिंग और अनुकूलन के लिए अवधारणा है जो उच्च-निष्ठा (ठीक) मॉडल सटीकता के लिए उपयुक्त शारीरिक रूप से सार्थक मोटे या सरोगेट मॉडल का शोषण करता है।

कई उप-क्षेत्रों में, तकनीकों को मुख्य रूप से गतिशील संदर्भों में अनुकूलन के लिए डिज़ाइन किया गया है (अर्थात, समय के साथ निर्णय लेना):
 * विविधताओं की गणना किसी लक्ष्य को प्राप्त करने के सर्वोत्तम तरीके को खोजने से संबंधित है, जैसे कि एक ऐसी सतह का पता लगाना जिसकी सीमा एक विशिष्ट वक्र है, लेकिन कम से कम संभव क्षेत्र के साथ।
 * इष्टतम नियंत्रण सिद्धांत विविधताओं की गणना का सामान्यीकरण है जो नियंत्रण नीतियों का परिचय देता है।
 * डायनेमिक कार्यरचना प्रसंभाव्य अनुकूलन समस्या को प्रसंभाव्य, यादृच्छिकता और अज्ञात मॉडल मापदंडों के साथ समस्या को हल करने का दृष्टिकोण है। यह उस मामले का अध्ययन करता है जिसमें अनुकूलन रणनीति समस्या को छोटे उपप्रकारों में विभाजित करने पर आधारित है। इन उपसमस्याओं के बीच संबंध का वर्णन करने वाले समीकरण को बेलमैन समीकरण कहा जाता है।
 * गणितीय कार्यरचना के साथ संतुलन की कमी वह है जहां बाधाओं में विविधतापूर्ण असमानताएं या   पूरक शामिल हैं।

बहु-उद्देश्य अनुकूलन
अनुकूलन समस्या में एक से अधिक उद्देश्य जोड़ना जटिलता जोड़ता है। उदाहरण के लिए, संरचनात्मक डिजाइन का अनुकूलन करने के लिए, एक ऐसे डिजाइन की आवश्यकता होगी जो हल्का और कठोर दोनों हो। जब दो उद्देश्य संघर्ष करते हैं, तो एक समझौताकारी तालमेल बनाया जाना चाहिए। एक सबसे हल्का डिज़ाइन, एक कठोर डिजाइन, और एक अनंत संख्या में डिज़ाइन हो सकते हैं जो वजन और कठोरता के कुछ समझौते हैं। समझौताकारी तालमेल डिजाइनों का समुच्चय जो दूसरे की कीमत पर मानदंड में सुधार करता है, पेरेटो समुच्चय के रूप में जाना जाता है। सबसे अच्छे डिजाइनों की कठोरता के खिलाफ वजन वाले वक्र को पेरेटो सीमांत के रूप में जाना जाता है।

डिज़ाइन को पेरेटो इष्टतम (समकक्ष, पेरेटो कुशल या पेरेटो समुच्चय में) होने के लिए आंका जाता है यदि यह किसी अन्य डिज़ाइन का प्रभुत्व नहीं है: यदि यह कुछ मामलों में किसी अन्य डिज़ाइन से खराब है और किसी भी मामले में बेहतर नहीं है, तब यह हावी है और पारेटो इष्टतम नहीं है।

"पसंदीदा समाधान" निर्धारित करने के लिए "परेटो इष्टतम" समाधानों में से चुनाव निर्णय निर्माता को सौंपा गया है। दूसरे शब्दों में, समस्या को बहुउद्देश्यीय अनुकूलन के रूप में परिभाषित करना संकेत देता है कि कुछ जानकारी गायब है: वांछनीय उद्देश्य दिए गए हैं लेकिन उनके संयोजन एक दूसरे के सापेक्ष दर नहीं किए गए हैं। कुछ मामलों में, निर्णय निर्माता के साथ संवादात्मक सत्रों द्वारा लापता जानकारी प्राप्त की जा सकती है।

बहु-उद्देश्यीय अनुकूलन समस्याओं को आगे वेक्टर अनुकूलन समस्याओं में सामान्यीकृत किया गया है जहां (आंशिक) आदेश अब पारेटो आदेश द्वारा नहीं दिया जाता है।

बहु-मोडल या वैश्विक अनुकूलन
अनुकूलन की समस्याएं अक्सर बहु-मोडल होती हैं;यही है, उनके पास कई अच्छे समाधान हैं।वे सभी विश्व स्तर पर अच्छे (एक ही लागत फलनमूल्य) हो सकते हैं या विश्व स्तर पर अच्छे और स्थानीय रूप से अच्छे समाधानों का मिश्रण हो सकता है।सभी (या कम से कम कुछ) को प्राप्त करना एक बहु-मोडल ऑप्टिमाइज़र का लक्ष्य है।

शास्त्रीय अनुकूलन तकनीक उनके पुनरावृत्त दृष्टिकोण के कारण संतोषजनक ढंग से प्रदर्शन नहीं करती है जब वे कई समाधान प्राप्त करने के लिए उपयोग किए जाते हैं, क्योंकि यह गारंटी नहीं है कि एल्गोरिथ्म के कई रनों में विभिन्न शुरुआती बिंदुओं के साथ भी अलग -अलग समाधान प्राप्त किए जाएंगे।

ग्लोबल अनुकूलन समस्याओं के लिए सामान्य दृष्टिकोण, जहां कई स्थानीय एक्सट्रैमा मौजूद हो सकते हैं, उनमें  विकासवादी एल्गोरिथ्म  एस,   बायेसियन अनुकूलन और   सिम्युलेटेड एनीलिंग  शामिल हैं।

व्यवहार्यता समस्या
  संतोषजनक समस्या  , जिसे '' व्यवहार्यता समस्या 'भी कहा जाता है, केवल उद्देश्य मूल्य के संबंध में बिना किसी   संभव समाधान  को खोजने की समस्या है।इसे गणितीय अनुकूलन के विशेष मामले के रूप में माना जा सकता है जहां उद्देश्य मूल्य प्रत्येक समाधान के लिए समान है, और इस प्रकार कोई भी समाधान इष्टतम है।

कई अनुकूलन कलन विधि को एक संभव बिंदु से शुरू करने की आवश्यकता है।इस तरह के एक बिंदु को प्राप्त करने का एक तरीका   को  को आराम करें   स्लैक चर  का उपयोग करके व्यवहार्यता की स्थिति;पर्याप्त सुस्त के साथ, कोई भी प्रारंभिक बिंदु संभव है।फिर, उस स्लैक चर को कम से कम करें जब तक कि स्लैक शून्य या नकारात्मक न हो।

अस्तित्व
कार्ल वेयरस्ट्रास के   एक्सट्रीम वैल्यू प्रमेय  में कहा गया है कि कॉम्पैक्ट समुच्चय पर एक निरंतर वास्तविक-मूल्यवान फलनइसके अधिकतम और न्यूनतम मूल्य को प्राप्त करता है।अधिक आम तौर पर, एक कॉम्पैक्ट समुच्चय पर एक कम अर्ध-निरंतर कार्य इसके न्यूनतम को प्राप्त करता है;एक कॉम्पैक्ट समुच्चय पर एक ऊपरी अर्ध-निरंतर फलनअपने अधिकतम बिंदु या दृश्य को प्राप्त करता है।

इष्टतमता के लिए आवश्यक शर्तें
फर्मेट के प्रमेयों में से एक में कहा गया है कि अप्रतिबंधित समस्याओं का ऑप्टिमा   स्टेशनरी प्वाइंट  एस पर पाया जाता है, जहां पहला व्युत्पन्न या उद्देश्य फलनका ढाल शून्य है (  पहले व्युत्पन्न परीक्षण  देखें)।आम तौर पर, वे    क्रिटिकल पॉइंट  पर पाए जा सकते हैं, जहां ऑब्जेक्टिव फलनका पहला व्युत्पन्न या ढाल शून्य है या अपरिभाषित है, या पसंद समुच्चय की सीमा पर है।एक समीकरण (या समीकरणों का समुच्चय) यह बताते हुए कि एक आंतरिक इष्टतम में पहले व्युत्पन्न (एस) के बराबर (एस) शून्य को 'प्रथम-क्रम की स्थिति' या प्रथम-क्रम स्थितियों का एक समुच्चय कहा जाता है।

समानता-विवश समस्याओं के ऑप्टिमा को  Lagrange गुणक  विधि द्वारा पाया जा सकता है।समानता और/या असमानता की बाधाओं के साथ समस्याओं का ऑप्टिमा '  करुश -कुहन -टकर शर्तों ' का उपयोग करके पाया जा सकता है।

इष्टतमता के लिए पर्याप्त शर्तें
जबकि पहला व्युत्पन्न परीक्षण उन बिंदुओं की पहचान करता है जो एक्सट्रैमा हो सकते हैं, यह परीक्षण एक ऐसे बिंदु को अलग नहीं करता है जो एक से न्यूनतम है जो अधिकतम या एक है जो न तो है।जब उद्देश्य फलनदो बार अलग -अलग होता है, तो इन मामलों को अप्रतिबंधित समस्याओं में दूसरे व्युत्पन्न या दूसरे डेरिवेटिव ( हेसियन मैट्रिक्स  कहा जाता है) के मैट्रिक्स की जांच करके प्रतिष्ठित किया जा सकता है, या ऑब्जेक्टिव फलनके दूसरे डेरिवेटिव और कहा जाता है।   की सीमा को विवश समस्याओं में हेसियन  की सीमा की।अन्य स्थिर बिंदुओं से मैक्सिमा, या मिनिमा को अलग करने वाली स्थितियों को 'दूसरे क्रम की स्थिति' कहा जाता है (देखें '  दूसरा व्युत्पन्न परीक्षण ')।यदि कोई उम्मीदवार समाधान पहले-क्रम की स्थितियों को संतुष्ट करता है, तो दूसरे क्रम की स्थितियों की संतुष्टि के साथ-साथ कम से कम स्थानीय इष्टतमता को स्थापित करने के लिए पर्याप्त है।

संवेदनशीलता और ऑप्टिमा की निरंतरता
लिफाफा प्रमेय बताता है कि एक अंतर्निहित   पैरामीटर  में परिवर्तन होने पर एक इष्टतम समाधान का मूल्य कैसे बदलता है।इस परिवर्तन की गणना करने की प्रक्रिया को   तुलनात्मक स्टेटिक्स  कहा जाता है।

क्लाउड बर्ज (1963) का   अधिकतम प्रमेय  अंतर्निहित मापदंडों के एक समारोह के रूप में एक इष्टतम समाधान की निरंतरता का वर्णन करता है।

अनुकूलन की पथरी
दो बार-अलग-अलग कार्यों के साथ अप्रतिबंधित समस्याओं के लिए, कुछ   क्रिटिकल पॉइंट्स  उन बिंदुओं को खोजकर पाया जा सकता है जहां ऑब्जेक्टिव फलनके   ग्रेडिएंट  शून्य है (यानी, स्थिर अंक)। अधिक आम तौर पर, एक शून्य   सबग्रिडिएंट  यह प्रमाणित करता है कि    के लिए एक स्थानीय न्यूनतम पाया गया है जो उत्तल     फलन और अन्य    स्थानीय रूप से    LIPSCHITZ फलन2 ]]]]]]222 ]]  [[111 LIPSCHITZ फलनके साथ।

इसके अलावा,  हेसियन मैट्रिक्स  की    डेफिटनेस  का उपयोग करके महत्वपूर्ण बिंदुओं को वर्गीकृत किया जा सकता है: यदि हेसियन एक महत्वपूर्ण बिंदु पर 'पॉजिटिव' 'निश्चित है, तो बिंदु एक स्थानीय न्यूनतम है; यदि हेसियन मैट्रिक्स नकारात्मक निश्चित है, तो बिंदु एक स्थानीय अधिकतम है; अंत में, यदि अनिश्चितकालीन है, तो बिंदु कुछ प्रकार के   सैडल पॉइंट  है।

विवश समस्याओं को अक्सर  Lagrange गुणक  s की मदद से अप्रतिबंधित समस्याओं में बदल दिया जा सकता है।   Lagrangian विश्राम  भी कठिन विवश समस्याओं के अनुमानित समाधान प्रदान कर सकता है।

जब उद्देश्य फलन उत्तल फलन है, तो कोई भी स्थानीय न्यूनतम भी एक वैश्विक न्यूनतम होगा। उत्तल कार्यों को कम करने के लिए कुशल संख्यात्मक तकनीकें मौजूद हैं, जैसे कि   इंटीरियर-पॉइंट विधि  एस।

वैश्विक अभिसरण
आम तौर पर, यदि उद्देश्य फलनएक द्विघात कार्य नहीं है, तो कई अनुकूलन विधियां यह सुनिश्चित करने के लिए अन्य तरीकों का उपयोग करती हैं कि पुनरावृत्तियों के कुछ बाद एक इष्टतम समाधान में परिवर्तित हो जाते हैं।अभिसरण सुनिश्चित करने के लिए पहली और अभी भी लोकप्रिय विधि  लाइन खोज  ईएस पर निर्भर करती है, जो एक आयाम के साथ एक फलनको अनुकूलित करती है।अभिसरण सुनिश्चित करने के लिए एक दूसरा और तेजी से लोकप्रिय तरीका   ट्रस्ट क्षेत्र  एस का उपयोग करता है।दोनों लाइन खोजों और ट्रस्ट क्षेत्रों का उपयोग    गैर-विभेद्य अनुकूलन  के आधुनिक तरीकों में किया जाता है।आमतौर पर, एक वैश्विक ऑप्टिमाइज़र उन्नत स्थानीय ऑप्टिमाइज़र (जैसे    BFGS ) की तुलना में बहुत धीमा होता है, इसलिए अक्सर विभिन्न शुरुआती बिंदुओं से स्थानीय ऑप्टिमाइज़र शुरू करके एक कुशल वैश्विक ऑप्टिमाइज़र का निर्माण किया जा सकता है।एक अनुमानित समाधान की गणना करने वाले हेयुरिस्टिक आधारित अनुकूलन कलन विधि का भी उपयोग किया जा सकता है

कम्प्यूटेशनल अनुकूलनतकनीक
समस्याओं को हल करने के लिए, शोधकर्ता  एल्गोरिथम  एस का उपयोग कर सकते हैं जो चरणों की एक परिमित संख्या में समाप्त हो जाते हैं, या   पुनरावृत्त विधि  एस जो एक समाधान में परिवर्तित होते हैं (समस्याओं के कुछ निर्दिष्ट वर्ग पर), या    HEURISTICS  जो प्रदान कर सकते हैंकुछ समस्याओं के अनुमानित समाधान (हालांकि उनके पुनरावृत्तियों को अभिसरण की आवश्यकता नहीं है)।

अनुकूलन कलन विधि

 * सिम्प्लेक्स एल्गोरिथ्म का   जॉर्ज डैंटज़िग,   रैखिक कार्यरचना  के लिए डिज़ाइन किया गया
 * सिम्प्लेक्स एल्गोरिथ्म के एक्सटेंशन,  द्विघात कार्यरचना  के लिए डिज़ाइन किए गए और   रैखिक-फ्रैक्टल कार्यरचना  के लिए
 * सिंप्लेक्स एल्गोरिथ्म के वेरिएंट जो विशेष रूप से   नेटवर्क अनुकूलन के लिए अनुकूल हैं
 * कॉम्बिनेटरियल कलन विधि
 * क्वांटम अनुकूलन कलन विधि

पुनरावृत्त तरीके
iterative विधियाँ   nonlinear कार्यरचना की समस्याओं को हल करने के लिए उपयोग की जाती हैं कि क्या वे    का मूल्यांकन     हेसियन, ग्रेडिएंट्स, या केवल फलनमानों का मूल्यांकन करते हैं। हेसियन (एच) और ग्रेडिएंट्स (जी) का मूल्यांकन करते समय अभिसरण की दर में सुधार होता है, उन कार्यों के लिए जिनके लिए ये मात्राएँ मौजूद हैं और पर्याप्त रूप से सुचारू रूप से भिन्न होती हैं, इस तरह के मूल्यांकन प्रत्येक पुनरावृत्ति के    कम्प्यूटेशनल जटिलता  (या कम्प्यूटेशनल लागत) को बढ़ाते हैं। कुछ मामलों में, कम्प्यूटेशनल जटिलता अत्यधिक उच्च हो सकती है।

ऑप्टिमाइज़र के लिए एक प्रमुख मानदंड केवल आवश्यक फलनमूल्यांकन की संख्या है क्योंकि यह अक्सर पहले से ही एक बड़ा कम्प्यूटेशनल प्रयास होता है, आमतौर पर ऑप्टिमाइज़र के भीतर ही बहुत अधिक प्रयास होता है, जिसे मुख्य रूप से एन चर पर संचालित करना पड़ता है। डेरिवेटिव ऐसे ऑप्टिमाइज़र के लिए विस्तृत जानकारी प्रदान करते हैं, लेकिन गणना करने के लिए और भी कठिन हैं, उदा। ग्रेडिएंट का अनुमान लगाने से कम से कम N+1 फलनमूल्यांकन होता है। द्वितीय डेरिवेटिव (हेसियन मैट्रिक्स में एकत्र) के अनुमानों के लिए, फलनमूल्यांकन की संख्या n of के क्रम में है। न्यूटन की विधि के लिए 2-ऑर्डर डेरिवेटिव्स की आवश्यकता होती है, इसलिए प्रत्येक पुनरावृत्ति के लिए, फलनकॉल की संख्या N, के क्रम में है, लेकिन एक सरल शुद्ध ढाल ऑप्टिमाइज़र के लिए यह केवल N है। हालांकि, ग्रेडिएंट ऑप्टिमाइज़र को आमतौर पर न्यूटन के एल्गोरिथ्म की तुलना में अधिक पुनरावृत्तियों की आवश्यकता होती है। फलनकॉल की संख्या के संबंध में कौन सा सबसे अच्छा है, यह समस्या पर निर्भर करता है।
 * ऐसे तरीके जो हेसियन (या अनुमानित हेसियन का मूल्यांकन करते हैं,  परिमित अंतर  s का उपयोग करते हुए):
 * न्यूटन की विधि
 * अनुक्रमिक द्विघात कार्यरचना : लघु-मध्यम पैमाने के लिए एक न्यूटन-आधारित विधि  विवश  समस्याएं। कुछ संस्करण बड़े-आयामी समस्याओं को संभाल सकते हैं।
 * इंटीरियर पॉइंट मेथड्स : यह विवश अनुकूलन के लिए तरीकों का एक बड़ा वर्ग है, जिनमें से कुछ केवल (उप) ग्रेडिएंट जानकारी का उपयोग करते हैं और जिनमें से अन्य को हेसियन के मूल्यांकन की आवश्यकता होती है।
 * ऐसे तरीके जो ग्रेडिएंट्स का मूल्यांकन करते हैं, या किसी तरह से अनुमानित ग्रेडिएंट्स (या यहां तक ​​कि सबग्रैडिएंट्स):
 * समन्वय वंश तरीके: कलन विधि जो प्रत्येक पुनरावृत्ति में एक एकल समन्वय को अपडेट करते हैं
 * संयुग्म ग्रेडिएंट विधि एस:   ITERATIVE विधि  बड़ी समस्याओं के लिए। (सिद्धांत रूप में, ये विधियाँ द्विघात उद्देश्य कार्यों के साथ चरणों की एक परिमित संख्या में समाप्त हो जाती हैं, लेकिन यह परिमित समाप्ति परिमित -पूर्व -प्रक्षेपण कंप्यूटरों पर व्यवहार में नहीं देखा जाता है।)
 * ग्रेडिएंट डिसेंट (वैकल्पिक रूप से, सबसे कठिन वंश या सबसे खड़ी चढ़ाई): ऐतिहासिक और सैद्धांतिक रुचि का एक (धीमा) विधि, जिसने भारी समस्याओं के अनुमानित समाधान खोजने के लिए रुचि को नवीनीकृत किया है।
 * सबग्रिडिएंट विधि एस: बड़े    के लिए एक पुनरावृत्त विधि स्थानीय रूप से     लिप्स्चिट्ज़ फ़ंक्शंस     सामान्यीकृत ग्रैडेंट्स  का उपयोग करते हुए। बोरिस टी। पॉलीक के बाद, सबग्रिडिएंट -प्रोजेक्शन विधियाँ संयुग्म -ग्रैडिएंट विधियों के समान हैं।
 * वंश की बंडल विधि: स्थानीय रूप से लिप्स्चिट्ज़ कार्यों के साथ छोटे-मेडियम-आकार की समस्याओं के लिए एक पुनरावृत्ति विधि, विशेष रूप से   उत्तल न्यूनतमकरण  समस्याओं के लिए (संयुग्म ग्रेडिएंट विधियों के समान)।
 * एलिपोसिड विधि :   Quasiconvex  उद्देश्य कार्यों और महान सैद्धांतिक रुचि के साथ छोटी समस्याओं के लिए एक पुनरावृत्ति विधि, विशेष रूप से कुछ कॉम्बिनेटरियल अनुकूलनसमस्याओं की बहुपद समय जटिलता को स्थापित करने में। इसमें अर्ध-न्यूटन विधियों के साथ समानताएं हैं।
 * सशर्त ग्रेडिएंट विधि (फ्रैंक -वुल्फ)   रैखिक बाधाओं के साथ विशेष रूप से संरचित समस्याओं के अनुमानित न्यूनतमकरण के लिए, विशेष रूप से ट्रैफ़िक नेटवर्क के साथ। सामान्य अप्रतिबंधित समस्याओं के लिए, यह विधि ढाल विधि को कम कर देती है, जिसे अप्रचलित माना जाता है (लगभग सभी समस्याओं के लिए)।
 * क्वासी-न्यूटन एमETHOD S: मध्यम-बड़ी समस्याओं के लिए पुनरावृत्त तरीके (जैसे n <1000)।
 * प्रसंभाव्य अनुकूलनके लिए एक साथ गड़बड़ीप्रसंभाव्य सन्निकटन (एसपीएसए) विधि;यादृच्छिक (कुशल) ढाल सन्निकटन का उपयोग करता है।
 * वे तरीके जो केवल फलनमानों का मूल्यांकन करते हैं: यदि कोई समस्या लगातार अलग है, तो ग्रेडिएंट्स को परिमित अंतर का उपयोग करके अनुमानित किया जा सकता है, जिस स्थिति में एक ढाल-आधारित विधि का उपयोग किया जा सकता है।
 * प्रक्षेप विधियाँ
 * पैटर्न खोज विधियाँ, जिनमें    नेल्डर -मेड हेयुरिस्टिक (सिम्पलिस के साथ)  की तुलना में बेहतर अभिसरण गुण हैं, जो नीचे सूचीबद्ध है।
 * मिरर वंश

heuristics
इसके अलावा (बारीक रूप से समाप्ति)  एल्गोरिथ्म  एस और (अभिसरण)   पुनरावृत्त विधि  एस,    हेयुरिस्टिक्स  हैं एक हेयुरिस्टिक कोई भी एल्गोरिथ्म है जो समाधान खोजने के लिए (गणितीय रूप से) गारंटी नहीं है, लेकिन जो कुछ व्यावहारिक स्थितियों में फिर भी उपयोगी है।कुछ प्रसिद्ध heuristics की सूची:


 * मेमेटिक एल्गोरिथ्म
 * डिफरेंशियल इवोल्यूशन
 * विकासवादी एल्गोरिदम
 * गतिशील विश्राम
 * आनुवंशिक एल्गोरिदम
 * हिल चढ़ाई यादृच्छिक पुनरारंभ के साथ
 * नेल्डर -मेड सरलीशियस हेयुरिस्टिक : अनुमानित न्यूनतमकरण के लिए एक लोकप्रिय अनुमानी (बिना ग्रेडिएंट्स के कॉलिंग)
 * पार्टिकल झुंड अनुकूलन
 * सिम्युलेटेड एनीलिंग
 * स्टोकेस्टिक टनलिंग
 * [[ तबू खोज]

यांत्रिकी
कठोर शरीर की गतिशीलता में समस्याएं (विशेष रूप से स्पष्ट रूप से कठोर शरीर की गतिशीलता) में अक्सर गणितीय कार्यरचना तकनीकों की आवश्यकता होती है, क्योंकि आप कठोर शरीर की गतिशीलता को देख सकते हैं। बाधाएं विभिन्न nonlinear ज्यामितीय बाधाएं हैं जैसे कि इन दो बिंदुओं को हमेशा संयोग होना चाहिए, इस सतह को किसी अन्य में प्रवेश नहीं करना चाहिए, या इस बिंदु को हमेशा इस वक्र पर कहीं झूठ बोलना चाहिए।इसके अलावा, कंप्यूटिंग संपर्क बलों की समस्या   रैखिक पूरक समस्या  को हल करके की जा सकती है, जिसे क्यूपी (द्विघात कार्यरचना) समस्या के रूप में भी देखा जा सकता है।

कई डिजाइन समस्याओं को अनुकूलन कार्यक्रमों के रूप में भी व्यक्त किया जा सकता है।इस एप्लिकेशन को डिज़ाइन अनुकूलनकहा जाता है।एक सबसमुच्चय  इंजीनियरिंग अनुकूलन है, और इस क्षेत्र का एक और हाल ही में और बढ़ता सबसमुच्चय   मल्टीडिसिप्लिनरी डिज़ाइन अनुकूलन है, जो कई समस्याओं में उपयोगी है, विशेष रूप से   एयरोस्पेस इंजीनियरिंग  समस्याओं पर लागू किया गया है।

यह दृष्टिकोण ब्रह्मांड विज्ञान और खगोल भौतिकी में लागू किया जा सकता है

अर्थशास्त्र और वित्त
इकोनॉमिक्स    एजेंट्स  के अनुकूलन से निकटता से जुड़ा हुआ है कि एक प्रभावशाली परिभाषा से संबंधित अर्थशास्त्र का वर्णन किया गया है  क्वा  विज्ञान के रूप में मानव व्यवहार के अध्ययन के रूप में अंत और   दुर्लभ  का मतलब वैकल्पिक उपयोग के साथ वैकल्पिक उपयोग के साथ है।  आधुनिक अनुकूलन सिद्धांत में पारंपरिक अनुकूलन सिद्धांत शामिल है, लेकिन यह भी   गेम थ्योरी  और आर्थिक    संतुलन  के अध्ययन के साथ ओवरलैप है।    जर्नल ऑफ़ इकोनॉमिक लिटरेचर      कोड   [[ JEL वर्गीकरण कोड#गणितीय और मात्रात्मक तरीके JEL के तहत गणितीय कार्यरचना, अनुकूलनतकनीकों और संबंधित विषयों को वर्गीकृत करें।

माइक्रोइकॉनॉमिक्स में,  उपयोगिता अधिकतमकरण समस्या  और इसकी   दोहरी समस्या,   व्यय न्यूनतमकरण समस्या , आर्थिक अनुकूलन समस्याएं हैं। Insofar के रूप में वे लगातार व्यवहार करते हैं,   उपभोक्ता  s को उनकी   उपयोगिता  को अधिकतम करने के लिए माना जाता है, जबकि   फर्म  s को आमतौर पर अपने    लाभ  को अधिकतम करने के लिए माना जाता है। इसके अलावा, एजेंटों को अक्सर    जोखिम-प्रति- ]] होता है, जिससे जोखिम से बचने के लिए प्राथमिकता होती है।    एसमुच्चय प्राइस भी अनुकूलनथ्योरी का उपयोग करके मॉडलिंग की जाती है, हालांकि अंतर्निहित गणित स्थैतिक अनुकूलन के बजाय  प्रसंभाव्य प्रक्रिया ईएस के अनुकूलन पर निर्भर करता है।   अंतर्राष्ट्रीय व्यापार सिद्धांत  राष्ट्रों के बीच व्यापार पैटर्न को समझाने के लिए अनुकूलन का भी उपयोग करता है।    पोर्टफोलियो  का अनुकूलन अर्थशास्त्र में बहु-उद्देश्य अनुकूलन का एक उदाहरण है।

1970 के दशक के बाद से, अर्थशास्त्रियों ने  नियंत्रण सिद्धांत  का उपयोग करके समय के साथ गतिशील निर्णय लिए हैं उदाहरण के लिए, डायनेमिक    खोज मॉडल  का उपयोग    श्रम-बाजार व्यवहार  का अध्ययन करने के लिए किया जाता है एक महत्वपूर्ण अंतर नियतात्मक औरप्रसंभाव्य मॉडल के बीच है     मैक्रोइकॉनॉमिस्ट  बिल्ड    डायनेमिकप्रसंभाव्य जनरल इक्विलिब्रियम (डीएसजीई) मॉडल जो पूरी अर्थव्यवस्था की गतिशीलता का वर्णन करते हैं।

इलेक्ट्रिकल इंजीनियरिंग
इलेक्ट्रिकल इंजीनियरिंग में अनुकूलन तकनीकों के कुछ सामान्य अनुप्रयोगों में   सक्रिय फ़िल्टर  डिजाइन शामिल हैं सुपरकंडक्टिंग मैग्नेटिक एनर्जी स्टोरेज सिस्टम में स्ट्रे फ़ील्ड में कमी,   स्पेस मैपिंग  डिजाइन   माइक्रोवेव  स्ट्रक्चर्स हैंडसमुच्चय एंटेना   इलेक्ट्रोमैग्नेटिक्स-आधारित डिजाइन।माइक्रोवेव घटकों और एंटेना के इलेक्ट्रोमैग्नेटिक रूप से मान्य डिजाइन अनुकूलन ने एक उपयुक्त भौतिकी-आधारित या अनुभवजन्य   सरोगेट मॉडल  और   स्पेस मैपिंग  कार्यप्रणाली का व्यापक उपयोग किया है।

सिविल इंजीनियरिंग
सिविल इंजीनियरिंग में अनुकूलन का व्यापक रूप से उपयोग किया गया है। कंस्ट्रक्शन मैनेजमेंट  और   ट्रांसपोर्टेशन इंजीनियरिंग  सिविल इंजीनियरिंग की मुख्य शाखाओं में से हैं जो अनुकूलन पर बहुत अधिक भरोसा करते हैं।सबसे आम सिविल इंजीनियरिंग समस्याएं जो अनुकूलन द्वारा हल की जाती हैं   संसाधन समतल  <ref name=": ०    जल संसाधन आवंटन,   यातायात  प्रबंधन और अनुसूची अनुकूलन।

संचालन अनुसंधान
एक अन्य क्षेत्र जो अनुकूलन तकनीकों का बड़े पैमाने पर उपयोग करता है, वह है  संचालन अनुसंधान  संचालन अनुसंधान भी बेहतर निर्णय लेने का समर्थन करने के लिएप्रसंभाव्य मॉडलिंग और सिमुलेशन का उपयोग करता है।तेजी से, संचालन अनुसंधान  प्रसंभाव्य कार्यरचना का उपयोग करता है, जो कि घटनाओं के अनुकूल होने वाले गतिशील निर्णयों को मॉडल करने के लिए है;इस तरह की समस्याओं को बड़े पैमाने पर अनुकूलन और  प्रसंभाव्य अनुकूलन विधियों के साथ हल किया जा सकता है।

नियंत्रण इंजीनियरिंग
गणितीय अनुकूलन का उपयोग बहुत आधुनिक नियंत्रक डिजाइन में किया जाता है।उच्च-स्तरीय नियंत्रक जैसे कि  मॉडल प्रेडिक्टिव कंट्रोल  (एमपीसी) या रियल-टाइम अनुकूलन(आरटीओ) गणितीय अनुकूलन को नियोजित करते हैं।ये कलन विधि ऑनलाइन चलते हैं और बार -बार निर्णय चर के लिए मूल्यों को निर्धारित करते हैं, जैसे कि एक प्रक्रिया संयंत्र में चोक ओपनिंग, पुनरावृत्ति द्वारा एक गणितीय अनुकूलन समस्या को हल करके बाधाओं और सिस्टम के एक मॉडल को नियंत्रित करने के लिए।

भूभौतिकी
अनुकूलन तकनीकों का उपयोग नियमित रूप से   भूभौतिकीय  पैरामीटर अनुमान समस्याओं में किया जाता है।भूभौतिकीय माप का एक समुच्चय दिया गया, उदा।   भूकंपीय रिकॉर्डिंग, यह    भौतिक गुण  और पृथ्वी की    ज्यामितीय आकार  अंतर्निहित चट्टानों और तरल पदार्थों के लिए हल करना आम है।भूभौतिकी में अधिकांश समस्याएं नियतात्मक औरप्रसंभाव्य दोनों तरीकों के साथ व्यापक रूप से उपयोग किए जा रहे हैं।

आणविक मॉडलिंग
नॉनलाइनियर अनुकूलनविधियों का व्यापक रूप से  कंफॉर्मल एनालिसिस  में उपयोग किया जाता है।

कम्प्यूटेशनल सिस्टम बायोलॉजी
अनुकूलन तकनीकों का उपयोग कम्प्यूटेशनल सिस्टम जीव विज्ञान के कई पहलुओं में किया जाता है जैसे कि मॉडल बिल्डिंग, इष्टतम प्रयोगात्मक डिजाइन, चयापचय इंजीनियरिंग और सिंथेटिक जीव विज्ञान  रैखिक कार्यरचना किण्वन उत्पादों की अधिकतम संभावित पैदावार की गणना करने के लिए लागू किया गया है और कई माइक्रोएरे डेटासमुच्चय से जीन नियामक नेटवर्क का अनुमान लगाने के लिए साथ ही उच्च-थ्रूपुट डेटा से ट्रांसक्रिप्शनल नियामक नेटवर्क   nonlinear कार्यरचना का उपयोग ऊर्जा चयापचय का विश्लेषण करने के लिए किया गया है और जैव रासायनिक मार्गों में चयापचय इंजीनियरिंग और पैरामीटर अनुमान के लिए लागू किया गया है