उत्तल अनुकूलन

उत्तल अनुकूलन गणितीय अनुकूलन का उपक्षेत्र है। मस्याजो उत्तल सेटों पर उत्तल कार्यों को कम करने की स का अध्ययन करता है (या समकक्ष उत्तल सेटों पर अवतल कार्यों को अधिकतम करना)। उत्तल अनुकूलन समस्याओं के कई वर्ग बहुपद-काल एल्गोरिदम को स्वीकार करते हैं। जबकि गणितीय अनुकूलन सामान्य रूप से एनपी कठिन है।  उत्तल अनुकूलन में व्यापक श्रेणी के अनुशासन हैं। जैसे स्वचालित नियंत्रण प्रणाली, अनुमान और संकेत आगे बढ़ाना, संचार और नेटवर्क, इलेक्ट्रॉनिक सर्किट डिज़ाइन, डेटा विश्लेषण और मॉडलिंग, वित्त, सांख्यिकी (इष्टतम डिजाइन) और संरचनात्मक अनुकूलन, जहां सन्निकटन अवधारणा कुशल प्रमाणित हुई है।  कंप्यूटिंग और गणितीय अनुकूलन कम्प्यूटेशनल अनुकूलन विधियों की प्रगति के साथ उत्तल प्रोग्रामिंग लगभग रैखिक प्रोग्रामिंग के रूप में सीधी है।

परिभाषा
उत्तल अनुकूलन समस्या एक अनुकूलन समस्या है। जिसमें उद्देश्य फलन उत्तल फलन होता है और साध्य क्षेत्र उत्तल समुच्चय होता है। समारोह $$f$$ के कुछ उपसमुच्चय का मानचित्रण करना $$\mathbb{R}^n$$में $$\mathbb{R} \cup \{\pm \infty\}$$ उत्तल है। यदि इसका डोमेन उत्तल है और सभी के लिए $$\theta \in [0, 1]$$ और सभी $$x, y$$ इसके डोमेन में निम्नलिखित नियम रखती है: $$f(\theta x + (1 - \theta)y) \leq \theta f(x) + (1 - \theta) f(y)$$। सभी सदस्यों के लिए सेट S उत्तल है। $$x, y \in S$$ और सभी $$\theta \in [0, 1]$$ हमारे पास वह है। $$\theta x + (1 - \theta) y \in S$$

वस्तुतः $$\mathbf{x^\ast} \in C$$ को प्राप्त उत्तल अनुकूलन समस्या कुछ खोजने की समस्या है।
 * $$\inf \{ f(\mathbf{x}) : \mathbf{x} \in C \}$$,

जहां उद्देश्य समारोह $$f :\mathcal D \subseteq \mathbb{R}^n \to \mathbb{R}$$ उत्तल है। जैसा कि संभव सेट $$C$$ है। यदि ऐसा कोई बिंदु उपस्थित है। तो इसे इष्टतम बिंदु या समाधान कहा जाता है। सभी इष्टतम बिंदुओं के समुच्चय को इष्टतम समुच्चय कहा जाता है। जो $$f$$ नीचे असीमित है। $$C$$ न्यूनतम प्राप्त नहीं हुआ है। तो अनुकूलन समस्या को अबाधित कहा जाता है। अन्यथा $$C$$ रिक्त समुच्चय है। तो समस्या असाध्य कहलाती है।

मानक रूप
उत्तल अनुकूलन समस्या मानक रूप में होती है। यदि इसे इस रूप में लिखा जाए


 * $$\begin{align}

&\underset{\mathbf{x}}{\operatorname{minimize}}& & f(\mathbf{x}) \\ &\operatorname{subject\ to} & &g_i(\mathbf{x}) \leq 0, \quad i = 1, \dots, m \\ &&&h_i(\mathbf{x}) = 0, \quad i = 1, \dots, p, \end{align}$$ जहाँ:


 * $$\mathbf{x} \in \mathbb{R}^n$$ अनुकूलन चर है;
 * उद्देश्य समारोह $$f: \mathcal D \subseteq \mathbb{R}^n \to \mathbb{R}$$ एक उत्तल कार्य है;
 * असमानता बाधा कार्य करती है $$g_i : \mathbb{R}^n \to \mathbb{R}$$, $$i=1, \ldots, m$$, उत्तल कार्य हैं;
 * समानता बाधा कार्य करती है $$h_i : \mathbb{R}^n \to \mathbb{R}$$, $$i=1, \ldots, p$$, ठीक परिवर्तन हैं। अर्थात् इस रूप का $$h_i(\mathbf{x}) = \mathbf{a_i}\cdot \mathbf{x} - b_i$$, जहाँ $$\mathbf{a_i}$$ वेक्टर है और $$b_i$$ अदिश राशि है।

यह संकेतन खोजने की समस्या का वर्णन करता है। $$\mathbf{x} \in \mathbb{R}^n$$ जो कम करता है। $$f(\mathbf{x})$$ इन सब में $$\mathbf{x}$$ संतुष्टि देने वाला $$g_i(\mathbf{x}) \leq 0$$, $$i=1, \ldots, m$$ और $$h_i(\mathbf{x}) = 0$$, $$i=1, \ldots, p$$. कार्यक्रम $$f$$ समस्या का उद्देश्य कार्य है और कार्य $$g_i$$ और $$h_i$$ बाधा कार्य हैं।

व्यवहार्य सेट $$C$$ अनुकूलन समस्या में सभी बिंदु सम्मिलित हैं और $$\mathbf{x} \in \mathcal{D}$$ बाधाओं को संतुष्ट करना है। यह सेट उत्तल है क्योंकि $$\mathcal{D}$$ उत्तल है। उत्तल कार्यों के सबलेवल सेट उत्तल हैं। अफीन सेट उत्तल हैं और उत्तल सेट का प्रतिच्छेदन उत्तल है। उत्तल अनुकूलन समस्या का समाधान कोई बिंदु $$\mathbf{x} \in C$$ को प्राप्त $$\inf \{ f(\mathbf{x}) : \mathbf{x} \in C \}$$ है। सामान्यतः उत्तल अनुकूलन समस्या में शून्य, एक या कई समाधान हो सकते हैं। इस मानक रूप में कई अनुकूलन समस्याओं को समान रूप से तैयार किया जा सकता है। उदाहरण के लिए अवतल कार्य को अधिकतम करने की समस्या $$f$$ उत्तल कार्य को कम करने की समस्या के रूप में समान रूप से पुन: तैयार किया जा सकता है। $$-f$$ उत्तल सेट पर अवतल कार्य को अधिकतम करने की समस्या को सामान्यतः उत्तल अनुकूलन समस्या कहा जाता है।

गुण
उत्तल अनुकूलन समस्याओं के उपयोगी गुण निम्नलिखित हैं:


 * प्रत्येक स्थानीय न्यूनतम एक वैश्विक न्यूनतम है;
 * इष्टतम सेट उत्तल है;

इन परिणामों का उपयोग कार्यात्मक विश्लेषण (हिल्बर्ट रिक्त स्थान में) जैसे हिल्बर्ट प्रक्षेपण प्रमेय अलग करने वाले हाइपरप्लेन प्रमेय और फ़ार्कस लेम्मा से ज्यामितीय धारणाओं के साथ-साथ उत्तल न्यूनीकरण के सिद्धांत द्वारा किया जाता है।

अनुप्रयोग
निम्नलिखित समस्या वर्ग सभी उत्तल अनुकूलन समस्याएँ हैं या सरल परिवर्तनों के माध्यम से उत्तल अनुकूलन समस्याओं को कम किया जा सकता है:

कम से कम वर्गों में दर्शाया गया है: उत्तल अनुकूलन में निम्नलिखित के लिए व्यावहारिक अनुप्रयोग हैं।
 * रैखिक प्रोग्रामिंग
 * रैखिक बाधाओं के साथ उत्तल द्विघात प्रोग्रामिंग
 * द्विघात रूप से विवश द्विघात प्रोग्रामिंग
 * शंकु अनुकूलन
 * ज्यामितीय प्रोग्रामिंग
 * दूसरा क्रम शंकु प्रोग्रामिंग
 * अर्ध-परिमित प्रोग्रामिंग
 * उपयुक्त बाधाओं के साथ एंट्रॉपी अधिकतमकरण


 * पोर्टफोलियो अनुकूलन।
 * सबसे खराब स्थिति संकट विश्लेषण। इष्टतम विज्ञापन। प्रतिगमन विश्लेषण के बदलाव (नियमन और मात्रात्मक प्रतिगमन सहित)। मॉडल फिटिंग (विशेष रूप से मल्टीक्लास वर्गीकरण ).
 * बिजली उत्पादन अनुकूलन। संयुक्त अनुकूलन। अनिश्चितता का गैर-संभाव्य मॉडलिंग।
 * वायरलेस सिग्नल का उपयोग करके स्थानीयकरण

लैग्रेंज गुणक
क्रयमूल्य फलन द्वारा मानक रूप में दी गई उत्तल न्यूनीकरण समस्या पर विचार करें $$f(x)$$ और असमानता की बाधाएं $$g_i(x)\leq 0$$ के लिए $$ 1 \leq i \leq m$$. फिर डोमेन $$\mathcal{X}$$ है:


 * $$\mathcal{X} = \left\{x\in X \vert g_1(x), \ldots, g_m(x)\leq 0\right\}.$$

समस्या के लिए लैग्रेंज समारोह है


 * $$L(x,\lambda_{0},\lambda_1, \ldots ,\lambda_{m})=\lambda_{0} f(x) + \lambda_{1} g_{1} (x)+\cdots + \lambda_{m} g_{m} (x).$$

प्रत्येक बिंदु के लिए $$x$$ में $$X$$ जो कम करता है। $$f$$ ऊपर $$X$$ वास्तविक संख्याएँ उपस्थित हैं $$\lambda_{0},\lambda_1, \ldots, \lambda_{m},$$ लैग्रेंज गुणक कहलाते हैं। जो इन नियमों को एक साथ पूरा करते हैं:


 * 1) $$x$$ कम करता है $$L(y,\lambda_{0},\lambda_{1},\ldots ,\lambda_{m})$$ कुल मिलाकर $$y \in X,$$
 * 2) $$\lambda_{0},\lambda_{1},\ldots ,\lambda_{m} \geq 0,$$ कम से कम एक के साथ $$\lambda_{k} > 0,$$
 * 3) $$\lambda_{1}g_{1}(x)=\cdots = \lambda_{m}g_{m}(x) = 0$$ (पूरक शिथिलता)।

अगर कोई पूरी तरह से संभव बिंदु उपस्थित है। अर्थात एक बिंदु $$z$$ संतुष्टि देने वाला


 * $$g_{1}(z), \ldots, g_{m}(z)<0,$$

तो उपरोक्त कथन को उसकी आवश्यकता के लिए शक्तिशाली किया जा सकता है $$\lambda_{0}=1$$.

इसके विपरीत यदि कुछ $$x$$ में $$X$$ संतुष्ट करता है (1)–(3) स्केलर (गणित) के लिए $$\lambda_{0},\ldots,\lambda_{m} $$ साथ $$\lambda_{0}=1$$ तब $$x$$ कम करना निश्चित है। जब $$f$$ के ऊपर $$X$$ है।

एल्गोरिदम
अप्रतिबंधित उत्तल अनुकूलन को आसानी से ढतला हुआ वंश (स्टीपेस्ट डिसेंट की विधि का एक विशेष स्थिति) या अनुकूलन में न्यूटन की विधि के साथ हल किया जा सकता है। न्यूटन की विधि एक उपयुक्त चरण आकार के लिए लाइन खोज के साथ संयुक्त है। इन्हें गणितीय रूप से शीघ्रता से अभिसरण करने के लिए सिद्ध किया जा सकता है। विशेष रूप से बाद वाली विधि अत्यधिक प्रयोग की जाती है। रैखिक समानता बाधाओं के साथ उत्तल अनुकूलन को केकेटी मैट्रिक्स विधियों का उपयोग करके भी हल किया जा सकता है। यदि उद्देश्य फ़ंक्शन एक द्विघात फ़ंक्शन है (जो न्यूटन की विधि की भिन्नता के लिए सामान्य है। जो काम करता है। परन्तु आरंभीकरण बिंदु बाधाओं को पूरा नहीं करता है। लेकिन यह भी कर सकता है। सामान्यतः रैखिक बीजगणित के साथ समानता की बाधाओं को दूर करके या दोहरी समस्या को हल करके हल किया जा सकता है। अंत में रैखिक समानता बाधाओं और उत्तल असमानता बाधाओं दोनों के साथ उत्तल अनुकूलन को ऑब्जेक्टिव फ़ंक्शन प्लस लॉगरिदमिक बैरियर फ़ंक्शन नियमों के लिए एक अप्रतिबंधित उत्तल अनुकूलन विधि प्रारम्भ करके हल किया जा सकता है। जब प्रारंभिक बिंदु संभव नहीं है। अर्थात बाधाओं को संतुष्ट करना। यह तथाकथित चरण विधियों से पहले होता है। जो या तो एक व्यवहार्य बिंदु ढूंढते हैं या दिखाते हैं कि कोई भी अस्तित्व में नहीं है। चरण I विधियों में सामान्यतः प्रश्न में खोज को कम करना सम्मिलित है। अभी तक एक और उत्तल अनुकूलन समस्या के लिए उत्तल अनुकूलन समस्याओं को निम्नलिखित समकालीन तरीकों से भी हल किया जा सकता है: सबग्रेडिएंट विधियों को आसानी से प्रयोग किया जा सकता है और इसलिए व्यापक रूप से उपयोग किया जाता है। दोहरी सबग्रेडिएंट विधियाँ एक द्वैत (अनुकूलन) पर प्रयोग सबग्रेडिएंट विधियाँ हैं। ड्रिफ्ट-प्लस-पेनल्टी विधि दोहरी सबग्रेडिएंट विधि के समान है। लेकिन प्रारंभिक चर का समय औसत लेती है।
 * सबग्रेडिएंट मेथड सबग्रेडिएंट-प्रोजेक्शन एंड बंडल मेथड्स (वोल्फ, लेमारेचल, किवील), और
 * सबग्रेडिएंट मेथड सबग्रेडिएंट-प्रोजेक्शन एंड बंडल मेथड्स मेथड्स (पॉलीक),
 * आंतरिक बिंदु जो स्व-समन्वय फलन स्व-समन्वय अवरोधक प्रकार्यों का उपयोग करते हैं और स्व-नियमित बाधा कार्य।
 * कटिंग-प्लेन
 * दीर्घवृत्त विधि
 * सबग्रेडिएंट विधि
 * ड्रिफ्ट प्लस पेनल्टी डुअल सबग्रेडिएंट्स और ड्रिफ्ट-प्लस-पेनल्टी विधि

कार्यान्वयन
उत्तल अनुकूलन और संबंधित एल्गोरिदम को निम्नलिखित सॉफ्टवेयर प्रोग्रामों में प्रयोग किया गया है:

एक्सटेंशन
उत्तल अनुकूलन के विस्तार में उभयोत्तल अनुकूलन छद्म-उत्तल कार्य और अर्ध-उत्तल कार्यों का अनुकूलन सम्मिलित है। उत्तल विश्लेषण के सिद्धांत के विस्तार और लगभग गैर-उत्तल न्यूनीकरण समस्याओं को हल करने के लिए पुनरावृत्त विधियाँ उत्तलता (गणित) के क्षेत्र में होते हैं। उत्तलता के लिए सामान्यीकरण और विस्तार, जिसे अमूर्त उत्तल विश्लेषण भी कहा जाता है।

यह भी देखें

 * द्वैत (अनुकूलन)
 * करुश-कुह्न-टकर की स्थिति
 * अनुकूलन समस्या
 * समीपस्थ ढाल विधि

संदर्भ



 * Hiriart-Urruty, Jean-Baptiste, and Lemaréchal, Claude. (2004). Fundamentals of Convex analysis. Berlin: Springer.
 * Nesterov, Yurii. (2004). Introductory Lectures on Convex Optimization, Kluwer Academic Publishers
 * Nesterov, Yurii. (2004). Introductory Lectures on Convex Optimization, Kluwer Academic Publishers
 * Nesterov, Yurii. (2004). Introductory Lectures on Convex Optimization, Kluwer Academic Publishers
 * Nesterov, Yurii. (2004). Introductory Lectures on Convex Optimization, Kluwer Academic Publishers
 * Nesterov, Yurii. (2004). Introductory Lectures on Convex Optimization, Kluwer Academic Publishers
 * Nesterov, Yurii. (2004). Introductory Lectures on Convex Optimization, Kluwer Academic Publishers


 * Schmit, L.A.; Fleury, C. 1980: Structural synthesis by combining approximation concepts and dual methods. J. Amer. Inst. Aeronaut. Astronaut 18, 1252-1260
 * Schmit, L.A.; Fleury, C. 1980: Structural synthesis by combining approximation concepts and dual methods. J. Amer. Inst. Aeronaut. Astronaut 18, 1252-1260

बाहरी संबंध

 * EE364a: Convex Optimization I and EE364b: Convex Optimization II, Stanford course homepages
 * 6.253: Convex Analysis and Optimization, an MIT OCW course homepage
 * Brian Borchers, An overview of software for convex optimization
 * Convex Optimization Book by Lieven Vandenberghe and Stephen P. Boyd