उत्तल अनुकूलन

उत्तल अनुकूलन गणितीय अनुकूलन का एक उपक्षेत्र है जो उत्तल सेटों पर उत्तल कार्यों को कम करने की समस्या का अध्ययन करता है (या, समकक्ष, उत्तल सेटों पर अवतल कार्यों को अधिकतम करना)। उत्तल अनुकूलन समस्याओं के कई वर्ग बहुपद-काल एल्गोरिदम को स्वीकार करते हैं, जबकि गणितीय अनुकूलन सामान्य रूप से एनपी कठिन है। उत्तल अनुकूलन में व्यापक श्रेणी के अनुशासन हैं, जैसे स्वचालित नियंत्रण प्रणाली, अनुमान और संकेत आगे बढ़ाना, संचार और नेटवर्क, इलेक्ट्रॉनिक सर्किट डिज़ाइन, डेटा विश्लेषण और मॉडलिंग, वित्त, सांख्यिकी (इष्टतम डिजाइन), और संरचनात्मक अनुकूलन, जहां सन्निकटन अवधारणा कुशल साबित हुई है। कंप्यूटिंग और गणितीय अनुकूलन #कम्प्यूटेशनल अनुकूलन तकनीकों में हाल की प्रगति के साथ, उत्तल प्रोग्रामिंग लगभग रैखिक प्रोग्रामिंग के रूप में सीधी है।

परिभाषा
उत्तल अनुकूलन समस्या एक अनुकूलन समस्या है जिसमें उद्देश्य फलन उत्तल फलन होता है और साध्य क्षेत्र उत्तल समुच्चय होता है। एक समारोह $$f$$ के कुछ उपसमुच्चय का मानचित्रण करना $$\mathbb{R}^n$$में $$\mathbb{R} \cup \{\pm \infty\}$$ उत्तल है यदि इसका डोमेन उत्तल है और सभी के लिए $$\theta \in [0, 1]$$ और सभी $$x, y$$ इसके डोमेन में, निम्नलिखित शर्त रखती है: $$f(\theta x + (1 - \theta)y) \leq \theta f(x) + (1 - \theta) f(y)$$. सभी सदस्यों के लिए एक सेट S उत्तल है $$x, y \in S$$ और सभी $$\theta \in [0, 1]$$, हमारे पास वह है $$\theta x + (1 - \theta) y \in S$$.

वस्तुतः, एक उत्तल अनुकूलन समस्या कुछ खोजने की समस्या है $$\mathbf{x^\ast} \in C$$ को प्राप्त
 * $$\inf \{ f(\mathbf{x}) : \mathbf{x} \in C \}$$,

जहां उद्देश्य समारोह $$f :\mathcal D \subseteq \mathbb{R}^n \to \mathbb{R}$$ उत्तल है, जैसा कि संभव सेट है $$C$$. यदि ऐसा कोई बिंदु मौजूद है, तो इसे एक इष्टतम बिंदु या समाधान कहा जाता है; सभी इष्टतम बिंदुओं के समुच्चय को इष्टतम समुच्चय कहा जाता है। अगर $$f$$ नीचे असीमित है $$C$$ या न्यूनतम प्राप्त नहीं हुआ है, तो अनुकूलन समस्या को अबाधित कहा जाता है। नहीं तो अगर $$C$$ रिक्त समुच्चय है, तो समस्या असाध्य कहलाती है।

मानक रूप
उत्तल अनुकूलन समस्या मानक रूप में होती है यदि इसे इस रूप में लिखा जाए


 * $$\begin{align}

&\underset{\mathbf{x}}{\operatorname{minimize}}& & f(\mathbf{x}) \\ &\operatorname{subject\ to} & &g_i(\mathbf{x}) \leq 0, \quad i = 1, \dots, m \\ &&&h_i(\mathbf{x}) = 0, \quad i = 1, \dots, p, \end{align}$$ कहाँ:


 * $$\mathbf{x} \in \mathbb{R}^n$$ अनुकूलन चर है;
 * उद्देश्य समारोह $$f: \mathcal D \subseteq \mathbb{R}^n \to \mathbb{R}$$ एक उत्तल कार्य है;
 * असमानता बाधा कार्य करती है $$g_i : \mathbb{R}^n \to \mathbb{R}$$, $$i=1, \ldots, m$$, उत्तल कार्य हैं;
 * समानता बाधा कार्य करती है $$h_i : \mathbb{R}^n \to \mathbb{R}$$, $$i=1, \ldots, p$$, affine परिवर्तन हैं, अर्थात्, रूप का: $$h_i(\mathbf{x}) = \mathbf{a_i}\cdot \mathbf{x} - b_i$$, कहाँ $$\mathbf{a_i}$$ एक वेक्टर है और $$b_i$$ एक अदिश राशि है।

यह संकेतन खोजने की समस्या का वर्णन करता है $$\mathbf{x} \in \mathbb{R}^n$$ जो कम करता है $$f(\mathbf{x})$$ इन सब में $$\mathbf{x}$$ संतुष्टि देने वाला $$g_i(\mathbf{x}) \leq 0$$, $$i=1, \ldots, m$$ और $$h_i(\mathbf{x}) = 0$$, $$i=1, \ldots, p$$. कार्यक्रम $$f$$ समस्या का उद्देश्य कार्य है, और कार्य $$g_i$$ और $$h_i$$ बाधा कार्य हैं।

व्यवहार्य सेट $$C$$ अनुकूलन समस्या में सभी बिंदु शामिल हैं $$\mathbf{x} \in \mathcal{D}$$ बाधाओं को संतुष्ट करना। यह सेट उत्तल है क्योंकि $$\mathcal{D}$$ उत्तल है, उत्तल कार्यों के सबलेवल सेट उत्तल हैं, affine सेट उत्तल हैं, और उत्तल सेट का प्रतिच्छेदन उत्तल है। उत्तल अनुकूलन समस्या का समाधान कोई बिंदु है $$\mathbf{x} \in C$$ को प्राप्त $$\inf \{ f(\mathbf{x}) : \mathbf{x} \in C \}$$. सामान्य तौर पर, उत्तल अनुकूलन समस्या में शून्य, एक या कई समाधान हो सकते हैं। इस मानक रूप में कई अनुकूलन समस्याओं को समान रूप से तैयार किया जा सकता है। उदाहरण के लिए, अवतल कार्य को अधिकतम करने की समस्या $$f$$ उत्तल कार्य को कम करने की समस्या के रूप में समान रूप से पुन: तैयार किया जा सकता है $$-f$$. उत्तल सेट पर अवतल कार्य को अधिकतम करने की समस्या को सामान्यतः उत्तल अनुकूलन समस्या कहा जाता है।

गुण
उत्तल अनुकूलन समस्याओं के उपयोगी गुण निम्नलिखित हैं:


 * प्रत्येक स्थानीय न्यूनतम एक वैश्विक न्यूनतम है;
 * इष्टतम सेट उत्तल है;
 * यदि उद्देश्य फ़ंक्शन सख्ती से उत्तल है, तो समस्या में अधिकतम एक इष्टतम बिंदु होता है।

इन परिणामों का उपयोग कार्यात्मक विश्लेषण (हिल्बर्ट रिक्त स्थान में) जैसे हिल्बर्ट प्रक्षेपण प्रमेय, अलग करने वाले हाइपरप्लेन प्रमेय, और फ़ार्कस लेम्मा से ज्यामितीय धारणाओं के साथ-साथ उत्तल न्यूनीकरण के सिद्धांत द्वारा किया जाता है।

अनुप्रयोग
निम्नलिखित समस्या वर्ग सभी उत्तल अनुकूलन समस्याएँ हैं, या सरल परिवर्तनों के माध्यम से उत्तल अनुकूलन समस्याओं को कम किया जा सकता है:

*कम से कम वर्गों उत्तल अनुकूलन में निम्नलिखित के लिए व्यावहारिक अनुप्रयोग हैं।
 * रैखिक प्रोग्रामिंग
 * रैखिक बाधाओं के साथ उत्तल द्विघात प्रोग्रामिंग
 * द्विघात रूप से विवश द्विघात प्रोग्रामिंग
 * शंकु अनुकूलन
 * ज्यामितीय प्रोग्रामिंग
 * दूसरा क्रम शंकु प्रोग्रामिंग
 * अर्ध-परिमित प्रोग्रामिंग
 * उपयुक्त बाधाओं के साथ एंट्रॉपी अधिकतमकरण


 * पोर्टफोलियो अनुकूलन।
 * सबसे खराब स्थिति जोखिम विश्लेषण। * इष्टतम विज्ञापन। * प्रतिगमन विश्लेषण के बदलाव (नियमन (गणित) और मात्रात्मक प्रतिगमन सहित)। * मॉडल फिटिंग (विशेष रूप से मल्टीक्लास वर्गीकरण ).
 * बिजली उत्पादन अनुकूलन। * संयुक्त अनुकूलन। * अनिश्चितता का गैर-संभाव्य मॉडलिंग।
 * वायरलेस सिग्नल का उपयोग करके स्थानीयकरण

लैग्रेंज गुणक
लागत फलन द्वारा मानक रूप में दी गई उत्तल न्यूनीकरण समस्या पर विचार करें $$f(x)$$ और असमानता की बाधाएं $$g_i(x)\leq 0$$ के लिए $$ 1 \leq i \leq m$$. फिर डोमेन $$\mathcal{X}$$ है:


 * $$\mathcal{X} = \left\{x\in X \vert g_1(x), \ldots, g_m(x)\leq 0\right\}.$$

समस्या के लिए Lagrangian समारोह है


 * $$L(x,\lambda_{0},\lambda_1, \ldots ,\lambda_{m})=\lambda_{0} f(x) + \lambda_{1} g_{1} (x)+\cdots + \lambda_{m} g_{m} (x).$$

प्रत्येक बिंदु के लिए $$x$$ में $$X$$ जो कम करता है $$f$$ ऊपर $$X$$, वास्तविक संख्याएँ मौजूद हैं $$\lambda_{0},\lambda_1, \ldots, \lambda_{m},$$ लैग्रेंज गुणक कहलाते हैं, जो इन शर्तों को एक साथ पूरा करते हैं:


 * 1) $$x$$ कम करता है $$L(y,\lambda_{0},\lambda_{1},\ldots ,\lambda_{m})$$ कुल मिलाकर $$y \in X,$$
 * 2) $$\lambda_{0},\lambda_{1},\ldots ,\lambda_{m} \geq 0,$$ कम से कम एक के साथ $$\lambda_{k} > 0,$$
 * 3) $$\lambda_{1}g_{1}(x)=\cdots = \lambda_{m}g_{m}(x) = 0$$ (पूरक शिथिलता)।

अगर कोई पूरी तरह से संभव बिंदु मौजूद है, यानी, एक बिंदु $$z$$ संतुष्टि देने वाला


 * $$g_{1}(z), \ldots, g_{m}(z)<0,$$

तो उपरोक्त कथन को उसकी आवश्यकता के लिए मजबूत किया जा सकता है $$\lambda_{0}=1$$.

इसके विपरीत यदि कुछ $$x$$ में $$X$$ संतुष्ट करता है (1)–(3) स्केलर (गणित) के लिए $$\lambda_{0},\ldots,\lambda_{m} $$ साथ $$\lambda_{0}=1$$ तब $$x$$ कम करना निश्चित है $$f$$ ऊपर $$X$$.

एल्गोरिदम
अप्रतिबंधित उत्तल अनुकूलन को आसानी से ढतला हुआ वंश (स्टीपेस्ट डिसेंट की विधि का एक विशेष मामला) या अनुकूलन में न्यूटन की विधि के साथ हल किया जा सकता है। न्यूटन की विधि, एक उपयुक्त चरण आकार के लिए लाइन खोज के साथ संयुक्त; इन्हें गणितीय रूप से शीघ्रता से अभिसरण करने के लिए सिद्ध किया जा सकता है, विशेष रूप से बाद वाली विधि। रैखिक समानता बाधाओं के साथ उत्तल अनुकूलन को केकेटी मैट्रिक्स तकनीकों का उपयोग करके भी हल किया जा सकता है यदि उद्देश्य फ़ंक्शन एक द्विघात फ़ंक्शन है (जो न्यूटन की विधि की भिन्नता के लिए सामान्य है, जो काम करता है भले ही आरंभीकरण बिंदु बाधाओं को पूरा नहीं करता है), लेकिन यह भी कर सकता है आम तौर पर रैखिक बीजगणित के साथ समानता की बाधाओं को दूर करके या दोहरी समस्या को हल करके हल किया जा सकता है। अंत में, रैखिक समानता बाधाओं और उत्तल असमानता बाधाओं दोनों के साथ उत्तल अनुकूलन को ऑब्जेक्टिव फ़ंक्शन प्लस लॉगरिदमिक बैरियर फ़ंक्शन शर्तों के लिए एक अप्रतिबंधित उत्तल अनुकूलन तकनीक लागू करके हल किया जा सकता है। (जब प्रारंभिक बिंदु संभव नहीं है - अर्थात, बाधाओं को संतुष्ट करना - यह तथाकथित चरण I विधियों से पहले होता है, जो या तो एक व्यवहार्य बिंदु ढूंढते हैं या दिखाते हैं कि कोई भी अस्तित्व में नहीं है। चरण I विधियों में आम तौर पर प्रश्न में खोज को कम करना शामिल है। अभी तक एक और उत्तल अनुकूलन समस्या के लिए। उत्तल अनुकूलन समस्याओं को निम्नलिखित समकालीन तरीकों से भी हल किया जा सकता है: सबग्रेडिएंट विधियों को आसानी से लागू किया जा सकता है और इसलिए व्यापक रूप से उपयोग किया जाता है। दोहरी सबग्रेडिएंट विधियाँ एक द्वैत (अनुकूलन) पर लागू सबग्रेडिएंट विधियाँ हैं। ड्रिफ्ट प्लस पेनल्टी | ड्रिफ्ट-प्लस-पेनल्टी विधि दोहरी सबग्रेडिएंट विधि के समान है, लेकिन प्रारंभिक चर का समय औसत लेती है।
 * सबग्रेडिएंट मेथड # सबग्रेडिएंट-प्रोजेक्शन एंड बंडल मेथड्स (वोल्फ, लेमारेचल, किवील), और
 * सबग्रेडिएंट मेथड # सबग्रेडिएंट-प्रोजेक्शन एंड बंडल मेथड्स मेथड्स (पॉलीक),
 * आंतरिक बिंदु तरीके, जो स्व-समन्वय फलन | स्व-समन्वय अवरोधक प्रकार्यों का उपयोग करते हैं और स्व-नियमित बाधा कार्य।
 * कटिंग-प्लेन तरीके
 * दीर्घवृत्त विधि
 * सबग्रेडिएंट विधि
 * ड्रिफ्ट प्लस पेनल्टी|डुअल सबग्रेडिएंट्स और ड्रिफ्ट-प्लस-पेनल्टी विधि

कार्यान्वयन
उत्तल अनुकूलन और संबंधित एल्गोरिदम को निम्नलिखित सॉफ्टवेयर प्रोग्रामों में लागू किया गया है:

एक्सटेंशन
उत्तल अनुकूलन के विस्तार में उभयोत्तल अनुकूलन, छद्म-उत्तल कार्य|छद्म-उत्तल, और अर्ध-उत्तल कार्यों का अनुकूलन शामिल है। उत्तल विश्लेषण के सिद्धांत के विस्तार और लगभग गैर-उत्तल न्यूनीकरण समस्याओं को हल करने के लिए पुनरावृत्त तरीके उत्तलता (गणित) के क्षेत्र में होते हैं # उत्तलता के लिए सामान्यीकरण और विस्तार, जिसे अमूर्त उत्तल विश्लेषण भी कहा जाता है।

यह भी देखें

 * द्वैत (अनुकूलन)
 * करुश-कुह्न-टकर की स्थिति
 * अनुकूलन समस्या
 * समीपस्थ ढाल विधि

संदर्भ



 * Hiriart-Urruty, Jean-Baptiste, and Lemaréchal, Claude. (2004). Fundamentals of Convex analysis. Berlin: Springer.
 * Nesterov, Yurii. (2004). Introductory Lectures on Convex Optimization, Kluwer Academic Publishers
 * Nesterov, Yurii. (2004). Introductory Lectures on Convex Optimization, Kluwer Academic Publishers
 * Nesterov, Yurii. (2004). Introductory Lectures on Convex Optimization, Kluwer Academic Publishers
 * Nesterov, Yurii. (2004). Introductory Lectures on Convex Optimization, Kluwer Academic Publishers
 * Nesterov, Yurii. (2004). Introductory Lectures on Convex Optimization, Kluwer Academic Publishers
 * Nesterov, Yurii. (2004). Introductory Lectures on Convex Optimization, Kluwer Academic Publishers


 * Schmit, L.A.; Fleury, C. 1980: Structural synthesis by combining approximation concepts and dual methods. J. Amer. Inst. Aeronaut. Astronaut 18, 1252-1260
 * Schmit, L.A.; Fleury, C. 1980: Structural synthesis by combining approximation concepts and dual methods. J. Amer. Inst. Aeronaut. Astronaut 18, 1252-1260

बाहरी संबंध

 * EE364a: Convex Optimization I and EE364b: Convex Optimization II, Stanford course homepages
 * 6.253: Convex Analysis and Optimization, an MIT OCW course homepage
 * Brian Borchers, An overview of software for convex optimization
 * Convex Optimization Book by Lieven Vandenberghe and Stephen P. Boyd