समन्वय वंश

निर्देशांक तरीका एक अनुकूलन एल्गोरिथ्म है जो किसी फ़ंक्शन के न्यूनतम को खोजने के लिए क्रमिक रूप से समन्वयित दिशाओं को कम करता है। प्रत्येक पुनरावृत्ति पर, एल्गोरिथ्म एक समन्वय प्रणाली को निर्धारित करता है या एक समन्वय चयन नियम के माध्यम से समन्वय ब्लॉक करता है, फिर अन्य सभी निर्देशांक या समन्वय ब्लॉकों को ठीक करते समय संबंधित समन्वय हाइपरप्लेन पर ठीक या गलत तरीके से कम करता है। उपयुक्त चरण आकार निर्धारित करने के लिए समन्वय प्रणाली दिशा के साथ एक लाइन खोज वर्तमान पुनरावृति पर की जा सकती है। समन्वय अवरोहण अलग-अलग और व्युत्पन्न-मुक्त दोनों संदर्भों में लागू होता है।

विवरण
कोऑर्डिनेट डिसेंट इस विचार पर आधारित है कि एक बहुभिन्नरूपी कार्य का न्यूनीकरण $$F(\mathbf{x})$$ इसे एक समय में एक दिशा में कम से कम करके प्राप्त किया जा सकता है, यानी, एक लूप में यूनीवेरिएट (या कम से कम बहुत सरल) अनुकूलन समस्याओं को हल करना। चक्रीय समन्वय अवतरण के सबसे सरल मामले में, एक समय में एक दिशा के माध्यम से चक्रीय रूप से पुनरावृत्ति करता है, एक समय में प्रत्येक समन्वय दिशा के संबंध में उद्देश्य समारोह को कम करता है। यही है, प्रारंभिक चर मानों से शुरू करना


 * $$\mathbf{x}^0 = (x^0_1, \ldots, x^0_n)$$,

गोल $$k+1$$ को परिभाषित करता है $$\mathbf{x}^{k+1}$$ से $$\mathbf{x}^k$$ एकल चर अनुकूलन समस्याओं को क्रमिक रूप से हल करके


 * $$x^{k+1}_i = \underset{y\in\mathbb R}{\operatorname{arg\,min}}\; f(x^{k+1}_1, \dots, x^{k+1}_{i-1}, y, x^k_{i+1}, \dots, x^k_n)$$

प्रत्येक चर के लिए $$x_i$$ का $$\mathbf{x}$$, के लिए $$i$$ 1 से $$n$$.

इस प्रकार, एक प्रारंभिक अनुमान के साथ शुरू होता है $$\mathbf{x}^0$$ स्थानीय न्यूनतम के लिए $$F$$, और एक क्रम प्राप्त करता है $$\mathbf{x}^0, \mathbf{x}^1, \mathbf{x}^2, \dots$$ पुनरावृत्त रूप से।

प्रत्येक पुनरावृत्ति में लाइन खोज करने से, एक स्वचालित रूप से होता है


 * $$F(\mathbf{x}^0)\ge F(\mathbf{x}^1)\ge F(\mathbf{x}^2)\ge \dots.$$

यह दिखाया जा सकता है कि इस अनुक्रम में समान अभिसरण गुण हैं जैसे कि सबसे तेज वंश। समन्वय दिशाओं के साथ लाइन खोज के एक चक्र के बाद कोई सुधार नहीं होने का मतलब है कि एक स्थिर बिंदु तक पहुंच गया है।

यह प्रक्रिया नीचे सचित्र है।



अलग मामला
एक निरंतर भिन्न कार्य के मामले में $F$, एक समन्वय वंश एल्गोरिथ्म स्यूडोकोड के रूप में हो सकता है: 


 * प्रारंभिक पैरामीटर वेक्टर चुनें $x$.
 * जब तक अभिसरण नहीं हो जाता, या पुनरावृत्तियों की कुछ निश्चित संख्या के लिए:
 * एक इंडेक्स चुनें $i$ से $1$ को $n$.
 * कदम का आकार चुनें $α$.
 * अद्यतन $x_{i}$ को $x_{i} − α∂F⁄∂x_{i}(x)$.

चरण आकार को विभिन्न तरीकों से चुना जा सकता है, उदाहरण के लिए, सटीक मिनिमाइज़र के लिए हल करके $f(x_{i}) = F(x)$ (अर्थात।, $F$ लेकिन सभी चर के साथ $x_{i}$ फ़िक्स्ड), या पारंपरिक लाइन खोज मानदंड द्वारा।

सीमाएं
समन्वय वंश में दो समस्याएं हैं। उनमें से एक गैर-चिकनापन बहुभिन्नरूपी कार्य कर रहा है। निम्नलिखित तस्वीर से पता चलता है कि यदि किसी फ़ंक्शन के स्तर वक्र सुचारू नहीं हैं, तो समन्वय वंश पुनरावृत्ति एक गैर-स्थिर बिंदु पर अटक सकती है। मान लीजिए कि एल्गोरिदम बिंदु पर है $(-2, -2)$; फिर दो अक्ष-संरेखित दिशाएँ हैं जिन पर वह एक कदम उठाने के लिए विचार कर सकता है, जो लाल तीरों द्वारा इंगित किया गया है। हालांकि, इन दो दिशाओं के साथ हर कदम उद्देश्य समारोह के मूल्य में वृद्धि करेगा (न्यूनतमकरण समस्या मानते हुए), इसलिए एल्गोरिदम कोई कदम नहीं उठाएगा, भले ही दोनों कदम एक साथ एल्गोरिदम को इष्टतम के करीब लाएंगे। हालांकि इस उदाहरण से पता चलता है कि समन्वय वंश आवश्यक रूप से इष्टतम के लिए अभिसरण नहीं है, उचित परिस्थितियों में औपचारिक अभिसरण दिखाना संभव है।

दूसरी समस्या समांतरता में कठिनाई है। चूंकि समन्वय वंश की प्रकृति दिशाओं के माध्यम से चक्रित करना है और प्रत्येक समन्वय दिशा के संबंध में उद्देश्य समारोह को कम करना है, इसलिए समन्वय वंश बड़े पैमाने पर समानता के लिए एक स्पष्ट उम्मीदवार नहीं है। हाल के शोध कार्यों से पता चला है कि बड़े पैमाने पर समानता प्रत्येक समन्वय दिशा के संबंध में उद्देश्य समारोह के परिवर्तन को आराम से समन्वयित करने के लिए लागू होती है।

अनुप्रयोग
कोऑर्डिनेट डिसेंट एल्गोरिथम अपनी सादगी के कारण चिकित्सकों के बीच लोकप्रिय हैं, लेकिन इसी गुण ने अनुकूलन शोधकर्ताओं को अधिक दिलचस्प (जटिल) तरीकों के पक्ष में बड़े पैमाने पर उनकी उपेक्षा करने के लिए प्रेरित किया है। कंप्यूटेड टोमोग्राफी के क्षेत्र में समन्वय वंश अनुकूलन का एक प्रारंभिक अनुप्रयोग था जहां यह तेजी से अभिसरण पाया गया है और बाद में क्लिनिकल मल्टी-स्लाइस हेलिकल स्कैन सीटी पुनर्निर्माण के लिए उपयोग किया गया। प्रोटीन संरचना भविष्यवाणी में एक चक्रीय समन्वय वंश एल्गोरिथ्म (सीसीडी) लागू किया गया है। इसके अलावा, मशीन सीखने में बड़े पैमाने पर समस्याओं के आगमन के साथ समन्वय वंश के उपयोग में रुचि बढ़ गई है, जहां रैखिक समर्थन वेक्टर यंत्र को प्रशिक्षित करने जैसी समस्याओं पर लागू होने पर समन्वय वंश को अन्य तरीकों के लिए प्रतिस्पर्धी दिखाया गया है। (LIBLINEAR देखें) और गैर-नकारात्मक मैट्रिक्स गुणनखंडन। वे उन समस्याओं के लिए आकर्षक हैं जहां ग्रेडिएंट की गणना करना संभव नहीं है, शायद इसलिए कि ऐसा करने के लिए आवश्यक डेटा कंप्यूटर नेटवर्क में वितरित किया जाता है।

यह भी देखें

 * अनुकूली समन्वय वंश
 * संयुग्म ढाल
 * ढतला हुआ वंश
 * रेखा खोज
 * गणितीय अनुकूलन
 * अनुकूलन में न्यूटन की विधि | न्यूटन की विधि
 * स्टोचैस्टिक ग्रेडिएंट डिसेंट - एक समन्वय के बजाय एक समय में एक उदाहरण का उपयोग करता है

संदर्भ

 * Bertsekas, Dimitri P. (1999). Nonlinear Programming, Second Edition Athena Scientific, Belmont, Massachusetts. ISBN 1-886529-00-0.
 * Bertsekas, Dimitri P. (1999). Nonlinear Programming, Second Edition Athena Scientific, Belmont, Massachusetts. ISBN 1-886529-00-0.