हिंज लॉस: Difference between revisions
No edit summary |
No edit summary |
||
| Line 6: | Line 6: | ||
ध्यान दें कि <math>y</math> क्लासिफायरियर के निर्णय फ़ंक्शन का कच्चा आउटपुट होना चाहिए, न कि अनुमानित क्लास लेबल। उदाहरण के लिए, रैखिक एसवीएम में, <math>y = \mathbf{w} \cdot \mathbf{x} + b</math>, कहाँ <math>(\mathbf{w},b)</math> [[हाइपरप्लेन]] के पैरामीटर हैं और <math>\mathbf{x}</math> इनपुट वेरिएबल है। | ध्यान दें कि <math>y</math> क्लासिफायरियर के निर्णय फ़ंक्शन का कच्चा आउटपुट होना चाहिए, न कि अनुमानित क्लास लेबल। उदाहरण के लिए, रैखिक एसवीएम में, <math>y = \mathbf{w} \cdot \mathbf{x} + b</math>, कहाँ <math>(\mathbf{w},b)</math> [[हाइपरप्लेन]] के पैरामीटर हैं और <math>\mathbf{x}</math> इनपुट वेरिएबल है। | ||
कब {{mvar|t}} और {{mvar|y}} का चिन्ह (अर्थ) एक ही है {{mvar|y}} सही वर्ग की भविष्यवाणी करता है) और <math>|y| \ge 1</math>, काज हानि <math>\ell(y) = 0</math>. जब उनके विपरीत लक्षण हों, <math>\ell(y)</math> के साथ रैखिक रूप से बढ़ता है {{mvar|y}}, और इसी प्रकार यदि <math>|y| < 1</math>, | कब {{mvar|t}} और {{mvar|y}} का चिन्ह (अर्थ) एक ही है {{mvar|y}} सही वर्ग की भविष्यवाणी करता है) और <math>|y| \ge 1</math>, काज हानि <math>\ell(y) = 0</math>. जब उनके विपरीत लक्षण हों, <math>\ell(y)</math> के साथ रैखिक रूप से बढ़ता है {{mvar|y}}, और इसी प्रकार यदि <math>|y| < 1</math>, यदि उसका चिह्न समान हो (भविष्यवाणी सही है, लेकिन पर्याप्त अंतर से नहीं)। | ||
==एक्सटेंशन== | ==एक्सटेंशन== | ||
जबकि बाइनरी एसवीएम को सामान्यतः एक-बनाम-सभी या एक-बनाम-एक फैशन में मल्टीक्लास वर्गीकरण तक विस्तारित किया जाता है,<ref name="duan2005">{{Cite book | last1 = Duan | first1 = K. B. | last2 = Keerthi | first2 = S. S. | chapter = Which Is the Best Multiclass SVM Method? An Empirical Study | doi = 10.1007/11494683_28 | title = मल्टीपल क्लासिफायर सिस्टम| series = [[Lecture Notes in Computer Science|LNCS]]| volume = 3541 | pages = 278–285 | year = 2005 | isbn = 978-3-540-26306-7 | chapter-url = http://www.keerthis.com/multiclass_mcs_kaibo_05.pdf| citeseerx = 10.1.1.110.6789 }}</ref> | जबकि बाइनरी एसवीएम को सामान्यतः एक-बनाम-सभी या एक-बनाम-एक फैशन में मल्टीक्लास वर्गीकरण तक विस्तारित किया जाता है,<ref name="duan2005">{{Cite book | last1 = Duan | first1 = K. B. | last2 = Keerthi | first2 = S. S. | chapter = Which Is the Best Multiclass SVM Method? An Empirical Study | doi = 10.1007/11494683_28 | title = मल्टीपल क्लासिफायर सिस्टम| series = [[Lecture Notes in Computer Science|LNCS]]| volume = 3541 | pages = 278–285 | year = 2005 | isbn = 978-3-540-26306-7 | chapter-url = http://www.keerthis.com/multiclass_mcs_kaibo_05.pdf| citeseerx = 10.1.1.110.6789 }}</ref> | ||
इस | इस प्रकार के अंत के लिए काज हानि को स्वयं बढ़ाना भी संभव है। मल्टीक्लास हिंज लॉस के कई भिन्न-भिन्न रूप प्रस्तावित किए गए हैं।<ref name="unifiedview">{{cite journal |title=मल्टी-क्लास सपोर्ट वेक्टर वर्गीकरण पर एक एकीकृत दृश्य|year=2016 |url=http://www.jmlr.org/papers/volume17/11-229/11-229.pdf |journal=[[Journal of Machine Learning Research]] |volume=17 |pages=1–32 |last1=Doğan |first1=Ürün |last2=Glasmachers |first2=Tobias |last3=Igel |first3=Christian}}</ref> उदाहरण के लिए, क्रैमर और सिंगर<ref>{{cite journal |title=मल्टीक्लास कर्नेल-आधारित वेक्टर मशीनों के एल्गोरिथम कार्यान्वयन पर|year=2001 |url=http://jmlr.csail.mit.edu/papers/volume2/crammer01a/crammer01a.pdf |journal=[[Journal of Machine Learning Research]] |volume=2 |pages=265–292 |last1=Crammer |first1=Koby |last2=Singer |first2=Yoram}}</ref> | ||
इसे एक रैखिक वर्गीकारक के रूप में परिभाषित किया गया है<ref>{{cite conference |first1=Robert C. |last1=Moore |first2=John |last2=DeNero |title=L<sub>1</sub> and L<sub>2</sub> regularization for multiclass hinge loss models |url=http://www.ttic.edu/sigml/symposium2011/papers/Moore+DeNero_Regularization.pdf|book-title=Proc. Symp. on Machine Learning in Speech and Language Processing |year=2011}}</ref> | इसे एक रैखिक वर्गीकारक के रूप में परिभाषित किया गया है<ref>{{cite conference |first1=Robert C. |last1=Moore |first2=John |last2=DeNero |title=L<sub>1</sub> and L<sub>2</sub> regularization for multiclass hinge loss models |url=http://www.ttic.edu/sigml/symposium2011/papers/Moore+DeNero_Regularization.pdf|book-title=Proc. Symp. on Machine Learning in Speech and Language Processing |year=2011}}</ref> | ||
:<math>\ell(y) = \max(0, 1 + \max_{y \ne t} \mathbf{w}_y \mathbf{x} - \mathbf{w}_t \mathbf{x})</math> | :<math>\ell(y) = \max(0, 1 + \max_{y \ne t} \mathbf{w}_y \mathbf{x} - \mathbf{w}_t \mathbf{x})</math> | ||
Revision as of 23:19, 4 August 2023
यंत्र अधिगम में, हिंज लॉस एक हानि फ़ंक्शन है जिसका उपयोग सांख्यिकीय वर्गीकरण के प्रशिक्षण के लिए किया जाता है। हिंज लॉस का उपयोग अधिकतम-मार्जिन वर्गीकरण के लिए किया जाता है, विशेष रूप से समर्थन वेक्टर यंत्र ों (एसवीएम) के लिए।[1]
किसी इच्छित आउटपुट के लिए t = ±1 और एक क्लासिफायर स्कोर y, भविष्यवाणी का टिका हानि y परिभाषित किया जाता है
ध्यान दें कि क्लासिफायरियर के निर्णय फ़ंक्शन का कच्चा आउटपुट होना चाहिए, न कि अनुमानित क्लास लेबल। उदाहरण के लिए, रैखिक एसवीएम में, , कहाँ हाइपरप्लेन के पैरामीटर हैं और इनपुट वेरिएबल है।
कब t और y का चिन्ह (अर्थ) एक ही है y सही वर्ग की भविष्यवाणी करता है) और , काज हानि . जब उनके विपरीत लक्षण हों, के साथ रैखिक रूप से बढ़ता है y, और इसी प्रकार यदि , यदि उसका चिह्न समान हो (भविष्यवाणी सही है, लेकिन पर्याप्त अंतर से नहीं)।
एक्सटेंशन
जबकि बाइनरी एसवीएम को सामान्यतः एक-बनाम-सभी या एक-बनाम-एक फैशन में मल्टीक्लास वर्गीकरण तक विस्तारित किया जाता है,[2] इस प्रकार के अंत के लिए काज हानि को स्वयं बढ़ाना भी संभव है। मल्टीक्लास हिंज लॉस के कई भिन्न-भिन्न रूप प्रस्तावित किए गए हैं।[3] उदाहरण के लिए, क्रैमर और सिंगर[4] इसे एक रैखिक वर्गीकारक के रूप में परिभाषित किया गया है[5]
कहाँ लक्ष्य लेबल है, और मॉडल पैरामीटर हैं.
वेस्टन और वॉटकिंस ने एक समान परिभाषा प्रदान की, लेकिन अधिकतम के अतिरिक्त योग के साथ:[6][3]
संरचित भविष्यवाणी में, काज हानि को आगे संरचित आउटपुट स्थानों तक बढ़ाया जा सकता है। मार्जिन रीस्केलिंग के साथ संरचित समर्थन वेक्टर मशीन निम्नलिखित संस्करण का उपयोग करती है, जहां w एसवीएम के मापदंडों को दर्शाता है, y एसवीएम की भविष्यवाणियां, φ संयुक्त सुविधा फ़ंक्शन, और Δ हैमिंग हानि: