हिंज लॉस

File:Hinge loss vs zero one loss.svg

ऊर्ध्वाधर अक्ष निश्चित के लिए हिंज हानि (नीले रंग में) और शून्य-एक हानि (हरे रंग में) के मूल्य का प्रतिनिधित्व करता है t = 1, जबकि क्षैतिज अक्ष भविष्यवाणी के मूल्य का प्रतिनिधित्व करता है y. कथानक से पता चलता है कि हिंज हानि भविष्यवाणियों को दंडित करती है y < 1, एक सपोर्ट वेक्टर मशीन में मार्जिन की धारणा के अनुरूप।

यंत्र अधिगम में, हिंज लॉस एक हानि फ़ंक्शन है जिसका उपयोग सांख्यिकीय वर्गीकरण के प्रशिक्षण के लिए किया जाता है। हिंज लॉस का उपयोग अधिकतम-मार्जिन वर्गीकरण के लिए किया जाता है, विशेष रूप से समर्थन वेक्टर यंत्र ों (एसवीएम) के लिए।

किसी इच्छित आउटपुट के लिए t = ±1 और एक क्लासिफायर स्कोर y, भविष्यवाणी का टिका हानि y परिभाषित किया जाता है

$\ell (y)=\max(0,1-t\cdot y)$

ध्यान दें कि $y$ क्लासिफायरियर के निर्णय फ़ंक्शन का कच्चा आउटपुट होना चाहिए, न कि अनुमानित क्लास लेबल। उदाहरण के लिए, रैखिक एसवीएम में, $y=\mathbf {w} \cdot \mathbf {x} +b$, कहाँ $(\mathbf {w} ,b)$ हाइपरप्लेन के पैरामीटर हैं और $\mathbf {x}$ इनपुट वेरिएबल है।

कब t और y का चिन्ह (अर्थ) एक ही है y सही वर्ग की भविष्यवाणी करता है) और $|y|\geq 1$, काज हानि $\ell (y)=0$. जब उनके विपरीत लक्षण हों, $\ell (y)$ के साथ रैखिक रूप से बढ़ता है y, और इसी प्रकार यदि $|y|<1$, यदि उसका चिह्न समान हो (भविष्यवाणी सही है, लेकिन पर्याप्त अंतर से नहीं)।

एक्सटेंशन

जबकि बाइनरी एसवीएम को सामान्यतः एक-बनाम-सभी या एक-बनाम-एक फैशन में मल्टीक्लास वर्गीकरण तक विस्तारित किया जाता है, इस प्रकार के अंत के लिए काज हानि को स्वयं बढ़ाना भी संभव है। मल्टीक्लास हिंज लॉस के कई भिन्न-भिन्न रूप प्रस्तावित किए गए हैं। उदाहरण के लिए, क्रैमर और सिंगर इसे एक रैखिक वर्गीकारक के रूप में परिभाषित किया गया है

$\ell (y)=\max(0,1+\max _{y\neq t}\mathbf {w} _{y}\mathbf {x} -\mathbf {w} _{t}\mathbf {x} )$

कहाँ $t$ लक्ष्य लेबल है, $\mathbf {w} _{t}$ और $\mathbf {w} _{y}$ मॉडल पैरामीटर हैं.

वेस्टन और वॉटकिंस ने एक समान परिभाषा प्रदान की, लेकिन अधिकतम के अतिरिक्त योग के साथ:

$\ell (y)=\sum _{y\neq t}\max(0,1+\mathbf {w} _{y}\mathbf {x} -\mathbf {w} _{t}\mathbf {x} )$

संरचित भविष्यवाणी में, काज हानि को आगे संरचित आउटपुट स्थानों तक बढ़ाया जा सकता है। मार्जिन रीस्केलिंग के साथ संरचित समर्थन वेक्टर मशीन निम्नलिखित संस्करण का उपयोग करती है, जहां w एसवीएम के मापदंडों को दर्शाता है, y एसवीएम की भविष्यवाणियां, φ संयुक्त सुविधा फ़ंक्शन, और Δ हैमिंग हानि:

${\begin{aligned}\ell (\mathbf {y} )&=\max(0,\Delta (\mathbf {y} ,\mathbf {t} )+\langle \mathbf {w} ,\phi (\mathbf {x} ,\mathbf {y} )\rangle -\langle \mathbf {w} ,\phi (\mathbf {x} ,\mathbf {t} )\rangle )\\&=\max(0,\max _{y\in {\mathcal {Y}}}\left(\Delta (\mathbf {y} ,\mathbf {t} )+\langle \mathbf {w} ,\phi (\mathbf {x} ,\mathbf {y} )\rangle \right)-\langle \mathbf {w} ,\phi (\mathbf {x} ,\mathbf {t} )\rangle )\end{aligned}}$

अनुकूलन

हिंज हानि एक उत्तल कार्य है, इसलिए मशीन लर्निंग में उपयोग किए जाने वाले कई सामान्य उत्तल ऑप्टिमाइज़र इसके साथ काम कर सकते हैं। यह विभेदक कार्य नहीं है, लेकिन इसमें मॉडल पैरामीटर के संबंध में एक सबडेरिवेटिव # सबग्रेडिएंट है wस्कोर फ़ंक्शन के साथ एक रैखिक एसवीएम का $y=\mathbf {w} \cdot \mathbf {x}$ जो कि दिया गया है

${\frac {\partial \ell }{\partial w_{i}}}={\begin{cases}-t\cdot x_{i}&{\text{if }}t\cdot y<1\\0&{\text{otherwise}}\end{cases}}$

File:Hinge loss variants.svg

एक फ़ंक्शन के रूप में काज हानि के तीन प्रकारों का प्लॉट z = ty: सामान्य संस्करण (नीला), इसका वर्गाकार (हरा), और रेनी और स्रेब्रो द्वारा टुकड़ा-वार चिकना संस्करण (लाल)। y-अक्ष है l(y) काज हानि, और x-अक्ष पैरामीटर है t

चूंकि, काज हानि के व्युत्पन्न के पश्चात से $ty=1$ अपरिभाषित है, अनुकूलन के लिए चिकनाई संस्करणों को प्राथमिकता दी जा सकती है, जैसे रेनी और स्रेब्रो

$\mathrm{\ell <!--\; \ell \; -->}(y)=$