हिंज लॉस

File:Hinge loss vs zero one loss.svg

ऊर्ध्वाधर अक्ष निश्चित के लिए हिंज हानि (नीले रंग में) और शून्य-एक हानि (हरे रंग में) के मूल्य का प्रतिनिधित्व करता है t = 1, जबकि क्षैतिज अक्ष भविष्यवाणी के मूल्य का प्रतिनिधित्व करता है y. कथानक से पता चलता है कि हिंज हानि भविष्यवाणियों को दंडित करती है y < 1, एक सपोर्ट सदिश मशीन में मार्जिन की धारणा के अनुरूप।

मशीन लर्निंग में, हिंज लॉस एक हानि फलन के रूप में है। जिसका उपयोग सांख्यिकीय क्लासिफायर के प्रशिक्षण के लिए किया जाता है। हिंज लॉस का उपयोग अधिकतम-मार्जिन वर्गीकरण के रूप में किया जाता है, विशेष रूप से सपोर्ट वेक्टर मशीन (एसवीएम) के । लिए किया जाता है.

किसी वांछित आउटपुट के लिए t = ±1 और एक क्लासिफायर स्कोर y के लिए, भविष्यवाणी y के हिंज लॉस को इस प्रकार परिभाषित किया गया है.

$\ell (y)=\max(0,1-t\cdot y)$

ध्यान दें कि $y$ क्लासिफायर के निर्णय फलन का रॉ आउटपुट होना चाहिए, न कि अनुमानित क्लास लेबल। उदाहरण के लिए, रैखिक एसवीएम में, $y=\mathbf {w} \cdot \mathbf {x} +b$, जहाँ $(\mathbf {w} ,b)$ हाइपरप्लेन के पैरामीटर के रूप में हैं और $\mathbf {x}$ इनपुट वेरिएबल है।

जब t और y के चिन्ह का (अर्थ) एक ही है, y सही वर्ग की भविष्यवाणी करता है और $|y|\geq 1$, हिंज हानि $\ell (y)=0$. जब उनके विपरीत लक्षण हों, $\ell (y)$ के साथ रैखिक रूप से बढ़ता है y, और इसी प्रकार यदि $|y|<1$, यदि उसका चिह्न समान हो (भविष्यवाणी सही है, लेकिन पर्याप्त अंतर से नहीं होता है)।

एक्सटेंशन

जबकि बाइनरी एसवीएम को सामान्यतः एक बनाम सभी या एक बनाम एक फैशन में मल्टीक्लास वर्गीकरण के रूप में विस्तारित किया जाता है,

इस तरह के अंत के लिए हिंज लॉस का विस्तार करना भी संभव है। मल्टीक्लास हिंज लॉस के कई भिन्न-भिन्न रूप प्रस्तावित किए गए हैं। उदाहरण के लिए क्रैमर और सिंगर

इसे एक रैखिक क्लासिफायर के रूप में परिभाषित किया गया है

$\ell (y)=\max(0,1+\max _{y\neq t}\mathbf {w} _{y}\mathbf {x} -\mathbf {w} _{t}\mathbf {x} )$

जहाँ $t$ लक्ष्य लेबल है, $\mathbf {w} _{t}$ और $\mathbf {w} _{y}$ मॉडल पैरामीटर के रूप हैं.

वेस्टन और वॉटकिंस ने एक समान परिभाषा प्रदान की लेकिन अधिकतम अतिरिक्त योग के साथ किया जाता है:

$\ell (y)=\sum _{y\neq t}\max(0,1+\mathbf {w} _{y}\mathbf {x} -\mathbf {w} _{t}\mathbf {x} )$

संरचित भविष्यवाणी में हिंज हानि को आगे संरचित आउटपुट समष्टि के रूप में बढ़ाया जा सकता है। मार्जिन रीस्केलिंग के साथ संरचित सपोर्ट वेक्टर मशीन निम्नलिखित वेरिएंट का उपयोग करते है, जहां w एसवीएम के मापदंडों के रूप में दर्शाता है, y एसवीएम की भविष्यवाणियां, φ संयुक्त सुविधा फलन और Δ हैमिंग हानि:के रूप में होते है.

${\begin{aligned}\ell (\mathbf {y} )&=\max(0,\Delta (\mathbf {y} ,\mathbf {t} )+\langle \mathbf {w} ,\phi (\mathbf {x} ,\mathbf {y} )\rangle -\langle \mathbf {w} ,\phi (\mathbf {x} ,\mathbf {t} )\rangle )\\&=\max(0,\max _{y\in {\mathcal {Y}}}\left(\Delta (\mathbf {y} ,\mathbf {t} )+\langle \mathbf {w} ,\phi (\mathbf {x} ,\mathbf {y} )\rangle \right)-\langle \mathbf {w} ,\phi (\mathbf {x} ,\mathbf {t} )\rangle )\end{aligned}}$

अनुकूलन

हिंज हानि एक उत्तल कार्य है, इसलिए मशीन लर्निंग के रूप में उपयोग किए जाने वाले कई सामान्य उत्तल ऑप्टिमाइज़र इसके साथ काम कर सकते हैं। यह अवकल कार्य के रूप में नहीं है, लेकिन इसमें मॉडल पैरामीटर के संबंध में एक सबग्रेडिएंट के रूप में है, w स्कोर फलन के साथ एक रैखिक एसवीएम का $y=\mathbf {w} \cdot \mathbf {x}$ जो कि दिया गया है.

${\frac {\partial \ell }{\partial w_{i}}}={\begin{cases}-t\cdot x_{i}&{\text{if }}t\cdot y<1\\0&{\text{otherwise}}\end{cases}}$

File:Hinge loss variants.svg

एक फलन के रूप में हिंज हानि के तीन प्रकारों का आलेख z = ty: सामान्य संस्करण (नीला), इसका वर्गाकार (हरा), और रेनी और स्रेब्रो द्वारा टुकड़ा-वार चिकना संस्करण (लाल)। y-अक्ष है l(y) हिंज हानि, और x-अक्ष पैरामीटर है t

चूंकि, हिंज हानि के व्युत्पन्न के पश्चात से $ty=1$ अपरिभाषित है, अनुकूलन के लिए स्मूथ संस्करणों को प्राथमिकता दी जा सकती है, जैसे रेनी और स्रेब्रो

$$