हिंज लॉस: Difference between revisions

Revision as of 14:23, 6 August 2023

ऊर्ध्वाधर अक्ष निश्चित के लिए हिंज हानि (नीले रंग में) और शून्य-एक हानि (हरे रंग में) के मूल्य का प्रतिनिधित्व करता है

t = 1

, जबकि क्षैतिज अक्ष भविष्यवाणी के मूल्य का प्रतिनिधित्व करता है

y

. कथानक से पता चलता है कि हिंज हानि भविष्यवाणियों को दंडित करती है

y < 1

, एक सपोर्ट सदिश मशीन में मार्जिन की धारणा के अनुरूप।

मशीन लर्निंग में, हिंज लॉस एक हानि फलन के रूप में है। जिसका उपयोग सांख्यिकीय क्लासिफायर के प्रशिक्षण के लिए किया जाता है। हिंज लॉस का उपयोग अधिकतम-मार्जिन वर्गीकरण के लिए किया जाता है, विशेष रूप से सपोर्ट वेक्टर मशीन (एसवीएम) के ।^[1] रूप में किया जाता है

किसी इच्छित आउटपुट के लिए $t = \pm1$ और एक क्लासिफायर स्कोर y के लिए, भविष्यवाणी y के हिंज लॉस को इस प्रकार परिभाषित किया गया है.

\ell (y)=\max(0,1-t\cdot y)

ध्यान दें कि $y$ क्लासिफायरियर के निर्णय फलन का कच्चा आउटपुट होना चाहिए, न कि अनुमानित क्लास लेबल। उदाहरण के लिए, रैखिक एसवीएम में, $y=\mathbf {w} \cdot \mathbf {x} +b$ , जहाँ $(\mathbf {w} ,b)$ हाइपरप्लेन के पैरामीटर के रूप में हैं और $\mathbf {x}$ इनपुट वेरिएबल है।

जब $t$ और $y$ के चिन्ह का (अर्थ) एक ही है, $y$ सही वर्ग की भविष्यवाणी करता है और $|y|\geq 1$ , काज हानि $\ell (y)=0$ . जब उनके विपरीत लक्षण हों, $\ell (y)$ के साथ रैखिक रूप से बढ़ता है $y$ , और इसी प्रकार यदि $|y|<1$ , यदि उसका चिह्न समान हो (भविष्यवाणी सही है, लेकिन पर्याप्त अंतर से नहीं होता है)।

एक्सटेंशन

जबकि बाइनरी एसवीएम को सामान्यतः एक-बनाम-सभी या एक-बनाम-एक फैशन में मल्टीक्लास वर्गीकरण तक विस्तारित किया जाता है,^[2] इस प्रकार के अंत के लिए काज हानि को स्वयं बढ़ाना भी संभव है। मल्टीक्लास हिंज लॉस के कई भिन्न-भिन्न रूप प्रस्तावित किए गए हैं।^[3] उदाहरण के लिए, क्रैमर और सिंगर^[4] इसे एक रैखिक वर्गीकारक के रूप में परिभाषित किया गया है^[5]

\ell (y)=\max(0,1+\max _{y\neq t}\mathbf {w} _{y}\mathbf {x} -\mathbf {w} _{t}\mathbf {x} )

कहाँ $t$ लक्ष्य लेबल है, $\mathbf {w} _{t}$ और $\mathbf {w} _{y}$ मॉडल पैरामीटर हैं.

वेस्टन और वॉटकिंस ने एक समान परिभाषा प्रदान की, लेकिन अधिकतम के अतिरिक्त योग के साथ:^[6]^[3]

\ell (y)=\sum _{y\neq t}\max(0,1+\mathbf {w} _{y}\mathbf {x} -\mathbf {w} _{t}\mathbf {x} )

संरचित भविष्यवाणी में, काज हानि को आगे संरचित आउटपुट समष्टि तक बढ़ाया जा सकता है। मार्जिन रीस्केलिंग के साथ संरचित समर्थन सदिश मशीन निम्नलिखित संस्करण का उपयोग करती है, जहां $w$ एसवीएम के मापदंडों को दर्शाता है, $y$ एसवीएम की भविष्यवाणियां, $φ$ संयुक्त सुविधा फलन, और $Δ$ हैमिंग हानि:

\begin{aligned} ℓ (y) & = max (0, Δ (y, t) + ⟨ w, ϕ (x, y) ⟩ - ⟨ w, ϕ (x, t) ⟩) \\ = max (0, max_{y \in Y} (Δ ( \end{aligned}

[1]

[2]

[3]

[4]

[5]

[6]

@@ Line 1: / Line 1: @@
 {{Short description|Loss function in machine learning}}
-[[File:Hinge loss vs zero one loss.svg|thumb|ऊर्ध्वाधर अक्ष निश्चित के लिए हिंज हानि (नीले रंग में) और शून्य-एक हानि (हरे रंग में) के मूल्य का प्रतिनिधित्व करता है {{math|''t'' {{=}} 1}}, जबकि क्षैतिज अक्ष भविष्यवाणी के मूल्य का प्रतिनिधित्व करता है {{mvar|y}}. कथानक से पता चलता है कि हिंज हानि भविष्यवाणियों को दंडित करती है {{math|''y'' < 1}}, एक सपोर्ट सदिश मशीन में मार्जिन की धारणा के अनुरूप।]][[ यंत्र अधिगम ]] में, हिंज लॉस एक हानि फ़ंक्शन है जिसका उपयोग [[सांख्यिकीय वर्गीकरण]] के प्रशिक्षण के लिए किया जाता है। हिंज लॉस का उपयोग अधिकतम-मार्जिन वर्गीकरण के लिए किया जाता है, विशेष रूप से [[ समर्थन वेक्टर यंत्र | समर्थन सदिश यंत्र]] ों (एसवीएम) के लिए।<ref>{{Cite journal | last1 = Rosasco | first1 = L. | last2 = De Vito | first2 = E. D. | last3 = Caponnetto | first3 = A. | last4 = Piana | first4 = M. | last5 = Verri | first5 = A. | url = http://web.mit.edu/lrosasco/www/publications/loss.pdf| title = Are Loss Functions All the Same? | doi = 10.1162/089976604773135104 | journal = Neural Computation | volume = 16 | issue = 5 | pages = 1063–1076 | year = 2004 | pmid =  15070510| citeseerx = 10.1.1.109.6786 }}</ref>
+[[File:Hinge loss vs zero one loss.svg|thumb|ऊर्ध्वाधर अक्ष निश्चित के लिए हिंज हानि (नीले रंग में) और शून्य-एक हानि (हरे रंग में) के मूल्य का प्रतिनिधित्व करता है {{math|''t'' {{=}} 1}}, जबकि क्षैतिज अक्ष भविष्यवाणी के मूल्य का प्रतिनिधित्व करता है {{mvar|y}}. कथानक से पता चलता है कि हिंज हानि भविष्यवाणियों को दंडित करती है {{math|''y'' < 1}}, एक सपोर्ट सदिश मशीन में मार्जिन की धारणा के अनुरूप।]][[ यंत्र अधिगम | मशीन लर्निंग]] में, हिंज लॉस एक हानि फलन के रूप में है। जिसका उपयोग [[सांख्यिकीय वर्गीकरण|सांख्यिकीय क्लासिफायर]] के प्रशिक्षण के लिए किया जाता है। हिंज लॉस का उपयोग अधिकतम-मार्जिन वर्गीकरण के लिए किया जाता है, विशेष रूप से [[ समर्थन वेक्टर यंत्र | सपोर्ट वेक्टर मशीन]]  (एसवीएम) के ।<ref>{{Cite journal | last1 = Rosasco | first1 = L. | last2 = De Vito | first2 = E. D. | last3 = Caponnetto | first3 = A. | last4 = Piana | first4 = M. | last5 = Verri | first5 = A. | url = http://web.mit.edu/lrosasco/www/publications/loss.pdf| title = Are Loss Functions All the Same? | doi = 10.1162/089976604773135104 | journal = Neural Computation | volume = 16 | issue = 5 | pages = 1063–1076 | year = 2004 | pmid =  15070510| citeseerx = 10.1.1.109.6786 }}</ref> रूप में किया जाता है
-किसी इच्छित आउटपुट के लिए {{math|''t'' {{=}} ±1}} और एक क्लासिफायर स्कोर {{mvar|y}}, भविष्यवाणी का टिका हानि {{mvar|y}} परिभाषित किया जाता है
+किसी इच्छित आउटपुट के लिए {{math|''t'' {{=}} ±1}} और एक क्लासिफायर स्कोर y के लिए, भविष्यवाणी y के हिंज लॉस को इस प्रकार परिभाषित किया गया है.
 :<math>\ell(y) = \max(0, 1-t \cdot y)</math>
-ध्यान दें कि <math>y</math> क्लासिफायरियर के निर्णय फ़ंक्शन का कच्चा आउटपुट होना चाहिए, न कि अनुमानित क्लास लेबल। उदाहरण के लिए, रैखिक एसवीएम में, <math>y = \mathbf{w} \cdot \mathbf{x} + b</math>, कहाँ <math>(\mathbf{w},b)</math> [[हाइपरप्लेन|हाइपरसमतल]] के पैरामीटर हैं और <math>\mathbf{x}</math> इनपुट वेरिएबल है।
+ध्यान दें कि <math>y</math> क्लासिफायरियर के निर्णय फलन का कच्चा आउटपुट होना चाहिए, न कि अनुमानित क्लास लेबल। उदाहरण के लिए, रैखिक एसवीएम में, <math>y = \mathbf{w} \cdot \mathbf{x} + b</math>, जहाँ <math>(\mathbf{w},b)</math> [[हाइपरप्लेन]] के पैरामीटर के रूप में हैं और <math>\mathbf{x}</math> इनपुट वेरिएबल है।
-कब {{mvar|t}} और {{mvar|y}} का चिन्ह (अर्थ) एक ही है {{mvar|y}} सही वर्ग की भविष्यवाणी करता है) और <math>|y| \ge 1</math>, काज हानि <math>\ell(y) = 0</math>. जब उनके विपरीत लक्षण हों, <math>\ell(y)</math> के साथ रैखिक रूप से बढ़ता है {{mvar|y}}, और इसी प्रकार यदि <math>|y| < 1</math>, यदि उसका चिह्न समान हो (भविष्यवाणी सही है, लेकिन पर्याप्त अंतर से नहीं)।
+जब {{mvar|t}} और {{mvar|y}} के चिन्ह का (अर्थ) एक ही है, {{mvar|y}} सही वर्ग की भविष्यवाणी करता है और <math>|y| \ge 1</math>, काज हानि <math>\ell(y) = 0</math>. जब उनके विपरीत लक्षण हों, <math>\ell(y)</math> के साथ रैखिक रूप से बढ़ता है {{mvar|y}}, और इसी प्रकार यदि <math>|y| < 1</math>, यदि उसका चिह्न समान हो (भविष्यवाणी सही है, लेकिन पर्याप्त अंतर से नहीं होता है)।
 ==एक्सटेंशन==
@@ Line 18: / Line 18: @@
 :<math>\ell(y) = \sum_{y \ne t} \max(0, 1 + \mathbf{w}_y \mathbf{x} - \mathbf{w}_t \mathbf{x})</math>
-[[संरचित भविष्यवाणी]] में, काज हानि को आगे संरचित आउटपुट समष्टि तक बढ़ाया जा सकता है। मार्जिन रीस्केलिंग के साथ [[संरचित समर्थन वेक्टर मशीन|संरचित समर्थन सदिश मशीन]] निम्नलिखित संस्करण का उपयोग करती है, जहां {{math|'''w'''}} एसवीएम के मापदंडों को दर्शाता है, {{math|'''y'''}} एसवीएम की भविष्यवाणियां, {{mvar|φ}} संयुक्त सुविधा फ़ंक्शन, और {{math|Δ}} [[हैमिंग हानि]]:
+[[संरचित भविष्यवाणी]] में, काज हानि को आगे संरचित आउटपुट समष्टि तक बढ़ाया जा सकता है। मार्जिन रीस्केलिंग के साथ [[संरचित समर्थन वेक्टर मशीन|संरचित समर्थन सदिश मशीन]] निम्नलिखित संस्करण का उपयोग करती है, जहां {{math|'''w'''}} एसवीएम के मापदंडों को दर्शाता है, {{math|'''y'''}} एसवीएम की भविष्यवाणियां, {{mvar|φ}} संयुक्त सुविधा फलन, और {{math|Δ}} [[हैमिंग हानि]]:
 :<math>\begin{align}
@@ Line 27: / Line 27: @@
 ==अनुकूलन==
-हिंज हानि एक [[उत्तल कार्य]] है, इसलिए मशीन लर्निंग में उपयोग किए जाने वाले कई सामान्य उत्तल ऑप्टिमाइज़र इसके साथ काम कर सकते हैं। यह [[विभेदक कार्य|अवकल कार्य]] नहीं है, लेकिन इसमें मॉडल पैरामीटर के संबंध में एक सबडेरिवेटिव # सबग्रेडिएंट है {{math|'''w'''}}स्कोर फ़ंक्शन के साथ एक रैखिक एसवीएम का <math>y = \mathbf{w} \cdot \mathbf{x}</math> जो कि दिया गया है
+हिंज हानि एक [[उत्तल कार्य]] है, इसलिए मशीन लर्निंग में उपयोग किए जाने वाले कई सामान्य उत्तल ऑप्टिमाइज़र इसके साथ काम कर सकते हैं। यह [[विभेदक कार्य|अवकल कार्य]] नहीं है, लेकिन इसमें मॉडल पैरामीटर के संबंध में एक सबडेरिवेटिव # सबग्रेडिएंट है {{math|'''w'''}}स्कोर फलन के साथ एक रैखिक एसवीएम का <math>y = \mathbf{w} \cdot \mathbf{x}</math> जो कि दिया गया है
 :<math>\frac{\partial\ell}{\partial w_i} = \begin{cases}
@@ Line 34: / Line 34: @@
 \end{cases}</math>
-[[File:Hinge loss variants.svg|thumb|एक फ़ंक्शन के रूप में काज हानि के तीन प्रकारों का आलेख {{math|''z'' {{=}} ''ty''}}: सामान्य संस्करण (नीला), इसका वर्गाकार (हरा), और रेनी और स्रेब्रो द्वारा टुकड़ा-वार चिकना संस्करण (लाल)। y-अक्ष है {{math|''l(y)''}} काज हानि, और x-अक्ष पैरामीटर है {{mvar|t}}]]चूंकि, काज हानि के व्युत्पन्न के पश्चात से <math>ty = 1</math> अपरिभाषित है, अनुकूलन के लिए [[ चिकनाई ]] संस्करणों को प्राथमिकता दी जा सकती है, जैसे रेनी और स्रेब्रो<ref>{{cite conference |title=Loss Functions for Preference Levels: Regression with Discrete Ordered Labels |first1=Jason D. M. |last1=Rennie |first2=Nathan |last2=Srebro |conference=Proc. [[IJCAI]] Multidisciplinary Workshop on Advances in Preference Handling |year=2005 |url=http://ttic.uchicago.edu/~nati/Publications/RennieSrebroIJCAI05.pdf}}</ref>
+[[File:Hinge loss variants.svg|thumb|एक फलन के रूप में काज हानि के तीन प्रकारों का आलेख {{math|''z'' {{=}} ''ty''}}: सामान्य संस्करण (नीला), इसका वर्गाकार (हरा), और रेनी और स्रेब्रो द्वारा टुकड़ा-वार चिकना संस्करण (लाल)। y-अक्ष है {{math|''l(y)''}} काज हानि, और x-अक्ष पैरामीटर है {{mvar|t}}]]चूंकि, काज हानि के व्युत्पन्न के पश्चात से <math>ty = 1</math> अपरिभाषित है, अनुकूलन के लिए [[ चिकनाई ]] संस्करणों को प्राथमिकता दी जा सकती है, जैसे रेनी और स्रेब्रो<ref>{{cite conference |title=Loss Functions for Preference Levels: Regression with Discrete Ordered Labels |first1=Jason D. M. |last1=Rennie |first2=Nathan |last2=Srebro |conference=Proc. [[IJCAI]] Multidisciplinary Workshop on Advances in Preference Handling |year=2005 |url=http://ttic.uchicago.edu/~nati/Publications/RennieSrebroIJCAI05.pdf}}</ref>
 :<math>\ell(y) = \begin{cases}
 \frac{1}{2} - ty       & \text{if} ~~ ty \le 0, \\
@@ Line 46: / Line 46: @@
 - \frac{\gamma}{2} - ty           & \text{otherwise}
 \end{cases}</math>
-झांग द्वारा सुझाया गया।<ref name="zhang">{{cite conference |last=Zhang |first=Tong |title=स्टोकेस्टिक ग्रेडिएंट डिसेंट एल्गोरिदम का उपयोग करके बड़े पैमाने पर रैखिक भविष्यवाणी समस्याओं को हल करना|conference=ICML |year=2004 |url=http://tongzhang-ml.org/papers/icml04-stograd.pdf}}</ref> वर्गीकरण के लिए ह्यूबर लॉस#वेरिएंट <math>L</math> इस हानि फ़ंक्शन का एक विशेष स्थिति है <math>\gamma = 2</math>, विशेष रूप से <math>L(t,y) = 4 \ell_2(y)</math>.
+झांग द्वारा सुझाया गया।<ref name="zhang">{{cite conference |last=Zhang |first=Tong |title=स्टोकेस्टिक ग्रेडिएंट डिसेंट एल्गोरिदम का उपयोग करके बड़े पैमाने पर रैखिक भविष्यवाणी समस्याओं को हल करना|conference=ICML |year=2004 |url=http://tongzhang-ml.org/papers/icml04-stograd.pdf}}</ref> वर्गीकरण के लिए ह्यूबर लॉस#वेरिएंट <math>L</math> इस हानि फलन का एक विशेष स्थिति है <math>\gamma = 2</math>, विशेष रूप से <math>L(t,y) = 4 \ell_2(y)</math>.
 == यह भी देखें ==

Anonymous

Search

हिंज लॉस: Difference between revisions

Namespaces

More

Page actions

Revision as of 14:23, 6 August 2023

Contents

एक्सटेंशन