सॉफ्टमैक्स फलन

This article is about the smooth approximation of एक-गर्म [[तर्क अधिकतम ]]. For अधिकतम का समतल सन्निकटन, see लॉगसम ऍक्स्प.

सॉफ्टमैक्स फलन, जिसे सॉफ्टर्गमैक्स  या सामान्यीकृत घातांकीय फलन  के रूप से भी जाना जाता है, K वास्तविक संख्याओं के सदिश को K संभावित परिणामों के प्रायिकता वितरण में परिवर्तित करता है। तथा यह कई आयामों के लिए तार्किक फलन का सामान्यीकरण है, जो बहुराष्ट्रीय तार्किक प्रतिगमन में उपयोग किया जाता है। सॉफ्टमैक्स फलन का उपयोग अधिकांश कृत्रिम तंत्रिका नेटवर्क के अंतिम सक्रियण फलन के रूप में किया जाता है, जो लूस के अनुरूप सिद्धान्त के आधार पर अनुमानित उत्पाद वर्गों पर प्रायिकता वितरण के लिए नेटवर्क के प्रक्षेपण को सामान्य करता है।

परिभाषा

सॉफ्टमैक्स फलन K वास्तविक संख्याओं के एक सदिश z को इनपुट के रूप में ग्रहण करता है, और इसे एक प्रायिकता वितरण में सामान्य करता है, जिसमें K संभावनाएँ होती हैं जो इनपुट संख्याओं के घातांकों के समानुपाती होती हैं। अर्थात, सॉफ्टमैक्स को लागू करने से पहले कुछ सदिश घटक ऋणात्मक या एक से अधिक हो सकते हैं। और 1 का योग नहीं हो सकता है, लेकिन सॉफ्टमैक्स लागू करने के बाद प्रत्येक घटक अंतराल $(0,1)$ में होगा, और घटक 1 तक जोड़ देंगे, जिससे कि उन्हें संभावनाओं के रूप में समझा जा सके। तथा इसके अतिरिक्त बड़े निवेशित घटक बड़ी संभावनाओं के अनुरूप होंगे।

मानक (यूनिट) सॉफ्टमैक्स फलन $\sigma :\mathbb {R} ^{K}\to (0,1)^{K}$ परिभाषित किया गया है, जब $K\geq 1$ सूत्र द्वारा

$$\sigma (\mathbf {z} )_{i}={\frac {e^{z_{i}}}{\sum _{j=1}^{K}e^{z_{j}}}}\ \ {\text{ for }}i=1,\dotsc ,K{\text{ and }}\mathbf {z} =(z_{1},\dotsc ,z_{K})\in \mathbb {R} ^{K}.$$

सामान्य शब्दों में यह इनपुट सदिश $\mathbf {z}$ के प्रत्येक तत्व $z_{i}$ के लिए मानक चर घातांकीय फलन लागू करता है, और इन्हें सामान्य करता है। तथा इन सभी घातांकीयों के योग से विभाजित करके मानों का यह सामान्यीकरण सुनिश्चित करता है कि उत्पादित सदिश के घटकों का योग $\sigma (\mathbf {z} )$ 1 है। e के अतिरिक्त एक भिन्न आधार (घातांक) b > 0 का उपयोग किया जा सकता है। यदि 0 < b < 1 छोटे इनपुट घटकों के परिणामस्वरूप अधिक प्रक्षेपण की संभावनाएँ होंगी, तथा b के मान को कम करने से प्रायिकता वितरण बनेंगे जो सबसे छोटे इनपुट मानों की स्थिति के चारों ओर अधिक केंद्रित होते हैं। इसके विपरीत, यदि b > 1, बड़े निवेशित घटकों के परिणामस्वरूप अधिक प्रक्षेपण संभावनाएं होंगी, और मान में वृद्धि होगी तथा b प्रायिकता वितरण बनाएगा, जो सबसे बड़े इनपुट मानों की स्थिति के चारों ओर अधिक होते हैं। $b=e^{\beta }$ या $b=e^{-\beta }$ लिखना वास्तव मे β के लिए अभिव्यक्ति उत्पन्न करता है।

$$\sigma (\mathbf {z} )_{i}={\frac {e^{\beta z_{i}}}{\sum _{j=1}^{K}e^{\beta z_{j}}}}{\text{ or }}\sigma (\mathbf {z} )_{i}={\frac {e^{-\beta z_{i}}}{\sum _{j=1}^{K}e^{-\beta z_{j}}}}{\text{ for }}i=1,\dotsc ,K.$$

कुछ क्षेत्रों में आधार निश्चित होता है, एक निश्चित पैमाने के अनुरूप, जबकि अन्य में पैरामीटर β भिन्न होता है।

व्याख्याएं

समतल आर्ग मैक्स

See also: आर्ग मैक्स

सॉफ्टमैक्स एक भ्रामक नाम है, जो फलन अधिकतम समतल (अधिकतम फलन के लिए समतल सन्निकटन) नहीं होता है, जबकि आर्ग मैक्स फलन के लिए एक सरलतम सन्निकटन है। वह फलन जिसका मान एक घातांक जिसमें अधिकतम होता है। वास्तव में सॉफ्टमैक्स शब्द का उपयोग घनिष्ठता से संबंधित LogSumExp फलन के लिए भी किया जाता है, जो कि एक सहज अधिकतम है। इस कारण से कुछ अधिक सटीक शब्द सॉफ्टमैक्स को समान करते हैं, लेकिन मशीन लर्निंग में सॉफ्टमैक्स शब्द पारंपरिक है। इस व्याख्या पर महत्व देने के लिए यह खंड सॉफ्टरमैक्स शब्द का उपयोग करता है।

औपचारिक रूप से आर्ग मैक्स को श्रेणीबद्ध उत्पाद वाले फलन के रूप में मानने के अतिरिक्त $1,\dots ,n$ (सूचकांक के अनुरूप), उत्पाद के एक गर्म प्रतिनिधित्व के साथ अधिकतम फलन पर विचार करें। (मान लीजिए कि एक अद्वितीय अधिकतम तर्क है।)

$\mathrm{a}$