स्विश फलन

स्विश फलन एक फलन (गणित) है जिसे निम्नानुसार परिभाषित किया गया है:


 * Swish.svg$$\operatorname{swish}(x) = x \operatorname{sigmoid}(\beta x) = \frac{x}{1+e^{-\beta x}}.$$

जहां β या तो स्थिर है या मॉडल के आधार पर प्रशिक्षित करने योग्य पैरामीटर है। β= 1 के लिए, फलन सिग्मॉइड लीनियर यूनिट के बराबर हो जाता है या SiLU, पहली बार 2016 में दिष्टकारी (रेक्टिफायर) के साथ प्रस्तावित किया गया था। SiLU को बाद में 2017 में सिग्मॉइड-वेटेड लीनियर यूनिट (SiL) फलन के रूप में सुदृढीकरण सीखने में उपयोग किया गया था। SiLU / SiL को इसकी प्रारंभिक खोज के एक साल बाद फिर से स्विश के रूप में फिर से खोजा गया, मूल रूप से सीखने योग्य पैरामीटर β के बिना प्रस्तावित किया गया था, ताकि β निहित रूप से 1 के बराबर हो। फिर सीखने योग्य पैरामीटर β के साथ सक्रियता का प्रस्ताव देने के लिए स्विश पेपर को अपडेट किया गया, हालांकि शोधकर्ता प्रायः β= 1 देते हैं और सीखने योग्य पैरामीटर β का उपयोग नहीं करते हैं। β = 0 के लिए, फलन स्केल किए गए रैखिक फलन f(x) = x/2 में बदल जाता है। β→ ∞ के साथ, सिग्मॉइड फलन घटक 0-1 फलन बिंदुवार पहुंचता है, इसलिए स्वाइप ReLU फलन बिंदुवार पहुंचता है। इस प्रकार, इसे एक स्मूथिंग फलन के रूप में देखा जा सकता है जो एक रेखीय फलन और ReLU फलन के बीच गैर-रैखिक रूप से प्रक्षेपित होता है। यह फलन गैर-एकरसता का उपयोग करता है और हो सकता है कि इस संपत्ति के साथ मिश जैसे अन्य सक्रियण फलन के प्रस्ताव को प्रभावित किया हो।

सकारात्मक मूल्यों पर विचार करते समय, स्विश में परिभाषित सिग्मॉइड संकोचन फलन का एक विशेष मामला है (इस संदर्भ के समीकरण (3) द्वारा दिए गए दोहरे पैरामीटरयुक्त सिग्मॉइड संकोचन फॉर्म देखें)।

अनुप्रयोगसहायता
2017 में, ImageNet (इमेज नेट) डेटा पर विश्लेषण करने के बाद, गूगल के शोधकर्ताओं ने संकेत दिया कि ReLU और सिग्मॉइड फ़ंक्शंस की तुलना में कृत्रिम तंत्रिका नेटवर्क (आर्टिफिशियल न्यूरल नेटवर्क) में सक्रियण फलन के रूप में इस फलन का उपयोग करने से प्रदर्शन में सुधार होता है। ऐसा माना जाता है कि सुधार का एक कारण यह है कि स्विश फलन बैकप्रॉपैगेशन के समय लुप्त होने वाली ग्रेडिएंट समस्या को कम करने में करता है।