फीचर चयन: Difference between revisions
From Vigyanwiki
No edit summary |
No edit summary |
||
| Line 1: | Line 1: | ||
{{short description|Procedure in machine learning and statistics}} | {{short description|Procedure in machine learning and statistics}} | ||
{{machine learning bar}} | {{machine learning bar}} | ||
[[ यंत्र अधिगम | यंत्र अधिगम]] और सांख्यिकी में, '''फीचर चयन''', जिसे वैरिएबल चयन, विशेषता चयन या वैरिएबल | [[ यंत्र अधिगम | यंत्र अधिगम]] और सांख्यिकी में, '''फीचर चयन''', जिसे वैरिएबल चयन, विशेषता चयन या वैरिएबल उपसमुच्चय चयन के रूप में भी जाना जाता है, मॉडल निर्माण में उपयोग के लिए प्रासंगिक [[ फ़ीचर (मशीन लर्निंग) |फ़ीचर (मशीन लर्निंग)]] (चर, भविष्यवक्ता) के उपसमुच्चय का चयन करने की प्रक्रिया है। फ़ीचर चयन तकनीकों का उपयोग अनेक कारणों से किया जाता है: | ||
:* शोधकर्ताओं/उपयोगकर्ताओं द्वारा व्याख्या करना आसान बनाने के लिए मॉडलों का सरलीकरण,<ref name="islr">{{cite book |author1=Gareth James |author2=Daniela Witten |author3=Trevor Hastie |author4=Robert Tibshirani |title=सांख्यिकीय शिक्षा का एक परिचय|publisher=Springer |year=2013 |url=http://www-bcf.usc.edu/~gareth/ISL/ |page=204}}</ref> | :* शोधकर्ताओं/उपयोगकर्ताओं द्वारा व्याख्या करना आसान बनाने के लिए मॉडलों का सरलीकरण,<ref name="islr">{{cite book |author1=Gareth James |author2=Daniela Witten |author3=Trevor Hastie |author4=Robert Tibshirani |title=सांख्यिकीय शिक्षा का एक परिचय|publisher=Springer |year=2013 |url=http://www-bcf.usc.edu/~gareth/ISL/ |page=204}}</ref> | ||
:* कम प्रशिक्षण समय,<ref>{{Citation|last1=Brank|first1=Janez|title=Feature Selection|date=2011|url=http://link.springer.com/10.1007/978-0-387-30164-8_306|encyclopedia=Encyclopedia of Machine Learning|pages=402–406|editor-last=Sammut|editor-first=Claude|place=Boston, MA|publisher=Springer US|language=en|doi=10.1007/978-0-387-30164-8_306|isbn=978-0-387-30768-8|access-date=2021-07-13|last2=Mladenić|first2=Dunja|last3=Grobelnik|first3=Marko|last4=Liu|first4=Huan|last5=Mladenić|first5=Dunja|last6=Flach|first6=Peter A.|last7=Garriga|first7=Gemma C.|last8=Toivonen|first8=Hannu|last9=Toivonen|first9=Hannu|editor2-last=Webb|editor2-first=Geoffrey I.}}</ref> | :* कम प्रशिक्षण समय,<ref>{{Citation|last1=Brank|first1=Janez|title=Feature Selection|date=2011|url=http://link.springer.com/10.1007/978-0-387-30164-8_306|encyclopedia=Encyclopedia of Machine Learning|pages=402–406|editor-last=Sammut|editor-first=Claude|place=Boston, MA|publisher=Springer US|language=en|doi=10.1007/978-0-387-30164-8_306|isbn=978-0-387-30768-8|access-date=2021-07-13|last2=Mladenić|first2=Dunja|last3=Grobelnik|first3=Marko|last4=Liu|first4=Huan|last5=Mladenić|first5=Dunja|last6=Flach|first6=Peter A.|last7=Garriga|first7=Gemma C.|last8=Toivonen|first8=Hannu|last9=Toivonen|first9=Hannu|editor2-last=Webb|editor2-first=Geoffrey I.}}</ref> | ||
| Line 13: | Line 13: | ||
|title=Optimization of data-driven filterbank for automatic speaker verification | |title=Optimization of data-driven filterbank for automatic speaker verification | ||
|journal=Digital Signal Processing |date=September 2020 |volume=104 | |journal=Digital Signal Processing |date=September 2020 |volume=104 | ||
|page=102795 |doi= 10.1016/j.dsp.2020.102795|arxiv=2007.10729|s2cid=220665533 }}</ref> फ़ीचर निष्कर्षण मूल सुविधाओं के कार्यों से नई सुविधाएँ बनाता है, जबकि फ़ीचर चयन सुविधाओं का | |page=102795 |doi= 10.1016/j.dsp.2020.102795|arxiv=2007.10729|s2cid=220665533 }}</ref> फ़ीचर निष्कर्षण मूल सुविधाओं के कार्यों से नई सुविधाएँ बनाता है, जबकि फ़ीचर चयन सुविधाओं का उपसमुच्चय लौटाता है। फ़ीचर चयन तकनीकों का उपयोग अक्सर उन डोमेन में किया जाता है जहाँ अनेक सुविधाएँ और तुलनात्मक रूप से कुछ नमूने (या डेटा बिंदु) होते हैं। फीचर चयन के अनुप्रयोग के लिए आदर्श मामलों में [[स्टाइलोमेट्री]] और [[डीएनए माइक्रोएरे]] डेटा का विश्लेषण शामिल है, जहां अनेक हजारों विशेषताएं हैं, और कुछ दसियों से सैकड़ों नमूने हैं। | ||
==परिचय== | ==परिचय== | ||
एक फीचर चयन एल्गोरिथ्म को नए फीचर | एक फीचर चयन एल्गोरिथ्म को नए फीचर उपसमुच्चय के प्रस्ताव के लिए खोज तकनीक के संयोजन के रूप में देखा जा सकता है, साथ ही मूल्यांकन उपाय जो विभिन्न फीचर उपसमुच्चय को स्कोर करता है। सबसे सरल एल्गोरिदम सुविधाओं के प्रत्येक संभावित उपसमूह का परीक्षण करना है जो त्रुटि दर को कम करता है। यह अंतरिक्ष की विस्तृत खोज है, और छोटे से छोटे फीचर समुच्चय को छोड़कर सभी के लिए कम्प्यूटेशनल रूप से कठिन है। मूल्यांकन मेट्रिक का चुनाव एल्गोरिदम को भारी रूप से प्रभावित करता है, और ये मूल्यांकन मेट्रिक्स हैं जो फीचर चयन एल्गोरिदम की तीन मुख्य श्रेणियों के बीच अंतर करते हैं: रैपर, फिल्टर और एम्बेडेड तरीके।<ref name="guyon-intro">{{cite journal |title=वेरिएबल और फ़ीचर चयन का एक परिचय|first1=Isabelle |last1=Guyon |first2=André |last2=Elisseeff |journal=[[Journal of Machine Learning Research|JMLR]] |volume=3 |year=2003 |url=http://jmlr.csail.mit.edu/papers/v3/guyon03a.html}}</ref> | ||
* रैपर विधियाँ फीचर | * रैपर विधियाँ फीचर उपसमुच्चय को स्कोर करने के लिए पूर्वानुमानित मॉडल का उपयोग करती हैं। प्रत्येक नए उपसमुच्चय का उपयोग मॉडल को प्रशिक्षित करने के लिए किया जाता है, जिसका परीक्षण होल्ड-आउट समुच्चय पर किया जाता है। उस होल्ड-आउट समुच्चय (मॉडल की त्रुटि दर) पर की गई गलतियों की संख्या की गणना करने से उस उपसमुच्चय के लिए स्कोर मिलता है। चूँकि रैपर विधियाँ प्रत्येक उपसमुच्चय के लिए नए मॉडल को प्रशिक्षित करती हैं, वे कम्प्यूटेशनल रूप से बहुत गहन होती हैं, लेकिन आमतौर पर उस विशेष प्रकार के मॉडल या विशिष्ट समस्या के लिए सबसे अच्छा प्रदर्शन करने वाला फीचर समुच्चय प्रदान करती हैं। | ||
* फ़िल्टर विधियाँ फीचर | * फ़िल्टर विधियाँ फीचर उपसमुच्चय को स्कोर करने के लिए त्रुटि दर के बजाय प्रॉक्सी माप का उपयोग करती हैं। फीचर समुच्चय की उपयोगिता को ध्यान में रखते हुए, गणना करने में तेज़ होने के लिए इस उपाय को चुना गया है। सामान्य उपायों में [[आपसी जानकारी]] शामिल है,<ref name="guyon-intro"/>बिंदुवार आपसी जानकारी,<ref name="textcat"/>[[पियर्सन उत्पाद-क्षण सहसंबंध गुणांक]], [[राहत (सुविधा चयन)]] | राहत-आधारित एल्गोरिदम,<ref>{{Cite journal|last1=Urbanowicz|first1=Ryan J.|last2=Meeker|first2=Melissa|last3=LaCava|first3=William|last4=Olson|first4=Randal S.|last5=Moore|first5=Jason H.|title=Relief-Based Feature Selection: Introduction and Review|journal=Journal of Biomedical Informatics|volume=85|pages=189–203|arxiv=1711.08421|pmid=30031057|pmc=6299836|year=2018|doi=10.1016/j.jbi.2018.07.014}}</ref> और अंतर/अंतर कक्षा दूरी या प्रत्येक वर्ग/सुविधा संयोजन के लिए [[सांख्यिकीय परिकल्पना परीक्षण]] के स्कोर।<ref name="textcat">{{cite conference |last1=Yang |first1=Yiming |first2=Jan O. |last2=Pedersen |title=पाठ वर्गीकरण में फीचर चयन पर एक तुलनात्मक अध्ययन|conference=ICML |year=1997|url=http://www.surdeanu.info/mihai/teaching/ista555-spring15/readings/yang97comparative.pdf}}</ref><ref>{{cite journal |last1=Forman |first1=George |title=पाठ वर्गीकरण के लिए फीचर चयन मेट्रिक्स का एक व्यापक अनुभवजन्य अध्ययन|journal=Journal of Machine Learning Research |volume=3 |year=2003 |pages=1289–1305|url=http://www.jmlr.org/papers/volume3/forman03a/forman03a.pdf}}</ref> फ़िल्टर आमतौर पर रैपर्स की तुलना में कम कम्प्यूटेशनल रूप से गहन होते हैं, लेकिन वे फीचर समुच्चय का उत्पादन करते हैं जो विशिष्ट प्रकार के पूर्वानुमानित मॉडल के अनुरूप नहीं होता है।<ref>{{cite journal|author1=Yishi Zhang|author2=Shujuan Li|author3=Teng Wang|author4=Zigang Zhang|title=अलग-अलग वर्गों के लिए विचलन-आधारित सुविधा चयन|journal=Neurocomputing|date=2013|volume=101|issue=4|pages=32–42|doi=10.1016/j.neucom.2012.06.036}}</ref> ट्यूनिंग की इस कमी का मतलब है कि फ़िल्टर से समुच्चय किया गया फीचर रैपर से समुच्चय की तुलना में अधिक सामान्य है, आमतौर पर रैपर की तुलना में कम पूर्वानुमान प्रदर्शन देता है। हालाँकि फीचर समुच्चय में भविष्यवाणी मॉडल की धारणाएँ शामिल नहीं हैं, और इसलिए यह सुविधाओं के बीच संबंधों को उजागर करने के लिए अधिक उपयोगी है। अनेक फ़िल्टर स्पष्ट सर्वोत्तम फीचर उपसमुच्चय के बजाय फीचर रैंकिंग प्रदान करते हैं, और रैंकिंग में कट-ऑफ पॉइंट क्रॉस-वैलिडेशन (सांख्यिकी)|क्रॉस-वैलिडेशन के माध्यम से चुना जाता है। फ़िल्टर विधियों का उपयोग रैपर विधियों के लिए प्रीप्रोसेसिंग चरण के रूप में भी किया गया है, जिससे बड़ी समस्याओं पर रैपर का उपयोग किया जा सकता है। अन्य लोकप्रिय दृष्टिकोण रिकर्सिव फ़ीचर एलिमिनेशन एल्गोरिदम है,<ref>{{cite journal|author1=Guyon I.|author2=Weston J.|author3=Barnhill S.|author4=Vapnik V.|title=सपोर्ट वेक्टर मशीनों का उपयोग करके कैंसर वर्गीकरण के लिए जीन चयन|journal=Machine Learning|date=2002|volume=46|issue=1–3|pages=389–422|doi=10.1023/A:1012487302797|doi-access=free}}</ref> आमतौर पर मॉडल का बार-बार निर्माण करने और कम वजन वाले फीचर्स को हटाने के लिए [[ समर्थन वेक्टर मशीन |समर्थन वेक्टर मशीन]] के साथ उपयोग किया जाता है। | ||
* एंबेडेड विधियां तकनीकों का समूह है जो मॉडल निर्माण प्रक्रिया के हिस्से के रूप में फीचर चयन करती है। इस दृष्टिकोण का उदाहरण रेखीय मॉडल के निर्माण के लिए लासो (सांख्यिकी) विधि है, जो प्रतिगमन गुणांक को एल 1 दंड के साथ दंडित करता है, उनमें से | * एंबेडेड विधियां तकनीकों का समूह है जो मॉडल निर्माण प्रक्रिया के हिस्से के रूप में फीचर चयन करती है। इस दृष्टिकोण का उदाहरण रेखीय मॉडल के निर्माण के लिए लासो (सांख्यिकी) विधि है, जो प्रतिगमन गुणांक को एल 1 दंड के साथ दंडित करता है, उनमें से अनेक को शून्य तक सिकोड़ देता है। कोई भी विशेषता जिसमें गैर-शून्य प्रतिगमन गुणांक है, उसे लैस्सो एल्गोरिथ्म द्वारा 'चयनित' किया जाता है। लैस्सो में सुधारों में बोलासो शामिल है जो नमूनों को बूटस्ट्रैप करता है;<ref name=Bolasso>{{Cite book|last1=Bach|first1=Francis R|title=Bolasso: model consistent lasso estimation through the bootstrap|journal=Proceedings of the 25th International Conference on Machine Learning|date=2008|pages=33–40|doi=10.1145/1390156.1390161|isbn=9781605582054|s2cid=609778}}</ref> [[इलास्टिक नेट नियमितीकरण]], जो लैस्सो के L1 दंड को [[ रिज प्रतिगमन |रिज प्रतिगमन]] के L2 दंड के साथ जोड़ता है; और FeaLect जो प्रतिगमन गुणांक के संयुक्त विश्लेषण के आधार पर सभी विशेषताओं को स्कोर करता है।<ref name=FeaLect>{{cite journal|last1=Zare|first1=Habil|title=लिंफोमा निदान के अनुप्रयोग के साथ लैस्सो के संयुक्त विश्लेषण के आधार पर सुविधाओं की प्रासंगिकता का स्कोरिंग|journal=BMC Genomics|date=2013|volume=14|issue=Suppl 1 |pages=S14|doi=10.1186/1471-2164-14-S1-S14|pmid=23369194|pmc=3549810}}</ref> AEFS आगे लैस्सो को ऑटोएन्कोडर्स के साथ नॉनलाइनियर परिदृश्य तक विस्तारित करता है।<ref>{{cite conference |author1=Kai Han|author2=Yunhe Wang|author3=Chao Zhang|author4=Chao Li|author5=Chao Xu|title=ऑटोएन्कोडर ने बिना पर्यवेक्षित सुविधा चयन को प्रेरित किया|conference=IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) |year=2018}}</ref> कम्प्यूटेशनल जटिलता के संदर्भ में ये दृष्टिकोण फिल्टर और रैपर के बीच होते हैं। | ||
पारंपरिक [[प्रतिगमन विश्लेषण]] में, फीचर चयन का सबसे लोकप्रिय रूप [[चरणबद्ध प्रतिगमन]] है, जो रैपर तकनीक है। यह [[लालची एल्गोरिदम]] है जो प्रत्येक दौर में सबसे अच्छी सुविधा जोड़ता है (या सबसे खराब सुविधा हटा देता है)। मुख्य नियंत्रण मुद्दा यह तय करना है कि एल्गोरिदम को कब रोकना है। मशीन लर्निंग में, यह आम तौर पर क्रॉस-वैलिडेशन (सांख्यिकी)|क्रॉस-वैलिडेशन द्वारा किया जाता है। आँकड़ों में, कुछ मानदंड अनुकूलित किए गए हैं। इससे घोंसला बनाने की अंतर्निहित समस्या उत्पन्न होती है। अधिक मजबूत तरीकों का पता लगाया गया है, जैसे शाखा और बाउंड और टुकड़े-टुकड़े रैखिक नेटवर्क। | पारंपरिक [[प्रतिगमन विश्लेषण]] में, फीचर चयन का सबसे लोकप्रिय रूप [[चरणबद्ध प्रतिगमन]] है, जो रैपर तकनीक है। यह [[लालची एल्गोरिदम]] है जो प्रत्येक दौर में सबसे अच्छी सुविधा जोड़ता है (या सबसे खराब सुविधा हटा देता है)। मुख्य नियंत्रण मुद्दा यह तय करना है कि एल्गोरिदम को कब रोकना है। मशीन लर्निंग में, यह आम तौर पर क्रॉस-वैलिडेशन (सांख्यिकी)|क्रॉस-वैलिडेशन द्वारा किया जाता है। आँकड़ों में, कुछ मानदंड अनुकूलित किए गए हैं। इससे घोंसला बनाने की अंतर्निहित समस्या उत्पन्न होती है। अधिक मजबूत तरीकों का पता लगाया गया है, जैसे शाखा और बाउंड और टुकड़े-टुकड़े रैखिक नेटवर्क। | ||
== | ==उपसमुच्चय चयन== | ||
उपसमुच्चय चयन उपयुक्तता के लिए समूह के रूप में सुविधाओं के उपसमुच्चय का मूल्यांकन करता है। उपसमुच्चय [[खोज एल्गोरिथ्म]] को रैपर, फिल्टर और एम्बेडेड तरीकों में विभाजित किया जा सकता है। रैपर्स संभावित सुविधाओं के स्थान के माध्यम से खोज करने के लिए खोज एल्गोरिदम का उपयोग करते हैं और उपसमुच्चय पर मॉडल चलाकर प्रत्येक उपसमुच्चय का मूल्यांकन करते हैं। रैपर कम्प्यूटेशनल रूप से महंगे हो सकते हैं और मॉडल में अधिक फिट होने का जोखिम हो सकता है। खोज दृष्टिकोण में फ़िल्टर रैपर के समान होते हैं, लेकिन किसी मॉडल के विरुद्ध मूल्यांकन करने के बजाय, सरल फ़िल्टर का मूल्यांकन किया जाता है। एंबेडेड तकनीकें मॉडल में अंतर्निहित और विशिष्ट होती हैं। | |||
अनेक लोकप्रिय खोज दृष्टिकोण लालची एल्गोरिदम [[पहाड़ी की चढ़ाई]] का उपयोग करते हैं, जो सुविधाओं के उम्मीदवार उपसमूह का पुनरावृत्तीय मूल्यांकन करता है, फिर उपसमूह को संशोधित करता है और मूल्यांकन करता है कि क्या नया उपसमूह पुराने की तुलना में सुधार है। उपसमुच्चय के मूल्यांकन के लिए स्कोरिंग मीट्रिक (गणित) की आवश्यकता होती है जो सुविधाओं के उपसमूह को ग्रेड करती है। व्यापक खोज आम तौर पर अव्यावहारिक होती है, इसलिए कुछ कार्यान्वयनकर्ता (या ऑपरेटर) परिभाषित स्टॉपिंग बिंदु पर, उस बिंदु तक खोजे गए उच्चतम स्कोर वाले सुविधाओं के उपसमुच्चय को संतोषजनक सुविधा उपसमुच्चय के रूप में चुना जाता है। रोकने का मानदंड एल्गोरिथम के अनुसार भिन्न होता है; संभावित मानदंडों में शामिल हैं: उपसमुच्चय स्कोर सीमा से अधिक है, प्रोग्राम का अधिकतम अनुमत रन समय पार हो गया है, आदि। | |||
वैकल्पिक खोज-आधारित तकनीकें [[लक्षित प्रक्षेपण खोज]] पर आधारित होती हैं जो उच्च स्कोर वाले डेटा के निम्न-आयामी अनुमानों का पता लगाती हैं: फिर उन विशेषताओं का चयन किया जाता है जिनके निचले-आयामी स्थान में सबसे बड़े प्रक्षेपण होते हैं। | वैकल्पिक खोज-आधारित तकनीकें [[लक्षित प्रक्षेपण खोज]] पर आधारित होती हैं जो उच्च स्कोर वाले डेटा के निम्न-आयामी अनुमानों का पता लगाती हैं: फिर उन विशेषताओं का चयन किया जाता है जिनके निचले-आयामी स्थान में सबसे बड़े प्रक्षेपण होते हैं। | ||
| Line 43: | Line 43: | ||
</ref><ref>{{Cite book|chapter-url=https://dl.acm.org/doi/abs/10.1145/3449726.3459481|doi = 10.1145/3449726.3459481|chapter = Scatter search for high-dimensional feature selection using feature grouping|title = आनुवंशिक और विकासवादी संगणना सम्मेलन साथी की कार्यवाही|year = 2021|last1 = García-Torres|first1 = Miguel|last2 = Gómez-Vela|first2 = Francisco|last3 = Divina|first3 = Federico|last4 = Pinto-Roa|first4 = Diego P.|last5 = Noguera|first5 = José Luis Vázquez|last6 = Román|first6 = Julio C. Mello|pages = 149–150|isbn = 9781450383516|s2cid = 235770316}}</ref> | </ref><ref>{{Cite book|chapter-url=https://dl.acm.org/doi/abs/10.1145/3449726.3459481|doi = 10.1145/3449726.3459481|chapter = Scatter search for high-dimensional feature selection using feature grouping|title = आनुवंशिक और विकासवादी संगणना सम्मेलन साथी की कार्यवाही|year = 2021|last1 = García-Torres|first1 = Miguel|last2 = Gómez-Vela|first2 = Francisco|last3 = Divina|first3 = Federico|last4 = Pinto-Roa|first4 = Diego P.|last5 = Noguera|first5 = José Luis Vázquez|last6 = Román|first6 = Julio C. Mello|pages = 149–150|isbn = 9781450383516|s2cid = 235770316}}</ref> | ||
* [[परिवर्तनीय पड़ोस खोज]]<ref>F.C. Garcia-Lopez, M. Garcia-Torres, B. Melian, J.A. Moreno-Perez, J.M. Moreno-Vega. [https://web.archive.org/web/20190830132140/https://pdfs.semanticscholar.org/9428/2985d2c2ea4eb9f49846bedc12003a47db49.pdf Solving Feature Subset Selection Problem by a Hybrid Metaheuristic]. In ''First International Workshop on Hybrid Metaheuristics'', pp. 59–68, 2004.</ref><ref>M. Garcia-Torres, F. Gomez-Vela, B. Melian, J.M. Moreno-Vega. [https://www.researchgate.net/profile/Miguel_Garcia_Torres/publication/229763203_Parallel_Scatter_Search/links/5b2788a00f7e9be8bdaeb0d0/Parallel-Scatter-Search.pdf High-dimensional feature selection via feature grouping: A Variable Neighborhood Search approach], ''Information Sciences'', vol. 326, pp. 102-118, 2016.</ref> | * [[परिवर्तनीय पड़ोस खोज]]<ref>F.C. Garcia-Lopez, M. Garcia-Torres, B. Melian, J.A. Moreno-Perez, J.M. Moreno-Vega. [https://web.archive.org/web/20190830132140/https://pdfs.semanticscholar.org/9428/2985d2c2ea4eb9f49846bedc12003a47db49.pdf Solving Feature Subset Selection Problem by a Hybrid Metaheuristic]. In ''First International Workshop on Hybrid Metaheuristics'', pp. 59–68, 2004.</ref><ref>M. Garcia-Torres, F. Gomez-Vela, B. Melian, J.M. Moreno-Vega. [https://www.researchgate.net/profile/Miguel_Garcia_Torres/publication/229763203_Parallel_Scatter_Search/links/5b2788a00f7e9be8bdaeb0d0/Parallel-Scatter-Search.pdf High-dimensional feature selection via feature grouping: A Variable Neighborhood Search approach], ''Information Sciences'', vol. 326, pp. 102-118, 2016.</ref> | ||
वर्गीकरण समस्याओं के लिए दो लोकप्रिय फ़िल्टर मेट्रिक्स सहसंबंध और पारस्परिक जानकारी हैं, हालांकि गणितीय अर्थ में कोई भी वास्तविक मीट्रिक (गणित) या 'दूरी माप' नहीं है, क्योंकि वे त्रिकोण असमानता का पालन करने में विफल रहते हैं और इस प्रकार किसी भी वास्तविक 'दूरी' की गणना नहीं करते हैं - उन्हें 'स्कोर' के रूप में माना जाना चाहिए। इन अंकों की गणना उम्मीदवार सुविधा (या सुविधाओं के | वर्गीकरण समस्याओं के लिए दो लोकप्रिय फ़िल्टर मेट्रिक्स सहसंबंध और पारस्परिक जानकारी हैं, हालांकि गणितीय अर्थ में कोई भी वास्तविक मीट्रिक (गणित) या 'दूरी माप' नहीं है, क्योंकि वे त्रिकोण असमानता का पालन करने में विफल रहते हैं और इस प्रकार किसी भी वास्तविक 'दूरी' की गणना नहीं करते हैं - उन्हें 'स्कोर' के रूप में माना जाना चाहिए। इन अंकों की गणना उम्मीदवार सुविधा (या सुविधाओं के समुच्चय) और वांछित आउटपुट श्रेणी के बीच की जाती है। हालाँकि, ऐसे सच्चे मेट्रिक्स हैं जो पारस्परिक जानकारी का सरल कार्य हैं;<ref>{{Cite journal|arxiv=q-bio/0311039|last1=Kraskov|first1=Alexander|title=पारस्परिक सूचना पर आधारित पदानुक्रमित क्लस्टरिंग|last2=Stögbauer|first2=Harald|last3=Andrzejak|first3=Ralph G|last4=Grassberger|first4=Peter|year=2003|bibcode=2003q.bio....11039K}}</ref> आपसी जानकारी देखें#मीट्रिक। | ||
अन्य उपलब्ध फ़िल्टर मेट्रिक्स में शामिल हैं: | अन्य उपलब्ध फ़िल्टर मेट्रिक्स में शामिल हैं: | ||
| Line 56: | Line 56: | ||
==इष्टतमता मानदंड== | ==इष्टतमता मानदंड== | ||
इष्टतमता मानदंड का चुनाव कठिन है क्योंकि सुविधा चयन कार्य में | इष्टतमता मानदंड का चुनाव कठिन है क्योंकि सुविधा चयन कार्य में अनेक उद्देश्य होते हैं। अनेक सामान्य मानदंडों में सटीकता का माप शामिल होता है, जिसे चयनित सुविधाओं की संख्या द्वारा दंडित किया जाता है। उदाहरणों में अकाइक सूचना मानदंड (एआईसी) और मैलोज़ सीपी|मैलोज़ सी शामिल हैं<sub>p</sub>, जिसमें प्रत्येक अतिरिक्त सुविधा के लिए 2 का जुर्माना है। एआईसी [[सूचना सिद्धांत]] पर आधारित है, और प्रभावी रूप से [[अधिकतम एन्ट्रापी सिद्धांत]] के माध्यम से प्राप्त होता है।<ref>{{Citation | first=H. |last=Akaike |author-link=Hirotugu Akaike | contribution = Prediction and entropy | pages=1–24 | title= A Celebration of Statistics | editor1-first= A. C. | editor1-last= Atkinson | editor2-first= S. E. | editor2-last= Fienberg | editor2-link= Stephen Fienberg | year = 1985 | publisher= Springer|url=https://apps.dtic.mil/dtic/tr/fulltext/u2/a120956.pdf|archive-url=https://web.archive.org/web/20190830132141/https://apps.dtic.mil/dtic/tr/fulltext/u2/a120956.pdf|url-status=live|archive-date=August 30, 2019}}.</ref><ref>{{Citation |last1=Burnham |first1=K. P. |last2=Anderson |first2=D. R. |year=2002 |title=Model Selection and Multimodel Inference: A practical information-theoretic approach |edition=2nd |publisher= [[Springer-Verlag]] |url=https://books.google.com/books?id=fT1Iu-h6E-oC|isbn=9780387953649 }}.</ref> | ||
अन्य मानदंड [[बायेसियन सूचना मानदंड]] (बीआईसी) हैं, जो दंड का उपयोग करता है <math>\sqrt{\log{n}}</math> प्रत्येक जोड़ी गई सुविधा के लिए, [[न्यूनतम विवरण लंबाई]] (एमडीएल) जो असम्बद्ध रूप से उपयोग करती है <math>\sqrt{\log{n}}</math>, [[बोनफेरोनी सुधार]] / आरआईसी जो उपयोग करता है <math>\sqrt{2\log{p}}</math>, अधिकतम निर्भरता सुविधा चयन, और विभिन्न प्रकार के नए मानदंड जो [[झूठी खोज दर]] (एफडीआर) से प्रेरित होते हैं, जो करीब कुछ का उपयोग करते हैं <math>\sqrt{2\log{\frac{p}{q}}}</math>. सुविधाओं के सबसे प्रासंगिक उपसमूह का चयन करने के लिए अधिकतम [[एन्ट्रापी दर]] मानदंड का भी उपयोग किया जा सकता है।<ref>{{cite journal |last1=Einicke |first1=G. A. |title=दौड़ने के दौरान घुटने और टखने की गतिशीलता में परिवर्तन को वर्गीकृत करने के लिए सुविधाओं का अधिकतम-एंट्रॉपी दर चयन|journal=IEEE Journal of Biomedical and Health Informatics |volume=28 |issue=4 |pages=1097–1103 |year=2018 |doi= 10.1109/JBHI.2017.2711487 |pmid=29969403 |s2cid=49555941 }}</ref> | अन्य मानदंड [[बायेसियन सूचना मानदंड]] (बीआईसी) हैं, जो दंड का उपयोग करता है <math>\sqrt{\log{n}}</math> प्रत्येक जोड़ी गई सुविधा के लिए, [[न्यूनतम विवरण लंबाई]] (एमडीएल) जो असम्बद्ध रूप से उपयोग करती है <math>\sqrt{\log{n}}</math>, [[बोनफेरोनी सुधार]] / आरआईसी जो उपयोग करता है <math>\sqrt{2\log{p}}</math>, अधिकतम निर्भरता सुविधा चयन, और विभिन्न प्रकार के नए मानदंड जो [[झूठी खोज दर]] (एफडीआर) से प्रेरित होते हैं, जो करीब कुछ का उपयोग करते हैं <math>\sqrt{2\log{\frac{p}{q}}}</math>. सुविधाओं के सबसे प्रासंगिक उपसमूह का चयन करने के लिए अधिकतम [[एन्ट्रापी दर]] मानदंड का भी उपयोग किया जा सकता है।<ref>{{cite journal |last1=Einicke |first1=G. A. |title=दौड़ने के दौरान घुटने और टखने की गतिशीलता में परिवर्तन को वर्गीकृत करने के लिए सुविधाओं का अधिकतम-एंट्रॉपी दर चयन|journal=IEEE Journal of Biomedical and Health Informatics |volume=28 |issue=4 |pages=1097–1103 |year=2018 |doi= 10.1109/JBHI.2017.2711487 |pmid=29969403 |s2cid=49555941 }}</ref> | ||
==संरचना सीखना== | ==संरचना सीखना== | ||
फ़िल्टर सुविधा चयन अधिक सामान्य प्रतिमान का विशिष्ट मामला है जिसे [[संरचित भविष्यवाणी]] कहा जाता है। फ़ीचर चयन विशिष्ट लक्ष्य चर के लिए प्रासंगिक फ़ीचर | फ़िल्टर सुविधा चयन अधिक सामान्य प्रतिमान का विशिष्ट मामला है जिसे [[संरचित भविष्यवाणी]] कहा जाता है। फ़ीचर चयन विशिष्ट लक्ष्य चर के लिए प्रासंगिक फ़ीचर समुच्चय ढूंढता है जबकि संरचना शिक्षण सभी चर के बीच संबंधों को ढूंढता है, आमतौर पर इन रिश्तों को ग्राफ के रूप में व्यक्त करके। सबसे आम संरचना सीखने वाले एल्गोरिदम मानते हैं कि डेटा [[बायेसियन नेटवर्क]] द्वारा उत्पन्न होता है, और इसलिए संरचना [[निर्देशित ग्राफ]] [[ चित्रमय मॉडल |चित्रमय मॉडल]] है। फ़िल्टर सुविधा चयन समस्या का इष्टतम समाधान लक्ष्य नोड का [[मार्कोव कंबल]] है, और बायेसियन नेटवर्क में, प्रत्येक नोड के लिए अद्वितीय मार्कोव कंबल है।<ref>{{cite journal|last1=Aliferis|first1=Constantin|title=Local causal and markov blanket induction for causal discovery and feature selection for classification part I: Algorithms and empirical evaluation|journal=Journal of Machine Learning Research|date=2010|volume=11|pages=171–234|url=http://jmlr.org/papers/volume11/aliferis10a/aliferis10a.pdf}}</ref> | ||
| Line 69: | Line 69: | ||
# सभी सुविधाओं के बीच स्कोर के रूप में पारस्परिक जानकारी की गणना करें (<math> f_{i} \in F </math>) और लक्ष्य वर्ग ({{mvar|c}}) | # सभी सुविधाओं के बीच स्कोर के रूप में पारस्परिक जानकारी की गणना करें (<math> f_{i} \in F </math>) और लक्ष्य वर्ग ({{mvar|c}}) | ||
# सबसे बड़े स्कोर वाली सुविधा का चयन करें (उदा. <math>\underset{f_{i} \in F}\operatorname{argmax}(I(f_{i},c))</math>) और इसे चयनित सुविधाओं के | # सबसे बड़े स्कोर वाली सुविधा का चयन करें (उदा. <math>\underset{f_{i} \in F}\operatorname{argmax}(I(f_{i},c))</math>) और इसे चयनित सुविधाओं के समुच्चय में जोड़ें ({{mvar|S}}) | ||
# उस स्कोर की गणना करें जो पारस्परिक जानकारी से प्राप्त किया जा सकता है | # उस स्कोर की गणना करें जो पारस्परिक जानकारी से प्राप्त किया जा सकता है | ||
# सबसे बड़े स्कोर वाली सुविधा का चयन करें और इसे चुनिंदा सुविधाओं के | # सबसे बड़े स्कोर वाली सुविधा का चयन करें और इसे चुनिंदा सुविधाओं के समुच्चय में जोड़ें (उदाहरण के लिए) <math>\underset{f_{i} \in F}\operatorname{argmax}(I_{derived}(f_{i},c))</math>) | ||
# 3. और 4. को तब तक दोहराएँ जब तक कि निश्चित संख्या में सुविधाओं का चयन न हो जाए (उदाहरण के लिए) <math>|S|=l</math>) | # 3. और 4. को तब तक दोहराएँ जब तक कि निश्चित संख्या में सुविधाओं का चयन न हो जाए (उदाहरण के लिए) <math>|S|=l</math>) | ||
| Line 78: | Line 78: | ||
===न्यूनतम-अतिरेक-अधिकतम-प्रासंगिकता (एमआरएमआर) सुविधा चयन=== | ===न्यूनतम-अतिरेक-अधिकतम-प्रासंगिकता (एमआरएमआर) सुविधा चयन=== | ||
पेंग एट अल.<ref>{{cite journal |last1=Peng |first1=H. C. |last2=Long |first2=F. |last3=Ding |first3=C. |title=Feature selection based on mutual information: criteria of max-dependency, max-relevance, and min-redundancy |journal= [[IEEE Transactions on Pattern Analysis and Machine Intelligence]] |volume=27 |issue=8 |pages=1226–1238 |year=2005 |doi=10.1109/TPAMI.2005.159 |pmid=16119262|citeseerx=10.1.1.63.5765 |s2cid=206764015 }} [http://home.penglab.com/proj/mRMR/index.htm Program]</ref> सुविधा चयन विधि प्रस्तावित की गई जो सुविधाओं का चयन करने के लिए पारस्परिक जानकारी, सहसंबंध, या दूरी/समानता स्कोर का उपयोग कर सकती है। इसका उद्देश्य अन्य चयनित सुविधाओं की उपस्थिति में किसी सुविधा की प्रासंगिकता को उसके अतिरेक द्वारा दंडित करना है। फीचर | पेंग एट अल.<ref>{{cite journal |last1=Peng |first1=H. C. |last2=Long |first2=F. |last3=Ding |first3=C. |title=Feature selection based on mutual information: criteria of max-dependency, max-relevance, and min-redundancy |journal= [[IEEE Transactions on Pattern Analysis and Machine Intelligence]] |volume=27 |issue=8 |pages=1226–1238 |year=2005 |doi=10.1109/TPAMI.2005.159 |pmid=16119262|citeseerx=10.1.1.63.5765 |s2cid=206764015 }} [http://home.penglab.com/proj/mRMR/index.htm Program]</ref> सुविधा चयन विधि प्रस्तावित की गई जो सुविधाओं का चयन करने के लिए पारस्परिक जानकारी, सहसंबंध, या दूरी/समानता स्कोर का उपयोग कर सकती है। इसका उद्देश्य अन्य चयनित सुविधाओं की उपस्थिति में किसी सुविधा की प्रासंगिकता को उसके अतिरेक द्वारा दंडित करना है। फीचर समुच्चय की प्रासंगिकता {{mvar|S}} कक्षा के लिए {{mvar|c}} को व्यक्तिगत सुविधा के बीच सभी पारस्परिक सूचना मूल्यों के औसत मूल्य से परिभाषित किया गया है {{math|''f<sub>i</sub>''}} और कक्षा {{mvar|c}} निम्नलिखित नुसार: | ||
:<math> D(S,c) = \frac{1}{|S|}\sum_{f_{i}\in S}I(f_{i};c) </math>. | :<math> D(S,c) = \frac{1}{|S|}\sum_{f_{i}\in S}I(f_{i};c) </math>. | ||
समुच्चय में सभी सुविधाओं का अतिरेक {{mvar|S}} सुविधा के बीच सभी पारस्परिक सूचना मूल्यों का औसत मूल्य है {{math|''f<sub>i</sub>''}} और सुविधा {{math|''f<sub>j</sub>''}}: | |||
:<math> R(S) = \frac{1}{|S|^{2}}\sum_{f_{i},f_{j}\in S}I(f_{i};f_{j})</math> | :<math> R(S) = \frac{1}{|S|^{2}}\sum_{f_{i},f_{j}\in S}I(f_{i};f_{j})</math> | ||
| Line 90: | Line 90: | ||
\left[\frac{1}{|S|}\sum_{f_{i}\in S}I(f_{i};c) - | \left[\frac{1}{|S|}\sum_{f_{i}\in S}I(f_{i};c) - | ||
\frac{1}{|S|^{2}}\sum_{f_{i},f_{j}\in S}I(f_{i};f_{j})\right].</math> | \frac{1}{|S|^{2}}\sum_{f_{i},f_{j}\in S}I(f_{i};f_{j})\right].</math> | ||
मान लीजिए कि वहाँ हैं {{mvar|n}} पूर्ण- | मान लीजिए कि वहाँ हैं {{mvar|n}} पूर्ण-समुच्चय सुविधाएँ। होने देना {{math|''x<sub>i</sub>''}} फीचर के लिए समुच्चय सदस्यता संकेतक फ़ंक्शन बनें {{math|''f<sub>i</sub>''}}, ताकि {{math|1=''x<sub>i</sub>''=1}} उपस्थिति को इंगित करता है और {{math|1=''x<sub>i</sub>''=0}} सुविधा की अनुपस्थिति को दर्शाता है {{math|''f<sub>i</sub>''}} विश्व स्तर पर इष्टतम सुविधा समुच्चय में। होने देना <math>c_i=I(f_i;c)</math> और <math>a_{ij}=I(f_i;f_j)</math>. फिर उपरोक्त को अनुकूलन समस्या के रूप में लिखा जा सकता है: | ||
:<math>\mathrm{mRMR}= \max_{x\in \{0,1\}^{n}} | :<math>\mathrm{mRMR}= \max_{x\in \{0,1\}^{n}} | ||
| Line 96: | Line 96: | ||
\frac{\sum^{n}_{i,j=1}a_{ij}x_{i}x_{j}} | \frac{\sum^{n}_{i,j=1}a_{ij}x_{i}x_{j}} | ||
{(\sum^{n}_{i=1}x_{i})^{2}}\right].</math> | {(\sum^{n}_{i=1}x_{i})^{2}}\right].</math> | ||
एमआरएमआर एल्गोरिदम सैद्धांतिक रूप से इष्टतम अधिकतम-निर्भरता सुविधा चयन एल्गोरिदम का अनुमान है जो चयनित सुविधाओं के संयुक्त वितरण और वर्गीकरण चर के बीच पारस्परिक जानकारी को अधिकतम करता है। चूंकि एमआरएमआर बहुत छोटी समस्याओं की श्रृंखला के साथ संयोजन अनुमान समस्या का अनुमान लगाता है, जिनमें से प्रत्येक में केवल दो चर शामिल होते हैं, इस प्रकार यह जोड़ीदार संयुक्त संभावनाओं का उपयोग करता है जो अधिक मजबूत होते हैं। कुछ स्थितियों में एल्गोरिदम सुविधाओं की उपयोगिता को कम आंक सकता है क्योंकि इसमें उन सुविधाओं के बीच इंटरैक्शन को मापने का कोई तरीका नहीं है जो प्रासंगिकता बढ़ा सकते हैं। इससे खराब प्रदर्शन हो सकता है<ref name="Brown" />जब विशेषताएँ व्यक्तिगत रूप से बेकार होती हैं, लेकिन संयुक्त होने पर उपयोगी होती हैं (एक पैथोलॉजिकल मामला तब पाया जाता है जब वर्ग सुविधाओं का समता कार्य होता है)। कुल मिलाकर एल्गोरिथ्म सैद्धांतिक रूप से इष्टतम अधिकतम-निर्भरता चयन की तुलना में अधिक कुशल (आवश्यक डेटा की मात्रा के संदर्भ में) है, फिर भी कम जोड़ीदार अतिरेक के साथ फीचर | एमआरएमआर एल्गोरिदम सैद्धांतिक रूप से इष्टतम अधिकतम-निर्भरता सुविधा चयन एल्गोरिदम का अनुमान है जो चयनित सुविधाओं के संयुक्त वितरण और वर्गीकरण चर के बीच पारस्परिक जानकारी को अधिकतम करता है। चूंकि एमआरएमआर बहुत छोटी समस्याओं की श्रृंखला के साथ संयोजन अनुमान समस्या का अनुमान लगाता है, जिनमें से प्रत्येक में केवल दो चर शामिल होते हैं, इस प्रकार यह जोड़ीदार संयुक्त संभावनाओं का उपयोग करता है जो अधिक मजबूत होते हैं। कुछ स्थितियों में एल्गोरिदम सुविधाओं की उपयोगिता को कम आंक सकता है क्योंकि इसमें उन सुविधाओं के बीच इंटरैक्शन को मापने का कोई तरीका नहीं है जो प्रासंगिकता बढ़ा सकते हैं। इससे खराब प्रदर्शन हो सकता है<ref name="Brown" />जब विशेषताएँ व्यक्तिगत रूप से बेकार होती हैं, लेकिन संयुक्त होने पर उपयोगी होती हैं (एक पैथोलॉजिकल मामला तब पाया जाता है जब वर्ग सुविधाओं का समता कार्य होता है)। कुल मिलाकर एल्गोरिथ्म सैद्धांतिक रूप से इष्टतम अधिकतम-निर्भरता चयन की तुलना में अधिक कुशल (आवश्यक डेटा की मात्रा के संदर्भ में) है, फिर भी कम जोड़ीदार अतिरेक के साथ फीचर समुच्चय तैयार करता है। | ||
एमआरएमआर फ़िल्टर विधियों के बड़े वर्ग का उदाहरण है जो विभिन्न तरीकों से प्रासंगिकता और अतिरेक के बीच व्यापार करता है।<ref name="Brown"/><ref name="docs.google">Nguyen, H., Franke, K., Petrovic, S. (2010). "Towards a Generic Feature-Selection Measure for Intrusion Detection", In Proc. International Conference on Pattern Recognition (ICPR), Istanbul, Turkey. [https://www.researchgate.net/publication/220928649_Towards_a_Generic_Feature-Selection_Measure_for_Intrusion_Detection?ev=prf_pub]</ref> | एमआरएमआर फ़िल्टर विधियों के बड़े वर्ग का उदाहरण है जो विभिन्न तरीकों से प्रासंगिकता और अतिरेक के बीच व्यापार करता है।<ref name="Brown"/><ref name="docs.google">Nguyen, H., Franke, K., Petrovic, S. (2010). "Towards a Generic Feature-Selection Measure for Intrusion Detection", In Proc. International Conference on Pattern Recognition (ICPR), Istanbul, Turkey. [https://www.researchgate.net/publication/220928649_Towards_a_Generic_Feature-Selection_Measure_for_Intrusion_Detection?ev=prf_pub]</ref> | ||
| Line 139: | Line 139: | ||