फीचर चयन: Difference between revisions

[[ यंत्र अधिगम | मशीन लर्निंग]] और सांख्यिकी में, '''फीचर''' '''सिलेक्शन''' होता हैं, जिसे वैरिएबल सिलेक्शन , विशेषता सिलेक्शन या वैरिएबल सबसेट सिलेक्शन के रूप में भी जाना जाता है | यह मॉडल निर्माण में उपयोग के लिए प्रासंगिक [[ फ़ीचर (मशीन लर्निंग) |फीचर (मशीन लर्निंग)]] (वेरिएबल , प्रडिक्टर) के सबसेट का सिलेक्शन करने की प्रक्रिया है। फीचर सिलेक्शन तकनीकों का उपयोग अनेक कारणों से किया जाता है |

:* शोधकर्ताओं/उपयोगकर्ताओं द्वारा व्याख्या करना और उसको सरल बनाने के लिए मॉडलों का सरलीकरण,<ref name="islr">{{cite book |author1=Gareth James |author2=Daniela Witten |author3=Trevor Hastie |author4=Robert Tibshirani |title=सांख्यिकीय शिक्षा का एक परिचय|publisher=Springer |year=2013 |url=http://www-bcf.usc.edu/~gareth/ISL/ |page=204}}</ref>

:* कम समय में प्रशिक्षण,<ref>{{Citation|last1=Brank|first1=Janez|title=Feature Selection|date=2011|url=http://link.springer.com/10.1007/978-0-387-30164-8_306|encyclopedia=Encyclopedia of Machine Learning|pages=402–406|editor-last=Sammut|editor-first=Claude|place=Boston, MA|publisher=Springer US|language=en|doi=10.1007/978-0-387-30164-8_306|isbn=978-0-387-30768-8|access-date=2021-07-13|last2=Mladenić|first2=Dunja|last3=Grobelnik|first3=Marko|last4=Liu|first4=Huan|last5=Mladenić|first5=Dunja|last6=Flach|first6=Peter A.|last7=Garriga|first7=Gemma C.|last8=Toivonen|first8=Hannu|last9=Toivonen|first9=Hannu|editor2-last=Webb|editor2-first=Geoffrey I.}}</ref>

:* आयामीता के कर्स से बचने के लिए,<ref>{{Cite journal|last=Kramer|first=Mark A.|date=1991|title=ऑटोएसोसिएटिव न्यूरल नेटवर्क का उपयोग करके नॉनलाइनियर प्रमुख घटक विश्लेषण|url=https://aiche.onlinelibrary.wiley.com/doi/abs/10.1002/aic.690370209|journal=AIChE Journal|language=en|volume=37|issue=2|pages=233–243|doi=10.1002/aic.690370209|issn=1547-5905}}</ref>

:*इनपुट स्थान में उपस्थित अंतर्निहित [[सममित स्थान]] को एनकोड करें। <ref>{{Cite book|last1=Persello|first1=Claudio|last2=Bruzzone|first2=Lorenzo|title=2014 IEEE Geoscience and Remote Sensing Symposium |chapter=Relevant and invariant feature selection of hyperspectral images for domain generalization |date=July 2014|chapter-url=http://dx.doi.org/10.1109/igarss.2014.6947252|pages=3562–3565|publisher=IEEE|doi=10.1109/igarss.2014.6947252|isbn=978-1-4799-5775-0|s2cid=8368258|url=https://ris.utwente.nl/ws/files/122945513/Persello2014relevant.pdf }}</ref><ref>{{Cite journal|last1=Hinkle|first1=Jacob|last2=Muralidharan|first2=Prasanna|last3=Fletcher|first3=P. Thomas|last4=Joshi|first4=Sarang|date=2012|editor-last=Fitzgibbon|editor-first=Andrew|editor2-last=Lazebnik|editor2-first=Svetlana|editor3-last=Perona|editor3-first=Pietro|editor4-last=Sato|editor4-first=Yoichi|editor5-last=Schmid|editor5-first=Cordelia|title=रीमैनियन मैनिफोल्ड्स पर बहुपद प्रतिगमन|url=https://link.springer.com/chapter/10.1007/978-3-642-33712-3_1|journal=Computer Vision – ECCV 2012|series=Lecture Notes in Computer Science|volume=7574|language=en|location=Berlin, Heidelberg|publisher=Springer|pages=1–14|doi=10.1007/978-3-642-33712-3_1|isbn=978-3-642-33712-3|arxiv=1201.2395|s2cid=8849753}}</ref><ref>{{Cite journal|last=Yarotsky|first=Dmitry|date=2021-04-30|title=तंत्रिका नेटवर्क द्वारा अपरिवर्तनीय मानचित्रों का सार्वभौमिक अनुमान|url=https://doi.org/10.1007/s00365-021-09546-1|journal=Constructive Approximation|volume=55 |pages=407–474 |language=en|doi=10.1007/s00365-021-09546-1|issn=1432-0940|arxiv=1804.10306|s2cid=13745401}}</ref><ref>{{Cite journal|last1=Hauberg|first1=Søren|last2=Lauze|first2=François|last3=Pedersen|first3=Kim Steenstrup|date=2013-05-01|title=रीमैनियन मैनिफ़ोल्ड्स पर असुगंधित कल्मन फ़िल्टरिंग|url=https://doi.org/10.1007/s10851-012-0372-9|journal=Journal of Mathematical Imaging and Vision|language=en|volume=46|issue=1|pages=103–120|doi=10.1007/s10851-012-0372-9|s2cid=8501814|issn=1573-7683}}</ref>

फीचर सिलेक्शन तकनीक का उपयोग करते समय केंद्रीय आधार यह है कि डेटा में कुछ विशेषताएं सम्मिलित हैं जो तब अनावश्यक हैं या अप्रासंगिक हैं, और इस प्रकार सूचना को अधिक हानि के अतिरिक्त उन्हें हटाया जा सकता है। <ref name="Bermingham-prolog">{{cite journal|last1=Kratsios|first1=Anastasis|last2=Hyndman|first2=Cody|date=June 8, 2021|title=NEU: A Meta-Algorithm for Universal UAP-Invariant Feature Representation|url=https://jmlr.org/papers/v22/18-803.html|journal=[[Journal of Machine Learning Research]]|volume=22|page=10312|doi=10.1038/srep10312 |pmid=25988841 |pmc=4437376 |bibcode=2015NatSR...510312B}}</ref> यह निरर्थक और अप्रासंगिक दो भिन्न-भिन्न धारणाएँ होती हैं, क्योंकि प्रासंगिक विशेषता किसी अन्य प्रासंगिक विशेषता की उपस्थिति में निरर्थक हो सकती है जिसके साथ यह दृढ़ता से सहसंबद्ध होता है।{{r|guyon-intro}}

फीचर सिलेक्शन तकनीकों को फीचर निष्कर्षण से भिन्न किया जाना चाहिए। <ref>{{cite journal

   |page=102795 |doi= 10.1016/j.dsp.2020.102795|arxiv=2007.10729|s2cid=220665533 }}</ref> फीचर निष्कर्षण मूल फीचर्स के कार्यों से नई सुविधाएँ बनाता है, जबकि फीचर सिलेक्शन फीचर्स का सबसेट लौटाता है। फीचर सिलेक्शन तकनीकों का उपयोग अधिकांशतः उन डोमेन में किया जाता है जहाँ अनेक सुविधाएँ और तुलनात्मक रूप से प्रतिरुप (या डेटा बिंदु) होते हैं। फीचर सिलेक्शन के अनुप्रयोग के लिए आदर्श स्तिथियों में [[स्टाइलोमेट्री]] और [[डीएनए माइक्रोएरे]] डेटा का विश्लेषण सम्मिलित होता है, जहां अनेक हजारों विशेषताएं होती हैं, और इसमें कुछ दशको से सैकड़ों प्रतिरुप हैं।

फीचर सिलेक्शन एल्गोरिथ्म को नए फीचर सबसेट के प्रस्ताव के लिए खोज तकनीक के संयोजन के रूप में देखा जा सकता है | इसके साथ ही मूल्यांकन उपाय जो विभिन्न फीचर सबसेट को स्कोर करता है। यह सबसे सरल एल्गोरिदम फीचर्स के प्रत्येक संभावित उपसमूह का परीक्षण करना है जो त्रुटि दर को कम करता है। यह स्थान की विस्तृत खोज है, और यह लघु से लघु फीचर सेट को छोड़कर सभी के लिए कम्प्यूटेशनल रूप से कठिन है। मूल्यांकन मेट्रिक का चुनाव एल्गोरिदम को अधिक रूप से प्रभावित करता है, और यह मूल्यांकन मेट्रिक्स होता हैं जो फीचर सिलेक्शन एल्गोरिदम की तीन मुख्य श्रेणियों के मध्य अंतर करते हैं | इसमें रैपर, फिल्टर और एम्बेडेड विधियां होती हैं। <ref name="guyon-intro">{{cite journal |title=वेरिएबल और फ़ीचर चयन का एक परिचय|first1=Isabelle |last1=Guyon |first2=André |last2=Elisseeff |journal=[[Journal of Machine Learning Research|JMLR]] |volume=3 |year=2003 |url=http://jmlr.csail.mit.edu/papers/v3/guyon03a.html}}</ref>

* रैपर विधियाँ फीचर सबसेट को स्कोर करने के लिए पूर्वानुमानित मॉडल का उपयोग करती हैं। प्रत्येक नए सबसेट का उपयोग मॉडल को प्रशिक्षित करने के लिए किया जाता है, जिसका परीक्षण होल्ड-आउट सेट पर किया जाता है। उस होल्ड-आउट सेट (मॉडल की त्रुटि दर) पर की गई त्रुटियों की संख्या की गणना करने से उस सबसेट के लिए स्कोर मिलता है। चूँकि रैपर विधियाँ प्रत्येक सबसेट के लिए नए मॉडल को प्रशिक्षित करती हैं, वह कम्प्यूटेशनल रूप से बहुत गहन होती हैं, किन्तु सामान्यतः यह उस विशेष प्रकार के मॉडल या विशिष्ट समस्या के लिए सबसे अच्छा प्रदर्शन करने वाला फीचर सेट प्रदान करती हैं।

* फ़िल्टर विधियाँ फीचर सबसेट को स्कोर करने के लिए त्रुटि दर के अतिरिक्त प्रॉक्सी माप का उपयोग करती हैं। फीचर सेट की उपयोगिता को ध्यान में रखते हुए, गणना करने में तीव्र होने के लिए इस उपाय को चुना गया है। सामान्य उपायों में [[आपसी जानकारी|म्यूच्यूअल इनफार्मेशन]] सम्मिलित होती है,<ref name="guyon-intro"/> यह पॉइंटवाइस म्यूच्यूअल इनफार्मेशन हैं ,<ref name="textcat"/> [[पियर्सन उत्पाद-क्षण सहसंबंध गुणांक|पियर्सन प्रोडक्ट-मोमेंट कॉरर्लशन कॉएफिसिएंट]], [[राहत (सुविधा चयन)|रिलीफ (फीचर सिलेक्शन )]] | रिलीफ-बेस्ड एल्गोरिदम हैं,<ref>{{Cite journal|last1=Urbanowicz|first1=Ryan J.|last2=Meeker|first2=Melissa|last3=LaCava|first3=William|last4=Olson|first4=Randal S.|last5=Moore|first5=Jason H.|title=Relief-Based Feature Selection: Introduction and Review|journal=Journal of Biomedical Informatics|volume=85|pages=189–203|arxiv=1711.08421|pmid=30031057|pmc=6299836|year=2018|doi=10.1016/j.jbi.2018.07.014}}</ref> और अंतर/अंतर क्लास दूरी या प्रत्येक वर्ग/फीचर संयोजन के लिए [[सांख्यिकीय परिकल्पना परीक्षण]] के स्कोर सम्मिलित हैं। <ref name="textcat">{{cite conference |last1=Yang |first1=Yiming |first2=Jan O. |last2=Pedersen |title=पाठ वर्गीकरण में फीचर चयन पर एक तुलनात्मक अध्ययन|conference=ICML |year=1997|url=http://www.surdeanu.info/mihai/teaching/ista555-spring15/readings/yang97comparative.pdf}}</ref><ref>{{cite journal |last1=Forman |first1=George |title=पाठ वर्गीकरण के लिए फीचर चयन मेट्रिक्स का एक व्यापक अनुभवजन्य अध्ययन|journal=Journal of Machine Learning Research |volume=3 |year=2003 |pages=1289–1305|url=http://www.jmlr.org/papers/volume3/forman03a/forman03a.pdf}}</ref> फ़िल्टर सामान्यतः रैपर्स की तुलना में कम कम्प्यूटेशनल रूप से गहन होते हैं, किन्तु वह फीचर सेट का उत्पादन करते हैं जो विशिष्ट प्रकार के पूर्वानुमानित मॉडल के अनुरूप नहीं होता है। <ref>{{cite journal|author1=Yishi Zhang|author2=Shujuan Li|author3=Teng Wang|author4=Zigang Zhang|title=अलग-अलग वर्गों के लिए विचलन-आधारित सुविधा चयन|journal=Neurocomputing|date=2013|volume=101|issue=4|pages=32–42|doi=10.1016/j.neucom.2012.06.036}}</ref> ट्यूनिंग की इस कमी का अर्थ है कि फ़िल्टर से सेट किया गया फीचर रैपर से सेट की तुलना में अधिक सामान्य है, सामान्यतः रैपर की तुलना में कम पूर्वानुमान प्रदर्शन देता है। चूँकि फीचर सेट में पूर्वानुमान मॉडल की धारणाएँ सम्मिलित नहीं हैं, और इसलिए यह फीचर्स के मध्य संबंधों को प्रदर्शित करने के लिए अधिक उपयोगी है। अनेक फ़िल्टर स्पष्ट सर्वोत्तम फीचर सबसेट के अतिरिक्त फीचर रैंकिंग प्रदान करते हैं, और रैंकिंग में कट-ऑफ पॉइंट क्रॉस-वैलिडेशन (सांख्यिकी) या क्रॉस-वैलिडेशन के माध्यम से चुना जाता है। फ़िल्टर विधियों का उपयोग रैपर विधियों के लिए प्रीप्रोसेसिंग चरण के रूप में भी किया गया है, जिससे बड़ी समस्याओं पर रैपर का उपयोग किया जा सकता है। अन्य लोकप्रिय दृष्टिकोण रिकर्सिव फीचर एलिमिनेशन एल्गोरिदम है, <ref>{{cite journal|author1=Guyon I.|author2=Weston J.|author3=Barnhill S.|author4=Vapnik V.|title=सपोर्ट वेक्टर मशीनों का उपयोग करके कैंसर वर्गीकरण के लिए जीन चयन|journal=Machine Learning|date=2002|volume=46|issue=1–3|pages=389–422|doi=10.1023/A:1012487302797|doi-access=free}}</ref> सामान्यतः मॉडल का निरंतर निर्माण करने और कम वजन वाले फीचर्स को हटाने के लिए [[ समर्थन वेक्टर मशीन |सपोर्ट वेक्टर मशीन]] के साथ उपयोग किया जाता है।

* एंबेडेड विधियां तकनीकों का समूह होती है जो मॉडल निर्माण प्रक्रिया के भागों के रूप में फीचर सिलेक्शन करती है। इस दृष्टिकोण का उदाहरण रेखीय मॉडल के निर्माण के लिए लासो (सांख्यिकी) विधि होती है, जो प्रतिगमन गुणांक को L1 दंड के साथ दंडित करता है, उनमें से अनेक को शून्य तक संकुचित कर देता है। कोई भी विशेषता जिसमें गैर-शून्य प्रतिगमन गुणांक है, उसे लैस्सो एल्गोरिथ्म द्वारा 'सिलेक्शन' किया जाता है। लैस्सो में सुधारों में बोलासो सम्मिलित है जो प्रतिरूपों को बूटस्ट्रैप करता है | <ref name=Bolasso>{{Cite book|last1=Bach|first1=Francis R|title=Bolasso: model consistent lasso estimation through the bootstrap|journal=Proceedings of the 25th International Conference on Machine Learning|date=2008|pages=33–40|doi=10.1145/1390156.1390161|isbn=9781605582054|s2cid=609778}}</ref> [[इलास्टिक नेट नियमितीकरण]], जो लैस्सो के L1 दंड को [[ रिज प्रतिगमन |रिज रिग्रेशन]] के L2 दंड के साथ जोड़ता है | और फ़ीआलेक्ट जो प्रतिगमन गुणांक के संयुक्त विश्लेषण के आधार पर सभी विशेषताओं को स्कोर करता है। <ref name=FeaLect>{{cite journal|last1=Zare|first1=Habil|title=लिंफोमा निदान के अनुप्रयोग के साथ लैस्सो के संयुक्त विश्लेषण के आधार पर सुविधाओं की प्रासंगिकता का स्कोरिंग|journal=BMC Genomics|date=2013|volume=14|issue=Suppl 1 |pages=S14|doi=10.1186/1471-2164-14-S1-S14|pmid=23369194|pmc=3549810}}</ref> एईएफएस आगे लैस्सो को ऑटोएन्कोडर्स के साथ नॉनलाइनियर परिदृश्य तक विस्तारित करता है। <ref>{{cite conference |author1=Kai Han|author2=Yunhe Wang|author3=Chao Zhang|author4=Chao Li|author5=Chao Xu|title=ऑटोएन्कोडर ने बिना पर्यवेक्षित सुविधा चयन को प्रेरित किया|conference=IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) |year=2018}}</ref> कम्प्यूटेशनल सम्मिश्रता के संदर्भ में यह दृष्टिकोण फिल्टर और रैपर के मध्य होते हैं।

पारंपरिक [[प्रतिगमन विश्लेषण]] में, फीचर सिलेक्शन का सबसे लोकप्रिय रूप [[चरणबद्ध प्रतिगमन|'''वेरिएबल स्टेपवाइज रिग्रेशन''']] है, जो रैपर तकनीक होती है। यह [[लालची एल्गोरिदम|ग्रीडी एल्गोरिदम]] है जो प्रत्येक समय में सबसे अच्छी फीचर जोड़ता है | और (सबसे व्यर्थ फीचर को हटा देता है)। मुख्य नियंत्रण उद्देश्य यह तय करना है कि एल्गोरिदम को कब रोकना है। मशीन लर्निंग में, यह सामान्यतः क्रॉस-वैलिडेशन (सांख्यिकी)|क्रॉस-वैलिडेशन द्वारा किया जाता है। आँकड़ों में, कुछ मानदंड अनुकूलित किए गए हैं। इससे श्रंखला बनाने की अंतर्निहित समस्या उत्पन्न होती है। इससे अधिक शक्तिशाली विधियों का अनुमान लगाया गया है, जैसे शाखा में बाउंड और पीसवाइस लीनियर नेटवर्क होते हैं।

==सबसेट सिलेक्शन ==

सबसेट सिलेक्शन उपयुक्तता के लिए समूह के रूप में फीचर्स के सबसेट का मूल्यांकन करता है। सबसेट [[खोज एल्गोरिथ्म|सर्च एल्गोरिथ्म]] को रैपर, फिल्टर और एम्बेडेड विधियों में विभाजित किया जा सकता है। रैपर्स संभावित फीचर्स के स्थान के माध्यम से खोज करने के लिए खोज एल्गोरिदम का उपयोग करते हैं और सबसेट पर मॉडल चलाकर प्रत्येक सबसेट का मूल्यांकन करते हैं। रैपर कम्प्यूटेशनल रूप से मूल्यवान हो सकते हैं और मॉडल में अधिक फिट होने पर कठिन परिस्थिति हो सकती है। खोज दृष्टिकोण में फ़िल्टर रैपर के समान होते हैं, किन्तु यह किसी मॉडल के विरुद्ध मूल्यांकन करने के अतिरिक्त, सरल फ़िल्टर का मूल्यांकन किया जाता है। एंबेडेड तकनीकें मॉडल में अंतर्निहित और विशिष्ट होती हैं।

अनेक लोकप्रिय खोज दृष्टिकोण ग्रीडी एल्गोरिदम [[पहाड़ी की चढ़ाई|हिल क्लिंबिंग]] का उपयोग करते हैं, जो फीचर्स के उम्मीदवार उपसमूह का पुनरावृत्तीय मूल्यांकन करता है, फिर उपसमूह को संशोधित करता है और मूल्यांकन करता है कि क्या नया उपसमूह पुराने की तुलना में सही है। सबसेट के मूल्यांकन के लिए स्कोरिंग मीट्रिक (गणित) की आवश्यकता होती है जो फीचर्स के उपसमूह को ग्रेड करती है। व्यापक खोज सामान्यतः अव्यावहारिक होती है, इसलिए कुछ कार्यान्वयनकर्ता (या ऑपरेटर) परिभाषित स्टॉपिंग बिंदु पर होते हैं, उस बिंदु तक खोजे गए उच्चतम स्कोर वाले फीचर्स के सबसेट को संतबषजनक फीचर सबसेट के रूप में चुना जाता है। इसको रोकने का मानदंड एल्गोरिथम के अनुसार भिन्न होता है | इस प्रकार यह संभावित मानदंडों में सम्मिलित हैं | सबसेट स्कोर सीमा से अधिक होता है | कार्य का अधिकतम अनुमत रन टाइम सरपास्ड हो गया है |

वैकल्पिक खोज-आधारित तकनीकें [[लक्षित प्रक्षेपण खोज]] पर आधारित होती हैं जो उच्च स्कोर वाले डेटा के निम्न-आयामी अनुमानों का पता लगाती हैं | फिर उन विशेषताओं का सिलेक्शन किया जाता है जिनके निचले-आयामी स्थान में सबसे बड़े प्रक्षेपण होते हैं।

खोज दृष्टिकोण में सम्मिलित हैं |

*एक्सहॉस्टइव <ref>{{cite arXiv |last1=Hazimeh |first1=Hussein| last2=Mazumder |first2=Rahul |last3=Saab |first3=Ali |eprint=2004.06152 |title=Sparse Regression at Scale: Branch-and-Bound rooted in First-Order Optimization |class= stat.CO|date=2020}}</ref>

* बेस्ट फर्स्ट

* [[तैयार किए हुयी धातु पे पानी चढाने की कला|सिम्युलेटेड एनीलिंग]]  

* [[जेनेटिक एल्गोरिद्म|जेनेटिक एल्गोरिदम]] <ref>{{Cite journal|last1=Soufan|first1=Othman|last2=Kleftogiannis|first2=Dimitrios|last3=Kalnis|first3=Panos|last4=Bajic|first4=Vladimir B.|date=2015-02-26|title=DWFS: A Wrapper Feature Selection Tool Based on a Parallel Genetic Algorithm|journal=PLOS ONE|language=en|volume=10|issue=2|pages=e0117988|doi=10.1371/journal.pone.0117988|pmid=25719748|pmc=4342225|issn=1932-6203|bibcode=2015PLoSO..1017988S|doi-access=free}}</ref>

* ग्रीडी फॉरवर्ड सिलेक्शन <ref>{{cite journal|last1=Figueroa|first1=Alejandro|title=वेब क्वेरी के पीछे उपयोगकर्ता के इरादे को पहचानने के लिए प्रभावी सुविधाओं की खोज करना|journal=Computers in Industry|date=2015|volume=68|pages=162–169|url=https://www.researchgate.net/publication/271911317|doi=10.1016/j.compind.2015.01.005}}</ref><ref>{{cite conference |last=Figueroa|first=Alejandro |author2=Guenter Neumann  |url=https://www.researchgate.net/publication/259174469  |title=सामुदायिक प्रश्न उत्तर के लिए क्वेरी लॉग से प्रभावी पैराफ्रेज़ को रैंक करना सीखना|conference= AAAI |year=2013}}</ref><ref>{{cite journal|last=Figueroa|first=Alejandro |author2=Guenter Neumann|title=सामुदायिक प्रश्न उत्तर में प्रभावी पैराग्राफों की रैंकिंग के लिए श्रेणी-विशिष्ट मॉडल|journal=Expert Systems with Applications|date=2014|volume=41|issue=10 |pages=4730–4742|url=https://www.researchgate.net/publication/260519271|doi=10.1016/j.eswa.2014.02.004|hdl=10533/196878|hdl-access=free}}</ref>

* ग्रीडी बैकवर्ड एलिमिनेशन

* [[कण झुंड अनुकूलन|पार्टिकल स्वार्म ऑप्टिमाइजेशन]] <ref name="sciencedirect.com">{{cite journal|last1=Zhang|first1=Y.|last2=Wang|first2=S.|last3=Phillips|first3=P.|title=स्पैम डिटेक्शन पर लागू डिसीजन ट्री का उपयोग करके फ़ीचर चयन के लिए म्यूटेशन ऑपरेटर के साथ बाइनरी पीएसओ|journal=Knowledge-Based Systems|date=2014|volume=64|pages=22–31|doi=10.1016/j.knosys.2014.03.015}}</ref>

* टार्गेटेड प्रोजेक्शन परसूट

* स्कैटर सर्च <ref>F.C. Garcia-Lopez, M. Garcia-Torres, B. Melian, J.A. Moreno-Perez, J.M. Moreno-Vega. [https://pdfs.semanticscholar.org/ea5d/770e97b9330032e8713b0c105b523750a7c3.pdf Solving feature subset selection problem by a Parallel Scatter Search], ''European Journal of Operational Research'', vol. 169, no. 2, pp. 477–489, 2006.

* [[परिवर्तनीय पड़ोस खोज|वेरिएबल नेबरहुड सर्च]] <ref>F.C. Garcia-Lopez, M. Garcia-Torres, B. Melian, J.A. Moreno-Perez, J.M. Moreno-Vega. [https://web.archive.org/web/20190830132140/https://pdfs.semanticscholar.org/9428/2985d2c2ea4eb9f49846bedc12003a47db49.pdf Solving Feature Subset Selection Problem by a Hybrid Metaheuristic]. In ''First International Workshop on Hybrid Metaheuristics'', pp. 59–68, 2004.</ref><ref>M. Garcia-Torres, F. Gomez-Vela, B. Melian, J.M. Moreno-Vega. [https://www.researchgate.net/profile/Miguel_Garcia_Torres/publication/229763203_Parallel_Scatter_Search/links/5b2788a00f7e9be8bdaeb0d0/Parallel-Scatter-Search.pdf High-dimensional feature selection via feature grouping: A Variable Neighborhood Search approach], ''Information Sciences'', vol. 326, pp. 102-118, 2016.</ref>  

वर्गीकरण समस्याओं के लिए दो लोकप्रिय फ़िल्टर मेट्रिक्स सहसंबंध और पारस्परिक सूचना हैं,चूंकि गणितीय अर्थ में कोई भी वास्तविक मीट्रिक (गणित) या 'दूरी माप' नहीं है, क्योंकि वह त्रिकोण असमानता का पालन करने में विफल रहते हैं और इस प्रकार किसी भी वास्तविक 'दूरी' की गणना नहीं करते हैं - उन्हें 'स्कोर' के रूप में माना जाना चाहिए। इन अंकों की गणना उम्मीदवार फीचर (या फीचर्स के सेट) और वांछित आउटपुट श्रेणी के मध्य की जाती है। चूँकि, यह ऐसे सत्य मेट्रिक्स होते हैं जो पारस्परिक सूचना का सरल कार्य करते हैं <ref>{{Cite journal|arxiv=q-bio/0311039|last1=Kraskov|first1=Alexander|title=पारस्परिक सूचना पर आधारित पदानुक्रमित क्लस्टरिंग|last2=Stögbauer|first2=Harald|last3=Andrzejak|first3=Ralph G|last4=Grassberger|first4=Peter|year=2003|bibcode=2003q.bio....1