एफ-स्कोर

द्विआधारी वर्गीकरण के सांख्यिकी विश्लेषण में, एफ-स्कोर या एफ-माप एक परीक्षण की शुद्धता और परिशुद्धता में बाइनरी वर्गीकरण की एक युक्ति है। इसकी गणना परीक्षण की यथार्थता (सूचना पुनर्प्राप्ति) और पुन:स्मरण (सूचना पुनर्प्राप्ति) से की जाती है, जहां यथार्थ सही सकारात्मक परिणामों की संख्या को सभी सकारात्मक परिणामों की संख्या से विभाजित किया जाता है, जिसमें सही ढंग से पहचान नहीं की जाती है और पुन:स्मरण है, सच्चे सकारात्मक परिणामों की संख्या को उन सभी नमूनों की संख्या से विभाजित किया जाता है जिन्हें सकारात्मक के रूप में पहचाना जाना चाहिए था। परिशुद्धता को सकारात्मक पूर्वकथन सूचकांक के रूप में भी जाना जाता है, और डायग्नोस्टिक बाइनरी वर्गीकरण में पुन:स्मरण को संवेदनशीलता और विशिष्टता के रूप में भी जाना जाता है।

एफ1 स्कोर यथार्थ और पुन:स्मरण का अनुकूल माध्य है। इस प्रकार यह सममित रूप से एक मीट्रिक में यथार्थ और पुन:स्मरण दोनों का प्रतिनिधित्व करता है। अधिक सामान्य $$F_\beta$$ स्कोर अतिरिक्त भार लागू करता है, एक यथार्थता का मूल्यांकन करता है या दूसरे से अधिक याद करता है।

एफ-स्कोर का उच्चतम संभव मान 1.0 है, जो यथार्थता और पुन:स्मरण का संकेत देता है, और न्यूनतम संभव मान 0 है, यदि यथार्थता या पुन:स्मरण शून्य है।

व्युत्पत्ति
ऐसा माना जाता है कि एफ-माप का नाम वान रिज्सबर्गेन की किताब में एक अलग एफ फ़ंक्शन के नाम पर रखा गया था, जब उसे फोर्थ मैसेज अंडरस्टैंडिंग कॉन्फ्रेंस (एमयूसी-4, 1992) में पेश किया गया था।

परिभाषा
पारंपरिक एफ-माप या संतुलित एफ-स्कोर (एफ1 स्कोर) यथार्थ माध्य हार्मोनिक माध्य दो संख्याओं का यथार्थ और पुन:स्मरण है:
 * $$F_1 = \frac{2}{\mathrm{recall}^{-1} + \mathrm{precision}^{-1}} = 2 \frac{\mathrm{precision} \cdot \mathrm{recall}}{\mathrm{precision} + \mathrm{recall}} = \frac{2\mathrm{tp}}{2\mathrm{tp} + \mathrm{fp} + \mathrm{fn}}

$$.

एफβ स्कोर
एक अधिक सामान्य एफ स्कोर, $$F_\beta$$, जो सकारात्मक वास्तविक कारक का उपयोग करता है $$\beta$$, जहाँ $$\beta$$ ऐसा चुना जाता है कि पुन:स्मरण पर विचार किया जाता है $$\beta$$ यथार्थता जितना महत्वपूर्ण है, वह है:
 * $$F_\beta = (1 + \beta^2) \cdot \frac{\mathrm{precision} \cdot \mathrm{recall}}{(\beta^2 \cdot \mathrm{precision}) + \mathrm{recall}}$$.

प्रकार I और प्रकार II त्रुटियों के संदर्भ में यह बन जाता है:


 * $$F_\beta = \frac {(1 + \beta^2) \cdot \mathrm{true\ positive} }{(1 + \beta^2) \cdot \mathrm{true\ positive} + \beta^2 \cdot \mathrm{false\ negative} + \mathrm{false\ positive}}\,$$.

के लिए सामान्यतः उपयोग किए जाने वाले दो मान $$\beta$$ 2 हैं, जिनका वजन यथार्थ से अधिक पुन:स्मरण है, और 0.5 है, जिनका वजन यथार्थ से कम पुन:स्मरण है।

एफ-माप इसलिए निकाला गया था $$F_\beta$$ संलग्न करने वाले उपयोगकर्ता के संबंध में पुनर्प्राप्ति की प्रभावशीलता को मापता है $$\beta$$ बार-बार याद करने का उतना ही महत्व जितना यथार्थता से यह सी. जे. वैन रिज्सबर्गेन के प्रभावशीलता माप पर आधारित है


 * $$E = 1 - \left(\frac{\alpha}{p} + \frac{1-\alpha}{r}\right)^{-1}$$.

उनका सम्बन्ध है $$F_\beta = 1 - E$$ जहाँ $$\alpha=\frac{1}{1 + \beta^2}$$.

नैदानिक ​​परीक्षण
यह बाइनरी वर्गीकरण के क्षेत्र से संबंधित है जहां पुन:स्मरण को प्रायः संवेदनशीलता कहा जाता है।

वर्ग असंतुलन पर एफ-स्कोर की निर्भरता
प्रेसिजन-पुन:स्मरण वक्र, और इस प्रकार $$F_\beta$$ स्कोर, स्पष्ट रूप से अनुपात पर निर्भर करता है $$r$$ सकारात्मक से नकारात्मक परीक्षण मामलों की। इसका मतलब है कि की तुलना अलग-अलग वर्ग अनुपात के साथ अलग-अलग समस्याओं में समस्याग्रस्त एफ-स्कोर है। इस प्रकरण को हल करने का एक तरीका (उदाहरण देखें, सिब्लिनी एट अल, 2020 ) एक मानक वर्ग अनुपात का उपयोग $$r_0$$ की तुलना करते समय करना है।

अनुप्रयोग
वेब सर्च, डॉक्यूमेंट वर्गीकरण और क्वेरी वर्गीकरण प्रदर्शन को मापने के लिए प्रायः एफ-स्कोर का उपयोग सूचना पुनर्प्राप्ति के क्षेत्र में किया जाता है। पहले के स्कोर कार्य मुख्य रूप से F1 पर केंद्रित थे, लेकिन बड़े पैमाने पर सर्च इंजनों के प्रसार के साथ, प्रदर्शन लक्ष्य या तो यथार्थ या पुन:स्मरण पर अधिक जोर देने के लिए बदल गए इसलिए $$F_\beta$$ व्यापक प्रयोग में देखा जाता है।

यांत्रिक अधिगम में भी एफ-स्कोर का उपयोग किया जाता है। हालांकि, एफ-स्कोर वास्तविक नकारात्मकताओं को ध्यान में नहीं रखते हैं, इसलिए बाइनरी क्लासिफायरियर के प्रदर्शन का आकलन करने के लिए मैथ्यूज सहसंबंध गुणांक, सूचना या कोहेन के कप्पा जैसे उपायों को प्राथमिकता दी जा सकती है।

प्राकृतिक भाषा प्रसंस्करण साहित्य में एफ-स्कोर का व्यापक रूप से उपयोग किया गया है, जैसे नामित इकाई पहचान और शब्द विभाजन के मूल्यांकन में।

गुण
एफ1 स्कोर पुनर्प्राप्त वस्तुओं के सेट और प्रासंगिक वस्तुओं के सेट का पासा गुणांक है। परिशुद्धता को सकारात्मक पूर्वकथन सूचकांक के रूप में भी जाना जाता है, और डायग्नोस्टिक बाइनरी वर्गीकरण में पुन:स्मरण को संवेदनशीलता और विशिष्टता के रूप में भी जाना जाता है।

आलोचना
डेविड हैंड (सांख्यिकीविद) और अन्य लोग एफ1 के व्यापक उपयोग की आलोचना करते हैं स्कोर क्योंकि यह यथार्थ और पुन:स्मरण को समान महत्व देता है। व्यवहार में, विभिन्न प्रकार के गलत वर्गीकरणों की अलग-अलग लागतें होती हैं। दूसरे शब्दों में, यथार्थ और पुन:स्मरण का सापेक्ष महत्व समस्या का एक पहलू है।

डेविड चिक्को और ग्यूसेप जुर्मन के अनुसार, एफ1 बाइनरी मूल्यांकन वर्गीकरण में मैथ्यूज सहसंबंध गुणांक मैथ्यूज सहसंबंध गुणांक (एमसीसी) की तुलना में स्कोर कम सच्चा और सूचनात्मक है। डेविड पॉवर्स ने बताया है कि एफ1 ट्रू नेगेटिव्स को अनदेखा करता है और इस तरह असंतुलित वर्गों के लिए भ्रामक है, जबकि कप्पा और सहसंबंध के उपाय सममित हैं और पूर्वधारणा की दोनों दिशाओं का आकलन करते हैं - क्लासिफायर ट्रू क्लास की पूर्वधारणा करता है और ट्रू क्लास क्लासिफायर पूर्वधारणा की पूर्वधारणा करता है, अलग-अलग मल्टीक्लास उपायों का प्रस्ताव करता है। दो दिशाएँ, यह देखते हुए कि उनका ज्यामितीय माध्य सहसंबंध है। एफ1 की आलोचना का एक अन्य स्रोत, इसकी समरूपता की कमी है। इसका अर्थ है कि जब डेटासेट लेबलिंग बदली जाती है तो इसका मान बदल सकता है - सकारात्मक नमूनों को नकारात्मक नाम दिया जाता है और इसके विपरीत यह आलोचना पी P4-मीट्रिक परिभाषा से मिलती है, जिसे कभी-कभी एफ1 के सममित विस्तार के रूप में दर्शाया जाता है.

फाउलकेस-मैलो इंडेक्स से अंतर
जबकि एफ-माप पुन:स्मरण और यथार्थ का हार्मोनिक माध्य है, फाउलकेस-मैलो इंडेक्स उनका ज्यामितीय माध्य है।

बहु-श्रेणी वर्गीकरण का विस्तार
एफ-स्कोर का उपयोग दो से अधिक वर्गों (मल्टीक्लास वर्गीकरण) के साथ वर्गीकरण समस्याओं के मूल्यांकन के लिए भी किया जाता है। इस सेटअप में, माइक्रो-एवरेजिंग (वर्ग आवृत्ति द्वारा पक्षपाती) या मैक्रो-एवरेजिंग (सभी वर्गों को समान रूप से महत्वपूर्ण मानते हुए) द्वारा अंतिम स्कोर प्राप्त किया जाता है। मैक्रो-एवरेजिंग के लिए, आवेदकों द्वारा दो अलग-अलग फ़ार्मुलों का उपयोग किया गया है: एफ-स्कोर (अंकगणित) वर्ग-वार यथार्थ और पुन:स्मरण साधन या वर्ग-वार एफ-स्कोर का अंकगणितीय माध्य, जहाँ बाद वाला अधिक वांछनीय गुण प्रदर्शित करता है।

यह भी देखें

 * ब्ल्यू
 * असमंजस का जाल
 * मूल्यांकन ऑफ़ बाइनरी क्लासिफायर सिंगल मेट्रिक्स
 * उल्का
 * एनआईएसटी (मीट्रिक)
 * प्राप्तकर्ता परिचालन विशेषता
 * रूज (मीट्रिक)
 * अनिश्चितता गुणांक, उर्फ ​​​​प्रवीणता
 * शब्द त्रुटि दर
 * लेपोर

संदर्भ
Beurteilung eines Klassifikators