स्कोरिंग नियम

निर्णय सिद्धांत में, एक स्कोरिंग नियम संभाव्य पूर्वानुमान के मूल्यांकन के लिए एक सारांश उपाय प्रदान करता है। यह उन कार्यों पर लागू होता है जिनमें पूर्वानुमान घटनाओं के लिए संभावनाएं निर्दिष्ट करते हैं, यानी कोई संभाव्यता वितरण जारी करता है $$F$$ भविष्यवाणी के रूप में. इसमें परस्पर अनन्य परिणामों के एक सेट का संभाव्य वर्गीकरण या संभाव्य वर्गीकरण शामिल है।

दूसरी ओर, एक स्कोरिंग फ़ंक्शन बिंदु भविष्यवाणियों के मूल्यांकन के लिए एक सारांश उपाय प्रदान करता है, यानी एक संपत्ति या कार्यात्मक (गणित) की भविष्यवाणी करता है $$T(F)$$, अपेक्षित मान या माध्यिका की तरह।

स्कोरिंग नियम और स्कोरिंग फ़ंक्शन को लागत फ़ंक्शन या हानि फ़ंक्शन के रूप में सोचा जा सकता है। उनका मूल्यांकन किसी दिए गए नमूने के अनुभवजन्य माध्य के रूप में किया जाता है, जिसे केवल स्कोर कहा जाता है। फिर कई अलग-अलग भविष्यवाणियों या मॉडलों की तुलना करके यह निष्कर्ष निकाला जा सकता है कि कौन सा मॉडल सबसे अच्छा है।

यदि उचित स्कोरिंग नियम के अनुपात में लागत लगाई जाती है, तो न्यूनतम अपेक्षित लागत संभावनाओं के सही सेट की रिपोर्ट करने से मेल खाती है। उचित स्कोरिंग नियमों का उपयोग मौसम विज्ञान, वित्त और पैटर्न वर्गीकरण में किया जाता है जहां एक भविष्यवक्ता या एल्गोरिदम परिष्कृत, कैलिब्रेटेड संभावनाओं (यानी सटीक संभावनाओं) को प्राप्त करने के लिए औसत स्कोर को कम करने का प्रयास करेगा।

परिभाषा
एक नमूना स्थान पर विचार करें $$\Omega$$, एक σ-बीजगणित $$\mathcal A$$ के उपसमुच्चय $$\Omega$$ और एक उत्तल वर्ग $$\mathcal F$$ संभाव्यता माप पर $$(\Omega, \mathcal A)$$. एक फ़ंक्शन परिभाषित किया गया है $$\Omega$$ और विस्तारित वास्तविक रेखा में मान लेना, $$\overline{\mathbb{R}} = [-\infty, \infty]$$, है $$\mathcal F$$-अर्ध-अभिन्न यदि यह मापने योग्य है के संबंध में $$\mathcal A$$ और सभी के संबंध में अर्ध-अभिन्न है $$F \in \mathcal{F}$$.

संभाव्य पूर्वानुमान
संभाव्य पूर्वानुमान कोई भी संभाव्यता माप है $$F \in \mathcal{F}$$.

स्कोरिंग नियम
स्कोरिंग नियम कोई भी विस्तारित वास्तविक-मूल्यवान फ़ंक्शन है $$\mathbf{S}: \mathcal{F} \times \Omega \rightarrow \mathbb{R}$$ ऐसा है कि $$\mathbf{S}(F, \cdot)$$ है $$\mathcal F$$-सभी के लिए अर्ध-अभिन्न $$F \in \mathcal{F}$$. $$\mathbf{S}(F, y)$$ पूर्वानुमान होने पर हानि या दंड का प्रतिनिधित्व करता है $$F \in \mathcal{F}$$ जारी किया जाता है और अवलोकन किया जाता है $$y \in \Omega$$ मूर्त रूप देता है।

बिंदु पूर्वानुमान
एक बिंदु पूर्वानुमान एक कार्यात्मक है, अर्थात एक संभावित सेट-वैल्यू मैपिंग $$F \rightarrow T(F) \subseteq \Omega$$.

स्कोरिंग फ़ंक्शन
स्कोरिंग फ़ंक्शन कोई भी वास्तविक-मूल्यवान फ़ंक्शन है $$S: \Omega \times \Omega \rightarrow \mathbb{R}$$ कहाँ $$S(x, y)$$ बिंदु पूर्वानुमान होने पर हानि या दंड का प्रतिनिधित्व करता है $$x \in \Omega$$ जारी किया जाता है और अवलोकन किया जाता है $$y \in \Omega$$ मूर्त रूप देता है।

अभिविन्यास
स्कोरिंग नियम $$\mathbf{S}(F,y)$$ और स्कोरिंग कार्य $$S(x, y)$$ यदि छोटे (बड़े) मूल्यों का मतलब बेहतर है तो नकारात्मक (सकारात्मक) उन्मुख होते हैं। यहां हम नकारात्मक अभिविन्यास का पालन करते हैं, इसलिए नुकसान के साथ जुड़ाव है।

नमूना औसत स्कोर
एक नमूना दिया $$y_i, i=1\ldots n$$ और संबंधित पूर्वानुमान $$F_i$$ या $$x_i$$ (उदाहरण के लिए एकल मॉडल से पूर्वानुमान), कोई औसत स्कोर की गणना करता है


 * $$\bar{\mathbf{S}}=\frac{1}{n}\sum_i \mathbf{S}(F_i,y_i)$$

या
 * $$\bar{S}=\frac{1}{n}\sum_i S(x_i,y_i)$$

औसत स्कोर का उपयोग विभिन्न पूर्वानुमानों या मॉडलों की तुलना और रैंक करने के लिए किया जाता है।

औचित्य और स्थिरता
कड़ाई से उचित स्कोरिंग नियम और सख्ती से सुसंगत स्कोरिंग फ़ंक्शन अपेक्षित इनाम को अधिकतम करके ईमानदार पूर्वानुमानों को प्रोत्साहित करते हैं: यदि किसी भविष्यवक्ता को इनाम दिया जाता है $$-\mathbf{S}(F, y)$$ अगर $$y$$ एहसास (उदा. $$y=rain$$), तो उच्चतम अपेक्षित मूल्य इनाम (न्यूनतम स्कोर) वास्तविक संभाव्यता वितरण की रिपोर्ट करके प्राप्त किया जाता है।

उचित स्कोरिंग नियम
हम नीचे अपेक्षित स्कोर के लिए लिखते हैं $$Q \in \mathcal{F}$$
 * $$\mathbf{S}(F, Q) = \int \mathbf{S}(F, \omega) \mathrm{d}Q(\omega)$$

एक स्कोरिंग नियम $$\mathbf{S}$$ के सापेक्ष उचित है $$\mathcal{F}$$ यदि (नकारात्मक अभिविन्यास मानकर)


 * $$ \mathbf{S}(Q, Q) \leq \mathbf{S}(F, Q)$$ सभी के लिए $$F,Q \in\mathcal{F}$$.

यह पूरी तरह से उचित है यदि उपरोक्त समीकरण समानता के साथ यदि और केवल यदि रखता है $$F=Q$$.

लगातार स्कोरिंग फ़ंक्शन
एक स्कोरिंग फ़ंक्शन $$S$$ कार्यात्मकता के लिए सुसंगत है $$T$$ वर्ग के सापेक्ष $$\mathcal F$$ अगर


 * $$ \operatorname{E}_F[S(t, Y)] \leq \operatorname{E}_F[S(x, Y)]$$ सभी के लिए $$F \in \mathcal{F}$$, सभी $$t \in T(F)$$ और सभी $$x \in \Omega$$.

यदि यह सुसंगत है तो यह कड़ाई से सुसंगत है और उपरोक्त समीकरण में समानता का तात्पर्य यह है $$x \in T(F)$$.

स्कोरिंग नियमों का उदाहरण अनुप्रयोग
संभाव्य पूर्वानुमान का एक उदाहरण मौसम विज्ञान में है जहां मौसम का पूर्वानुमान अगले दिन बारिश की संभावना दे सकता है। कोई यह नोट कर सकता है कि लंबी अवधि में 25% संभावना कितनी बार उद्धृत की गई थी, और इसकी तुलना बारिश होने के वास्तविक अनुपात से की जा सकती है। यदि वास्तविक प्रतिशत बताई गई संभाव्यता से काफी भिन्न था तो हम कहते हैं कि भविष्यवक्ता कैलिब्रेटेड संभाव्यता मूल्यांकन है। एक खराब कैलिब्रेटेड भविष्यवक्ता को विक्ट:बोनस प्रणाली द्वारा बेहतर करने के लिए प्रोत्साहित किया जा सकता है। एक उचित स्कोरिंग नियम के आसपास डिज़ाइन की गई बोनस प्रणाली भविष्यवक्ता को उसकी व्यक्तिगत संभावना के बराबर संभावनाओं की रिपोर्ट करने के लिए प्रोत्साहित करेगी। द्विआधारी निर्णय के सरल मामले के अलावा, जैसे कि 'बारिश' या 'बारिश नहीं' की संभावनाएं निर्दिष्ट करना, स्कोरिंग नियमों का उपयोग कई वर्गों के लिए किया जा सकता है, जैसे 'बारिश', 'बर्फ', या 'स्पष्ट', या प्रति दिन बारिश की मात्रा जैसी निरंतर प्रतिक्रियाओं के लिए।

दाईं ओर की छवि वास्तव में घटित घटना के लिए रिपोर्ट की गई संभावना के एक फ़ंक्शन के रूप में स्कोरिंग नियम, लॉगरिदमिक स्कोरिंग नियम का एक उदाहरण दिखाती है। इस नियम का उपयोग करने का एक तरीका यह होगा कि पूर्वानुमानकर्ता या एल्गोरिदम द्वारा बताई गई संभावना के आधार पर लागत लगाई जाए, फिर यह जांच की जाए कि वास्तव में कौन सी घटना घटित होती है।

उचित स्कोरिंग नियमों के उदाहरण
स्कोरिंग नियमों की अनंत संख्या है, जिसमें कड़ाई से उचित स्कोरिंग नियमों के संपूर्ण पैरामीटरयुक्त परिवार शामिल हैं। नीचे दिखाए गए केवल लोकप्रिय उदाहरण हैं।

श्रेणीबद्ध चर
एक श्रेणीबद्ध प्रतिक्रिया चर के लिए $$m$$ परस्पर अनन्य कार्यक्रम, $$Y \in \Omega = \{1, \ldots, m\}$$, एक संभाव्य भविष्यवक्ता या एल्गोरिदम एक संभाव्यता वेक्टर लौटाएगा $$\mathbf{r}$$ प्रत्येक के लिए एक संभावना के साथ $$m$$ परिणाम.

लघुगणकीय स्कोर
लॉगरिदमिक स्कोरिंग नियम एक स्थानीय सख्ती से उचित स्कोरिंग नियम है। यह स्व-सूचना का नकारात्मक भी है, जिसे आमतौर पर बायेसियन अनुमान में स्कोरिंग मानदंड के रूप में उपयोग किया जाता है; लक्ष्य अपेक्षित आश्चर्य को कम करना है। सूचना सिद्धांत में इस स्कोरिंग नियम की मजबूत नींव है।
 * $$L(\mathbf{r},i) = \ln(r_i) $$

यहां, स्कोर की गणना वास्तविक परिणाम के लिए संभाव्यता अनुमान के लघुगणक के रूप में की जाती है। अर्थात्, 80% की भविष्यवाणी जो सही साबित हुई उसे अंक प्राप्त होंगे $ln(0.8) = −0.22$. यही भविष्यवाणी विपरीत मामले में भी 20% संभावना बताती है, और इसलिए यदि भविष्यवाणी झूठी साबित होती है, तो उसे 20% के आधार पर एक अंक प्राप्त होगा: $ln(0.2) = −1.6$. एक भविष्यवक्ता का लक्ष्य स्कोर को अधिकतम करना और स्कोर को यथासंभव बड़ा बनाना है, और −0.22 वास्तव में −1.6 से बड़ा है।

यदि कोई भविष्यवाणी की सत्यता या असत्यता को एक चर के रूप में मानता है $x$ क्रमशः मान 1 या 0 के साथ, और संभाव्यता इस प्रकार व्यक्त की गई है $p$, तो कोई लघुगणकीय स्कोरिंग नियम को इस प्रकार लिख सकता है $x ln(p) + (1 − x) ln(1 − p)$. ध्यान दें कि किसी भी लघुगणकीय आधार का उपयोग किया जा सकता है, क्योंकि रैखिक परिवर्तन के तहत सख्ती से उचित स्कोरिंग नियम सख्ती से उचित रहते हैं। वह है:
 * $$L(\mathbf{r},i) = \log_b(r_i) $$

सभी के लिए पूर्णतः उचित है $$b>1$$.

बैरियर/द्विघात स्कोर
द्विघात स्कोरिंग नियम एक पूर्णतः उचित स्कोरिंग नियम है
 * $$Q(\mathbf{r},i) = 2r_i - \mathbf{r}\cdot \mathbf{r} = 2r_i -\sum_{j=1}^C r_j^2 $$

कहाँ $$r_i$$ सही उत्तर को दी गई प्रायिकता है और $$C$$ कक्षाओं की संख्या है.

बैरियर स्कोर, मूल रूप से 1950 में ग्लेन डब्लू. ब्रियर द्वारा प्रस्तावित, द्विघात स्कोरिंग नियम से एफ़िन परिवर्तन द्वारा प्राप्त किया जा सकता है।
 * $$B(\mathbf{r},i) = \sum_{j=1}^C (y_j-r_j)^2 $$

कहाँ $$y_j = 1$$ जब $$j$$वें घटना सही है और $$y_j = 0$$ अन्यथा और $$C$$ कक्षाओं की संख्या है.

इन दोनों नियमों के बीच एक महत्वपूर्ण अंतर यह है कि एक भविष्यवक्ता को द्विघात स्कोर को अधिकतम करने का प्रयास करना चाहिए $$Q$$ फिर भी ब्रियर स्कोर को कम करें $$B$$. यह उनके बीच रैखिक परिवर्तन में एक नकारात्मक संकेत के कारण है।

अच्छा स्कोरिंग नियम
हाइवेरिनन स्कोरिंग फ़ंक्शन (घनत्व पी का) द्वारा परिभाषित किया गया है
 * $$s(p) = 2 \Delta_y \log p(y) + \|\nabla_y \log p(y)\|_2^2 $$

कहाँ $$\Delta$$ हेस्सियन मैट्रिक्स  ट्रेस (रैखिक बीजगणित) को दर्शाता है और $$\nabla$$ ढाल को दर्शाता है. इस स्कोरिंग नियम का उपयोग पैरामीटर अनुमान को कम्प्यूटेशनल रूप से सरल बनाने और मनमाने ढंग से अस्पष्ट पूर्ववर्तियों के साथ बायेसियन मॉडल की तुलना को संबोधित करने के लिए किया जा सकता है। इसका उपयोग मौजूदा सूचना सिद्धांत से परे नई सूचना-सैद्धांतिक मात्राओं को पेश करने के लिए भी किया गया था।

गोलाकार स्कोर
गोलाकार स्कोरिंग नियम भी एक सख्ती से उचित स्कोरिंग नियम है
 * $$S(\mathbf{r},i) = \frac{r_i}{\lVert \mathbf{r} \rVert} = \frac{r_i}{\sqrt{r_1^2 + \cdots + r_c^2}} $$

सतत रैंक संभाव्यता स्कोर
सतत रैंक संभाव्यता स्कोर (सीआरपीएस) मौसम विज्ञान में बहुत अधिक उपयोग किया जाने वाला एक उचित स्कोरिंग नियम है। इसे इस प्रकार परिभाषित किया गया है

$$CRPS(F,y)=\int_\mathbb{R} ( F(x) - \mathbb{1}(x \ge y) ) ^2 dx$$ जहां एफ पूर्वानुमानित संचयी वितरण फ़ंक्शन है और $$y \in \mathbb R$$ अवलोकन है.

उचित स्कोरिंग नियमों की व्याख्या
सभी उचित स्कोरिंग नियम सरल दो-वैकल्पिक निर्णय समस्याओं के एक सेट में नुकसान के भारित योग (एक गैर-नकारात्मक भार कार्यात्मक के साथ अभिन्न) के बराबर हैं जो संभाव्य भविष्यवाणी का उपयोग करते हैं, ऐसी प्रत्येक निर्णय समस्या में गलत सकारात्मक और गलत नकारात्मक निर्णयों के लिए संबंधित लागत मापदंडों का एक विशेष संयोजन होता है। एक कड़ाई से उचित स्कोरिंग नियम सभी संभावित निर्णय सीमाओं के लिए गैर-शून्य वेटेज रखने से मेल खाता है। कोई भी दिया गया उचित स्कोरिंग नियम निर्णय सीमा पर एक विशेष संभाव्यता वितरण के संबंध में अपेक्षित नुकसान के बराबर है; इस प्रकार स्कोरिंग नियम का चुनाव निर्णय समस्याओं के संभाव्यता वितरण के बारे में एक धारणा से मेल खाता है जिसके लिए अनुमानित संभावनाओं को अंततः नियोजित किया जाएगा, उदाहरण के लिए द्विघात हानि (या ब्रियर) स्कोरिंग नियम, जो शून्य और एक के बीच कहीं भी निर्णय सीमा की एक समान संभावना के अनुरूप है। सटीकता और परिशुद्धता # बाइनरी वर्गीकरण (प्रतिशत सही ढंग से वर्गीकृत) में, एक एकल-सीमा स्कोरिंग नियम जो शून्य या एक है, यह इस पर निर्भर करता है कि अनुमानित संभावना 0.5 के उचित पक्ष पर है या नहीं, एक उचित स्कोरिंग नियम है लेकिन सख्ती से उचित स्कोरिंग नियम नहीं है क्योंकि यह न केवल सही संभावना की भविष्यवाणी करके बल्कि वास्तविक संभावना के रूप में 0.5 के समान पक्ष पर किसी भी संभावना की भविष्यवाणी करके (अपेक्षा में) अनुकूलित किया गया है।

कड़ाई से उचित स्कोरिंग नियमों की तुलना
नीचे बाईं ओर बाइनरी वर्गीकरण समस्या के लिए लघुगणक, द्विघात और गोलाकार स्कोरिंग नियमों की एक ग्राफिकल तुलना दिखाई गई है। एक्स-अक्ष उस घटना के लिए रिपोर्ट की गई संभावना को इंगित करता है जो वास्तव में घटित हुई थी।

यह ध्यान रखना महत्वपूर्ण है कि प्रत्येक स्कोर का अलग-अलग परिमाण और स्थान होता है। हालाँकि परिमाण का अंतर प्रासंगिक नहीं है क्योंकि एफ़िन परिवर्तन के तहत स्कोर उचित रहता है। इसलिए, विभिन्न अंकों की तुलना करने के लिए उन्हें एक सामान्य पैमाने पर ले जाना आवश्यक है। सामान्यीकरण का एक उचित विकल्प दाईं ओर चित्र में दिखाया गया है जहां सभी स्कोर अंक (0.5,0) और (1,1) को काटते हैं। यह सुनिश्चित करता है कि वे एक समान वितरण (प्रत्येक 0.5 की दो संभावनाएं) के लिए 0 प्राप्त करते हैं, जो अक्सर बेसलाइन वितरण की रिपोर्टिंग के लिए कोई लागत या इनाम नहीं दर्शाता है। नीचे दिए गए सभी सामान्यीकृत स्कोर भी 1 प्राप्त करते हैं जब वास्तविक वर्ग को 1 की संभावना दी जाती है।

एफ़िन परिवर्तन
एक सख्ती से उचित स्कोरिंग नियम, चाहे बाइनरी या मल्टीक्लास, एक एफ़िन परिवर्तन के बाद एक सख्ती से उचित स्कोरिंग नियम बना रहता है। अर्थात यदि $$S(\mathbf{r},i)$$ तो यह एक बिल्कुल उचित स्कोरिंग नियम है $$a+bS(\mathbf{r},i)$$ साथ $$b \neq 0$$ हालाँकि, यह भी एक कड़ाई से उचित स्कोरिंग नियम है $$b < 0$$ फिर स्कोरिंग नियम का अनुकूलन अर्थ अधिकतमकरण और न्यूनतमकरण के बीच स्विच हो जाता है।

स्थान
एक उचित स्कोरिंग नियम को स्थानीय कहा जाता है यदि किसी विशिष्ट घटना की संभावना का अनुमान केवल उस घटना की संभावना पर निर्भर करता है। यह कथन अधिकांश विवरणों में अस्पष्ट है, लेकिन अधिकांश मामलों में, हम इसे इस प्रकार सोच सकते हैं कि किसी विशिष्ट घटना में स्कोरिंग समस्या का इष्टतम समाधान अवलोकन वितरण में सभी परिवर्तनों के लिए अपरिवर्तनीय है जो उस घटना की संभावना को अपरिवर्तित छोड़ देता है। सभी बाइनरी स्कोर स्थानीय होते हैं क्योंकि जो घटना घटित नहीं हुई, उसके लिए निर्दिष्ट संभावना निर्धारित की जाती है, इसलिए इसमें भिन्नता के लिए लचीलेपन की कोई डिग्री नहीं होती है।

लॉगरिदमिक स्कोरिंग नियम के एफ़िन फ़ंक्शंस एक सीमित सेट पर एकमात्र सख्ती से उचित स्थानीय स्कोरिंग नियम हैं जो बाइनरी नहीं है।

अपघटन
उचित स्कोरिंग नियम का अपेक्षित मूल्य $$S$$ इसे तीन घटकों के योग में विघटित किया जा सकता है, जिन्हें अनिश्चितता, विश्वसनीयता और संकल्प कहा जाता है, जो संभाव्य पूर्वानुमानों की विभिन्न विशेषताओं की विशेषता बताते हैं:



E(S) = \mathrm{UNC} + \mathrm{REL} - \mathrm{RES}. $$ यदि कोई स्कोर उचित और नकारात्मक रूप से उन्मुख है (जैसे कि ब्रियर स्कोर), तो सभी तीन पद सकारात्मक निश्चित हैं। अनिश्चितता घटक पूर्वानुमान के अपेक्षित स्कोर के बराबर है जो लगातार औसत घटना आवृत्ति की भविष्यवाणी करता है। विश्वसनीयता घटक खराब कैलिब्रेटेड पूर्वानुमानों को दंडित करता है, जिसमें अनुमानित संभावनाएं घटना आवृत्तियों के साथ मेल नहीं खाती हैं।

व्यक्तिगत घटकों के समीकरण विशेष स्कोरिंग नियम पर निर्भर करते हैं। ब्रियर स्कोर के लिए, वे द्वारा दिए गए हैं



\mathrm{UNC} = \bar{x}(1-\bar{x}) $$

\mathrm{REL} = E(p-\pi(p))^2 $$

\mathrm{RES} = E(\pi(p)-\bar{x})^2 $$ कहाँ $$\bar{x}$$ द्विआधारी घटना के घटित होने की औसत संभावना है $$x$$, और $$\pi(p)$$ सशर्त घटना संभाव्यता दी गई है $$p$$, अर्थात। $$\pi(p) = P(x=1\mid p)$$

यह भी देखें

 * सुसंगतता (दार्शनिक जुआ रणनीति)
 * निर्णय नियम

बाहरी संबंध

 * Video comparing spherical, quadratic and logarithmic scoring rules
 * Local Proper Scoring Rules
 * Scoring Rules and Decision Analysis Education
 * Strictly Proper Scoring Rules
 * Scoring Rules and uncertainty
 * Damage Caused by Classification Accuracy and Other Discontinuous Improper Accuracy Scoring Rules