फेयरनेस (मशीन लर्निंग)

मशीन लर्निंग में निष्पक्षता मशीन लर्निंग प्रतिरूप के आधार पर स्वचालित निर्णय प्रक्रियाओं में कलनविधीय पूर्वाग्रह को ठीक करने के विभिन्न प्रयासों को संदर्भित करती है। मशीन-लर्निंग प्रक्रिया के बाद कंप्यूटर द्वारा लिए गए निर्णय अनुचित माने जा सकते हैं यदि वे संवेदनशील माने जाने वाले चर पर आधारित है। इस प्रकार के चर के उदाहरणों में लिंग, जातीयता, यौन अभिविन्यास, विकलांगता और बहुत कुछ सम्मिलित हैं। जैसा कि कई नैतिक अवधारणाओं का प्रकरण है, निष्पक्षता और पूर्वाग्रह की परिभाषाएँ हमेशा विवादास्पद होती हैं। सामान्य रूप में, निष्पक्षता और पूर्वाग्रह तब प्रासंगिक माने जाते हैं जब निर्णय प्रक्रिया लोगों के जीवन को प्रभावित करती है। मशीन लर्निंग में, कलनविधीय पूर्वाग्रह की समस्या सर्वविदित है और इसका अच्छी तरह से अध्ययन किया गया है। कई कारकों के कारण परिणाम विषम हो सकते हैं और इस प्रकार इन्हें कुछ समूहों या व्यक्तियों के संबंध में अनुचित माना जा सकता है। इसका एक उदाहरण वह प्रकार होगा जिससे सामाजिक मीडिया साइटें उपभोक्ताओं को वैयक्तिकृत समाचार प्रदान करती हैं।

सन्दर्भ

मशीन लर्निंग में निष्पक्षता के बारे में परिचर्चा अपेक्षाकृत आधुनिक विषय है। 2016 के बाद से इस विषय पर अनुसंधान में तेजी से वृद्धि हुई है। इस वृद्धि को आंशिक रूप से प्रोपब्लिका की एक प्रभावशाली रिपोर्ट के कारण माना जा सकता है जिसमें दावा किया गया था कि कॉम्पास (सॉफ़्टवेयर) सॉफ़्टवेयर, जिसका व्यापक रूप से अमेरिकी अदालतों में पुनरावृत्ति की भविष्यवाणी करने के लिए उपयोग किया जाता था, जातीयता के आधार पर पक्षपाती था। अनुसंधान और परिचर्चा का एक विषय निष्पक्षता की परिभाषा है, क्योंकि इसकी कोई सार्वभौमिक परिभाषा नहीं है, और विभिन्न परिभाषाएँ एक-दूसरे के साथ विरोधाभास में हो सकती हैं, जिससे मशीन लर्निंग प्रतिरूप का न्याय करना कठिन हो जाता है। अन्य अनुसंधान विषयों में पूर्वाग्रह की उत्पत्ति, पूर्वाग्रह के प्रकार और पूर्वाग्रह को कम करने के प्रकार सम्मिलित हैं।

आधुनिक वर्षों में तकनीकी कंपनियों ने मशीन लर्निंग में पूर्वाग्रह का पता लगाने और उसे कम करने के प्रकार पर उपकरण और नियमावली बनाए हैं। आईबीएम के पास सॉफ्टवेयर पूर्वाग्रह को कम करने और इसकी निष्पक्षता बढ़ाने के लिए कई एल्गोरिदम के साथ पायथन (प्रोग्रामिंग भाषा) और R (प्रोग्रामिंग भाषा) के लिए उपकरण हैं। गूगल ने मशीन लर्निंग में पूर्वाग्रह का अध्ययन करने और उससे प्रतिरोध के लिए दिशानिर्देश और उपकरण प्रकाशित किए हैं। फेसबुक ने अपनी एआई में पूर्वाग्रह का पता लगाने के लिए एक टूल, निष्पक्षता प्रवाह के उपयोग की सूचना दी है। हालाँकि, आलोचकों ने तर्क दिया है कि कंपनी के प्रयास अपर्याप्त हैं, कर्मचारियों द्वारा टूल के बहुत कम उपयोग की सूचना दी गई है क्योंकि इसका उपयोग उनके सभी कार्यक्रमों के लिए नहीं किया जा सकता है और जब हो भी सकता है, टूल का उपयोग वैकल्पिक है।

यह ध्यान रखना महत्वपूर्ण है कि निर्णय लेने में निष्पक्षता और अन्यायपूर्ण भेदभाव का परीक्षण करने के मात्रात्मक प्रकार के बारे में परिचर्चा मशीन लर्निंग में निष्पक्षता पर आधुनिक तर्क वितर्क से कई दशकों पहले हुई थी। वास्तव में, वैज्ञानिक समुदाय द्वारा इस विषय पर एक सजीव परिचर्चा 1960 और 1970 के दशक के मध्य में उन्नतिशील, जो ज्यादातर अमेरिकी नागरिक अधिकार आंदोलन और विशेष रूप से, 1964 के अमेरिकी नागरिक अधिकार अधिनियम के अनुच्छेद परिणामस्वरूप हुई है। हालाँकि, 1970 के दशक के अंत तक, तर्क वितर्क व्यापक रुप से लुप्त हो गई, क्योंकि निष्पक्षता की अलग-अलग और कभी-कभी प्रतिस्पर्धी धारणाओं ने स्पष्टता के लिए बहुत कम जगह छोड़ी कि कब निष्पक्षता की एक धारणा दूसरे के लिए श्रेष्ठ हो सकती है।

विवाद

Main article: एल्गोरिथम पूर्वाग्रह § प्रभाव

कानूनी प्रणाली में कलनविधीय निर्णय लेने का उपयोग अनुसंधान के अंतर्गत उपयोग का एक उल्लेखनीय क्षेत्र रहा है। 2014 में, तत्कालीन संयुक्त राज्य अमेरिका के अटॉर्नी जनरल एरिक होल्डर ने चिंता जताई कि "जोखिम निर्धारण" के प्रकार उन कारकों पर अनुचित ध्यान केंद्रित कर सकते हैं जो प्रतिवादी के नियंत्रण में नहीं हैं, जैसे कि उनकी शिक्षा का स्तर या सामाजिक-आर्थिक पृष्ठभूमि हैं। कम्पास (सॉफ्टवेयर) पर प्रोपब्लिका की 2016 की रिपोर्ट में दावा किया गया है कि काले प्रतिवादियों को सफेद प्रतिवादियों की तुलना में गलत प्रकार से उच्च जोखिम के रूप में लेबल किए जाने की संभावना लगभग दोगुनी थी, जबकि सफेद प्रतिवादियों के साथ विपरीत मिथ्याी हुई थी। कम्पास (सॉफ्टवेयर) के निर्माता, नॉर्थपॉइंट इंक ने रिपोर्ट का खंडन करते हुए दावा किया कि उनका उपकरण निष्पक्ष है और प्रोपब्लिका ने सांख्यिकीय त्रुटियां की हैं, जिसे बाद में प्रोपब्लिका द्वारा फिर से खंडन कर दिया गया हैं।

प्रतिबिंब पहचान एल्गोरिदम में प्रजातीय और लिंग पूर्वाग्रह भी नोट किया गया है। कैमरों में चेहरे और गतिविधि का पता लगाने से गैर-श्वेत विषयों के चेहरे के भावों को अनदेखा या मिथ्या लेबल करना पाया गया है। 2015 में, फ़्लिकर और गूगल फ़ोटो दोनों में स्वचालित टैगिंग सुविधा काले लोगों को "जानवर" और "गोरिल्ला" जैसे टैग के साथ लेबल करने के लिए पाई गई थी। एआई एल्गोरिदम द्वारा निर्णय ली गई 2016 की एक अंतर्राष्ट्रीय सौंदर्य प्रतियोगिता को हल्की त्वचा वाले व्यक्तियों के प्रति पक्षपाती पाया गया, संभवतः प्रशिक्षण डेटा में पूर्वाग्रह के कारण पाया गया है। 2018 में तीन व्यावसायिक लिंग वर्गीकरण एल्गोरिदम के एक अध्ययन में पाया गया कि सभी तीन एल्गोरिदम सामान्यतः गोरी त्वचा वाले पुरुषों को वर्गीकृत करते समय सबसे यथार्थ थे और गहरे रंग की महिलाओं को वर्गीकृत करते समय सबसे खराब थे। 2020 में, ट्विटर के एक प्रतिबिंब क्रॉपिंग टूल में पतले त्वचा वाले चेहरों को प्राथमिकता देते हुए दिखाया गया था। DALL-E, एक मशीन लर्निंग टेक्स्ट-टू-प्रतिबिंब प्रतिरूप, जिसे 2021 में जारी किया गया था, जातिवादी और लिंग भेद छवियां बनाने के लिए प्रवृत्त रहा है जो सामाजिक रूढ़िवादिता को मजबूत करता है, जिसे इसके रचनाकारों ने स्वीकार किया है।

अन्य क्षेत्र जहां मशीन लर्निंग एल्गोरिदम का उपयोग किया जाता है, उन्हें पक्षपातपूर्ण दिखाया गया है, उनमें नौकरी और ऋण आवेदन सम्मिलित हैं। अमेज़ॅन (कंपनी) ने ऐसे नौकरी आवेदनों की समीक्षा करने के लिए सॉफ़्टवेयर का उपयोग किया है जो लैंगिक भेदभाव वाले थे, उदाहरण के लिए उन बायोडाटा को दंडित करके जिनमें महिला शब्द सम्मिलित था। 2019 में, अपने नए एप्पल कार्ड के लिए क्रेडिट कार्ड की सीमा निर्धारित करने के लिए ऐप्पल इंक के एल्गोरिदम ने महिलाओं की तुलना में पुरुषों को बहुत अधिक सीमाएं दीं हैं, यहां तक ​​​​कि उन जोड़ों के लिए भी जो अपने वित्त को साझा करते हैं। 2021 में द मार्कअप की एक रिपोर्ट के अनुसार अमेरिका में उपयोग में आने वाले बंधक-अनुमोदन एल्गोरिदम में गैर-श्वेत आवेदकों को अस्वीकार करने की अधिक संभावना दिखाई गई है।

सीमाएँ

Main article: एल्गोरिथम पूर्वाग्रह § अनुसंधान में बाधाएँ

आधुनिक कार्य मशीन लर्निंग में निष्पक्षता के वर्तमान परिदृश्य में कई सीमाओं की उपस्थिति को रेखांकित करते हैं, विशेष रुप से जब बात आती है कि एआई के लगातार बढ़ते वास्तविक दुनिया अनुप्रयोगों में इस संबंध में वास्तविक रूप से क्या प्राप्त किया जा सकता है। उदाहरण के लिए, निष्पक्षता को औपचारिक बनाने के लिए गणितीय और मात्रात्मक दृष्टिकोण, और संबंधित "डी-बायसिंग" दृष्टिकोण, बहुत सरल और आसानी से उपेक्षित की जाने वाली धारणाओं पर भरोसा किया जा सकता है, जैसे कि व्यक्तियों को पूर्व-परिभाषित सामाजिक समूहों में वर्गीकृत करना है। अन्य कमज़ोर पहलू हैं, उदाहरण के लिए, कई उचित विशेषताओं के मध्य परस्पर क्रिया,और गैर-भेदभाव की स्पष्ट और साझा दार्शनिक और/या कानूनी धारणा का अभाव है।

समूह निष्पक्षता मानदंड

वर्गीकरण समस्याओं में, एक एल्गोरिदम ज्ञात विशेषताओं ${\textstyle X}$ से एक अलग विशेषता ${\textstyle Y}$, लक्ष्य चर की भविष्यवाणी करने के लिए एक फलन सीखता है। हम ${\textstyle A}$ को एक अलग यादृच्छिक चर के रूप में प्रतिरूप करते हैं जो ${\textstyle X}$ में निहित या अंतर्निहित रूप से कूटलिखित की गई कुछ विशेषताओं को कूटलेखन करना है जिन्हें हम संवेदनशील विशेषताओं (लिंग, जातीयता, यौन अभिविन्यास, इत्यादि) के रूप में मानते हैं। हम अंततः वर्गीकरण की भविष्यवाणी को ${\textstyle R}$ द्वारा निरूपित करते हैं। अब मूल्यांकन करने के लिए तीन मुख्य मानदंडों को परिभाषित करें कि क्या कोई दिया गया वर्गीकरण निष्पक्ष है, अर्थात् इसकी भविष्यवाणियां इनमें से कुछ संवेदनशील चर से प्रभावित नहीं हैं।

स्वतंत्रता

हम कहते हैं कि यादृच्छिक चर ${\textstyle (R,A)}$ स्वतंत्रता को संतुष्ट करते हैं यदि संवेदनशील विशेषताएं ${\textstyle A}$ भविष्यवाणी ${\textstyle R}$ से सांख्यिकीय रूप से स्वतंत्र हैं, और हम लिखते हैं

$$R\bot A.$$

इस धारणा को हम निम्नलिखित सूत्र से भी व्यक्त कर सकते हैं:

$$P(R=r\ |\ A=a)=P(R=r\ |\ A=b)\quad \forall r\in R\quad \forall a,b\in A$$

इसका अर्थ यह है कि संवेदनशील विशेषता $A$ के संबंध में प्रत्येक लक्ष्य वर्ग के लिए वर्गीकरण दर विभिन्न समूहों से संबंधित लोगों के लिए समान है।

फिर भी स्वतंत्रता के लिए एक और समकक्ष अभिव्यक्ति यादृच्छिक चर के मध्य पारस्परिक जानकारी की अवधारणा का उपयोग करके दी जा सकती है, जिसे इस प्रकार परिभाषित किया गया है

$$I(X,Y)=H(X)+H(Y)-H(X,Y)$$

इस सूत्र में, ${\textstyle H(X)}$ यादृच्छिक चर $X$ की एन्ट्रॉपी (सूचना सिद्धांत) है। तब ${\textstyle (R,A)}$ स्वतंत्रता को संतुष्ट करता है यदि ${\textstyle I(R,A)=0}$ है।

स्वतंत्रता की परिभाषा में संभावित छूट (अनुमान) में एक धनात्मक स्लैक ${\textstyle \epsilon >0}$ प्रस्तावित करना सम्मिलित है और सूत्र द्वारा दिया गया है:

$$P(R=r\ |\ A=a)\geq P(R=r\ |\ A=b)-\epsilon \quad \forall r\in R\quad \forall a,b\in A$$

अंत में, एक और संभावित छूट ${\textstyle I(R,A)\leq \epsilon }$ की आवश्यकता है।

पृथक्करण

हम कहते हैं कि यादृच्छिक चर ${\textstyle (R,A,Y)}$ पृथक्करण को संतुष्ट करते हैं यदि संवेदनशील विशेषताएं ${\textstyle A}$ लक्ष्य मान ${\textstyle Y}$ दिए जाने पर भविष्यवाणी ${\textstyle R}$ से सांख्यिकीय रूप से स्वतंत्र हैं, और हम लिखते है

$$R\bot A\ |\ Y.$$

इस धारणा को हम निम्नलिखित सूत्र से भी व्यक्त कर सकते हैं:

$$P(R=r\ |\ Y=q,A=a)=P(R=r\ |\ Y=q,A=b)\quad \forall r\in R\quad q\in Y\quad \forall a,b\in A$$

इसका अर्थ यह है कि संवेदनशील विशेषता $A$ पर निर्णय $R$ की सभी निर्भरता को वास्तविक लक्ष्य चर $Y$ की वास्तविक निर्भरता द्वारा उचित ठहराया जाना चाहिए।

द्विआधारी लक्ष्य दर के विषय में एक और समतुल्य अभिव्यक्ति यह है कि संवेदनशील विशेषताओं के प्रत्येक मूल्य के लिए वास्तविक धनात्मक दर और आभासी धनात्मक दर समान होती है (और इसलिए आभासी धनात्मक दर और वास्तविक धनात्मक दर समान होती है):

$$P(R=1\ |\ Y=1,A=a)=P(R=1\ |\ Y=1,A=b)\quad \forall a,b\in A$$

$$P(R=1\ |\ Y=0,A=a)=P(R=1\ |\ Y=0,A=b)\quad \forall a,b\in A$$

विशेष परिभाषाओं में एक संभावित छूट यह है कि दरों के मध्य अंतर के मान को शून्य के समान के बदले किसी दिए गए स्लैक ${\textstyle \epsilon >0}$ से कम धनात्मक संख्या दी जाए।

कुछ क्षेत्रों में भ्रम आव्यूह में पृथक्करण (पृथक्करण गुणांक) अनुमानित संचयी प्रतिशत ऋणात्मक और अनुमानित संचयी प्रतिशत धनात्मक के मध्य की दूरी (संभावना स्कोर के दिए गए स्तर पर) का एक माप है।

किसी दिए गए स्कोर मान पर यह पृथक्करण गुणांक जितना अधिक होगा, प्रतिरूप एक विशेष संभाव्यता कट-ऑफ पर धनात्मक और ऋणात्मक के समुच्चय के मध्य अंतर करने में उतना ही अधिक प्रभावी होता है। मेयस के अनुसार: "क्रेडिट उद्योग में प्रायः यह देखा जाता है कि सत्यापन उपायों का चयन प्रतिरूपण दृष्टिकोण पर निर्भर करता है। उदाहरण के लिए, यदि प्रतिरूपण प्रक्रिया प्राचलिक या अर्ध-प्राचलिक है, तो दो-प्रतिदर्श K-S परीक्षण प्रायः उपयोग किया जाता है। यदि प्रतिरूप अनुमानी या पुनरावृत्तीय खोज विधियों द्वारा प्राप्त किया गया है, तो प्रतिरूप प्रदर्शन का माप सामान्यतः अपसरण होता है। तीसरा विकल्प पृथक्करण का गुणांक है... अन्य दो प्रकार की तुलना में पृथक्करण का गुणांक, प्रतिरूप प्रदर्शन के माप के रूप में सबसे उचित प्रतीत होता है क्योंकि यह एक प्रतिरूप के पृथक्करण रूप को दर्शाता है।"

पर्याप्तता

हम कहते हैं कि यादृच्छिक चर ${\textstyle (R,A,Y)}$ पर्याप्तता को संतुष्ट करते हैं यदि संवेदनशील विशेषताएं ${\textstyle A}$ भविष्यवाणी ${\textstyle R}$ को देखते हुए लक्ष्य मूल्य ${\textstyle Y}$ से सांख्यिकीय रूप से स्वतंत्र हैं, और हम लिखते हैं

$$Y\bot A\ |\ R.$$

इस धारणा को हम निम्नलिखित सूत्र से भी व्यक्त कर सकते हैं:

$$P(Y=q\ |\ R=r,A=a)=P(Y=q\ |\ R=r,A=b)\quad \forall q\in Y\quad r\in R\quad \forall a,b\in A$$

इसका अर्थ यह है कि वास्तव में प्रत्येक समूह में होने की संभावना सिद्धांत अलग-अलग संवेदनशील विशेषताओं वाले दो व्यक्तियों के लिए समान है, यह देखते हुए कि उनके एक ही समूह से संबंधित होने की भविष्यवाणी की गई थी।

परिभाषाओं के मध्य संबंध

अंत में, हम कुछ मुख्य परिणामों का सारांश देते हैं जो ऊपर दी गई तीन परिभाषाओं से संबंधित हैं:

• यह मानते हुए कि ${\textstyle Y}$ द्विआधारी है, यदि ${\textstyle A}$ और ${\textstyle Y}$ सांख्यिकीय रूप से स्वतंत्र नहीं हैं, और ${\textstyle R}$ और ${\textstyle Y}$ भी सांख्यिकीय रूप से स्वतंत्र नहीं हैं, तो अलंकारिक प्रकरण को छोड़कर स्वतंत्रता और पृथक्करण दोनों सम्मिलित नहीं रह सकते हैं।
• यदि संयुक्त वितरण के रूप में ${\textstyle (R,A,Y)}$ के सभी संभावित मूल्यों के लिए धनात्मक संभाव्यता सिद्धांत है और ${\textstyle A}$ और ${\textstyle Y}$ सांख्यिकीय रूप से स्वतंत्र नहीं हैं, तो अलंकारिक प्रकरण को छोड़कर पृथक्करण और पर्याप्तता दोनों सम्मिलित नहीं रह सकते हैं।

इसे पूर्ण निष्पक्षता कहा जाता है जब स्वतंत्रता, पृथक्करण और पर्याप्तता सभी एक साथ संतुष्ट होते हैं। हालाँकि, विशिष्ट अलंकारिक प्रकरण के अलावा पूर्ण निष्पक्षता प्राप्त करना संभव नहीं है।

समूह निष्पक्षता परिभाषाओं का गणितीय सूत्रीकरण

प्रारंभिक परिभाषाएँ

Main article: भ्रम आव्यूह

निष्पक्षता के अधिकांश सांख्यिकीय उपाय विभिन्न मापन विज्ञान पर निर्भर करते हैं, इसलिए हम उन्हें परिभाषित करके प्रारंभ करते हैं। द्विआधारी वर्गीकारक के साथ काम करते समय, अनुमानित और वास्तविक वर्ग दोनों दो मान ले सकते हैं: धनात्मक और ऋणात्मक। अब हम पूर्वानुमानित और वास्तविक परिणाम के मध्य विभिन्न संभावित संबंधों को समझाना प्रारंभ करें:

भ्रम आव्यूह

• सत्य धनात्मक (टीपी): वह प्रकरण जहां पूर्वानुमानित और वास्तविक परिणाम दोनों धनात्मक वर्ग में हैं।

• सत्य ऋणात्मक (टीएन): वह प्रकरण जहां अनुमानित परिणाम और वास्तविक परिणाम दोनों को ऋणात्मक वर्ग को निर्दिष्ट किया गया है।
• मिथ्या धनात्मक (एफपी): जिस प्रकरण के वास्तविक परिणाम में निर्दिष्ट धनात्मक वर्ग में आने की भविष्यवाणी की गई है, वह ऋणात्मक है।
• मिथ्या ऋणात्मक (एफएन): जिस प्रकरण के ऋणात्मक वर्ग में होने की भविष्यवाणी की गई है, उसका वास्तविक परिणाम धनात्मक है।

इन संबंधों को आसानी से एक भ्रम आव्यूह के साथ दर्शाया जा सकता है, एक सूची जो वर्गीकरण प्रतिरूप की यथार्थता का वर्णन करती है। इस आव्यूह में, कॉलम और पंक्तियाँ क्रमशः अनुमानित और वास्तविक प्रकरण के उदाहरणों का प्रतिनिधित्व करता हैं।

इन संबंधों का उपयोग करके, हम कई मेट्रिक्स को परिभाषित कर सकते हैं जिनका उपयोग बाद में एल्गोरिदम की निष्पक्षता को मापने के लिए किया जा सकता है:

• धनात्मक पूर्वानुमानित मूल्य (पीपीवी): धनात्मक प्रकरण का वह भिन्न जिसकी सभी धनात्मक भविष्यवाणियों में से सही भविष्यवाणी की गई थी। इसे सामान्यतः परिशुद्धता के रूप में जाना जाता है, और यह एक सही धनात्मक भविष्यवाणी की संभावना का प्रतिनिधित्व करता है। इसे निम्नलिखित सूत्र द्वारा दिया गया है:
  $$PPV=P(actual=+\ |\ prediction=+)={\frac {TP}{TP+FP}}$$
• मिथ्या खोज दर (एफडीआर): धनात्मक भविष्यवाणियों का वह भिन्न जो वास्तव में सभी धनात्मक भविष्यवाणियों में से ऋणात्मक था। यह एक अशुद्ध धनात्मक भविष्यवाणी की संभावना का प्रतिनिधित्व करता है, और इसे निम्नलिखित सूत्र द्वारा दिया गया है:
  $$FDR=P(actual=-\ |\ prediction=+)={\frac {FP}{TP+FP}}$$
• ऋणात्मक अनुमानित मूल्य (एनपीवी): ऋणात्मक प्रकरण का वह भिन्न जिसकी सभी ऋणात्मक भविष्यवाणियों में से सही भविष्यवाणी की गई थी। यह एक सही ऋणात्मक भविष्यवाणी की संभावना का प्रतिनिधित्व करता है, और इसे निम्नलिखित सूत्र द्वारा दिया गया है:
  $$NPV=P(actual=-\ |\ prediction=-)={\frac {TN}{TN+FN}}$$
• मिथ्या लोप दर (FOR): ऋणात्मक भविष्यवाणियों का वह भिन्न जो वास्तव में सभी ऋणात्मक भविष्यवाणियों में से धनात्मक था। यह एक मिथ्या ऋणात्मक भविष्यवाणी की संभावना का प्रतिनिधित्व करता है, और इसे निम्नलिखित सूत्र द्वारा दिया गया है:
  $$FOR=P(actual=+\ |\ prediction=-)={\frac {FN}{TN+FN}}$$
• सत्य धनात्मक दर (टीपीआर): सभी धनात्मक प्रकरण में से धनात्मक प्रकरण का वह भिन्न जिसकी सही भविष्यवाणी की गई थी। इसे सामान्यतः संवेदनशीलता या प्रत्याह्वान के रूप में संदर्भित किया जाता है, और यह धनात्मक विषयों को इस तरह सही प्रकार से र्गीकृत किए जाने की संभावना का प्रतिनिधित्व करता है। यह सूत्र द्वारा दिया गया है:
  $$TPR=P(prediction=+\ |\ actual=+)={\frac {TP}{TP+FN}}$$
• मिथ्या ऋणात्मक दर (एफएनआर): धनात्मक प्रकरण का वह भिन्न जिसके सभी धनात्मक प्रकरण में से ऋणात्मक होने की गलत भविष्यवाणी की गई थी। यह धनात्मक विषयों को गलत प्रकार से ऋणात्मक के रूप में वर्गीकृत किए जाने की संभावना को दर्शाता है, और यह सूत्र द्वारा दिया गया है:
  $$FNR=P(prediction=-\ |\ actual=+)={\frac {FN}{TP+FN}}$$
• सत्य ऋणात्मक दर (टीएनआर): सभी ऋणात्मक प्रकरण में से ऋणात्मक प्रकरण का वह भिन्न जिसकी सही भविष्यवाणी की गई थी। यह ऋणात्मक विषयों को सही प्रकार से वर्गीकृत किए जाने की संभावना को दर्शाता है, और यह सूत्र द्वारा दिया गया है:
  $$TNR=P(prediction=-\ |\ actual=-)={\frac {TN}{TN+FP}}$$
• मिथ्या धनात्मक दर (एफपीआर): ऋणात्मक प्रकरण का वह भिन्न जिसके सभी ऋणात्मक प्रकरण में से धनात्मक होने की गलत भविष्यवाणी की गई थी। यह ऋणात्मक विषयों को गलत प्रकार से धनात्मक के रूप में वर्गीकृत किए जाने की संभावना को दर्शाता है, और यह सूत्र द्वारा दिया गया है:
  $$FPR=P(prediction=+\ |\ actual=-)={\frac {FP}{TN+FP}}$$

निष्पक्षता मानदंडों के मध्य संबंध जैसा कि बारोकास एट अल में दिखाया गया है।

निम्नलिखित मानदंडों को इस खंड की आरंभ में दी गई तीन सामान्य परिभाषाओं, अर्थात् स्वतंत्रता, पृथक्करण और पर्याप्तता के उपायों के रूप में समझा जा सकता है। दाईं ओर, हम उनके मध्य संबंध देख सकते हैं।

इन उपायों को विशेष रूप से परिभाषित करने के लिए, हम उन्हें तीन बड़े समूहों में विभाजित करेंगे जैसा कि वर्मा एट अल में किया गया है: पूर्वानुमानित परिणाम पर आधारित परिभाषाएँ, पूर्वानुमानित और वास्तविक परिणामों पर, और पूर्वानुमानित संभावनाओं और वास्तविक परिणाम पर आधारित परिभाषाएँ है।

हम एक द्विआधारी वर्गीकारक और निम्नलिखित नोटेशन के साथ काम करेंगे: ${\textstyle S}$ वर्गीकारक द्वारा दिए गए स्कोर को संदर्भित करता है, जो एक निश्चित विषय के धनात्मक या ऋणात्मक वर्ग में होने की संभावना है। ${\textstyle R}$ एल्गोरिदम द्वारा अनुमानित अंतिम वर्गीकरण का प्रतिनिधित्व करता है, और इसका मूल्य सामान्यतः ${\textstyle S}$से प्राप्त होता है, उदाहरण के लिए धनात्मक होगा जब ${\textstyle S}$ एक निश्चित सीमा से ऊपर है। ${\textstyle Y}$ वास्तविक परिणाम का प्रतिनिधित्व करता है, अर्थात, व्यक्ति का वास्तविक वर्गीकरण और अंततः, ${\textstyle A}$ विषयों की संवेदनशील विशेषताओं को दर्शाता है।

अनुमानित परिणाम पर आधारित परिभाषाएँ

इस खंड की परिभाषाएँ अनुमानित परिणाम पर केंद्रित हैं ${\textstyle R}$ विषयों के विभिन्न संभाव्यता वितरण के लिए। वे निष्पक्षता की सबसे सरल और सबसे सहज धारणाएँ हैं।

• जनसांख्यिकीय समता, जिसे सांख्यिकीय समता, स्वीकृति दर समता और बेंचमार्किंग भी कहा जाता है। एक वर्गीकारक इस परिभाषा को संतुष्ट करता है यदि संरक्षित और असुरक्षित समूहों के विषयों को धनात्मक पूर्वानुमानित वर्ग को सौंपे जाने की समान संभावना है। ऐसा तब होता है, जब निम्नलिखित सूत्र संतुष्ट होता है:
  $$P(R=+\ |\ A=a)=P(R=+\ |\ A=b)\quad \forall a,b\in A$$
• सशर्त सांख्यिकीय समता. मूल रूप से उपरोक्त परिभाषा में सम्मिलित है, लेकिन केवल उदाहरणों के सबसमुच्चय तक ही सीमित है। गणितीय संकेतन में यह होगा:
  $$P(R=+\ |\ L=l,A=a)=P(R=+\ |\ L=l,A=b)\quad \forall a,b\in A\quad \forall l\in L$$

पूर्वानुमानित और वास्तविक परिणामों पर आधारित परिभाषाएँ

ये परिभाषाएँ न केवल पूर्वानुमानित परिणाम पर विचार करती हैं ${\textstyle R}$ लेकिन इसकी तुलना वास्तविक परिणाम से भी करें ${\textstyle Y}$.

• पूर्वानुमानित समता, जिसे परिणाम परीक्षण भी कहा जाता है। यदि संरक्षित और असुरक्षित समूहों के विषयों में समान पीपीवी है तो एक वर्गीकारक इस परिभाषा को संतुष्ट करता है। ऐसा तब होता है, जब निम्नलिखित सूत्र संतुष्ट होता है:
  $$P(Y=+\ |\ R=+,A=a)=P(Y=+\ |\ R=+,A=b)\quad \forall a,b\in A$$

गणितीय रूप से, यदि किसी वर्गीकारक के पास दोनों समूहों के लिए समान पीपीवी है, तो उसके पास समान एफडीआर भी होगा, जो सूत्र को संतुष्ट करता है:

$$P(Y=-\ |\ R=+,A=a)=P(Y=-\ |\ R=+,A=b)\quad \forall a,b\in A$$

• मिथ्या धनात्मक त्रुटि दर संतुलन, जिसे पूर्वानुमानित समानता भी कहा जाता है। यदि संरक्षित और असुरक्षित समूहों के विषयों में समान एफपीआर है तो एक वर्गीकारक इस परिभाषा को संतुष्ट करता है। ऐसा तब होता है, जब निम्नलिखित सूत्र संतुष्ट होता है:
  $$P(R=+\ |\ Y=-,A=a)=P(R=+\ |\ Y=-,A=b)\quad \forall a,b\in A$$

गणितीय रूप से, यदि किसी वर्गीकारक में दोनों समूहों के लिए समान एफपीआर है, तो इसका टीएनआर भी समान होगा, जो सूत्र को संतुष्ट करता है:

$$P(R=-\ |\ Y=-,A=a)=P(R=-\ |\ Y=-,A=b)\quad \forall a,b\in A$$

• मिथ्या ऋणात्मक त्रुटि दर संतुलन, जिसे समान अवसर भी कहा जाता है। यदि संरक्षित और असुरक्षित समूहों में विषयों का एफएनआर समान है तो एक वर्गीकारक इस परिभाषा को संतुष्ट करता है। ऐसा तब होता है, जब निम्नलिखित सूत्र संतुष्ट होता है:
  $$P(R=-\ |\ Y=+,A=a)=P(R=-\ |\ Y=+,A=b)\quad \forall a,b\in A$$

गणितीय रूप से, यदि किसी वर्गीकारक में दोनों समूहों के लिए समान एफएनआर है, तो इसका टीपीआर भी समान होगा, जो सूत्र को संतुष्ट करता है:

$$P(R=+\ |\ Y=+,A=a)=P(R=+\ |\ Y=+,A=b)\quad \forall a,b\in A$$

• समान अंतर, जिसे सशर्त प्रक्रिया यथार्थता समानता और असमान दुर्व्यवहार भी कहा जाता है। एक वर्गीकारक इस परिभाषा को संतुष्ट करता है यदि संरक्षित और असुरक्षित समूहों के विषयों में समान टीपीआर और समान एफपीआर है, जो सूत्र को संतुष्ट करता है:
  $$P(R=+\ |\ Y=y,A=a)=P(R=+\ |\ Y=y,A=b)\quad y\in \{+,-\}\quad \forall a,b\in A$$
• सशर्त उपयोग यथार्थता समानता। एक वर्गीकारक इस परिभाषा को संतुष्ट करता है यदि संरक्षित और असुरक्षित समूहों के विषयों में समान पीपीवी और समान एनपीवी है, जो सूत्र को संतुष्ट करता है:
  $$P(Y=y\ |\ R=y,A=a)=P(Y=y\ |\ R=y,A=b)\quad y\in \{+,-\}\quad \forall a,b\in A$$
• समग्र यथार्थता समानता। एक वर्गीकारक इस परिभाषा को संतुष्ट करता है यदि संरक्षित और असुरक्षित समूहों में विषय की भविष्यवाणी यथार्थता समान है, अर्थात, एक वर्ग से किसी विषय को उसे सौंपे जाने की संभावना है। यह है, यदि यह निम्नलिखित सूत्र को संतुष्ट करता है:
  $$P(R=Y\ |\ A=a)=P(R=Y\ |\ A=b)\quad \forall a,b\in A$$
• उपचार समानता. एक वर्गीकारक इस परिभाषा को संतुष्ट करता है यदि संरक्षित और असुरक्षित समूहों के विषयों में एफएन और एफपी का समान अनुपात है, जो सूत्र को संतुष्ट करता है:
  $${\frac {FN_{A=a}}{FP_{A=a}}}={\frac {FN_{A=b}}{FP_{A=b}}}$$

अनुमानित संभावनाओं और वास्तविक परिणाम पर आधारित परिभाषाएँ

ये परिभाषाएँ वास्तविक परिणाम पर आधारित हैं ${\textstyle Y}$ और अनुमानित संभाव्यता स्कोर ${\textstyle S}$.

• परीक्षण-निष्पक्षता, जिसे भिन्नांकन या सशर्त आवृत्तियों के मिलान के रूप में भी जाना जाता है। यदि समान पूर्वानुमानित संभाव्यता स्कोर वाले व्यक्ति हों तो एक वर्गीकारक इस परिभाषा को संतुष्ट करता है ${\textstyle S}$ जब वे संरक्षित या असुरक्षित समूह से संबंधित होते हैं तो धनात्मक वर्ग में वर्गीकृत होने की समान संभावना होती है:
  $$P(Y=+\ |\ S=s,A=a)=P(Y=+\ |\ S=s,A=b)\quad \forall s\in S\quad \forall a,b\in A$$
• वेल-कैलिब्रेशन पिछली परिभाषा का विस्तार है। इसमें कहा गया है कि जब संरक्षित समूह के अंदर या बाहर के व्यक्तियों का पूर्वानुमानित संभाव्यता स्कोर समान होता है ${\textstyle S}$ उनके पास धनात्मक वर्ग में वर्गीकृत होने की समान संभावना होनी चाहिए, और यह संभावना बराबर होनी चाहिए ${\textstyle S}$:
  $$P(Y=+\ |\ S=s,A=a)=P(Y=+\ |\ S=s,A=b)=s\quad \forall s\in S\quad \forall a,b\in A$$
• धनात्मक वर्ग के लिए संतुलन. एक वर्गीकारक इस परिभाषा को संतुष्ट करता है यदि संरक्षित और असुरक्षित दोनों समूहों से धनात्मक वर्ग का गठन करने वाले विषयों का औसत अनुमानित संभाव्यता स्कोर समान है ${\textstyle S}$. इसका अर्थ यह है कि धनात्मक वास्तविक परिणाम के साथ संरक्षित और असुरक्षित समूहों के लिए संभाव्यता स्कोर का अपेक्षित मूल्य ${\textstyle Y}$ वही है, सूत्र को संतुष्ट करना:
  $$E(S\ |\ Y=+,A=a)=E(S\ |\ Y=+,A=b)\quad \forall a,b\in A$$
• ऋणात्मक वर्ग के लिए संतुलन. एक वर्गीकारक इस परिभाषा को संतुष्ट करता है यदि संरक्षित और असुरक्षित दोनों समूहों के ऋणात्मक वर्ग का गठन करने वाले विषयों का औसत अनुमानित संभाव्यता स्कोर समान है ${\textstyle S}$. इसका अर्थ यह है कि ऋणात्मक वास्तविक परिणाम वाले संरक्षित और असुरक्षित समूहों के लिए संभाव्यता स्कोर का अपेक्षित मूल्य ${\textstyle Y}$ वही है, सूत्र को संतुष्ट करना:
  $$E(S\ |\ Y=-,A=a)=E(S\ |\ Y=-,A=b)\quad \forall a,b\in A$$

समान भ्रम निष्पक्षता

कन्फ्यूजन आव्यूह के संबंध में, स्वतंत्रता, पृथक्करण और पर्याप्तता के लिए नीचे सूचीबद्ध संबंधित मात्राओं की आवश्यकता होती है ताकि संवेदनशील विशेषताओं में सांख्यिकीय रूप से महत्वपूर्ण अंतर न हो।<रेफ नाम = Räz 129–137 />

• स्वतंत्रता: (टीपी + एफपी) / (टीपी + एफपी + एफएन + टीएन) (यानी, $P({\hat {Y}}=1)$).
• पृथक्करण: टीएन / (टीएन + एफपी) और टीपी / (टीपी + एफएन) (यानी, विशिष्टता $P({\hat {Y}}=0\mid Y=0)$ और याद करो $P({\hat {Y}}=1\mid Y=1)$).
• पर्याप्तता: टीपी / (टीपी + एफपी) और टीएन / (टीएन + एफएन) (यानी, परिशुद्धता $P(Y=1\mid {\hat {Y}}=1)$ और ऋणात्मक पूर्वानुमानित मूल्य $P(Y=0\mid {\hat {Y}}=0)$).

समान भ्रम निष्पक्षता की धारणा सभी संवेदनशील विशेषताओं पर स्तरीकृत गणना करते समय किसी दिए गए निर्णय प्रणाली के भ्रम आव्यूह को समान वितरण की आवश्यकता होती है।

समाज कल्याण समारोह

कुछ विद्वानों ने सामाजिक कल्याण कार्य के संदर्भ में कलनविधीय निष्पक्षता को परिभाषित करने का प्रस्ताव दिया है। उनका तर्क है कि सामाजिक कल्याण फलन का उपयोग एक एल्गोरिदम डिजाइनर को एल्गोरिदम से प्रभावित लोगों को उनके लाभों के संदर्भ में निष्पक्षता और पूर्वानुमान यथार्थता पर विचार करने में सक्षम बनाता है। यह डिजाइनर को सैद्धांतिक प्रकार से दक्षता और इक्विटी का आदान-प्रदान करने की भी अनुमति देता है। सेंथिल मुलैनाथन ने कहा है कि एल्गोरिदम डिजाइनरों को वंचित समूहों के लिए पूर्ण लाभ की पहचान करने के लिए सामाजिक कल्याण कार्यों का उपयोग करना चाहिए। उदाहरण के लिए, एक अध्ययन में पाया गया कि शुद्ध मानव निर्णय के बदले प्री-ट्रायल हिरासत में निर्णय लेने वाले एल्गोरिदम का उपयोग करने से अपराध दर स्थिर रखते हुए भी कुल मिलाकर काले, हिस्पैनिक और नस्लीय अल्पसंख्यकों के लिए हिरासत दर कम हो गई।

व्यक्तिगत निष्पक्षता मानदंड

निष्पक्षता परिभाषाओं के मध्य एक महत्वपूर्ण अंतर समूह और व्यक्तिगत धारणाओं के मध्य है। मोटे तौर पर कहें तो, जबकि समूह निष्पक्षता मानदंड समूह स्तर पर मात्राओं की तुलना करते हैं, सामान्यतः संवेदनशील विशेषताओं (जैसे लिंग, जातीयता, आयु, आदि ...) द्वारा पहचाने जाते हैं, व्यक्तिगत मानदंड व्यक्तियों की तुलना करते हैं। शब्दों में, व्यक्तिगत निष्पक्षता इस सिद्धांत का पालन करती है कि समान व्यक्तियों को समान उपचार प्राप्त होना चाहिए।

निष्पक्षता के लिए एक बहुत ही सहज दृष्टिकोण है, जिसे आम तौर पर फेयरनेस थ्रू अनअवेयरनेस (एफटीयू), या ब्लाइंडनेस के नाम से जाना जाता है, जो (स्वचालित) निर्णय लेते समय स्पष्ट रूप से संवेदनशील सुविधाओं को नियोजित नहीं करने का निर्देश देता है। यह प्रभावी रूप से व्यक्तिगत निष्पक्षता की धारणा है, क्योंकि दो व्यक्ति केवल अपनी संवेदनशील विशेषताओं के मूल्य के लिए भिन्न होते हैं, उन्हें एक ही परिणाम प्राप्त होगा।

हालाँकि, सामान्य तौर पर, FTU में कई कमियाँ हैं, मुख्य बात यह है कि यह निर्णय लेने की प्रक्रिया में नियोजित संवेदनशील विशेषताओं और गैर-संवेदनशील विशेषताओं के मध्य संभावित सहसंबंधों को ध्यान में नहीं रखता है। उदाहरण के लिए, लिंग के आधार पर भेदभाव करने के (घातक) इरादे वाला एक एजेंट प्रतिरूप में लिंग के लिए एक प्रॉक्सी वैरिएबल (यानी लिंग के साथ अत्यधिक सहसंबंधित वैरिएबल) प्रस्तावित कर सकता है और प्रभावी ढंग से लिंग जानकारी का उपयोग कर सकता है जबकि साथ ही साथ इसका अनुपालन भी कर सकता है। एफटीयू नुस्खा.

निर्णय लेने की प्रक्रिया में संवेदनशील लोगों से संबंधित कौन से चर एक प्रतिरूप द्वारा काफी रोजगार योग्य हैं की समस्या एक महत्वपूर्ण है, और #समूह निष्पक्षता मानदंड के लिए भी प्रासंगिक है: स्वतंत्रता मेट्रिक्स को संवेदनशील जानकारी को पूरी तरह से हटाने की आवश्यकता होती है , जबकि पृथक्करण-आधारित मेट्रिक्स सहसंबंध की अनुमति देते हैं, लेकिन केवल तब तक जहां तक ​​लेबल किए गए लक्ष्य चर उन्हें उचित ठहराते हैं।

व्यक्तिगत निष्पक्षता की सबसे सामान्य अवधारणा को 2012 में सिंथिया डवर्क और सहयोगियों द्वारा अग्रणी कार्य में प्रस्तावित किया गया था। और इसे इस सिद्धांत के गणितीय अनुवाद के रूप में सोचा जा सकता है कि इनपुट के रूप में सुविधाओं को लेने वाले निर्णय मानचित्र को इस तरह बनाया जाना चाहिए कि यह समान व्यक्तियों को समान रूप से मैप करने में सक्षम हो, जिसे प्रतिरूप मानचित्र पर लिप्सचिट्ज़ निरंतरता के रूप में व्यक्त किया गया है। वे इस दृष्टिकोण को फेयरनेस थ्रू अवेयरनेस (एफटीए) कहते हैं, जो यथार्थ रूप से एफटीयू का प्रतिरूप है, क्योंकि वे यह आकलन करने के लिए उपयुक्त लक्ष्य-संबंधित दूरी मीट्रिक चुनने के महत्व को रेखांकित करते हैं कि कौन से व्यक्ति विशिष्ट परिस्थितियों में समान हैं। फिर, यह समस्या ऊपर उठाए गए बिंदु से बहुत संबंधित है कि विशेष संदर्भों में किन चरों को वैध माना जा सकता है।

कार्य-कारण-आधारित मेट्रिक्स

कारण निष्पक्षता उस आवृत्ति को मापती है जिसके साथ दो लगभग समान उपयोगकर्ता या एप्लिकेशन जो केवल विशेषताओं के एक समुच्चय में भिन्न होते हैं जिसके संबंध में संसाधन आवंटन उचित होना चाहिए, समान उपचार प्राप्त करते हैं।

निष्पक्षता मेट्रिक्स पर अकादमिक अनुसंधान की एक पूरी शाखा मशीन लर्निंग प्रतिरूप में पूर्वाग्रह का आकलन करने के लिए कारण प्रतिरूप का लाभ उठाने के लिए समर्पित है। यह दृष्टिकोण आम तौर पर इस तथ्य से उचित है कि डेटा का एक ही अवलोकन वितरण खेल में चर के मध्य अलग-अलग कारण संबंधों को छुपा सकता है, संभवतः अलग-अलग व्याख्याओं के साथ कि परिणाम किसी प्रकार के पूर्वाग्रह से प्रभावित होते हैं या नहीं।

कुस्नर एट अल. कॉसल प्रतिरूप#काउंटरफैक्टुअल को नियोजित करने का प्रस्ताव, और निर्णय लेने की प्रक्रिया को प्रतितथ्यात्मक रूप से निष्पक्ष रूप से परिभाषित करना, यदि किसी भी व्यक्ति के लिए, प्रतितथ्यात्मक परिदृश्य में परिणाम नहीं बदलता है जहां संवेदनशील गुण बदल जाते हैं। गणितीय सूत्रीकरण पढ़ता है:

$P(R_{A\leftarrow a}=1\mid A=a,X=x)=P(R_{A\leftarrow b}=1\mid A=a,X=x),\quad \forall a,b;$ वह है: संवेदनशील विशेषता वाले एक यादृच्छिक व्यक्ति को लिया गया $A=a$ और अन्य सुविधाएँ $X=x$ और वही व्यक्ति यदि उसके पास होता $A=b$, उन्हें स्वीकार किये जाने का समान अवसर मिलना चाहिए। प्रतीक ${\hat {R}}_{A\leftarrow a}$ प्रतितथ्यात्मक यादृच्छिक चर का प्रतिनिधित्व करता है $R$ उस परिदृश्य में जहां संवेदनशील विशेषता $A$ के लिए तय है $A=a$. कंडीशनिंग चालू $A=a,X=x$ इसका अर्थ है कि यह आवश्यकता व्यक्तिगत स्तर पर है, इसमें हम एक ही अवलोकन की पहचान करने वाले सभी चर पर कंडीशनिंग कर रहे हैं।

मशीन लर्निंग प्रतिरूप को प्रायः डेटा पर प्रशिक्षित किया जाता है जहां परिणाम उस समय लिए गए निर्णय पर निर्भर करता है। उदाहरण के लिए, यदि मशीन लर्निंग प्रतिरूप को यह निर्धारित करना है कि क्या कोई कैदी दोबारा अपराध करेगा या नहीं और यह निर्धारित करेगा कि क्या कैदी को जल्दी रिहा किया जाना चाहिए, तो परिणाम इस पर निर्भर हो सकता है कि कैदी को जल्दी रिहा किया गया था या नहीं। मिशलर एट अल. प्रतितथ्यात्मक समान बाधाओं के लिए एक सूत्र प्रस्तावित करें:

$P(R=1\mid Y^{0}=0,A=a)=P(R=1\mid Y^{0}=0,A=b)\wedge P(R=0\mid Y^{1}=1,A=a)=P(R=0\mid Y^{1}=1,A=b),\quad \forall a,b;$ कहाँ $R$ एक यादृच्छिक चर है, $Y^{x}$ निर्णय दिए गए परिणाम को दर्शाता है $x$ लिया गया, और $A$ एक संवेदनशील विशेषता है.

प्लेको और बरेइनबोइम निष्पक्षता के कारणात्मक विश्लेषण से निपटने के लिए एक एकीकृत ढांचे का प्रस्ताव करें। वे एक मानक निष्पक्षता प्रतिरूप के उपयोग का सुझाव देते हैं, जिसमें 4 प्रकार के चर के साथ एक कारण ग्राफ सम्मिलित है:

• संवेदनशील गुण ($A$),
• लक्ष्य चर ($Y$),
• मध्यस्थ ($W$) मध्य में $A$ और $Y$, परिणाम पर संवेदनशील विशेषताओं के संभावित अप्रत्यक्ष प्रभावों का प्रतिनिधित्व करते हुए,
• चर संभवतः एक सामान्य कारण साझा करते हैं $A$ ($Z$), परिणाम पर संवेदनशील विशेषताओं के संभावित नकली (यानी, गैर-कारणात्मक) प्रभावों का प्रतिनिधित्व करता है।

इस ढांचे के भीतर, प्लेको और बरेइनबोइमइसलिए संवेदनशील विशेषताओं के परिणाम पर पड़ने वाले संभावित प्रभावों को वर्गीकृत करने में सक्षम हैं। इसके अलावा, जिस ग्रैन्युलैरिटी पर इन प्रभावों को मापा जाता है - अर्थात्, प्रभाव को औसत करने के लिए उपयोग किए जाने वाले कंडीशनिंग चर - निष्पक्षता मूल्यांकन के व्यक्तिगत बनाम समूह पहलू से सीधे जुड़े हुए हैं।

पूर्वाग्रह शमन रणनीतियाँ

मशीन लर्निंग एल्गोरिदम पर निष्पक्षता को तीन अलग-अलग प्रकार से लागू किया जा सकता है: डेटा प्रीप्रोसेसिंग, सॉफ्टवेयर प्रशिक्षण के दौरान गणितीय अनुकूलन, या एल्गोरिदम के पोस्ट-प्रोसेसिंग परिणाम।

प्रीप्रोसेसिंग

सामान्यतः, वर्गीकारक ही एकमात्र समस्या नहीं है; डाटासमुच्चय भी पक्षपाती है. डेटासमुच्चय का भेदभाव ${\textstyle D}$ समूह के संबंध में ${\textstyle A=a}$ इसे इस प्रकार परिभाषित किया जा सकता है:

$$disc_{A=a}(D)={\frac {|\{X\in D|X(A)\neq a,X(Y)=+\}|}{|\{X\in D|X(A)\neq a\}|}}-{\frac {|\{X\in D|X(A)=a,X(Y)=+\}|}{|\{X\in D|X(A)=a\}|}}$$

अर्थात्, धनात्मक वर्ग में सम्मिलित होने की संभावनाओं के मध्य अंतर का एक अनुमान यह देखते हुए कि विषय में संरक्षित विशेषता अलग है ${\textstyle a}$ और के बराबर ${\textstyle a}$.

प्रीप्रोसेसिंग में पूर्वाग्रह को सही करने वाले एल्गोरिदम डेटासमुच्चय वेरिएबल्स के बारे में जानकारी हटा देते हैं जिसके परिणामस्वरूप अनुचित निर्णय हो सकते हैं, जबकि जितना संभव हो उतना कम बदलाव करने की कोशिश की जाती है। यह केवल संवेदनशील चर को हटाने जितना आसान नहीं है, क्योंकि अन्य विशेषताओं को संरक्षित चर से सहसंबद्ध किया जा सकता है।

ऐसा करने का एक प्रकार प्रारंभिक डेटासमुच्चय में प्रत्येक व्यक्ति को एक मध्यवर्ती प्रतिनिधित्व के लिए मैप करना है जिसमें यथासंभव अधिक जानकारी बनाए रखते हुए यह पहचानना असंभव है कि यह किसी विशेष संरक्षित समूह से संबंधित है या नहीं। फिर, एल्गोरिदम में अधिकतम यथार्थता प्राप्त करने के लिए डेटा के नए प्रतिनिधित्व को समायोजित किया जाता है।

इस तरह, व्यक्तियों को एक नए बहुपरिवर्तनीय प्रतिनिधित्व में मैप किया जाता है जहां संरक्षित समूह के किसी भी सदस्य को नए प्रतिनिधित्व में एक निश्चित मूल्य पर मैप किए जाने की संभावना उस व्यक्ति की संभावना के समान होती है जो संरक्षित समूह से संबंधित नहीं है . फिर, प्रारंभिक डेटा के बदले, इस प्रतिनिधित्व का उपयोग व्यक्ति के लिए भविष्यवाणी प्राप्त करने के लिए किया जाता है। चूंकि मध्यवर्ती प्रतिनिधित्व का निर्माण संरक्षित समूह के अंदर या बाहर के व्यक्तियों को समान संभावना देते हुए किया गया है, इसलिए यह विशेषता वर्गीकरणकर्ता के लिए छिपी हुई है।

ज़ेमेल एट अल में एक उदाहरण समझाया गया है। जहां एक बहुपद वितरण का उपयोग मध्यवर्ती प्रतिनिधित्व के रूप में किया जाता है। इस प्रक्रिया में, सिस्टम को उन सूचनाओं को छोड़कर सभी सूचनाओं को संरक्षित करने के लिए प्रोत्साहित किया जाता है जो पक्षपातपूर्ण निर्णय ले सकती हैं, और यथासंभव यथार्थ भविष्यवाणी प्राप्त करने के लिए प्रोत्साहित किया जाता है।

एक ओर, इस प्रक्रिया का लाभ यह है कि पूर्व-संसाधित डेटा का उपयोग किसी भी मशीन सीखने के कार्य के लिए किया जा सकता है। इसके अलावा, वर्गीकारक को संअनुसंधानित करने की आवश्यकता नहीं है, क्योंकि प्रसंस्करण से पहले डेटा समुच्चय पर सुधार लागू किया जाता है। दूसरी ओर, अन्य विधियाँ यथार्थता और निष्पक्षता में बेहतर परिणाम प्राप्त करती हैं।

पुनः तौलना

पुनः वजन करना प्रीप्रोसेसिंग कलनविधीय का एक उदाहरण है। विचार यह है कि प्रत्येक डेटासमुच्चय बिंदु को एक भार दिया जाए ताकि निर्दिष्ट समूह के संबंध में भारित भेदभाव 0 हो। यदि डेटासमुच्चय ${\textstyle D}$ संवेदनशील चर निष्पक्ष था ${\textstyle A}$ और लक्ष्य चर ${\textstyle Y}$ स्वतंत्रता (संभावना सिद्धांत) होगी और संयुक्त संभाव्यता वितरण की संभावना निम्नानुसार संभावनाओं का उत्पाद होगी:

$$P_{exp}(A=a\wedge Y=+)=P(A=a)\times P(Y=+)={\frac {|\{X\in D|X(A)=a\}|}{|D|}}\times {\frac {|\{X\in D|X(Y)=+\}|}{|D|}}$$

वास्तविकता में, हालाँकि, डेटासमुच्चय निष्पक्ष नहीं है और चर स्वतंत्रता (संभावना सिद्धांत) नहीं हैं, इसलिए देखी गई संभावना है:

$$P_{obs}(A=a\wedge Y=+)={\frac {|\{X\in D|X(A)=a\wedge X(Y)=+\}|}{|D|}}$$

पूर्वाग्रह की भरपाई के लिए, सॉफ़्टवेयर एक वज़न फलन जोड़ता है, पसंदीदा वस्तुओं के लिए कम और प्रतिकूल वस्तुओं के लिए अधिक। प्रत्येक के लिए ${\textstyle X\in D}$ हम पाते हैं:

$$W(X)={\frac {P_{exp}(A=X(A)\wedge Y=X(Y))}{P_{obs}(A=X(A)\wedge Y=X(Y))}}$$

जब हमारे पास प्रत्येक के लिए है ${\textstyle X}$ एक वजन जुड़ा हुआ ${\textstyle W(X)}$ हम समूह के संबंध में भारित भेदभाव की गणना करते हैं ${\textstyle A=a}$ निम्नलिखित नुसार:

$$disc_{A=a}(D)={\frac {\sum W(X)X\in \{X\in D|X(A)\neq a,X(Y)=+\}}{\sum W(X)X\in \{X\in D|X(A)\neq a\}}}-{\frac {\sum W(X)X\in \{X\in D|X(A)=a,X(Y)=+\}}{\sum W(X)X\in \{X\in D|X(A)=a\}}}$$

यह दिखाया जा सकता है कि पुनः वजन करने के बाद यह भारित भेदभाव 0 है।

इनप्रोसेसिंग

दूसरा प्रकार प्रशिक्षण के समय पूर्वाग्रह को ठीक करना है। यह कलनविधीय के अनुकूलन उद्देश्य में बाधाएँ जोड़कर किया जा सकता है। ये बाधाएं एल्गोरिदम को संरक्षित समूह और बाकी व्यक्तियों के लिए कुछ उपायों की समान दरें रखकर, निष्पक्षता में सुधार करने के लिए मजबूर करती हैं। उदाहरण के लिए, हम एल्गोरिदम के उद्देश्य में यह शर्त जोड़ सकते हैं कि मिथ्या धनात्मक दर संरक्षित समूह के व्यक्तियों और संरक्षित समूह के बाहर के व्यक्तियों के लिए समान है।

इस दृष्टिकोण में उपयोग किए जाने वाले मुख्य उपाय मिथ्या धनात्मक दर, मिथ्या ऋणात्मक दर और समग्र मिथ्या वर्गीकरण दर हैं। कलन विधि के उद्देश्य में इनमें से केवल एक या कई बाधाओं को जोड़ना संभव है। ध्यान दें कि मिथ्या ऋणात्मक दरों की समानता का तात्पर्य वास्तविक धनात्मक दरों की समानता से है, इसलिए इसका तात्पर्य अवसर की समानता से है। प्रतिबंध जोड़ने के बाद समस्या विकट हो सकती है, इसलिए उन पर छूट की आवश्यकता हो सकती है।

यह तकनीक उच्च यथार्थता बनाए रखते हुए निष्पक्षता में सुधार लाने में अच्छे परिणाम प्राप्त करती है और प्रोग्रामर को सुधार के लिए निष्पक्षता उपायों को चुनने की सुविधा देती है। हालाँकि, प्रत्येक मशीन लर्निंग कार्य को लागू करने के लिए एक अलग विधि की आवश्यकता हो सकती है और वर्गीकारक में कोड को संअनुसंधानित करने की आवश्यकता होती है, जो हमेशा संभव नहीं होता है।

प्रतिकूल तर्क वितर्क

हम कुछ ग्रेडिएंट-आधारित विधि (जैसे: ढतला हुआ वंश ) के माध्यम से एक ही समय में दो सांख्यिकीय वर्गीकरण को प्रशिक्षित करते हैं। पहला, भविष्यवक्ता भविष्यवाणी के कार्य को पूरा करने का प्रयास करता है ${\textstyle Y}$, लक्ष्य चर, दिया गया ${\textstyle X}$, इनपुट, इसके वजन को संअनुसंधानित करके ${\textstyle W}$ कुछ हानि फलन को कम करने के लिए ${\textstyle L_{P}({\hat {y}},y)}$. दूसरा, विरोधी भविष्यवाणी करने का कार्य पूरा करने का प्रयास करता है ${\textstyle A}$, संवेदनशील चर, दिया गया ${\textstyle {\hat {Y}}}$ इसके वजन को संअनुसंधानित करके ${\textstyle U}$ कुछ हानि फलन को कम करने के लिए ${\textstyle L_{A}({\hat {a}},a)}$. यहां एक महत्वपूर्ण बात यह है कि, सही ढंग से प्रचार-प्रसार करने के लिए, ${\textstyle {\hat {Y}}}$ उपरोक्त को वर्गीकारक के कच्चे आउटपुट को संदर्भित करना चाहिए, न कि अलग भविष्यवाणी को; उदाहरण के लिए, एक कृत्रिम तंत्रिका नेटवर्क और एक वर्गीकरण समस्या के साथ, ${\textstyle {\hat {Y}}}$ सॉफ्टमैक्स फलन के आउटपुट को संदर्भित कर सकता है।

फिर हम अपडेट करते हैं ${\textstyle U}$ कम से कम करने के लिए ${\textstyle L_{A}}$ ग्रेडियेंट के अनुसार प्रत्येक प्रशिक्षण चरण पर ${\textstyle \nabla _{U}L_{A}}$ और हम संअनुसंधानित करते हैं ${\textstyle W}$ अभिव्यक्ति के अनुसार:

$$\nabla _{W}L_{P}-proj_{\nabla _{W}L_{A}}\nabla _{W}L_{P}-\alpha \nabla _{W}L_{A}$$

कहाँ $\alpha$ एक ट्यून करने योग्य हाइपरपैरामीटर अनुकूलन है जो प्रत्येक समय चरण पर भिन्न हो सकता है।

जैसा कि झांग एट अल में दिखाया गया है, प्रतिकूल डिबियासिंग में प्रयुक्त वैक्टर का ग्राफिक प्रतिनिधित्व।

सहज विचार यह है कि हम चाहते हैं कि भविष्यवक्ता न्यूनतम करने का प्रयास करे ${\textstyle L_{P}}$ (इसलिए शब्द ${\textstyle \nabla _{W}L_{P}}$) जबकि, एक ही समय में, अधिकतम करें ${\textstyle L_{A}}$ (इसलिए शब्द ${\textstyle -\alpha \nabla _{W}L_{A}}$), ताकि प्रतिद्वंद्वी संवेदनशील परिवर्तन की भविष्यवाणी करने में विफल हो जाए ${\textstyle {\hat {Y}}}$.

शब्द ${\textstyle -proj_{\nabla _{W}L_{A}}\nabla _{W}L_{P}}$ भविष्यवक्ता को उस दिशा में जाने से रोकता है जो प्रतिद्वंद्वी को उसके नुकसान के कार्य को कम करने में मदद करता है।

यह दिखाया जा सकता है कि इस एल्गोरिदम के साथ एक भविष्यवक्ता वर्गीकरण प्रतिरूप को प्रशिक्षित करने से प्रतिकूल परिस्थितियों के बिना इसे प्रशिक्षित करने के संबंध में अनुमानित परिणाम के आधार पर #परिभाषाओं में सुधार होता है।

पोस्टप्रोसेसिंग

अंतिम विधि निष्पक्षता प्राप्त करने के लिए वर्गीकारक के परिणामों को सही करने का प्रयास करती है। इस पद्धति में, हमारे पास एक वर्गीकारक है जो प्रत्येक व्यक्ति के लिए एक अंक लौटाता है और हमें उनके लिए एक द्विआधारी भविष्यवाणी करने की आवश्यकता होती है। उच्च स्कोर से धनात्मक परिणाम मिलने की संभावना है, जबकि कम स्कोर से ऋणात्मक परिणाम मिलने की संभावना है, लेकिन हम यह निर्धारित करने के लिए महत्वपूर्ण मान को समायोजित कर सकते हैं कि इच्छानुसार हां में कब उत्तर देना है। ध्यान दें कि सीमा मूल्य में भिन्नता वास्तविक धनात्मक और वास्तविक ऋणात्मक दरों के मध्य व्यापार-बंद को प्रभावित करती है।

यदि स्कोर फलन इस अर्थ में उचित है कि यह संरक्षित विशेषता से स्वतंत्र है, तो सीमा का कोई भी विकल्प उचित होगा, लेकिन इस प्रकार के वर्गीकारक पक्षपातपूर्ण होते हैं, इसलिए प्रत्येक संरक्षित समूह के लिए एक अलग सीमा की आवश्यकता हो सकती है निष्पक्षता प्राप्त करने के लिए.ऐसा करने का एक प्रकार विभिन्न थ्रेशोल्ड समुच्चयिंग्स (इसे आरओसी वक्र कहा जाता है) पर मिथ्या ऋणात्मक दर के विरुद्ध वास्तविक धनात्मक दर की साजिश रचना है और एक सीमा ढूंढना है जहां संरक्षित समूह और अन्य व्यक्तियों के लिए दरें समान हैं। पोस्टप्रोसेसिंग के फायदों में यह सम्मिलित है कि तकनीक को किसी भी क्लासिफायर के बाद बिना संअनुसंधानित किए लागू किया जा सकता है, और निष्पक्षता उपायों में इसका प्रदर्शन अच्छा है। विपक्ष में परीक्षण के समय संरक्षित विशेषता तक पहुंचने की आवश्यकता और यथार्थता और निष्पक्षता के मध्य संतुलन में विकल्प की कमी सम्मिलित है।

विकल्प आधारित वर्गीकरण को अस्वीकार करें

एक सांख्यिकीय वर्गीकरण दिया गया है ${\textstyle P(+|X)}$ क्लासिफायर द्वारा उदाहरण की संभावना के रूप में गणना की जाने वाली संभावना हो ${\textstyle X}$ धनात्मक वर्ग + से संबंधित है। कब ${\textstyle P(+|X)}$ उदाहरण 1 या 0 के करीब है ${\textstyle X}$ क्रमशः वर्ग + या - से संबंधित होने के लिए उच्च स्तर की निश्चितता के साथ निर्दिष्ट किया गया है। हालाँकि, जब ${\textstyle P(+|X)}$ 0.5 के करीब है तो वर्गीकरण अधिक अस्पष्ट है। हम कहते हैं ${\textstyle X}$ यदि एक अस्वीकृत उदाहरण है ${\textstyle max(P(+|X),1-P(+|X))\leq \theta }$ एक निश्चित के साथ ${\textstyle \theta }$ ऐसा है कि ${\textstyle 0.5<\theta <1}$.

आरओसी के एल्गोरिदम में उपरोक्त नियम का पालन करते हुए गैर-अस्वीकृत उदाहरणों और अस्वीकृत उदाहरणों को निम्नानुसार वर्गीकृत करना सम्मिलित है: यदि उदाहरण एक वंचित समूह का उदाहरण है ($X(A)=a$) फिर इसे धनात्मक के रूप में लेबल करें, अन्यथा, इसे ऋणात्मक के रूप में लेबल करें।

हम भेदभाव के विभिन्न उपायों (लिंक) को कार्यों के रूप में अनुकूलित कर सकते हैं ${\textstyle \theta }$ इष्टतम खोजने के लिए ${\textstyle \theta }$ प्रत्येक समस्या के लिए और विशेषाधिकार प्राप्त समूह के प्रति भेदभावपूर्ण बनने से बचें।

यह भी देखें

• कलनविधीय पूर्वाग्रह
• यंत्र अधिगम