एल्गोरिथम पूर्वाग्रह



एल्गोरिदमिक पूर्वाग्रह एक कंप्यूटर सिस्टम में व्यवस्थित और दोहराने योग्य त्रुटियों का वर्णन करता है जो #Defining निष्पक्षता परिणामों को बनाता है, जैसे एल्गोरिदम के इच्छित फ़ंक्शन से भिन्न तरीकों से एक श्रेणी को दूसरे पर विशेषाधिकार देना।

पक्षपात कई कारकों से उभर सकता है, जिसमें एल्गोरिथम के डिजाइन या अनपेक्षित या अप्रत्याशित उपयोग या डेटा को कोडित करने, एकत्र करने, चयनित करने या एल्गोरिथम को प्रशिक्षित करने के लिए उपयोग किए जाने से संबंधित निर्णयों तक सीमित नहीं है। उदाहरण के लिए, सर्च इंजन पूर्वाग्रह और सोशल मीडिया पूर्वाग्रह में एल्गोरिथम पूर्वाग्रह देखा गया है। यह पूर्वाग्रह अनजाने में गोपनीयता के उल्लंघन से लेकर नस्ल, लिंग, कामुकता और जातीयता के पूर्वाग्रह को मजबूत करने तक के प्रभाव डाल सकता है। एल्गोरिथम पूर्वाग्रह का अध्ययन सबसे अधिक एल्गोरिदम से संबंधित है जो व्यवस्थित और अनुचित भेदभाव को दर्शाता है। इस पूर्वाग्रह को हाल ही में यूरोपीय संघ के सामान्य डेटा संरक्षण विनियम (2018) और प्रस्तावित आर्टिफिशियल इंटेलिजेंस एक्ट (2021) जैसे कानूनी ढांचे में संबोधित किया गया है।

जैसे-जैसे एल्गोरिदम समाज, राजनीति, संस्थानों और व्यवहार को व्यवस्थित करने की अपनी क्षमता का विस्तार करते हैं, समाजशास्त्री उन तरीकों से चिंतित हो गए हैं जिनमें अप्रत्याशित उत्पादन और डेटा का हेरफेर भौतिक दुनिया को प्रभावित कर सकता है। क्योंकि एल्गोरिदम को अक्सर तटस्थ और निष्पक्ष माना जाता है, वे मानव विशेषज्ञता की तुलना में गलत तरीके से अधिक अधिकार को प्रोजेक्ट कर सकते हैं (आंशिक रूप से ऑटोमेशन पूर्वाग्रह की मनोवैज्ञानिक घटना के कारण), और कुछ मामलों में, एल्गोरिदम पर निर्भरता उनके परिणामों के लिए मानवीय जिम्मेदारी को विस्थापित कर सकती है। पूर्वाग्रह पूर्व-मौजूदा सांस्कृतिक, सामाजिक, या संस्थागत अपेक्षाओं के परिणामस्वरूप एल्गोरिथम सिस्टम में प्रवेश कर सकते हैं; उनके डिजाइन की तकनीकी सीमाओं के कारण; या अप्रत्याशित संदर्भों में या दर्शकों द्वारा उपयोग किए जाने से जिन्हें सॉफ़्टवेयर के प्रारंभिक डिज़ाइन में नहीं माना जाता है।

चुनाव परिणामों से लेकर ऑनलाइन अभद्र भाषा के प्रसार तक के मामलों में एल्गोरिदमिक पूर्वाग्रह का हवाला दिया गया है। यह आपराधिक न्याय, स्वास्थ्य देखभाल, और भर्ती, मौजूदा नस्लीय, सामाजिक आर्थिक और लैंगिक पूर्वाग्रहों को जोड़कर भी उत्पन्न हुआ है। गहरे रंग की चमड़ी वाले चेहरों की सटीक पहचान करने के लिए चेहरे की पहचान तकनीक की सापेक्ष अक्षमता को काले पुरुषों की कई गलत गिरफ्तारियों से जोड़ा गया है, जो असंतुलित डेटासेट से उपजी एक समस्या है। एल्गोरिथम पूर्वाग्रह को समझने, शोध करने और खोजने में समस्याएँ एल्गोरिदम की मालिकाना प्रकृति के कारण बनी रहती हैं, जिन्हें आमतौर पर व्यापार रहस्यों के रूप में माना जाता है। यहां तक ​​कि जब पूर्ण पारदर्शिता प्रदान की जाती है, तब भी कुछ एल्गोरिदम की जटिलता उनके कामकाज को समझने में बाधा उत्पन्न करती है। इसके अलावा, एल्गोरिदम बदल सकते हैं, या इनपुट या आउटपुट को उन तरीकों से प्रतिक्रिया दे सकते हैं जिन्हें अनुमानित नहीं किया जा सकता है या विश्लेषण के लिए आसानी से पुन: उत्पन्न नहीं किया जा सकता है। कई मामलों में, यहां तक ​​कि एक ही वेबसाइट या एप्लिकेशन के भीतर, जांच करने के लिए कोई एकल एल्गोरिथम नहीं है, बल्कि एक ही सेवा के उपयोगकर्ताओं के बीच कई परस्पर संबंधित कार्यक्रमों और डेटा इनपुट का एक नेटवर्क है।

परिभाषाएँ
एल्गोरिदम एल्गोरिथम लक्षण वर्णन हैं, लेकिन आम तौर पर निर्देशों की सूची के रूप में समझा जा सकता है जो यह निर्धारित करता है कि आउटपुट उत्पन्न करने के लिए प्रोग्राम आंकड़े को कैसे पढ़ते हैं, एकत्र करते हैं, संसाधित करते हैं और उसका विश्लेषण करते हैं। कठोर तकनीकी परिचय के लिए, कलन विधि देखें। कंप्यूटर हार्डवेयर में प्रगति ने डेटा को प्रोसेस करने, स्टोर करने और ट्रांसमिट करने की क्षमता में वृद्धि की है। इसने  यंत्र अधिगम  और  कृत्रिम होशियारी  जैसी तकनीकों के डिजाइन और अपनाने को बढ़ावा दिया है।  डेटा का विश्लेषण और प्रसंस्करण करके, एल्गोरिदम खोज इंजनों की रीढ़ हैं, सोशल मीडिया वेबसाइटों, सिफारिश इंजन, ऑनलाइन खुदरा, ऑनलाइन प्रचार, और अधिक। समकालीन सामाजिक विज्ञान उनके राजनीतिक और सामाजिक प्रभाव के कारण हार्डवेयर और सॉफ्टवेयर अनुप्रयोगों में एम्बेडेड एल्गोरिथम प्रक्रियाओं से संबंधित है, और एल्गोरिथम की तटस्थता की अंतर्निहित धारणाओं पर सवाल उठाते हैं।   एल्गोरिथम पूर्वाग्रह शब्द व्यवस्थित और दोहराने योग्य त्रुटियों का वर्णन करता है जो अनुचित परिणाम पैदा करते हैं, जैसे कि दूसरों के ऊपर उपयोगकर्ताओं के एक मनमाने समूह को विशेषाधिकार देना। उदाहरण के लिए, एक  विश्वस्तता की परख  एल्गोरिद्म किसी ऋण को अनुचित हुए बिना अस्वीकार कर सकता है, यदि वह प्रासंगिक वित्तीय मानदंडों को लगातार तौलता है। यदि एल्गोरिथ्म उपयोगकर्ताओं के एक समूह को ऋण की सिफारिश करता है, लेकिन असंबंधित मानदंडों के आधार पर लगभग समान उपयोगकर्ताओं के दूसरे समूह को ऋण देने से इनकार करता है, और यदि यह व्यवहार कई घटनाओं में दोहराया जा सकता है, तो एक एल्गोरिथ्म को पक्षपाती के रूप में वर्णित किया जा सकता है।  यह पूर्वाग्रह इरादतन या अनजाने में हो सकता है (उदाहरण के लिए, यह एक कार्यकर्ता से प्राप्त पक्षपाती डेटा से आ सकता है जो पहले एल्गोरिथम अब से करने जा रहा है)।

तरीके
पूर्वाग्रह को कई तरीकों से एल्गोरिदम में पेश किया जा सकता है। डेटासेट के संयोजन के दौरान, डेटा को मानव-डिज़ाइन किए गए सूचीबद्ध मानदंड के अनुसार एकत्र, डिजिटाइज़, अनुकूलित और डेटाबेस में दर्ज किया जा सकता है। इसके बाद, प्रोग्रामर्स उस डेटा का आकलन और सॉर्ट करने के तरीके के लिए प्राथमिकताएं, या पदानुक्रम प्रदान करते हैं। इसके लिए डेटा को कैसे वर्गीकृत किया जाता है, और कौन से डेटा को शामिल या खारिज किया जाता है, इसके बारे में मानवीय निर्णयों की आवश्यकता होती है।  कुछ एल्गोरिदम मानव-चयनित मानदंडों के आधार पर अपना स्वयं का डेटा एकत्र करते हैं, जो मानव डिजाइनरों के पूर्वाग्रह को भी दर्शा सकता है।  अन्य एल्गोरिदम रूढ़िवादिता और वरीयताओं को सुदृढ़ कर सकते हैं क्योंकि वे मानव उपयोगकर्ताओं के लिए प्रासंगिक डेटा को संसाधित और प्रदर्शित करते हैं, उदाहरण के लिए, समान उपयोगकर्ता या उपयोगकर्ताओं के समूह के पिछले विकल्पों के आधार पर जानकारी का चयन करके।

डेटा को इकट्ठा करने और संसाधित करने से परे, डिजाइन के परिणामस्वरूप पूर्वाग्रह उभर सकते हैं। उदाहरण के लिए, एल्गोरिदम जो संसाधनों के आवंटन या जांच (जैसे स्कूल प्लेसमेंट का निर्धारण) का निर्धारण करते हैं, अनजाने में एक श्रेणी के खिलाफ भेदभाव कर सकते हैं जब समान उपयोगकर्ताओं (क्रेडिट स्कोर में) के आधार पर जोखिम का निर्धारण किया जाता है। इस बीच, अनुशंसा इंजन जो उपयोगकर्ताओं को समान उपयोगकर्ताओं के साथ जोड़कर काम करते हैं, या जो अनुमानित विपणन लक्षणों का उपयोग करते हैं, वे गलत संघों पर भरोसा कर सकते हैं जो व्यापक जातीय, लिंग, सामाजिक-आर्थिक, या नस्लीय रूढ़िवादिता को दर्शाते हैं। एक और उदाहरण परिणामों में शामिल और बहिष्कृत के लिए मानदंड निर्धारित करने से आता है। यह मानदंड खोज परिणामों के लिए अप्रत्याशित परिणाम प्रस्तुत कर सकता है, जैसे उड़ान-अनुशंसा सॉफ़्टवेयर के साथ जो उन उड़ानों को छोड़ देता है जो प्रायोजन एयरलाइन के उड़ान पथों का पालन नहीं करते हैं। एल्गोरिथम एक अनिश्चितता पूर्वाग्रह भी प्रदर्शित कर सकता है, जो बड़े डेटा सेट उपलब्ध होने पर अधिक विश्वसनीय आकलन प्रदान करता है। यह एल्गोरिथम प्रक्रियाओं को उन परिणामों की ओर तिरछा कर सकता है जो बड़े नमूनों के साथ अधिक निकटता से मेल खाते हैं, जो कम आबादी वाले डेटा की अवहेलना कर सकते हैं।

प्रारंभिक समालोचना
शुरुआती कंप्यूटर प्रोग्राम मानव तर्क और कटौती की नकल करने के लिए डिज़ाइन किए गए थे, और जब वे मानव तर्क को सफलतापूर्वक और लगातार पुन: उत्पन्न करते हैं तो उन्हें कार्य करने के लिए माना जाता था। 1976 की अपनी पुस्तक कंप्यूटर शक्ति और मानव कारण में, आर्टिफिशियल इंटेलिजेंस के अग्रदूत जोसेफ व्हीटबाउम ने सुझाव दिया कि पक्षपात एक कार्यक्रम में उपयोग किए गए डेटा से उत्पन्न हो सकता है, लेकिन जिस तरह से एक कार्यक्रम को कोडित किया जाता है।

Weizenbaum ने लिखा है कि कंप्यूटर प्रोग्राम कंप्यूटर के पालन के लिए मनुष्यों द्वारा बनाए गए नियमों का एक क्रम है। उन नियमों का लगातार पालन करते हुए, ऐसे कार्यक्रम कानून का रूप धारण करते हैं, यानी समस्याओं को हल करने के लिए एक विशिष्ट तरीका लागू करें। कंप्यूटर जिन नियमों का पालन करता है, वे कंप्यूटर प्रोग्रामर की मान्यताओं पर आधारित होते हैं कि इन समस्याओं को कैसे हल किया जा सकता है। इसका मतलब है कि कोड प्रोग्रामर की कल्पना को शामिल कर सकता है कि दुनिया कैसे काम करती है, जिसमें उनके पूर्वाग्रह और अपेक्षाएं शामिल हैं।  जबकि एक कंप्यूटर प्रोग्राम इस तरह से पूर्वाग्रह को शामिल कर सकता है, वीज़ेनबाम ने यह भी नोट किया कि मशीन को खिलाया गया कोई भी डेटा मानव निर्णय लेने की प्रक्रियाओं को अतिरिक्त रूप से दर्शाता है क्योंकि डेटा का चयन किया जा रहा है।

अंत में, उन्होंने कहा कि यदि उपयोगकर्ता परिणामों की व्याख्या कैसे करें, इसके बारे में अस्पष्ट हैं तो मशीनें अनपेक्षित परिणामों के साथ अच्छी जानकारी भी स्थानांतरित कर सकती हैं। Weizenbaum ने कंप्यूटर प्रोग्राम द्वारा किए गए भरोसेमंद फैसलों के खिलाफ चेतावनी दी है कि एक उपयोगकर्ता समझ में नहीं आता है, इस तरह के विश्वास की तुलना एक पर्यटक से की जाती है जो एक सिक्का टॉस पर बाएं या दाएं मुड़कर विशेष रूप से होटल के कमरे में अपना रास्ता खोज सकता है। महत्वपूर्ण रूप से, पर्यटक के पास यह समझने का कोई आधार नहीं है कि वह अपने गंतव्य पर कैसे या क्यों पहुंचा, और एक सफल आगमन का मतलब यह नहीं है कि प्रक्रिया सटीक या विश्वसनीय है।

एल्गोरिथम पूर्वाग्रह के एक प्रारंभिक उदाहरण के परिणामस्वरूप 60 से अधिक महिलाओं और जातीय अल्पसंख्यकों को सेंट जॉर्ज, लंदन विश्वविद्यालय में प्रवेश से वंचित कर दिया गया। 1982 से 1986 तक प्रति वर्ष जॉर्ज अस्पताल मेडिकल स्कूल, एक नई कंप्यूटर-मार्गदर्शन मूल्यांकन प्रणाली के कार्यान्वयन के आधार पर, जो प्रवेश में ऐतिहासिक प्रवृत्तियों के आधार पर महिलाओं और पुरुषों के लिए विदेशी नामों के साथ प्रवेश से इनकार करती थी। जबकि उस समय कई स्कूलों ने अपनी चयन प्रक्रिया में समान पूर्वाग्रहों को नियोजित किया था, सेंट जॉर्ज एक एल्गोरिथम के उपयोग के माध्यम से कथित पूर्वाग्रहों को स्वचालित करने के लिए सबसे उल्लेखनीय थे, इस प्रकार लोगों का ध्यान बहुत व्यापक पैमाने पर आकर्षित किया।

हाल के वर्षों में, जब अधिक एल्गोरिदम ने वास्तविक दुनिया के डेटा पर मशीन सीखने के तरीकों का उपयोग करना शुरू किया, तो डेटा में मौजूद पूर्वाग्रह के कारण एल्गोरिथम पूर्वाग्रह अधिक पाया जा सकता है।

समसामयिक समालोचना और प्रतिक्रियाएं
हालांकि अच्छी तरह से डिज़ाइन किए गए एल्गोरिदम अक्सर ऐसे परिणामों का निर्धारण करते हैं जो मनुष्यों के निर्णयों की तुलना में समान (या अधिक) न्यायसंगत हैं, पूर्वाग्रह के मामले अभी भी होते हैं, और भविष्यवाणी करना और विश्लेषण करना मुश्किल होता है। एल्गोरिथम पूर्वाग्रह का विश्लेषण करने की जटिलता कार्यक्रमों और उनके डिजाइन की जटिलता के साथ बढ़ी है। एक डिजाइनर, या डिजाइनरों की टीम द्वारा लिए गए निर्णय, एक कार्यक्रम के लिए बनाए गए कोड के कई टुकड़ों के बीच अस्पष्ट हो सकते हैं; समय के साथ इन निर्णयों और कार्यक्रम के परिणाम पर उनके सामूहिक प्रभाव को भुला दिया जा सकता है। सिद्धांत रूप में, ये पूर्वाग्रह समाज के अन्य तत्वों के साथ कोड साइबरनेटिक्स के रूप में विशिष्ट तकनीकों के संबंध में व्यवहार या स्क्रिप्ट के नए पैटर्न बना सकते हैं। पूर्वाग्रह यह भी प्रभावित कर सकते हैं कि एल्गोरिदम की आवश्यकता वाले डेटा बिंदुओं के आसपास समाज खुद को कैसे आकार देता है। उदाहरण के लिए, यदि डेटा किसी विशेष क्षेत्र में गिरफ्तारियों की उच्च संख्या दिखाता है, तो एक एल्गोरिद्म उस क्षेत्र में अधिक पुलिस गश्त लगा सकता है, जिससे अधिक गिरफ्तारियां हो सकती हैं।

एल्गोरिथम कार्यक्रमों के निर्णयों को उन मनुष्यों के निर्णयों की तुलना में अधिक आधिकारिक के रूप में देखा जा सकता है, जिनकी वे सहायता करने के लिए हैं, लेखक क्ले शिर्की द्वारा एल्गोरिथम प्राधिकरण के रूप में वर्णित एक प्रक्रिया। शिर्की खोज परिणामों जैसे विविध, अविश्वसनीय स्रोतों से मूल्य निकालने की एक अप्रबंधित प्रक्रिया को आधिकारिक मानने के निर्णय का वर्णन करने के लिए शब्द का उपयोग करता है। इस तटस्थता को विशेषज्ञों और मीडिया द्वारा उपयोग की जाने वाली भाषा द्वारा भी गलत तरीके से प्रस्तुत किया जा सकता है जब परिणाम जनता के सामने प्रस्तुत किए जाते हैं। उदाहरण के लिए, केवल उनकी लोकप्रियता की तुलना में महत्वपूर्ण रूप से व्यापक मानदंडों के आधार पर ट्रेंडिंग या लोकप्रिय के रूप में चयनित और प्रस्तुत किए गए समाचारों की एक सूची बनाई जा सकती है।

उनकी सुविधा और अधिकार के कारण, एल्गोरिदम को मानव से दूर उत्तरदायित्व सौंपने के साधन के रूप में सिद्धांतित किया जाता है।  इसका वैकल्पिक विकल्पों, समझौता, या लचीलेपन को कम करने का प्रभाव हो सकता है।  समाजशास्त्री स्कॉट लश ने एल्गोरिद्म की आलोचनात्मक शक्ति के एक नए रूप के रूप में की है, जिसमें वे वास्तविक लक्ष्यों को उत्पन्न करने का एक आभासी साधन हैं। जहां पहले मानव व्यवहार ने डेटा एकत्र करने और अध्ययन करने के लिए उत्पन्न किया, शक्तिशाली एल्गोरिदम तेजी से मानव व्यवहार को आकार और परिभाषित कर सकते थे।

समाज पर एल्गोरिथम के प्रभाव को लेकर चिंता ने Google और Microsoft जैसे संगठनों में कार्यकारी समूहों का निर्माण किया है, जिन्होंने निष्पक्षता, उत्तरदायित्व, और मशीन लर्निंग में पारदर्शिता। Google के विचारों में सामुदायिक समूह शामिल हैं जो एल्गोरिदम के परिणामों की निगरानी करते हैं और उन आउटपुट को नियंत्रित या प्रतिबंधित करने के लिए मतदान करते हैं जिनके बारे में वे नकारात्मक परिणाम मानते हैं।  हाल के वर्षों में, निष्पक्षता, जवाबदेही का अध्ययन, और एल्गोरिदम की पारदर्शिता (एफएटी) एफएसीसीटी नामक एक वार्षिक सम्मेलन के साथ अपने स्वयं के अंतःविषय अनुसंधान क्षेत्र के रूप में उभरा है। आलोचकों ने सुझाव दिया है कि FAT की पहल प्रभावी रूप से स्वतंत्र प्रहरी के रूप में काम नहीं कर सकती है, जब कई निगमों द्वारा अध्ययन किए जा रहे सिस्टम का निर्माण करके वित्त पोषित किया जाता है।

पहले से मौजूद
एल्गोरिथम में पहले से मौजूद पूर्वाग्रह अंतर्निहित सामाजिक और संस्थागत विचारधारा का परिणाम है। इस तरह के विचार व्यक्तिगत डिजाइनरों या प्रोग्रामरों के भीतर व्यक्तिगत पक्षपात को प्रभावित या बना सकते हैं। इस तरह के पूर्वाग्रह स्पष्ट और सचेत या निहित और अचेतन हो सकते हैं।  खराब चयनित इनपुट डेटा, या बस एक पक्षपाती स्रोत से डेटा, मशीनों द्वारा बनाए गए परिणामों को प्रभावित करेगा।  सॉफ्टवेयर में पूर्व-मौजूदा पूर्वाग्रह को एनकोड करने से सामाजिक और संस्थागत पूर्वाग्रह को संरक्षित किया जा सकता है, और, सुधार के बिना, उस एल्गोरिथम के सभी भविष्य के उपयोगों में दोहराया जा सकता है।

पूर्वाग्रह के इस रूप का एक उदाहरण ब्रिटिश राष्ट्रीयता अधिनियम कार्यक्रम है, जिसे 1981 के ब्रिटिश राष्ट्रीयता अधिनियम के बाद नए ब्रिटिश नागरिकों के मूल्यांकन को स्वचालित करने के लिए डिज़ाइन किया गया है। कार्यक्रम ने कानून के सिद्धांतों को सटीक रूप से प्रतिबिंबित किया, जिसमें कहा गया था कि एक पुरुष केवल अपने वैध बच्चों का पिता होता है, जबकि एक महिला अपने सभी बच्चों की मां होती है, वैध हो या नहीं।   एक एल्गोरिथम प्रक्रिया में एक विशेष तर्क को स्थानांतरित करने के अपने प्रयास में, बीएनएपी ने अपने एल्गोरिथम में ब्रिटिश राष्ट्रीयता अधिनियम के तर्क को अंकित किया, जो अधिनियम के निरस्त होने पर भी इसे बनाए रखेगा।

तकनीकी
तकनीकी पक्षपात एक कार्यक्रम की सीमाओं, कम्प्यूटेशनल शक्ति, इसकी डिजाइन, या सिस्टम पर अन्य बाधाओं के माध्यम से उभर कर आता है। इस तरह का पूर्वाग्रह डिजाइन का एक संयम भी हो सकता है, उदाहरण के लिए, एक खोज इंजन जो प्रति स्क्रीन तीन परिणाम दिखाता है, को शीर्ष तीन परिणामों को अगले तीन की तुलना में थोड़ा अधिक विशेषाधिकार देने के लिए समझा जा सकता है, जैसा कि एक एयरलाइन मूल्य प्रदर्शन में होता है।  एक अन्य मामला सॉफ्टवेयर का है जो परिणामों के उचित वितरण के लिए यादृच्छिकता पर निर्भर करता है। यदि यादृच्छिक संख्या पीढ़ी तंत्र वास्तव में यादृच्छिक नहीं है, तो यह पूर्वाग्रह का परिचय दे सकता है, उदाहरण के लिए, सूची के अंत या शुरुआत में वस्तुओं की ओर चयन को तिरछा करके।

एक विसंबंधित एल्गोरिथम परिणामों को क्रमबद्ध करने के लिए असंबंधित जानकारी का उपयोग करता है, उदाहरण के लिए, एक उड़ान-मूल्य निर्धारण एल्गोरिथम जो वर्णानुक्रम से परिणामों को छाँटता है, यूनाइटेड एयरलाइंस की तुलना में अमेरिकन एयरलाइंस के पक्ष में पक्षपाती होगा। विपरीत भी लागू हो सकता है, जिसमें परिणामों का मूल्यांकन उन संदर्भों में किया जाता है जिनसे वे एकत्र किए गए हैं। महत्वपूर्ण बाहरी संदर्भ के बिना डेटा एकत्र किया जा सकता है: उदाहरण के लिए, जब निगरानी कैमरों द्वारा चेहरे की पहचान प्रणाली सॉफ़्टवेयर का उपयोग किया जाता है, लेकिन किसी अन्य देश या क्षेत्र में दूरस्थ कर्मचारियों द्वारा मूल्यांकन किया जाता है, या गैर-मानव एल्गोरिदम द्वारा मूल्यांकन किया जाता है, इसके बारे में कोई जानकारी नहीं होती है। कैमरे का दृश्य क्षेत्र। यह एक अपराध स्थल की अधूरी समझ पैदा कर सकता है, उदाहरण के लिए, अपराध करने वालों के लिए संभावित रूप से गलत समझने वाले।

अंत में, इस धारणा पर ठोस कदमों में निर्णयों को औपचारिक रूप देने का प्रयास करके तकनीकी पूर्वाग्रह पैदा किया जा सकता है कि मानव व्यवहार उसी तरह काम करता है। उदाहरण के लिए, सॉफ़्टवेयर यह निर्धारित करने के लिए डेटा बिंदुओं का वजन करता है कि एक जूरी पर भावना के प्रभाव को अनदेखा करते हुए प्रतिवादी को एक याचिका सौदा स्वीकार करना चाहिए या नहीं। पूर्वाग्रह के इस रूप का एक अन्य अनपेक्षित परिणाम साहित्यिक चोरी का पता लगाने वाले सॉफ़्टवेयर  Turnitin  में पाया गया, जो छात्र-लिखित पाठों की तुलना ऑनलाइन मिली जानकारी से करता है और एक संभावना स्कोर लौटाता है कि छात्र के काम की नकल की जाती है। क्योंकि सॉफ्टवेयर पाठ के लंबे तार की तुलना करता है, यह देशी वक्ताओं की तुलना में अंग्रेजी के गैर-देशी वक्ताओं की पहचान करने की अधिक संभावना है, क्योंकि बाद वाला समूह अलग-अलग शब्दों को बदलने, साहित्यिक पाठ के तार को तोड़ने, या कॉपी किए गए अंशों को अस्पष्ट करने में सक्षम हो सकता है। समानार्थी शब्द। क्योंकि सॉफ्टवेयर की तकनीकी बाधाओं के परिणामस्वरूप देशी वक्ताओं के लिए पहचान से बचना आसान है, यह एक ऐसा परिदृश्य बनाता है जहां टर्निटिन साहित्यिक चोरी के लिए अंग्रेजी के विदेशी-भाषियों की पहचान करता है जबकि अधिक देशी-वक्ताओं को पता लगाने से बचने की अनुमति देता है।

आकस्मिक
उभरते गुण पूर्वाग्रह नए या अप्रत्याशित संदर्भों में एल्गोरिदम पर उपयोग और निर्भरता का परिणाम है। ज्ञान के नए रूपों पर विचार करने के लिए एल्गोरिदम को समायोजित नहीं किया जा सकता है, जैसे कि नई दवाएं या चिकित्सा सफलताएं, नए कानून, व्यापार मॉडल, या सांस्कृतिक मानदंडों को स्थानांतरित करना।  यह यह समझने के लिए स्पष्ट रूपरेखा प्रदान किए बिना कि उनके बहिष्करण के लिए कौन जिम्मेदार है, प्रौद्योगिकी के माध्यम से समूहों को बाहर कर सकता है।   इसी तरह, समस्याएँ तब उत्पन्न हो सकती हैं जब प्रशिक्षण डेटा (मशीन को भेजे गए नमूने, जिसके द्वारा यह कुछ निश्चित निष्कर्षों को मॉडल करता है) उन संदर्भों के साथ संरेखित नहीं होता है जो वास्तविक दुनिया में एक एल्गोरिथ्म का सामना करते हैं। 1990 में, अमेरिकी मेडिकल छात्रों को रेजीडेंसी, नेशनल रेजीडेंसी मैच प्रोग्राम (NRMP) में रखने के लिए उपयोग किए जाने वाले सॉफ़्टवेयर में उभरते पूर्वाग्रह के एक उदाहरण की पहचान की गई थी। एल्गोरिद्म को ऐसे समय में डिज़ाइन किया गया था जब कुछ विवाहित जोड़े एक साथ निवास की तलाश करेंगे। जैसे ही अधिक महिलाएं मेडिकल स्कूलों में प्रवेश करती हैं, अधिक छात्रों को अपने सहयोगियों के साथ निवास का अनुरोध करने की संभावना होती है। इस प्रक्रिया में प्रत्येक आवेदक को पूरे अमेरिका में नियुक्ति के लिए वरीयता सूची प्रदान करने की आवश्यकता होती है, जिसे तब क्रमबद्ध किया जाता था और सौंपा जाता था जब एक अस्पताल और एक आवेदक दोनों एक मैच के लिए सहमत होते थे। विवाहित जोड़ों के मामले में जहां दोनों ने निवास की मांग की थी, एल्गोरिद्म पहले उच्च-रेटेड साथी के स्थान विकल्पों का वजन करता था। परिणाम प्लेसमेंट वरीयता में समझौता करने के बजाय पहले साथी को अत्यधिक पसंदीदा स्कूलों और दूसरे साथी को कम-वरीयता वाले स्कूलों का लगातार असाइनमेंट था। अतिरिक्त आकस्मिक पूर्वाग्रहों में शामिल हैं:

सहसंबंध
जब बड़े डेटा सेट की एक दूसरे से तुलना की जाती है तो अप्रत्याशित सहसंबंध उभर सकते हैं। उदाहरण के लिए, वेब-ब्राउज़िंग पैटर्न के बारे में एकत्र किया गया डेटा संवेदनशील डेटा (जैसे जाति या यौन अभिविन्यास) को चिन्हित करने वाले संकेतों के साथ संरेखित हो सकता है। कुछ व्यवहार या ब्राउज़िंग पैटर्न के अनुसार चयन करने से, अंतिम प्रभाव प्रत्यक्ष नस्ल या यौन अभिविन्यास डेटा के उपयोग के माध्यम से भेदभाव के समान होगा। अन्य मामलों में, एल्गोरिथ्म उन सहसंबंधों को समझने में सक्षम हुए बिना सहसंबंधों से निष्कर्ष निकालता है। उदाहरण के लिए, एक ट्राइएज प्रोग्राम ने उन अस्थमा रोगियों को कम प्राथमिकता दी जिन्हें निमोनिया नहीं था। कार्यक्रम एल्गोरिथ्म ने ऐसा इसलिए किया क्योंकि यह केवल जीवित रहने की दरों की तुलना करता है: निमोनिया के साथ दमा रोगियों को सबसे अधिक खतरा होता है। ऐतिहासिक रूप से, इसी कारण से, अस्पताल आमतौर पर ऐसे अस्थमा रोगियों को सर्वोत्तम और तत्काल देखभाल प्रदान करते हैं।

अप्रत्याशित उपयोग
आकस्मिक पक्षपात तब हो सकता है जब एक एल्गोरिथम का उपयोग अप्रत्याशित दर्शकों द्वारा किया जाता है। उदाहरण के लिए, मशीनों की आवश्यकता हो सकती है कि उपयोगकर्ता संख्याओं को पढ़, लिख या समझ सकें, या उन रूपकों का उपयोग करके एक इंटरफ़ेस से संबंधित हो जिन्हें वे नहीं समझते हैं। ये बहिष्करण मिश्रित हो सकते हैं, क्योंकि पक्षपाती या बहिष्करण तकनीक समाज में अधिक गहराई से एकीकृत है।

बहिष्करण के अलावा, अंतिम उपयोगकर्ता द्वारा अपने स्वयं के ज्ञान के बजाय सॉफ़्टवेयर पर भरोसा करने से अप्रत्याशित उपयोग उभर सकते हैं। एक उदाहरण में, एक अप्रत्याशित उपयोगकर्ता समूह ने ब्रिटेन में एल्गोरिथम पूर्वाग्रह का नेतृत्व किया, जब ब्रिटिश राष्ट्रीय अधिनियम कार्यक्रम को ब्रिटिश राष्ट्रीयता कानून के लिए उपयुक्तता का मूल्यांकन करने के लिए कंप्यूटर वैज्ञानिकों और आव्रजन वकीलों द्वारा अवधारणा के सबूत के रूप में बनाया गया था। डिजाइनरों के पास आव्रजन कार्यालयों में अंतिम उपयोगकर्ताओं से परे कानूनी विशेषज्ञता तक पहुंच थी, जिनकी सॉफ्टवेयर और आव्रजन कानून दोनों की समझ अपरिष्कृत रही होगी। प्रश्नों को प्रशासित करने वाले एजेंट पूरी तरह से सॉफ्टवेयर पर निर्भर थे, जिसमें नागरिकता के वैकल्पिक रास्ते शामिल नहीं थे, और नए केस कानूनों और कानूनी व्याख्याओं के बाद भी एल्गोरिदम का उपयोग पुराना हो गया था। अप्रवासन कानून पर कानूनी रूप से समझदार माने जाने वाले उपयोगकर्ताओं के लिए एक एल्गोरिथ्म डिजाइन करने के परिणामस्वरूप, सॉफ्टवेयर के एल्गोरिदम ने अप्रत्यक्ष रूप से उन आवेदकों के पक्ष में पक्षपात किया, जो अधिक व्यापक मानदंडों के बजाय एल्गोरिथम द्वारा निर्धारित कानूनी मानदंडों के एक बहुत ही संकीर्ण सेट में फिट बैठते हैं। ब्रिटिश आप्रवासन कानून के।

प्रतिक्रिया पाश ्स
यदि एल्गोरिथम के लिए एकत्र किए गए डेटा का परिणाम वास्तविक दुनिया की प्रतिक्रियाओं में होता है, जो एल्गोरिथम में वापस फीड किए जाते हैं, तो आपातकालीन पूर्वाग्रह फीडबैक लूप या रिकर्सन भी बना सकते हैं। उदाहरण के लिए, ओकलैंड, कैलिफोर्निया में तैनात  भविष्य कहनेवाला पुलिसिंग  सॉफ्टवेयर (प्रेडपोल) के सिमुलेशन ने जनता द्वारा रिपोर्ट किए गए अपराध के आंकड़ों के आधार पर काले पड़ोस में पुलिस की उपस्थिति में वृद्धि का सुझाव दिया। सिमुलेशन ने दिखाया कि जनता ने पुलिस कारों की दृष्टि के आधार पर अपराध की सूचना दी, चाहे पुलिस कुछ भी कर रही हो। सिमुलेशन ने अपराध की अपनी भविष्यवाणियों के मॉडलिंग में पुलिस कार देखे जाने की व्याख्या की, और बदले में उन पड़ोस के भीतर पुलिस की उपस्थिति में और भी बड़ी वृद्धि होगी।  मानवाधिकार डेटा विश्लेषण समूह, जिसने सिमुलेशन का संचालन किया, ने चेतावनी दी कि जिन जगहों पर नस्लीय भेदभाव गिरफ्तारी का एक कारक है, ऐसे फीडबैक लूप पुलिसिंग में नस्लीय भेदभाव को मजबूत और स्थायी बना सकते हैं। इस तरह के व्यवहार को प्रदर्शित करने वाले एल्गोरिदम का एक अन्य प्रसिद्ध उदाहरण COMPAS (सॉफ़्टवेयर) है, एक ऐसा सॉफ़्टवेयर जो किसी व्यक्ति के आपराधिक अपराधी बनने की संभावना को निर्धारित करता है। सॉफ़्टवेयर की अक्सर काले व्यक्तियों को अपराधियों के रूप में लेबल करने के लिए आलोचना की जाती है, जो दूसरों की तुलना में बहुत अधिक होने की संभावना है, और फिर डेटा को स्वयं में वापस फीड कर देता है, जब व्यक्ति पंजीकृत अपराधी बन जाते हैं, आगे उस डेटासेट द्वारा बनाए गए पूर्वाग्रह को लागू करते हैं जिस पर एल्गोरिथ्म कार्य कर रहा है।

ऑनलाइन वीडियो या समाचार लेखों की सिफारिश करने के लिए उपयोग की जाने वाली अनुशंसा प्रणाली फीडबैक लूप बना सकती है। जब उपयोगकर्ता एल्गोरिदम द्वारा सुझाई गई सामग्री पर क्लिक करते हैं, तो यह सुझावों के अगले सेट को प्रभावित करती है। समय के साथ यह उपयोगकर्ताओं को फ़िल्टर बुलबुला में प्रवेश करने और महत्वपूर्ण या उपयोगी सामग्री से अनजान होने का कारण बन सकता है।

वाणिज्यिक प्रभाव
कॉरपोरेट एल्गोरिद्म को किसी उपयोगकर्ता की जानकारी के बिना कंपनियों के बीच वित्तीय व्यवस्थाओं या समझौतों का अदृश्य रूप से पक्ष लेने के लिए तिरछा किया जा सकता है, जो एल्गोरिथम को निष्पक्ष होने की गलती कर सकता है। उदाहरण के लिए, अमेरिकन एयरलाइंस ने 1980 के दशक में एक फ्लाइट-फाइंडिंग एल्गोरिथम बनाया। सॉफ्टवेयर ने विभिन्न एयरलाइनों से ग्राहकों के लिए उड़ानों की एक श्रृंखला प्रस्तुत की, लेकिन मूल्य या सुविधा की परवाह किए बिना, अपनी खुद की उड़ानों को बढ़ावा देने वाले कारकों को तौला। संयुक्त राज्य कांग्रेस  की गवाही में, एयरलाइन के अध्यक्ष ने स्पष्ट रूप से कहा कि प्रणाली को अधिमान्य उपचार के माध्यम से प्रतिस्पर्धात्मक लाभ प्राप्त करने के इरादे से बनाया गया था।

1998 के एक पेपर में Google का वर्णन करते हुए, कंपनी के संस्थापकों ने भुगतान प्लेसमेंट के संबंध में खोज परिणामों में पारदर्शिता की नीति अपनाई थी, यह तर्क देते हुए कि विज्ञापन-वित्त पोषित खोज इंजन स्वाभाविक रूप से विज्ञापनदाताओं के प्रति पक्षपाती होंगे और उपभोक्ताओं की जरूरतों से दूर होंगे। यह पूर्वाग्रह उपयोगकर्ता का एक अदृश्य हेरफेर होगा।

मतदान व्यवहार
अमेरिका और भारत में अनिर्णीत मतदाताओं के बारे में अध्ययनों की एक श्रृंखला में पाया गया कि खोज इंजन परिणाम मतदान परिणामों को लगभग 20% तक स्थानांतरित करने में सक्षम थे। शोधकर्ताओं ने निष्कर्ष निकाला कि उम्मीदवारों के पास प्रतिस्पर्धा का कोई साधन नहीं है यदि एक एल्गोरिथ्म, इरादे के साथ या बिना इरादे के, प्रतिद्वंद्वी उम्मीदवार के लिए पेज लिस्टिंग को बढ़ावा देता है। जिन फेसबुक यूजर्स ने वोटिंग से जुड़े मैसेज देखे, उनके वोट देने की संभावना ज्यादा थी। फेसबुक उपयोगकर्ताओं के 2010 के एक यादृच्छिक परीक्षण ने उन उपयोगकर्ताओं के बीच 20% की वृद्धि (340,000 वोट) दिखाई, जिन्होंने मतदान को प्रोत्साहित करने वाले संदेशों के साथ-साथ अपने दोस्तों की छवियों को वोट दिया था। कानूनी विद्वान जोनाथन ज़िट्रेन ने चेतावनी दी है कि यह चुनावों में एक डिजिटल गेरीमांडरिंग प्रभाव पैदा कर सकता है, एक मध्यस्थ द्वारा अपने एजेंडे को पूरा करने के लिए सूचना की चयनात्मक प्रस्तुति, अपने उपयोगकर्ताओं की सेवा करने के बजाय, अगर जानबूझकर हेरफेर की जाती है।

लैंगिक भेदभाव
2016 में, पेशेवर नेटवर्किंग साइट Linkedin  को खोज प्रश्नों के जवाब में महिलाओं के नामों के पुरुष रूपों की सिफारिश करने के लिए खोजा गया था। पुरुष नामों की खोज में साइट ने समान अनुशंसाएं नहीं कीं। उदाहरण के लिए, एंड्रिया यह पूछने के लिए एक संकेत लाएगा कि क्या उपयोगकर्ता का मतलब एंड्रयू है, लेकिन एंड्रयू के लिए पूछताछ में यह नहीं पूछा गया कि क्या उपयोगकर्ता एंड्रिया को ढूंढना चाहते हैं। कंपनी ने कहा कि यह साइट के साथ यूजर्स के इंटरेक्शन के विश्लेषण का नतीजा है। 2012 में, डिपार्टमेंटल स्टोर फ़्रैंचाइज़ लक्ष्य कंपनी)  को महिला ग्राहकों के गर्भवती होने पर डेटा बिंदुओं को इकट्ठा करने के लिए उद्धृत किया गया था, भले ही उन्होंने इसकी घोषणा नहीं की थी, और फिर उस जानकारी को मार्केटिंग भागीदारों के साथ साझा किया।  क्योंकि डेटा की भविष्यवाणी की गई थी, प्रत्यक्ष रूप से देखे जाने या रिपोर्ट किए जाने के बजाय, कंपनी के पास उन ग्राहकों की गोपनीयता की रक्षा करने का कोई कानूनी दायित्व नहीं था।

वेब सर्च एल्गोरिदम पर भी पक्षपात का आरोप लगाया गया है। Google के परिणाम कामुकता से संबंधित खोज शब्दों में अश्लील सामग्री को प्राथमिकता दे सकते हैं, उदाहरण के लिए, समलैंगिक। यह पूर्वाग्रह तटस्थ खोजों में लोकप्रिय लेकिन यौन सामग्री दिखाने वाले खोज इंजन तक फैला हुआ है। उदाहरण के लिए, शीर्ष 25 सबसे सेक्सी महिला एथलीट लेख महिला एथलीटों की खोजों में प्रथम-पृष्ठ परिणामों के रूप में प्रदर्शित होते हैं। 2017 में, Google ने इन परिणामों को उन अन्य परिणामों के साथ समायोजित किया जो घृणा समूहों, नस्लवादी विचारों, बाल दुर्व्यवहार और पोर्नोग्राफ़ी, और अन्य परेशान करने वाली और आपत्तिजनक सामग्री के रूप में सामने आए। अन्य उदाहरणों में नौकरी खोज वेबसाइटों पर पुरुष आवेदकों को उच्च भुगतान वाली नौकरियों का प्रदर्शन शामिल है। शोधकर्ताओं ने यह भी पहचाना है कि मशीनी अनुवाद पुरुष चूक के प्रति एक मजबूत प्रवृत्ति प्रदर्शित करता है। विशेष रूप से, यह विज्ञान, प्रौद्योगिकी, इंजीनियरिंग और गणित व्यवसायों सहित असंतुलित लिंग वितरण से जुड़े क्षेत्रों में देखा गया है। वास्तव में, वर्तमान मशीनी अनुवाद प्रणालियाँ महिला श्रमिकों के वास्तविक विश्व वितरण को पुन: पेश करने में विफल हैं। 2015 में, Amazon.com ने एक AI सिस्टम को बंद कर दिया, जिसे उसने नौकरी के आवेदनों को स्क्रीन करने के लिए विकसित किया था, जब उन्हें एहसास हुआ कि यह महिलाओं के खिलाफ पक्षपाती था। भर्ती उपकरण ने उन आवेदकों को बाहर कर दिया, जिन्होंने सभी महिला कॉलेजों में भाग लिया और फिर से शुरू किया जिसमें महिला शब्द शामिल था। संगीत स्ट्रीमिंग सेवाओं के साथ एक समान समस्या सामने आई- 2019 में, यह पता चला कि Spotify द्वारा उपयोग की जाने वाली अनुशंसा प्रणाली एल्गोरिथ्म महिला कलाकारों के खिलाफ पक्षपाती थी। Spotify के गाने की सिफारिशों ने महिला कलाकारों की तुलना में अधिक पुरुष कलाकारों का सुझाव दिया।

नस्लीय और जातीय भेदभाव
निर्णय लेने में नस्लीय पूर्वाग्रहों को अस्पष्ट करने के तरीके के रूप में एल्गोरिदम की आलोचना की गई है।   अतीत में कुछ नस्लों और जातीय समूहों के साथ कैसा व्यवहार किया गया था, इसके कारण डेटा में अक्सर छिपे हुए पूर्वाग्रह हो सकते हैं। उदाहरण के लिए, समान अपराध करने वाले गोरे लोगों की तुलना में काले लोगों को लंबी सजा मिलने की संभावना है।  इसका संभावित अर्थ यह हो सकता है कि एक प्रणाली डेटा में मूल पूर्वाग्रहों को बढ़ाती है।

2015 में, Google ने माफी मांगी जब काले उपयोगकर्ताओं ने शिकायत की कि इसके फोटो एप्लिकेशन में एक छवि-पहचान एल्गोरिथ्म ने उन्हें जातीय स्टीरियोटाइप के रूप में पहचाना। 2010 में, निकॉन कैमरों की आलोचना की गई जब छवि-पहचान एल्गोरिदम ने लगातार एशियाई उपयोगकर्ताओं से पूछा कि क्या वे पलक झपक रहे हैं। ऐसे उदाहरण बायोमेट्रिक डेटा सेट में पूर्वाग्रह के उत्पाद हैं। बॉयोमीट्रिक डेटा शरीर के पहलुओं से तैयार किया जाता है, जिसमें नस्लीय विशेषताओं को या तो मनाया जाता है या अनुमान लगाया जाता है, जिसे बाद में डेटा बिंदुओं में स्थानांतरित किया जा सकता है। वाक् पहचान तकनीक में उपयोगकर्ता के उच्चारण के आधार पर अलग-अलग सटीकता हो सकती है। यह उस लहजे के बोलने वालों के लिए प्रशिक्षण डेटा की कमी के कारण हो सकता है। दौड़ के बारे में बॉयोमीट्रिक डेटा भी देखे जाने के बजाय अनुमान लगाया जा सकता है। उदाहरण के लिए, 2012 के एक अध्ययन से पता चला है कि आमतौर पर अश्वेतों से जुड़े नामों से खोज परिणाम मिलने की संभावना अधिक होती है, जो गिरफ्तारी के रिकॉर्ड को दर्शाता है, भले ही उस व्यक्ति के नाम का कोई पुलिस रिकॉर्ड हो या नहीं। 2015 के एक अध्ययन में यह भी पाया गया कि काले और एशियाई लोगों को नस्लीय और व्यावसायिक जोखिम डेटा के कारण फेफड़े के कार्य के भविष्यवाणी एल्गोरिथ्म के मॉडल में शामिल नहीं किए जाने के कारण फेफड़े कम काम करने वाले माने जाते हैं। 2019 में, एक शोध अध्ययन से पता चला कि सर्वश्रेष्ठ द्वारा बेचा गया एक हेल्थकेयर एल्गोरिदम बीमार काले रोगियों पर सफेद रोगियों का पक्ष लेता है। एल्गोरिथ्म भविष्यवाणी करता है कि भविष्य में रोगियों को स्वास्थ्य देखभाल प्रणाली पर कितना खर्च आएगा। हालांकि, लागत दौड़-तटस्थ नहीं है, क्योंकि समान संख्या में पुरानी स्थितियों वाले गोरे रोगियों की तुलना में काले रोगियों को प्रति वर्ष चिकित्सा लागत में लगभग $1,800 कम लगता है, जिसके कारण एल्गोरिद्म सफेद रोगियों को भविष्य की स्वास्थ्य समस्याओं के समान जोखिम वाले काले लोगों के रूप में स्कोर करता है। ऐसे मरीज जो काफी अधिक बीमारियों से पीड़ित थे। नवंबर 2019 में यूसी बर्कले के शोधकर्ताओं द्वारा किए गए एक अध्ययन से पता चला है कि बंधक एल्गोरिदम लेटिनो और अफ्रीकी अमेरिकियों के प्रति भेदभावपूर्ण रहा है, जो साख के आधार पर अल्पसंख्यकों के साथ भेदभाव करता है, जो अमेरिकी निष्पक्ष-उधार कानून में निहित है जो उधारदाताओं को पहचान के उपायों का उपयोग करने की अनुमति देता है। यदि कोई व्यक्ति ऋण प्राप्त करने के योग्य है। ये विशेष एल्गोरिदम फिनटेक कंपनियों में मौजूद थे और अल्पसंख्यकों के साथ भेदभाव करते दिखाए गए थे।

कानून प्रवर्तन और कानूनी कार्यवाही
एल्गोरिदम के पहले से ही कानूनी प्रणालियों में कई अनुप्रयोग हैं। इसका एक उदाहरण COMPAS (सॉफ्टवेयर) है, एक वाणिज्यिक कार्यक्रम जो अमेरिकी अदालतों द्वारा व्यापक रूप से उपयोग किया जाता है ताकि एक प्रतिवादी के पुनरावर्ती बनने की संभावना का आकलन किया जा सके। ProPublica का दावा है कि काले प्रतिवादियों का औसत COMPAS-असाइन किया गया पुनर्वितरण जोखिम स्तर श्वेत प्रतिवादियों के औसत COMPAS-नियुक्त जोखिम स्तर से काफी अधिक है, और यह कि काले प्रतिवादियों को गलत तरीके से सफेद प्रतिवादियों के रूप में लेबल उच्च-जोखिम सौंपे जाने की संभावना दोगुनी है। एक उदाहरण संयुक्त राज्य अमेरिका और प्रतिज्ञा मंडल में आपराधिक सजा में जोखिम आकलन का उपयोग है, न्यायाधीशों को एल्गोरिथम से उत्पन्न स्कोर के साथ प्रस्तुत किया गया था जिसका उद्देश्य जोखिम को प्रतिबिंबित करना था कि एक कैदी अपराध दोहराएगा। 1920 में शुरू होने वाली और 1970 में समाप्त होने वाली समय अवधि के लिए, एक अपराधी के पिता की राष्ट्रीयता उन जोखिम मूल्यांकन अंकों में एक विचार थी। आज, ये स्कोर एरिज़ोना, कोलोराडो, डेलावेयर, केंटकी, लुइसियाना, ओक्लाहोमा, वर्जीनिया, वाशिंगटन और विस्कॉन्सिन में न्यायाधीशों के साथ साझा किए जाते हैं। ProPublica द्वारा एक स्वतंत्र जांच में पाया गया कि स्कोर 80% समय गलत थे, और अश्वेतों को पुनरावर्तन के जोखिम में होने का सुझाव देने के लिए अनुपातहीन रूप से तिरछा था, गोरों की तुलना में 77% अधिक।

एक अध्ययन जो जोखिम, जाति, और वैराग्यवाद की जांच करने के लिए निर्धारित किया गया है: भविष्य कहनेवाला पूर्वाग्रह और असमान प्रभाव काले बनाम कोकेशियान प्रतिवादियों के लिए एक दो गुना (45 प्रतिशत बनाम 23 प्रतिशत) प्रतिकूल संभावना का आरोप लगाता है, जो उच्च जोखिम के रूप में गलत वर्गीकृत होने के बावजूद होता है। अवलोकन के दो साल की अवधि में निष्पक्ष रूप से बिना किसी प्रलेखित पुनरावृत्ति के बने रहे। पूर्व-परीक्षण निरोध के संदर्भ में, एक कानून समीक्षा लेख का तर्क है कि एल्गोरिथम जोखिम आकलन नस्ल के आधार पर संयुक्त राज्य अमेरिका के संविधान के समान संरक्षण अधिकारों में चौदहवें संशोधन का उल्लंघन करता है, क्योंकि एल्गोरिदम को चेहरे के भेदभावपूर्ण होने का तर्क दिया जाता है, जिसके परिणामस्वरूप असमान उपचार होता है, और संकीर्ण रूप से सिलवाया नहीं जाना चाहिए।

ऑनलाइन अभद्र भाषा
2017 में आंतरिक फेसबुक दस्तावेजों के अनुसार, आपत्तिजनक सामग्री का आकलन करते समय ऑनलाइन अभद्र भाषा को हटाने के लिए डिज़ाइन किया गया एक फेसबुक एल्गोरिदम काले बच्चों पर सफेद पुरुषों को लाभ देने के लिए पाया गया था। एल्गोरिथ्म, जो कंप्यूटर प्रोग्राम और मानव सामग्री समीक्षकों का एक संयोजन है, को श्रेणियों के विशिष्ट उपसमुच्चय के बजाय व्यापक श्रेणियों की सुरक्षा के लिए बनाया गया था। उदाहरण के लिए, मुसलमानों की निंदा करने वाली पोस्ट को ब्लॉक कर दिया जाएगा, जबकि कट्टरपंथी मुसलमानों की निंदा करने वाली पोस्ट को अनुमति दी जाएगी। एल्गोरिथ्म का एक अप्रत्याशित परिणाम काले बच्चों के खिलाफ अभद्र भाषा की अनुमति देना है, क्योंकि वे सभी अश्वेतों के बजाय अश्वेतों के बच्चों के सबसेट की निंदा करते हैं, जबकि सभी गोरे लोग एक ब्लॉक को ट्रिगर करेंगे, क्योंकि गोरे और पुरुषों को उपसमुच्चय नहीं माना जाता है। फेसबुक को विज्ञापन खरीदारों को उपयोगकर्ताओं की एक श्रेणी के रूप में यहूदी नफरत करने वालों को लक्षित करने की अनुमति देने के लिए भी पाया गया था, जिसके बारे में कंपनी ने कहा कि डेटा का आकलन और वर्गीकरण करने में उपयोग किए जाने वाले एल्गोरिदम का एक अनजान परिणाम था। कंपनी के डिजाइन ने विज्ञापन खरीदारों को अफ्रीकी-अमेरिकियों को आवास विज्ञापनों को देखने से रोकने की भी अनुमति दी। जबकि एल्गोरिदम का उपयोग अभद्र भाषा को ट्रैक करने और ब्लॉक करने के लिए किया जाता है, कुछ को काले उपयोगकर्ताओं द्वारा पोस्ट की गई जानकारी को फ़्लैग करने की संभावना 1.5 गुना अधिक और अफ़्रीकी अमेरिकी अंग्रेजी में लिखे जाने पर अभद्र भाषा के रूप में जानकारी को फ़्लैग करने की संभावना 2.2 गुना अधिक पाई गई। अपशब्दों और विशेषणों के संदर्भ के बिना, उन समुदायों द्वारा उपयोग किए जाने पर भी, जिन्होंने उन्हें फिर से विनियोजित किया है, ध्वजांकित किया गया था।

निगरानी
निगरानी कैमरा सॉफ़्टवेयर को स्वाभाविक रूप से राजनीतिक माना जा सकता है क्योंकि इसमें असामान्य व्यवहारों से सामान्य को अलग करने के लिए एल्गोरिदम की आवश्यकता होती है, और यह निर्धारित करने के लिए कि निश्चित समय पर निश्चित स्थानों में कौन है। नस्लीय वर्णक्रम में चेहरों को पहचानने के लिए ऐसे एल्गोरिदम की क्षमता को इसके प्रशिक्षण डेटाबेस में छवियों की नस्लीय विविधता द्वारा सीमित दिखाया गया है; यदि अधिकांश तस्वीरें एक जाति या लिंग की हैं, तो सॉफ्टवेयर उस जाति या लिंग के अन्य सदस्यों को पहचानने में बेहतर है। हालांकि, इन छवि-पहचान प्रणालियों के ऑडिट भी नैतिक रूप से भरे हुए हैं, और कुछ विद्वानों ने सुझाव दिया है कि प्रौद्योगिकी के संदर्भ में हमेशा उन समुदायों पर असंगत प्रभाव पड़ेगा जिनके कार्यों पर अधिक निगरानी की जाती है। उदाहरण के लिए, सीसीटीवी छवियों में व्यक्तियों की पहचान करने के लिए इस्तेमाल किए गए सॉफ्टवेयर के 2002 के एक विश्लेषण में आपराधिक डेटाबेस के खिलाफ चलाए जाने वाले पूर्वाग्रह के कई उदाहरण पाए गए। सॉफ्टवेयर का मूल्यांकन महिलाओं की तुलना में अधिक बार पुरुषों की पहचान करने, युवा लोगों की तुलना में अधिक उम्र के लोगों की पहचान करने और गोरों की तुलना में अधिक बार एशियाई, अफ्रीकी-अमेरिकी और अन्य जातियों की पहचान करने के लिए किया गया था।  चेहरे की पहचान करने वाले सॉफ़्टवेयर के अतिरिक्त अध्ययनों ने गैर-आपराधिक डेटाबेस पर प्रशिक्षित होने पर विपरीत पाया है, सॉफ्टवेयर गहरे रंग की महिलाओं की पहचान करने में सबसे कम सटीक है।

एलजीबीटीक्यू समुदाय के खिलाफ भेदभाव
2011 में, गे हुकअप एप्लिकेशन ग्राइंडर के उपयोगकर्ताओं ने बताया कि Google Play की सिफारिश एल्गोरिथ्म ग्राइंडर को यौन अपराधियों को खोजने के लिए डिज़ाइन किए गए एप्लिकेशन से जोड़ रहा था, जिसे आलोचकों ने गलत तरीके से समलैंगिकता के प्रति सामाजिक दृष्टिकोण # बाल यौन शोषण और पीडोफिलिया के साथ जोड़ा। लेखक माइक एनी ने द अटलांटिक में इस संघ की आलोचना की, यह तर्क देते हुए कि इस तरह के संघों ने संयुक्त राज्य में समलैंगिक पुरुषों के इतिहास को कलंकित किया। 2009 में, ऑनलाइन रिटेलर अमेज़ॅन (कंपनी) ने एक एल्गोरिथम परिवर्तन के बाद 57,000 पुस्तकों को डी-लिस्ट किया, जिसमें समीक्षकों द्वारा प्रशंसित उपन्यास मानव त्रुटि  जैसे कामुकता या समलैंगिक विषयों को संबोधित करने वाली किसी भी पुस्तक को शामिल करने के लिए अपनी वयस्क सामग्री ब्लैकलिस्ट का विस्तार किया। 2019 में, यह पाया गया कि फेसबुक पर, मेरी महिला मित्रों की तस्वीरों की खोज से बिकनी या समुद्र तट जैसे सुझाव मिले। इसके विपरीत, मेरे पुरुष मित्रों की तस्वीरों की खोज से कोई परिणाम नहीं निकला। चेहरे की पहचान करने वाली तकनीक को ट्रांसजेंडर व्यक्तियों के लिए समस्याएँ पैदा करते देखा गया है। 2018 में, उबेर ड्राइवरों की रिपोर्टें थीं जो ट्रांसजेंडर थे या संक्रमण के दौरान चेहरे की पहचान करने वाले सॉफ़्टवेयर के साथ कठिनाई का सामना कर रहे थे, जिसे उबेर एक अंतर्निहित सुरक्षा उपाय के रूप में लागू करता है। इसके परिणामस्वरूप, ट्रांस उबेर ड्राइवरों के कुछ खातों को निलंबित कर दिया गया था, जिससे उनका किराया खर्च हो गया था और संभावित रूप से उन्हें नौकरी से हाथ धोना पड़ा था, यह सब चेहरे की पहचान करने वाले सॉफ़्टवेयर के कारण ट्रांस ड्राइवर के चेहरे को पहचानने में कठिनाई का सामना करना पड़ रहा था। यद्यपि इस समस्या का समाधान मशीन लर्निंग मॉडल के लिए प्रशिक्षण सेट में ट्रांस व्यक्तियों को शामिल करना प्रतीत होता है, ट्रांस YouTube वीडियो का एक उदाहरण जिसे प्रशिक्षण डेटा में उपयोग करने के लिए एकत्र किया गया था, वीडियो में शामिल किए गए ट्रांस व्यक्तियों से सहमति प्राप्त नहीं हुई थी, जिसने गोपनीयता के उल्लंघन का मुद्दा बनाया। 2017 में स्टैनफोर्ड यूनिवर्सिटी में एक अध्ययन भी किया गया था जिसमें मशीन लर्निंग सिस्टम में एल्गोरिदम का परीक्षण किया गया था, जिसके बारे में कहा गया था कि यह किसी व्यक्ति के चेहरे की छवियों के आधार पर यौन अभिविन्यास का पता लगाने में सक्षम है। अध्ययन में मॉडल ने 81% समय में समलैंगिक और सीधे पुरुषों के बीच एक सही अंतर और 74% समय में समलैंगिक और सीधे महिलाओं के बीच एक सही अंतर की भविष्यवाणी की। इस अध्ययन के परिणामस्वरूप LGBTQIA समुदाय से प्रतिक्रिया हुई, जो संभावित नकारात्मक नतीजों से डरते थे कि यह AI सिस्टम LGBTQIA समुदाय के व्यक्तियों पर उनकी इच्छा के विरुद्ध बाहर होने के जोखिम में डाल सकता है।

विकलांगता भेदभाव
जबकि एल्गोरिथम निष्पक्षता के तौर-तरीकों को पूर्वाग्रह के विभिन्न पहलुओं के आधार पर आंका गया है - जैसे लिंग, जाति और सामाजिक आर्थिक स्थिति, विकलांगता को अक्सर सूची से बाहर कर दिया जाता है। वर्तमान में समाज में विकलांग लोगों को जिस हाशिए पर रखा जा रहा है, उसे AI सिस्टम और एल्गोरिदम में अनुवादित किया जा रहा है, जिससे और भी अधिक बहिष्कार हो रहा है  विकलांगों की बदलती प्रकृति और इसके व्यक्तिपरक लक्षण वर्णन, कम्प्यूटेशनल रूप से संबोधित करना अधिक कठिन बना देता है। विकलांगों को परिभाषित करने में ऐतिहासिक गहराई की कमी, प्रश्नावली में इसकी घटनाओं और व्यापकता को एकत्रित करना, और मान्यता स्थापित करने से इसकी मात्रा और गणना में विवाद और अस्पष्टता बढ़ जाती है। अक्षमता की परिभाषा पर हाल ही में विकलांगता के एक चिकित्सा मॉडल से विकलांगता के एक सामाजिक मॉडल में स्थानांतरण पर बहस हुई है, जो यह स्थापित करता है कि विकलांगता लोगों की बातचीत और उनके पर्यावरण में बाधाओं के बीच बेमेल होने का परिणाम है, न कि हानि और स्वास्थ्य स्थितियों के कारण। विकलांगता स्थितिजन्य या अस्थायी भी हो सकती है, प्रवाह की एक निरंतर स्थिति में माना जाता है। विकलांग अविश्वसनीय रूप से विविध हैं, एक बड़े स्पेक्ट्रम के भीतर आते हैं, और प्रत्येक व्यक्ति के लिए अद्वितीय हो सकते हैं। लोगों की पहचान उनके द्वारा अनुभव की जाने वाली विशिष्ट प्रकार की विकलांगता, वे कैसे सहायक तकनीकों का उपयोग करते हैं, और वे किसका समर्थन करते हैं, के आधार पर भिन्न हो सकते हैं। लोगों के अनुभवों में परिवर्तनशीलता का उच्च स्तर बहुत ही वैयक्तिकृत करता है कि विकलांगता कैसे प्रकट हो सकती है। ओवरलैपिंग पहचान और चौराहे के अनुभव आँकड़ों और डेटासेट से बाहर रखा गया है, इसलिए प्रशिक्षण डेटा में कम प्रतिनिधित्व और अस्तित्वहीन है। इसलिए, मशीन लर्निंग मॉडल को असमान रूप से प्रशिक्षित किया जाता है और कृत्रिम बुद्धिमान सिस्टम अधिक एल्गोरिथम पूर्वाग्रह को बनाए रखते हैं। उदाहरण के लिए, यदि वाक् निःशक्तता वाले लोगों को प्रशिक्षण ध्वनि नियंत्रण सुविधाओं और स्मार्ट एआई सहायकों में शामिल नहीं किया गया है - तो वे सुविधा का उपयोग करने में असमर्थ हैं या Google होम या एलेक्सा से प्राप्त प्रतिक्रियाएँ बेहद खराब हैं।

रूढ़िवादिता और कलंक को देखते हुए जो अभी भी विकलांगता के आसपास मौजूद हैं, इन पहचान करने वाली विशेषताओं को प्रकट करने की संवेदनशील प्रकृति में बड़ी गोपनीयता चुनौतियां भी हैं, क्योंकि विकलांगता की जानकारी का खुलासा करना वर्जित हो सकता है और इस आबादी के खिलाफ और भेदभाव को बढ़ावा दे सकता है, इसके लिए स्पष्ट विकलांगता डेटा उपलब्ध नहीं है एल्गोरिथम सिस्टम के साथ बातचीत करने के लिए। विकलांग लोगों को अपनी विकलांगता स्थिति का खुलासा करने पर उनके सामाजिक समर्थन, स्वास्थ्य बीमा की लागत, कार्यस्थल भेदभाव और अन्य बुनियादी आवश्यकताओं के संबंध में अतिरिक्त नुकसान और जोखिम का सामना करना पड़ता है। एल्गोरिद्म सामाजिक व्यवस्थाओं और संरचनाओं में पहले से मौजूद पूर्वाग्रहों को फिर से बनाकर इस अंतर को और बढ़ा रहे हैं।

गूगल खोज
जबकि उपयोगकर्ता स्वचालित रूप से पूर्ण होने वाले परिणाम उत्पन्न करते हैं, Google सेक्सिस्ट और नस्लवादी स्वत: पूर्णता पाठ को हटाने में विफल रहा है। उदाहरण के लिए, उत्पीड़न के एल्गोरिदम | दमन के एल्गोरिदम: कैसे खोज इंजन जातिवाद को मजबूत करते हैं साफिया नोबल काली लड़कियों की खोज का एक उदाहरण नोट करता है, जिसके परिणामस्वरूप अश्लील चित्र होने की सूचना मिली थी। Google ने दावा किया कि वह उन पृष्ठों को तब तक मिटाने में असमर्थ था जब तक कि उन्हें गैर-कानूनी नहीं माना जाता।

शोध में बाधाएँ
कई समस्याएं बड़े पैमाने पर एल्गोरिथम पूर्वाग्रह के अध्ययन को बाधित करती हैं, शैक्षणिक रूप से कठोर अध्ययन और सार्वजनिक समझ के आवेदन में बाधा डालती हैं।

निष्पक्षता को परिभाषित करना
एल्गोरिथम पूर्वाग्रह पर साहित्य ने निष्पक्षता के उपाय पर ध्यान केंद्रित किया है, लेकिन निष्पक्षता की परिभाषाएं अक्सर एक-दूसरे और मशीन लर्निंग अनुकूलन की वास्तविकताओं के साथ असंगत होती हैं। उदाहरण के लिए, निष्पक्षता को परिणामों की समानता के रूप में परिभाषित करना केवल सभी लोगों के लिए समान परिणाम उत्पन्न करने वाली प्रणाली को संदर्भित कर सकता है, जबकि उपचार की समानता के रूप में परिभाषित निष्पक्षता स्पष्ट रूप से व्यक्तियों के बीच अंतरों पर विचार कर सकती है। नतीजतन, निष्पक्षता को कभी-कभी एक मॉडल की सटीकता के साथ संघर्ष के रूप में वर्णित किया जाता है, जो सामाजिक कल्याण की प्राथमिकताओं और इन प्रणालियों को डिजाइन करने वाले विक्रेताओं की प्राथमिकताओं के बीच सहज तनाव का सुझाव देता है।  इस तनाव के जवाब में, शोधकर्ताओं ने उन प्रणालियों के डिजाइन और उपयोग पर अधिक ध्यान देने का सुझाव दिया है जो विशिष्ट अनुप्रयोगों और संदर्भों के लिए परिभाषित निष्पक्षता के साथ संभावित पक्षपाती एल्गोरिदम पर आधारित हैं।

जटिलता
एल्गोरिदमिक प्रक्रियाएं जटिल प्रणाली हैं, जो अक्सर उन लोगों की समझ से अधिक होती हैं जो उनका उपयोग करते हैं।  हो सकता है कि बड़े पैमाने पर संचालन को बनाने में शामिल लोगों द्वारा भी नहीं समझा जा सकता है। कोड के इनपुट या आउटपुट के प्रत्येक क्रमपरिवर्तन को जानने में असमर्थता के कारण समकालीन कार्यक्रमों की विधियों और प्रक्रियाओं को अक्सर अस्पष्ट कर दिया जाता है।  सामाजिक वैज्ञानिक ब्रूनो लटौर ने इस प्रक्रिया की पहचान ब्लैकबॉक्सिंग के रूप में की है, एक ऐसी प्रक्रिया जिसमें वैज्ञानिक और तकनीकी कार्य अपनी सफलता से अदृश्य हो जाते हैं। जब कोई मशीन कुशलतापूर्वक चलती है, जब कोई तथ्य सुलझा लिया जाता है, तो व्यक्ति को केवल उसके इनपुट और आउटपुट पर ध्यान देने की आवश्यकता होती है, न कि उसकी आंतरिक जटिलता पर। इस प्रकार, विरोधाभासी रूप से, जितना अधिक विज्ञान और प्रौद्योगिकी सफल होते हैं, उतने ही अधिक अपारदर्शी और अस्पष्ट हो जाते हैं। अन्य लोगों ने ब्लैक बॉक्स रूपक की आलोचना की है, यह सुझाव देते हुए कि वर्तमान एल्गोरिदम एक ब्लैक बॉक्स नहीं है, बल्कि आपस में जुड़े हुए नेटवर्क हैं।

प्रतिक्रिया को अनुकूलित करने में इनपुट की श्रेणी में इस जटिलता का एक उदाहरण पाया जा सकता है। सोशल मीडिया साइट फेसबुक ने 2013 में उपयोगकर्ता के सोशल मीडिया फीड के लेआउट को निर्धारित करने के लिए कम से कम 100,000 डेटा बिंदुओं पर विचार किया। इसके अलावा, प्रोग्रामरों की बड़ी टीमें एक दूसरे से सापेक्ष अलगाव में काम कर सकती हैं, और जुड़े हुए, विस्तृत एल्गोरिदम के भीतर छोटे निर्णयों के संचयी प्रभावों से अनजान हो सकती हैं। सभी कोड मूल नहीं हैं, और डेटा प्रोसेसिंग और डेटा इनपुट सिस्टम के बीच संबंधों का एक जटिल सेट बनाते हुए, अन्य पुस्तकालयों से उधार लिया जा सकता है।

अतिरिक्त जटिलता मशीन लर्निंग और उपयोगकर्ता इंटरैक्शन जैसे क्लिक, साइट पर बिताया गया समय और अन्य मेट्रिक्स के आधार पर एल्गोरिदम के वैयक्तिकरण के माध्यम से होती है। ये व्यक्तिगत समायोजन एल्गोरिदम को समझने के सामान्य प्रयासों को भ्रमित कर सकते हैं।  एक अज्ञात स्ट्रीमिंग रेडियो सेवा ने बताया कि उसने अपने उपयोगकर्ताओं के व्यवहार के आधार पर उनके लिए चुने गए पांच अद्वितीय संगीत-चयन एल्गोरिदम का उपयोग किया। यह अलग-अलग उपयोगकर्ताओं के बीच एक ही स्ट्रीमिंग सेवाओं के अलग-अलग अनुभव बनाता है, जिससे यह समझना कठिन हो जाता है कि ये एल्गोरिदम क्या करते हैं। उपयोगकर्ता की प्रतिक्रिया के आधार पर एल्गोरिदम को फ़ाइन-ट्यून करने के लिए कंपनियाँ बार-बार A/B परीक्षण भी चलाती हैं। उदाहरण के लिए, खोज इंजन बिंग (खोज इंजन) प्रत्येक उपयोग और/या उपयोगकर्ता के बीच सेवा के अलग-अलग अनुभव बनाते हुए प्रति दिन अपनी सेवा के दस मिलियन सूक्ष्म रूपांतरों तक चला सकता है।

पारदर्शिता का अभाव
वाणिज्यिक एल्गोरिदम मालिकाना हैं, और उन्हें व्यापार रहस्य माना जा सकता है।   एल्गोरिथम को व्यापार रहस्य के रूप में मानना ​​कंपनियों की सुरक्षा करता है, जैसे कि वेब खोज इंजन, जहां एक पारदर्शी एल्गोरिद्म खोज रैंकिंग में हेरफेर करने की रणनीति प्रकट कर सकता है।  यह अनुसंधानकर्ताओं के लिए यह पता लगाने के लिए साक्षात्कार या विश्लेषण करना कठिन बना देता है कि एल्गोरिथम कैसे कार्य करता है।  आलोचकों का सुझाव है कि ऐसी गोपनीयता एल्गोरिथम आउटपुट के उत्पादन या प्रसंस्करण में उपयोग किए जाने वाले संभावित अनैतिक तरीकों को भी अस्पष्ट कर सकती है।  अन्य आलोचकों, जैसे कि वकील और एक्टिविस्ट कतार्ज़ीना स्ज़िमिलेविक्ज़ ने सुझाव दिया है कि पारदर्शिता की कमी अक्सर एल्गोरिथम जटिलता के परिणामस्वरूप प्रच्छन्न होती है, कंपनियों को अपनी स्वयं की एल्गोरिथम प्रक्रियाओं का खुलासा करने या जांच करने से बचाती है।

संवेदनशील श्रेणियों के बारे में डेटा की कमी
व्यवहार में पूर्वाग्रह से निपटने को समझने में एक महत्वपूर्ण बाधा यह है कि भेदभाव-विरोधी कानून द्वारा संरक्षित व्यक्तियों की जनसांख्यिकी जैसी श्रेणियों पर अक्सर डेटा एकत्र और संसाधित करते समय स्पष्ट रूप से विचार नहीं किया जाता है। कुछ मामलों में, इस डेटा को स्पष्ट रूप से एकत्र करने का अवसर बहुत कम होता है, जैसे कि डिवाइस फिंगरप्रिंट, सर्वव्यापी कंप्यूटिंग और चीजों की इंटरनेट अन्य मामलों में, डेटा नियंत्रक प्रतिष्ठित कारणों से ऐसे डेटा को एकत्र करने की इच्छा नहीं रख सकता है, या क्योंकि यह एक बढ़े हुए दायित्व और सुरक्षा जोखिम का प्रतिनिधित्व करता है। यह भी मामला हो सकता है कि, कम से कम यूरोपीय संघ के सामान्य डेटा संरक्षण विनियम के संबंध में, ऐसा डेटा 'विशेष श्रेणी' प्रावधानों (अनुच्छेद 9) के अंतर्गत आता है, और इसलिए संभावित संग्रह और प्रसंस्करण पर अधिक प्रतिबंधों के साथ आता है।

कुछ चिकित्सकों ने पूर्वाग्रह को कम करने की अनुमति देने के लिए इन लापता संवेदनशील वर्गीकरणों का अनुमान लगाने और उन्हें आरोपित करने का प्रयास किया है, उदाहरण के लिए नामों से जातीयता का अनुमान लगाने के लिए सिस्टम बनाना, हालांकि यह पूर्वाग्रह के अन्य रूपों को पेश कर सकता है यदि सावधानी से नहीं किया गया। मशीन सीखने के शोधकर्ताओं ने क्रिप्टोग्राफ़िक गोपनीयता-बढ़ाने वाली तकनीकों जैसे कि सुरक्षित बहु-पार्टी संगणना को ऐसे तरीकों का प्रस्ताव करने के लिए तैयार किया है जिससे एल्गोरिथम पूर्वाग्रह का मूल्यांकन किया जा सकता है या इन डेटा के बिना कभी भी स्पष्ट पाठ में मॉडेलर के लिए उपलब्ध नहीं हो सकता है। एल्गोरिदमिक पूर्वाग्रह में न केवल संरक्षित श्रेणियां शामिल हैं, बल्कि राजनीतिक दृष्टिकोण जैसे कम आसानी से देखे जाने योग्य या संहिताबद्ध विशेषताओं से भी संबंधित हो सकते हैं। इन मामलों में, शायद ही कभी आसानी से सुलभ या गैर-विवादास्पद जमीनी सच्चाई होती है, और ऐसी प्रणाली से पूर्वाग्रह को दूर करना अधिक कठिन होता है। इसके अलावा, संरक्षित श्रेणियों की समझ की कमी से झूठे और आकस्मिक सहसंबंध उभर सकते हैं, उदाहरण के लिए, कार दुर्घटनाओं के ऐतिहासिक डेटा के आधार पर बीमा दरें जो संयोग से जातीय अल्पसंख्यकों के आवासीय समूहों के साथ ओवरलैप हो सकती हैं।

समाधान
नैतिक एआई पर 84 नीतिगत दिशानिर्देशों के एक अध्ययन में पाया गया कि अवांछित पूर्वाग्रह की निष्पक्षता और शमन चिंता का एक सामान्य बिंदु था, और तकनीकी समाधान, पारदर्शिता और निगरानी, ​​​​उपाय का अधिकार और निगरानी में वृद्धि, और विविधता और समावेशन प्रयासों के मिश्रण के माध्यम से संबोधित किया गया था।.

तकनीकी
ऐसे तरीकों और उपकरणों को बनाने के कई प्रयास किए गए हैं जो एल्गोरिथम के भीतर पूर्वाग्रहों का पता लगा सकते हैं और उनका निरीक्षण कर सकते हैं। ये आकस्मिक क्षेत्र उन उपकरणों पर ध्यान केंद्रित करते हैं जो आमतौर पर एल्गोरिथम की आंतरिक प्रक्रियाओं के बजाय प्रोग्राम द्वारा उपयोग किए जाने वाले (प्रशिक्षण) डेटा पर लागू होते हैं। ये विधियाँ किसी प्रोग्राम के आउटपुट और उसकी उपयोगिता का विश्लेषण भी कर सकती हैं और इसलिए इसके भ्रम मैट्रिक्स (या भ्रम की तालिका) का विश्लेषण शामिल हो सकता है।        एल्गोरिथम बायस का पता लगाने के लिए व्याख्या करने योग्य एआई एक एल्गोरिथम या लर्निंग मॉडल में पूर्वाग्रह के अस्तित्व का पता लगाने का एक सुझाया गया तरीका है। पूर्वाग्रह का पता लगाने के लिए मशीन लर्निंग का उपयोग करना, एआई ऑडिट करना कहलाता है, जहां ऑडिटर एक एल्गोरिदम है जो एआई मॉडल और प्रशिक्षण डेटा के माध्यम से पक्षपात की पहचान करता है। यह सुनिश्चित करना कि एक एआई उपकरण जैसे क्लासिफायरियर पूर्वाग्रह से मुक्त है, संवेदनशील जानकारी को हटाने की तुलना में अधिक कठिन है इसके इनपुट संकेतों से, क्योंकि यह आमतौर पर अन्य संकेतों में निहित होता है। उदाहरण के लिए, शौक, खेल और स्कूलों में भाग लिया नौकरी के उम्मीदवार द्वारा सॉफ्टवेयर को अपना लिंग प्रकट किया जा सकता है, भले ही इसे विश्लेषण से हटा दिया गया हो। इसका समाधान समस्या में यह सुनिश्चित करना शामिल है कि बुद्धिमान एजेंट के पास ऐसी कोई जानकारी नहीं है जिसका उपयोग संरक्षित के पुनर्निर्माण के लिए किया जा सके और विषय के बारे में संवेदनशील जानकारी, जैसा कि पहले में प्रदर्शित किया गया था जहां एक गहन शिक्षण नेटवर्क को एक ही समय में संरक्षित सुविधा के बारे में पूरी तरह से अज्ञेय होने के साथ-साथ एक कार्य सीखने के लिए प्रशिक्षित किया गया था। शब्द एम्बेडिंग के संदर्भ में एक सरल विधि प्रस्तावित की गई थी, और इसमें संरक्षित विशेषता से संबंधित जानकारी को हटाना शामिल है। वर्तमान में, एक नए IEEE मानक संघ का मसौदा तैयार किया जा रहा है जिसका उद्देश्य एल्गोरिदम के रचनाकारों को पक्षपात के मुद्दों को खत्म करने और उनके एल्गोरिदम के कार्य और संभावित प्रभावों के बारे में स्पष्ट पारदर्शिता (यानी अधिकारियों या अंतिम उपयोगकर्ताओं के लिए) को निर्दिष्ट करने में मदद करना है। परियोजना को फरवरी 2017 को मंजूरी दी गई थी और इसे Software & Systems Engineering Standards Committee द्वारा प्रायोजित किया गया था, जो आईईईई कंप्यूटर सोसायटी द्वारा चार्टर्ड समिति है। जून 2019 में मतदान के लिए मानक का एक मसौदा प्रस्तुत किए जाने की उम्मीद है।

पारदर्शिता और निगरानी
एआई पर नैतिक दिशानिर्देश जवाबदेही की आवश्यकता की ओर इशारा करते हैं, यह अनुशंसा करते हैं कि परिणामों की व्याख्या में सुधार के लिए कदम उठाए जाएं। इस तरह के समाधानों में मशीन लर्निंग एल्गोरिदम में समझने के अधिकार पर विचार करना और उन स्थितियों में मशीन लर्निंग की तैनाती का विरोध करना शामिल है जहां निर्णयों की व्याख्या या समीक्षा नहीं की जा सकती है। इस दिशा में, DARPA जैसे संगठनों के भीतर स्पष्ट करने व्याख्यात्मक कृत्रिम बुद्धि के लिए एक आंदोलन पहले से ही चल रहा है, जो पूर्वाग्रह के उपाय से परे हैं। उदाहरण के लिए, प्राइसवाटरहाउसकूपर्स यह भी सुझाव देते हैं कि मॉनिटरिंग आउटपुट का मतलब सिस्टम को इस तरह से डिजाइन करना है जिससे यह सुनिश्चित किया जा सके कि सिस्टम के एकल घटकों को अलग किया जा सकता है और परिणाम खराब होने पर बंद कर दिया जा सकता है। पारदर्शिता की दिशा में एक प्रारंभिक दृष्टिकोण में खुला स्रोत सॉफ्टवेयर  शामिल था | एल्गोरिदम का ओपन-सोर्सिंग। सॉफ्टवेयर कोड पर गौर किया जा सकता है और सोर्स-कोड-होस्टिंग सुविधाओं की तुलना|सोर्स-कोड-होस्टिंग सुविधाओं के माध्यम से सुधार प्रस्तावित किए जा सकते हैं। हालाँकि, यह दृष्टिकोण आवश्यक रूप से इच्छित प्रभाव उत्पन्न नहीं करता है। कंपनियाँ और संगठन सभी संभावित दस्तावेज़ीकरण और कोड साझा कर सकते हैं, लेकिन यदि दर्शक दी गई जानकारी को नहीं समझते हैं तो यह पारदर्शिता स्थापित नहीं करता है। इसलिए, पारदर्शिता के संबंध में इच्छुक आलोचनात्मक दर्शकों की भूमिका तलाशने लायक है। महत्वपूर्ण दर्शकों के बिना एल्गोरिदम को जवाबदेह नहीं ठहराया जा सकता है।

उपचार का अधिकार
एक नियामक दृष्टिकोण से, टोरंटो घोषणा एल्गोरिथम पूर्वाग्रह के कारण होने वाले नुकसान के लिए मानवाधिकार ढांचे को लागू करने की मांग करती है। इसमें इन एल्गोरिदम के डिजाइनरों की ओर से उचित परिश्रम की उम्मीदें शामिल हैं, और जवाबदेही पैदा करना जब निजी अभिनेता सार्वजनिक हितों की रक्षा करने में विफल होते हैं, यह देखते हुए कि ऐसे अधिकार जटिल, परस्पर प्रक्रियाओं के एक जाल के भीतर जिम्मेदारी निर्धारित करने की जटिलता से अस्पष्ट हो सकते हैं। अन्य ने स्पष्ट देयता बीमा तंत्र की आवश्यकता का प्रस्ताव दिया।

विविधता और समावेशन
चिंता के बीच कि एआई सिस्टम का डिज़ाइन मुख्य रूप से गोरे, पुरुष इंजीनियरों का डोमेन है, कई विद्वानों ने सुझाव दिया है कि एआई सिस्टम डिजाइन करने वालों के रैंक में समावेश का विस्तार करके एल्गोरिथम पूर्वाग्रह को कम किया जा सकता है। उदाहरण के लिए, केवल 12% मशीन लर्निंग इंजीनियर महिलाएं हैं, काले एआई नेताओं के साथ क्षेत्र में विविधता संकट की ओर इशारा करते हुए। AI में ब्लैक और AI में क्वीर जैसे समूह AI समुदाय में अधिक समावेशी स्थान बनाने का प्रयास कर रहे हैं और निगमों की अक्सर हानिकारक इच्छाओं के खिलाफ काम करते हैं जो AI अनुसंधान के प्रक्षेपवक्र को नियंत्रित करते हैं। सरल समावेशिता प्रयासों की आलोचनाओं से पता चलता है कि विविधता कार्यक्रम असमानता के अतिव्यापी रूपों को संबोधित नहीं कर सकते हैं, और एल्गोरिदम के डिजाइन के लिए अंतरंग नारीवाद के अधिक जानबूझकर लेंस को लागू करने के लिए कहा है।  कैंब्रिज विश्वविद्यालय के शोधकर्ताओं ने तर्क दिया है कि एआई की संस्कृति की सफेदी से नस्लीय विविधता को संबोधित करने में बाधा आती है।

अंतर्विषयक और सहयोग
एआई सिस्टम के विकास में अंतःविषय और सहयोग को एकीकृत करना एल्गोरिथम पूर्वाग्रह से निपटने में महत्वपूर्ण भूमिका निभा सकता है। कंप्यूटर विज्ञान के बाहर के विषयों से अंतर्दृष्टि, विशेषज्ञता और दृष्टिकोण को एकीकृत करने से समाज पर डेटा संचालित समाधानों के प्रभाव की बेहतर समझ को बढ़ावा मिल सकता है। एआई अनुसंधान में इसका एक उदाहरण समुदायों में क्षमताओं को सक्षम करने के लिए पीएसीटी या भागीदारी दृष्टिकोण है, सामाजिक प्रभाव से संबंधित एआई संचालित समाधान विकसित करते समय सहयोग की सुविधा के लिए एक प्रस्तावित ढांचा। यह ढांचा एआई फॉर सोशल गुड (एआई4एसजी) परियोजनाओं पर काम करते समय हितधारकों की भागीदारी के लिए मार्गदर्शक सिद्धांतों की पहचान करता है। पीएसीटी मानव-केंद्रित एआई समाधानों के डिजाइन में डीकोलोनाइजिंग और पावर-शिफ्टिंग प्रयासों के महत्व को सुधारने का प्रयास करता है। इस संबंध में एक शैक्षणिक पहल स्टैनफोर्ड यूनिवर्सिटी का मानव-केंद्रित आर्टिफिशियल इंटेलिजेंस संस्थान है जिसका उद्देश्य बहु-विषयक सहयोग को बढ़ावा देना है। संस्थान का मिशन मानव स्थिति में सुधार के लिए कृत्रिम बुद्धिमत्ता (एआई) अनुसंधान, शिक्षा, नीति और अभ्यास को आगे बढ़ाना है। बाहरी विशेषज्ञों और विभिन्न हितधारकों के साथ सहयोग से बुद्धिमान प्रणालियों के नैतिक, समावेशी और जवाबदेह विकास की सुविधा मिलती है। यह नैतिक विचारों को शामिल करता है, सामाजिक और सांस्कृतिक संदर्भ को समझता है, मानव-केंद्रित डिजाइन को बढ़ावा देता है, तकनीकी विशेषज्ञता का लाभ उठाता है और नीति और कानूनी विचारों को संबोधित करता है। एआई सिस्टम में पक्षपात को प्रभावी ढंग से कम करने और यह सुनिश्चित करने के लिए कि एआई प्रौद्योगिकियां निष्पक्ष, पारदर्शी और जवाबदेह हैं, सभी विषयों में सहयोग आवश्यक है।

यूरोप
जनरल डेटा प्रोटेक्शन रेगुलेशन (GDPR), यूरोपीय संघ की संशोधित डेटा सुरक्षा व्यवस्था, जिसे 2018 में लागू किया गया था, अनुच्छेद 22 में प्रोफाइलिंग (सूचना विज्ञान) सहित स्वचालित व्यक्तिगत निर्णय लेने को संबोधित करता है। ये नियम पूरी तरह से स्वचालित निर्णयों को प्रतिबंधित करते हैं जिनमें महत्वपूर्ण या किसी व्यक्ति पर कानूनी प्रभाव, जब तक कि वे सहमति, अनुबंध, या यूरोपीय संघ कानून के सदस्य राज्य द्वारा स्पष्ट रूप से अधिकृत न हों। जहां उन्हें अनुमति दी जाती है, वहां सुरक्षा उपाय होने चाहिए, जैसे मानव-इन-द-लूप का अधिकार, और निर्णयों के स्पष्टीकरण के लिए एक गैर-बाध्यकारी अधिकार। जबकि इन विनियमों को आम तौर पर नया माना जाता है, डेटा संरक्षण निर्देश के अनुच्छेद 15 में, 1995 से पूरे यूरोप में लगभग समान प्रावधान मौजूद हैं। 1970 के दशक के अंत से फ्रांसीसी कानून में मूल स्वचालित निर्णय नियम और सुरक्षा उपाय पाए गए। जीडीपीआर प्रोफाइलिंग सिस्टम में एल्गोरिथम पूर्वाग्रह को संबोधित करता है, साथ ही इसे साफ करने के लिए संभावित सांख्यिकीय दृष्टिकोण, सीधे रिकेटल (कानून) 71 में, यह नोट करते हुए कि नियंत्रक को प्रोफाइलिंग के लिए उपयुक्त गणितीय या सांख्यिकीय प्रक्रियाओं का उपयोग करना चाहिए, उपयुक्त तकनीकी और संगठनात्मक उपायों को लागू करना चाहिए ... जो नस्लीय या जातीय मूल, राजनीतिक राय, के आधार पर प्राकृतिक व्यक्तियों पर भेदभावपूर्ण प्रभावों को रोकता है, धर्म या विश्वास, व्यापार संघ की सदस्यता, आनुवंशिक या स्वास्थ्य की स्थिति या यौन अभिविन्यास, या जिसके परिणामस्वरूप इस तरह के प्रभाव वाले उपाय होते हैं। गायन की प्रकृति (कानून)। जबकि डेटा संरक्षण कानून के कार्यान्वयन पर सलाह देने वाले अनुच्छेद 29 वर्किंग पार्टी द्वारा इसे एक आवश्यकता के रूप में माना गया है, इसके व्यावहारिक आयाम अस्पष्ट हैं। यह तर्क दिया गया है कि उच्च जोखिम डेटा प्रोफाइलिंग के लिए डेटा संरक्षण प्रभाव आकलन (डेटा सुरक्षा के भीतर अन्य पूर्व-खाली उपायों के साथ) एल्गोरिथम भेदभाव के मुद्दों से निपटने का एक बेहतर तरीका हो सकता है, क्योंकि यह एल्गोरिदम को तैनात करने वालों के कार्यों को प्रतिबंधित करता है, बजाय इसके कि उपभोक्ताओं को शिकायत दर्ज करने या परिवर्तन का अनुरोध करने की आवश्यकता।

संयुक्त राज्य
संयुक्त राज्य अमेरिका के पास एल्गोरिथम पूर्वाग्रह को नियंत्रित करने वाला कोई सामान्य कानून नहीं है, जो विभिन्न राज्य और संघीय कानूनों के माध्यम से समस्या का सामना कर रहा है, जो उद्योग, क्षेत्र और एल्गोरिथम के उपयोग के तरीके से भिन्न हो सकते हैं। कई नीतियां संघीय व्यापार आयोग द्वारा स्व-प्रवर्तित या नियंत्रित होती हैं। 2016 में, ओबामा प्रशासन ने राष्ट्रीय नेशनल आर्टिफिशियल इंटेलिजेंस रिसर्च एंड डेवलपमेंट स्ट्रैटेजिक प्लान किया, जिसका उद्देश्य नीति निर्माताओं को एल्गोरिदम के एक महत्वपूर्ण मूल्यांकन की दिशा में मार्गदर्शन करना था। इसने शोधकर्ताओं को इन प्रणालियों को डिजाइन करने की सिफारिश की ताकि उनके कार्य और निर्णय लेना पारदर्शी हो और मनुष्यों द्वारा आसानी से व्याख्या की जा सके, और इस प्रकार इन पूर्वाग्रहों को सीखने और दोहराने के बजाय किसी भी पूर्वाग्रह के लिए जांच की जा सके। केवल मार्गदर्शन के उद्देश्य से, रिपोर्ट ने कोई कानूनी मिसाल नहीं बनाई।

2017 में, न्यूयॉर्क शहर ने संयुक्त राज्य में पहला एल्गोरिथम जवाबदेही बिल पारित किया। 1 जनवरी, 2018 को लागू हुए बिल में एक टास्क फोर्स के निर्माण की आवश्यकता थी, जो इस बारे में सिफारिशें प्रदान करती है कि एजेंसी स्वचालित निर्णय प्रणाली की जानकारी जनता के साथ कैसे साझा की जा सकती है, और एजेंसियां ​​उन मामलों को कैसे संबोधित कर सकती हैं जहां एजेंसी द्वारा लोगों को नुकसान पहुंचाया जाता है। स्वचालित निर्णय प्रणाली। टास्क फोर्स को 2019 में आगे की नियामक कार्रवाई के लिए निष्कर्ष और सिफारिशें पेश करने की आवश्यकता है।

भारत
31 जुलाई, 2018 को पर्सनल डेटा बिल का ड्राफ्ट पेश किया गया। मसौदा डेटा के भंडारण, प्रसंस्करण और प्रसारण के लिए मानकों का प्रस्ताव करता है। हालांकि यह एल्गोरिथम शब्द का उपयोग नहीं करता है, यह किसी भी प्रसंस्करण या न्यासी द्वारा किए गए किसी भी प्रकार के प्रसंस्करण से होने वाले नुकसान के लिए प्रावधान करता है। यह डेटा के अनुचित उपयोग से उत्पन्न होने वाले नुकसान के स्रोत के रूप में डेटा प्रिंसिपल या किसी भी भेदभावपूर्ण उपचार के बारे में एक मूल्यांकन निर्णय से उत्पन्न सेवा, लाभ या अच्छे के किसी भी इनकार या वापसी को परिभाषित करता है। यह इंटरसेक्स स्थिति के लोगों के लिए भी विशेष प्रावधान करता है।

यह भी देखें

 * कृत्रिम बुद्धि की नैतिकता
 * निष्पक्षता (मशीन लर्निंग)
 * कृत्रिम बुद्धिमत्ता में गलत लक्ष्य
 * भविष्य कहनेवाला पुलिसिंग
 * सेंसटाइम