एल्गोरिथम पूर्वाग्रह



कलनविधीय पूर्वाग्रह, कंप्यूटर प्रणाली में व्यवस्थित और पुनरावृत्ति योग्य त्रुटियों का वर्णन करता है जो "अनुचित" परिणाम बताते हैं, जैसे कलन विधि के इच्छित फलन से एवं भिन्न तरीकों से एक श्रेणी को दूसरे पर "विशेषाधिकार" देना।

पूर्वाग्रह कई कारकों से समझा जा सकता है, जिसमें कलन विधि के डिजाइन या अनपेक्षित या अप्रत्याशित उपयोग या डेटा को कोडित करने, एकत्र करने, चयनित करने या कलन विधि को प्रशिक्षित करने के लिए उपयोग किए जाने से संबंधित निर्णयों तक सीमित नहीं है। उदाहरण के लिए, सर्च इंजन पूर्वाग्रह और सोशल मीडिया पूर्वाग्रह में कलन विधि पूर्वाग्रह देखा गया है। यह पूर्वाग्रह अनजाने में गोपनीयता के उल्लंघन से लेकर जाति, लिंग, विषमलैंगिकता और जातीयता के पूर्वाग्रह को मजबूत करने तक के प्रभाव डाल सकता है। कलन विधि पूर्वाग्रह का अध्ययन सबसे अधिक कलन विधि से संबंधित है जो व्यवस्थित और अनुचित भेदभाव को दर्शाता है। इस पूर्वाग्रह को हाल ही में यूरोपीय संघ के सामान्य डेटा संरक्षण विनियम (2018) और प्रस्तावित कृत्रिम बुद्धिमत्ता अधिनियम (2021) जैसे कानूनी ढांचे में संबोधित किया गया है।

जैसे-जैसे कलन विधि समाज, राजनीति, संस्थानों और व्यवहार को व्यवस्थित करने की अपनी क्षमता का विस्तार करते हैं, समाजशास्त्री उन तरीकों से चिंतित हो गए हैं जिनमें अप्रत्याशित उत्पादन और डेटा का परिचालन भौतिक दुनिया को प्रभावित कर सकता है। क्योंकि कलन विधि को अधिकांशतः तटस्थ और निष्पक्ष माना जाता है, वे मानव विशेषज्ञता की तुलना में गलत कार्यविधि से अधिक अधिकार को प्रोजेक्ट कर सकते हैं (आंशिक रूप से स्वंयचालित क्रिया पूर्वाग्रह की मनोवैज्ञानिक घटना के कारण), और कुछ स्थितियों में, कलन विधि पर निर्भरता उनके परिणामों के लिए मानवीय जिम्मेदारी को विस्थापित कर सकती है। पूर्वाग्रह पूर्व-सम्मलित सांस्कृतिक, सामाजिक, या संस्थागत अपेक्षाओं के परिणामस्वरूप कलन विधि प्रणाली में प्रवेश कर सकते हैं; उनके डिजाइन की तकनीकी सीमाओं के कारण; या अप्रत्याशित संदर्भों में या दर्शकों द्वारा उपयोग किए जाने से जिन्हें सॉफ़्टवेयर के प्रारंभिक डिज़ाइन में नहीं माना जाता है।

चुनाव परिणामों से लेकर ऑनलाइन अभद्र भाषा के प्रसार तक के स्थितियों में कलनविधीय पूर्वाग्रह का हवाला दिया गया है। यह आपराधिक न्याय, स्वास्थ्य देखभाल, और भर्ती, सम्मलित जातिय, सामाजिक आर्थिक और लैंगिक पूर्वाग्रहों को जोड़कर भी उत्पन्न हुआ है। गहरे रंग की त्वचा वाले चेहरों की सटीक पहचान करने के लिए चेहरे की पहचान तकनीक की सापेक्ष अक्षमता को काले पुरुषों की कई गलत गिरफ्तारियों से जोड़ा गया है, जो असंतुलित डेटासेट से उपजी एक समस्या है। यह पूर्वाग्रह अनजाने में गोपनीयता के उल्लंघन से लेकर जाति, लिंग, विषमलैंगिकता और जातीयता के पूर्वाग्रह को मजबूत करने तक के प्रभाव डाल सकता है। कलन विधि पूर्वाग्रह को समझने, शोध करने और खोजने में समस्याएँ कलन विधि की मालिकाना प्रकृति के कारण बनी रहती हैं, जिन्हें सामान्यतः व्यापार रहस्यों के रूप में माना जाता है। यहां तक ​​कि जब पूर्ण पारदर्शिता प्रदान की जाती है, तब भी कुछ कलन विधि की जटिलता उनके कामकाज को समझने में बाधा उत्पन्न करती है। इसके अतिरिक्त, कलन विधि बदल सकते हैं, या इनपुट या आउटपुट को उन तरीकों से प्रतिक्रिया दे सकते हैं जिन्हें अनुमानित नहीं किया जा सकता है या विश्लेषण के लिए आसानी से पुन: उत्पन्न नहीं किया जा सकता है। यह पूर्वाग्रह अनजाने में गोपनीयता के उल्लंघन से लेकर जाति, लिंग, विषमलैंगिकता और जातीयता के पूर्वाग्रह को मजबूत करने तक के प्रभाव डाल सकता है। कई स्थितियों में, यहां तक ​​कि एक ही वेबसाइट या एप्लिकेशन के भीतर, जांच करने के लिए कोई एकल कलन विधि नहीं है, बल्कि एक ही सेवा के उपयोगकर्ताओं के बीच कई परस्पर संबंधित कार्यक्रमों और डेटा इनपुट का एक नेटवर्क है।

परिभाषाएँ
कलन विधि या कलन विधि लक्षण को परिभाषित करना मुश्किल है, लेकिन सामान्यतः निर्देशों की सूची के रूप में समझा जा सकता है जो यह निर्धारित करता है कि आउटपुट उत्पन्न करने के लिए प्रोग्राम आंकड़े को किस प्रकार पढ़ते हैं, किस प्रकार एकत्र करते हैं, किस प्रकार संसाधित करते हैं और किस प्रकार उसका विश्लेषण करते हैं। चुनाव परिणामों से लेकर ऑनलाइन अभद्र भाषा के प्रसार तक के स्थितियों में कलनविधीय पूर्वाग्रह का हवाला दिया गया है। यथार्थ रूप से तकनीकी परिचय के लिए, कलन विधि देखें। कंप्यूटर हार्डवेयर में प्रगति ने डेटा को प्रोसेस करने, स्टोर करने और ट्रांसमिट करने की क्षमता में वृद्धि की है। इसने यंत्र अधिगम और कृत्रिम बुद्धिमत्ता जैसी तकनीकों के डिजाइन और अपनाने को बढ़ावा दिया है।  डेटा का विश्लेषण और प्रसंस्करण करके, कलन विधि सर्च इंजनों की रीढ़ हैं, सोशल मीडिया वेबसाइटों, अनुशंसा इंजन, ऑनलाइन रिटेल, ऑनलाइन प्रचार, और बहुत कुछ तकनीकों के डिजाइन और अपनाने को बढ़ावा दिया है। समकालीन सामाजिक विज्ञान उनके राजनीतिक और सामाजिक प्रभाव के कारण हार्डवेयर और सॉफ्टवेयर अनुप्रयोगों में अंतः स्थापित कलन विधि प्रक्रियाओं से संबंधित है, और कलन विधि की तटस्थता की अंतर्निहित धारणाओं पर प्रश्न करते हैं।   कलन विधि पूर्वाग्रह शब्द व्यवस्थित और पुनरावृत्ति योग्य त्रुटियों का वर्णन करता है जो अनुचित परिणाम उत्पन्न करते हैं, जैसे कि दूसरों के ऊपर उपयोगकर्ताओं के एक मनमाने समूह को विशेषाधिकार देना। उदाहरण के लिए, एक विश्वस्तता की जाँच कलन विधि किसी ऋण को अनुचित हुए बिना अस्वीकार कर सकता है, यदि वह प्रासंगिक वित्तीय मानदंडों को निरन्तर तौलता है। यदि कलन विधि उपयोगकर्ताओं के एक समूह को ऋण की सिफारिश करता है, लेकिन असंबंधित मानदंडों के आधार पर लगभग समान उपयोगकर्ताओं के दूसरे समूह को ऋण देने से बाध्य करता है, और यदि यह व्यवहार कई घटनाओं में पुनरावृत्ति किया जा सकता है, तो एक कलन विधि को पूर्वाग्रह के रूप में वर्णित किया जा सकता है।  कलन विधि विकास प्रक्रिया या प्रशिक्षण डेटा में पूर्वाग्रहों के दौरान किए गए पूर्वाग्रहों के कारण एआई पूर्वाग्रह मशीन लर्निंग कलन विधि के आउटपुट में एक विसंगति है। यह पूर्वाग्रह इरादतन या असावधानीवश में हो सकता है (उदाहरण के लिए, यह एक कार्यकर्ता से प्राप्त पूर्वाग्रह डेटा से आ सकता है जो पहले कलन विधि अब से करने जा रहा है)।

कार्यविधि
पूर्वाग्रह को कई तरीकों से कलन विधि में प्रस्तुत किया जा सकता है। डेटासेट के संयोजन के समय, डेटा को मानव-डिज़ाइन किए गए सूचीबद्ध मानदंड के अनुसार एकत्र, डिजिटाइज़, अनुकूलित और डेटाबेस में दर्ज किया जा सकता है। इसके बाद, प्रोग्रामर्स उस डेटा का आकलन और सॉर्ट करने के कार्यविधि के लिए प्राथमिकताएं, या पदानुक्रम प्रदान करते हैं। इसके लिए डेटा को किस प्रकार वर्गीकृत किया जाता है, और कौन से डेटा को सम्मिलित या खारिज किया जाता है, इसके बारे में मानवीय निर्णयों की आवश्यकता होती है।  कुछ कलन विधि मानव-चयनित मानदंडों के आधार पर अपना स्वयं का डेटा एकत्र करते हैं, जो मानव डिजाइनरों के पूर्वाग्रह को भी दर्शा सकता है।  अन्य कलन विधि रूढ़िवादिता और वरीयताओं को सुदृढ़ कर सकते हैं क्योंकि वे मानव उपयोगकर्ताओं के लिए प्रासंगिक डेटा को संसाधित और प्रदर्शित करते हैं, उदाहरण के लिए, समान उपयोगकर्ता या उपयोगकर्ताओं के समूह के पिछले विकल्पों के आधार पर जानकारी का चयन करके।

डेटा को एकत्रित करने और संसाधित करने से परे, डिजाइन के परिणामस्वरूप पूर्वाग्रह निकल सकते हैं। उदाहरण के लिए, कलन विधि जो संसाधनों के आवंटन या जांच (जैसे स्कूल प्लेसमेंट का निर्धारण) का निर्धारण करते हैं, असावधानीवश में एक श्रेणी के विरुद्ध भेदभाव कर सकते हैं जब समान उपयोगकर्ताओं (क्रेडिट स्कोर में) के आधार पर जोखिम का निर्धारण किया जाता है। इस बीच, अनुशंसा इंजन जो उपयोगकर्ताओं को समान उपयोगकर्ताओं के साथ जोड़कर काम करते हैं, या जो अनुमानित विपणन लक्षणों का उपयोग करते हैं, वे गलत संघों पर भरोसा कर सकते हैं जो व्यापक जातीय, लिंग, सामाजिक-आर्थिक, या जातिय रूढ़िवादिता को दर्शाते हैं। एक और उदाहरण परिणामों में सम्मिलित और बहिष्कृत के लिए मानदंड निर्धारित करने से आता है। यह मानदंड सर्च परिणामों के लिए अप्रत्याशित परिणाम प्रस्तुत कर सकता है, जैसे उड़ान-अनुशंसा सॉफ़्टवेयर के साथ जो उन उड़ानों को छोड़ देता है जो प्रायोजन एयरलाइन के उड़ान पथों का पालन नहीं करते हैं। कलन विधि एक अनिश्चितता पूर्वाग्रह भी प्रदर्शित कर सकता है, जो बड़े डेटा सेट उपलब्ध होने पर अधिक विश्वसनीय आकलन प्रदान करता है। यह कलन विधि प्रक्रियाओं को उन परिणामों की ओर झुका हुआ कर सकता है जो बड़े नमूनों के साथ अधिक निकटता से मेल खाते हैं, जो कम आबादी वाले डेटा की अवहेलना कर सकते हैं।

प्रारंभिक समालोचना
प्रारंभिक कंप्यूटर प्रोग्राम मानव तर्क और निगमन की नकल करने के लिए डिज़ाइन किए गए थे, और जब वे मानव तर्क को सफलतापूर्वक और निरन्तर पुन: उत्पन्न करते हैं तो उन्हें कार्य करने के लिए माना जाता था। 1976 की अपनी पुस्तक कंप्यूटर शक्ति और मानव कारण में, कृत्रिम बुद्धिमत्ता के अग्रदूत जोसेफ व्हीटबाउम ने सुझाव दिया कि पूर्वाग्रह एक कार्यक्रम में उपयोग किए गए डेटा से उत्पन्न हो सकता है, लेकिन जिस तरह से एक कार्यक्रम को कोडित किया जाता है।

वेइज़ेनबौम ने लिखा है कि कंप्यूटर प्रोग्राम कंप्यूटर के पालन के लिए मनुष्यों द्वारा बनाए गए नियमों का एक क्रम है। उन नियमों का निरन्तर पालन करते हुए, ऐसे कार्यक्रम कानून का रूप धारण करते हैं, अर्थात समस्याओं को हल करने के लिए एक विशिष्ट तरीका लागू करें। पूर्वाग्रह को कई तरीकों से कलन विधि में प्रस्तुत किया जा सकता है। कंप्यूटर जिन नियमों का पालन करता है, वे कंप्यूटर प्रोग्रामर की मान्यताओं पर आधारित होते हैं कि इन समस्याओं को किस प्रकार हल किया जा सकता है। इसका तात्पर्य है कि कोड प्रोग्रामर की कल्पना को सम्मिलित कर सकता है कि दुनिया किस प्रकार काम करती है, जिसमें उनके पूर्वाग्रह और अपेक्षाएं सम्मिलित हैं।  जबकि एक कंप्यूटर प्रोग्राम इस तरह से पूर्वाग्रह को सम्मिलित कर सकता है, वीज़ेनबाम ने यह भी नोट किया कि मशीन को खिलाया गया कोई भी डेटा मानव निर्णय लेने की प्रक्रियाओं को अतिरिक्त रूप से दर्शाता है क्योंकि डेटा का चयन किया जा रहा है।

अंत में, उन्होंने कहा कि यदि उपयोगकर्ता परिणामों की व्याख्या किस प्रकार करें, इसके बारे में अस्पष्ट हैं तो मशीनें अनपेक्षित परिणाम के साथ अच्छी जानकारी भी स्थानांतरित कर सकती हैं। वेइज़ेनबौम ने कंप्यूटर प्रोग्राम द्वारा किए गए भरोसेमंद फैसलों के विरुद्ध चेतावनी दी है कि एक उपयोगकर्ता समझ में नहीं आता है, इस तरह के विश्वास की तुलना एक पर्यटक से की जाती है जो एक सिक्का टॉस पर बाएं या दाएं मुड़कर विशेष रूप से होटल के कमरे में अपना रास्ता सर्च सकता है। महत्वपूर्ण रूप से, पर्यटक के पास यह समझने का कोई आधार नहीं है कि वह अपने गंतव्य पर किस प्रकार या क्यों पहुंचा, और एक सफल आगमन का तात्पर्य यह नहीं है कि प्रक्रिया सटीक या विश्वसनीय है।

कलन विधि पूर्वाग्रह के एक प्रारंभिक उदाहरण के परिणामस्वरूप 60 से अधिक महिलाओं और जातीय अल्पसंख्यकों को सेंट जॉर्ज, लंदन विश्वविद्यालय में प्रवेश से वंचित कर दिया गया। 1982 से 1986 तक प्रति वर्ष जॉर्ज अस्पताल मेडिकल स्कूल, एक नई कंप्यूटर-मार्गदर्शन मूल्यांकन प्रणाली के कार्यान्वयन के आधार पर, जो प्रवेश में ऐतिहासिक प्रवृत्तियों के आधार पर महिलाओं और पुरुषों के लिए विदेशी नामों के साथ प्रवेश से बाध्य करती थी। जबकि उस समय कई स्कूलों ने अपनी चयन प्रक्रिया में समान पूर्वाग्रहों को नियोजित किया था, सेंट जॉर्ज एक कलन विधि के उपयोग के माध्यम से कथित पूर्वाग्रहों को स्वचालित करने के लिए सबसे उल्लेखनीय थे, इस प्रकार लोगों का ध्यान बहुत व्यापक पैमाने पर आकर्षित किया।

हाल के वर्षों में, जब अधिक कलन विधि ने वास्तविक दुनिया के डेटा पर मशीन सीखने के तरीकों का उपयोग करना शुरू किया, तो डेटा में सम्मलित पूर्वाग्रह के कारण कलन विधि पूर्वाग्रह अधिक पाया जा सकता है।

समसामयिक समालोचना और प्रतिक्रियाएं
हालांकि अच्छी तरह से डिज़ाइन किए गए कलन विधि अधिकांशतः ऐसे परिणामों का निर्धारण करते हैं जो मनुष्यों के निर्णयों की तुलना में समान (या अधिक) न्यायसंगत हैं, पूर्वाग्रह के सन्दर्भ अभी भी होते हैं, और भविष्यवाणी करना और विश्लेषण करना मुश्किल होता है। कलन विधि पूर्वाग्रह का विश्लेषण करने की जटिलता कार्यक्रमों और उनके डिजाइन की जटिलता के साथ बढ़ी है। एक डिजाइनर, या डिजाइनरों की टीम द्वारा लिए गए निर्णय, एक कार्यक्रम के लिए बनाए गए कोड के कई टुकड़ों के बीच अस्पष्ट हो सकते हैं; समय के साथ इन निर्णयों और कार्यक्रम के परिणाम पर उनके सामूहिक प्रभाव को भुला दिया जा सकता है। कलन विधि एक अनिश्चितता पूर्वाग्रह भी प्रदर्शित कर सकता है, जो बड़े डेटा सेट उपलब्ध होने पर अधिक विश्वसनीय आकलन प्रदान करता है। सिद्धांत रूप में, ये पूर्वाग्रह समाज के अन्य तत्वों के साथ कोड साइबरनेटिक्स के रूप में विशिष्ट तकनीकों के संबंध में व्यवहार या स्क्रिप्ट के नए पैटर्न बना सकते हैं। पूर्वाग्रह यह भी प्रभावित कर सकते हैं कि कलन विधि की आवश्यकता वाले डेटा बिंदुओं के आसपास समाज खुद को किस प्रकार आकार देता है। उदाहरण के लिए, यदि डेटा किसी विशेष क्षेत्र में गिरफ्तारियों की उच्च संख्या दिखाता है, तो एक कलन विधि उस क्षेत्र में अधिक पुलिस गश्त लगा सकता है, जिससे अधिक गिरफ्तारियां हो सकती हैं।

कलन विधि कार्यक्रमों के निर्णयों को उन मनुष्यों के निर्णयों की तुलना में अधिक आधिकारिक के रूप में देखा जा सकता है, जिनकी वे सहायता करने के लिए हैं, लेखक क्ले शिर्की द्वारा कलन विधि प्राधिकरण के रूप में वर्णित एक प्रक्रिया। शिर्की सर्च परिणामों जैसे विविध, अविश्वसनीय स्रोतों से मूल्य निकालने की एक अप्रबंधित प्रक्रिया को आधिकारिक मानने के निर्णय का वर्णन करने के लिए शब्द का उपयोग करता है। इस तटस्थता को विशेषज्ञों और मीडिया द्वारा उपयोग की जाने वाली भाषा द्वारा भी गलत कार्यविधि से प्रस्तुत किया जा सकता है जब परिणाम जनता के सामने प्रस्तुत किए जाते हैं। कलन विधि पूर्वाग्रह का विश्लेषण करने की जटिलता कार्यक्रमों और उनके डिजाइन की जटिलता के साथ बढ़ी है। उदाहरण के लिए, केवल उनकी लोकप्रियता की तुलना में महत्वपूर्ण रूप से व्यापक मानदंडों के आधार पर ट्रेंडिंग या लोकप्रिय के रूप में चयनित और प्रस्तुत किए गए समाचारों की एक सूची बनाई जा सकती है।

उनकी सुविधा और अधिकार के कारण, कलन विधि को मानव से दूर उत्तरदायित्व सौंपने के साधन के रूप में सिद्धांतित किया जाता है।  इसका वैकल्पिक विकल्पों, समझौता, या लचीलेपन को कम करने का प्रभाव हो सकता है।  समाजशास्त्री स्कॉट लश ने कलन विधि की आलोचनात्मक शक्ति के एक नए रूप के रूप में की है, जिसमें वे वास्तविक लक्ष्यों को उत्पन्न करने का एक आभासी साधन हैं। जहां पहले मानव व्यवहार ने डेटा एकत्र करने और अध्ययन करने के लिए उत्पन्न किया, शक्तिशाली कलन विधि तेजी से मानव व्यवहार को आकार और परिभाषित कर सकते थे।

समाज पर कलन विधि के प्रभाव को लेकर चिंता ने गूगल और माइक्रोसॉफ्ट जैसे संगठनों में कार्यकारी समूहों का निर्माण किया है, जिन्होंने निष्पक्षता, उत्तरदायित्व और मशीन लर्निंग में पारदर्शिता।

गूगल के विचारों में सामुदायिक समूह सम्मिलित हैं जो कलन विधि के परिणामों की निगरानी करते हैं और उन आउटपुट को नियंत्रित या प्रतिबंधित करने के लिए मतदान करते हैं जिनके बारे में वे नकारात्मक परिणाम मानते हैं।

हाल के वर्षों में, निष्पक्षता, उत्तरदायित्व का अध्ययन और कलन विधि की पारदर्शिता (एफएटी) एफएसीसीटी नामक एक वार्षिक सम्मेलन के साथ अपने स्वयं के अंतःविषय अनुसंधान क्षेत्र के रूप में उभरा है। आलोचकों ने सुझाव दिया है कि एफएटीकी पहल प्रभावी रूप से स्वतंत्र प्रहरी के रूप में काम नहीं कर सकती है, जब कई निगमों द्वारा अध्ययन किए जा रहे प्रणाली का निर्माण करके वित्त पोषित किया जाता है।

पहले से सम्मलित
कलन विधि में पहले से सम्मलित पूर्वाग्रह अंतर्निहित सामाजिक और संस्थागत विचारधारा का परिणाम है। इस तरह के विचार व्यक्तिगत डिजाइनरों या प्रोग्रामरों के भीतर व्यक्तिगत पूर्वाग्रह को प्रभावित या बना सकते हैं। इस तरह के पूर्वाग्रह स्पष्ट और सचेत या निहित और अचेतन हो सकते हैं।  निष्फल चयनित इनपुट डेटा, या बस एक पूर्वाग्रह स्रोत से डेटा, मशीनों द्वारा बनाए गए परिणामों को प्रभावित करेगा।  सॉफ्टवेयर में पूर्व-सम्मलित पूर्वाग्रह को एनकोड करने से सामाजिक और संस्थागत पूर्वाग्रह को संरक्षित किया जा सकता है, और, सुधार के बिना, उस कलन विधि के सभी भविष्य के उपयोगों में पुनरावृत्ति किया जा सकता है।

पूर्वाग्रह के इस रूप का एक उदाहरण ब्रिटिश राष्ट्रीयता अधिनियम कार्यक्रम है, जिसे 1981 के ब्रिटिश राष्ट्रीयता अधिनियम के बाद नए ब्रिटिश नागरिकों के मूल्यांकन को स्वचालित करने के लिए डिज़ाइन किया गया है। कार्यक्रम ने कानून के सिद्धांतों को सटीक रूप से प्रतिबिंबित किया, जिसमें कहा गया था कि एक पुरुष केवल अपने वैध बच्चों का पिता होता है, जबकि एक महिला अपने सभी बच्चों की मां होती है, वैध हो या नहीं।   एक कलन विधि प्रक्रिया में एक विशेष तर्क को स्थानांतरित करने के अपने प्रयास में, बीएनएपी ने अपने कलन विधि में ब्रिटिश राष्ट्रीयता अधिनियम के तर्क को अंकित किया, जो अधिनियम के निरस्त होने पर भी इसे बनाए रखेगा।

तकनीकी
तकनीकी पूर्वाग्रह एक कार्यक्रम की सीमाओं, कम्प्यूटेशनल शक्ति, इसकी डिजाइन, या प्रणाली पर अन्य बाधाओं के माध्यम से निकल कर आता है। इस तरह के पूर्वाग्रह स्पष्ट और सचेत या निहित और अचेतन हो सकते हैं। इस तरह का पूर्वाग्रह डिजाइन का एक संयम भी हो सकता है, उदाहरण के लिए, एक सर्च इंजन जो प्रति स्क्रीन तीन परिणाम दिखाता है, को शीर्ष तीन परिणामों को अगले तीन की तुलना में थोड़ा अधिक विशेषाधिकार देने के लिए समझा जा सकता है, जैसा कि एक एयरलाइन मूल्य प्रदर्शन में होता है।  एक अन्य प्रकरण सॉफ्टवेयर का है जो परिणामों के उचित वितरण के लिए यादृच्छिकता पर निर्भर करता है। यदि यादृच्छिक संख्या पीढ़ी तंत्र वास्तव में यादृच्छिक नहीं है, तो यह पूर्वाग्रह का परिचय दे सकता है, उदाहरण के लिए, सूची के अंत या शुरुआत में वस्तुओं की ओर चयन को झुका हुआ करके पूर्वाग्रह का परिचय दे सकता है।

एक विसंबंधित कलन विधि परिणामों को क्रमबद्ध करने के लिए असंबंधित जानकारी का उपयोग करता है, उदाहरण के लिए, एक उड़ान-मूल्य निर्धारण कलन विधि जो वर्णानुक्रम से परिणामों को छाँटता है, यूनाइटेड एयरलाइंस की तुलना में अमेरिकन एयरलाइंस के पक्ष में पूर्वाग्रह होगा। विपरीत भी लागू हो सकता है, जिसमें परिणामों का मूल्यांकन उन संदर्भों में किया जाता है जिनसे वे एकत्र किए गए हैं। महत्वपूर्ण बाहरी संदर्भ के बिना डेटा एकत्र किया जा सकता है: उदाहरण के लिए, जब निगरानी कैमरों द्वारा चेहरे की पहचान प्रणाली सॉफ़्टवेयर का उपयोग किया जाता है, लेकिन किसी अन्य देश या क्षेत्र में दूरस्थ कर्मचारियों द्वारा मूल्यांकन किया जाता है, या गैर-मानव कलन विधि द्वारा मूल्यांकन किया जाता है, इसके बारे में कोई जानकारी नहीं होती है। कैमरे का दृश्य क्षेत्र यह एक अपराध स्थल की अधूरी समझ उत्पन्न कर सकता है, उदाहरण के लिए, अपराध करने वालों के लिए संभावित रूप से गलत समझने वाले इसके बारे में कोई जानकारी नहीं देते है।

अंत में, इस धारणा पर ठोस कदमों में निर्णयों को औपचारिक रूप देने का प्रयास करके तकनीकी पूर्वाग्रह उत्पन्न किया जा सकता है कि मानव व्यवहार उसी तरह काम करता है। उदाहरण के लिए, सॉफ़्टवेयर यह निर्धारित करने के लिए डेटा बिंदुओं का वजन करता है कि एक जूरी पर भावना के प्रभाव को अनदेखा करते हुए प्रतिवादी को एक याचिका सौदा स्वीकार करना चाहिए या नहीं। पूर्वाग्रह के इस रूप का एक अन्य अनपेक्षित परिणाम साहित्यिक चोरी का पता लगाने वाले सॉफ़्टवेयर तुरनीतिन में पाया गया, जो छात्र-लिखित पाठों की तुलना ऑनलाइन मिली जानकारी से करता है और एक संभावना स्कोर वापस करता  है कि छात्र के काम की नकल की जाती है। क्योंकि सॉफ्टवेयर पाठ के लंबे तार की तुलना करता है, यह देशी समस्याओं की तुलना में अंग्रेजी के गैर-देशी समस्याओं की पहचान करने की अधिक संभावना है, क्योंकि बाद वाला समूह अलग-अलग शब्दों को बदलने, साहित्यिक पाठ के तार को तोड़ने, या कॉपी किए गए अंशों को अस्पष्ट करने में सक्षम हो सकता है। समानार्थी शब्द क्योंकि सॉफ्टवेयर की तकनीकी बाधाओं के परिणामस्वरूप देशी समस्याओं के लिए पहचान से बचना आसान है, यह एक ऐसा परिदृश्य बनाता है जहां टर्निटिन साहित्यिक चोरी के लिए अंग्रेजी के विदेशी-भाषियों की पहचान करता है जबकि अधिक देशी-समस्याओं को पता लगाने से बचने की अनुमति देता है।

आकस्मिक
उभरते गुण पूर्वाग्रह नए या अप्रत्याशित संदर्भों में कलन विधि पर उपयोग और निर्भरता का परिणाम है। ज्ञान के नए रूपों पर विचार करने के लिए कलन विधि को समायोजित नहीं किया जा सकता है, जैसे कि नई दवाएं या चिकित्सा सफलताएं, नए कानून, व्यापार मॉडल, या सांस्कृतिक मानदंडों को स्थानांतरित करना।  यह यह समझने के लिए स्पष्ट रूपरेखा प्रदान किए बिना कि उनके बहिष्करण के लिए कौन जिम्मेदार है, प्रौद्योगिकी के माध्यम से समूहों को बाहर कर सकता है।   इसी तरह, समस्याएँ तब उत्पन्न हो सकती हैं जब प्रशिक्षण डेटा (मशीन को भेजे गए नमूने, जिसके द्वारा यह कुछ निश्चित निष्कर्षों को मॉडल करता है) उन संदर्भों के साथ संरेखित नहीं होता है जो वास्तविक दुनिया में एक कलन विधि का सामना करते हैं।

1990 में, अमेरिकी मेडिकल छात्रों को रेजीडेंसी, राष्ट्रीय रेजीडेंसी मैच प्रोग्राम (एनआरएमपी) में रखने के लिए उपयोग किए जाने वाले सॉफ़्टवेयर में उभरते पूर्वाग्रह के एक उदाहरण की पहचान की गई थी। कलन विधि को ऐसे समय में डिज़ाइन किया गया था जब कुछ विवाहित जोड़े एक साथ निवास की तलाश करेंगे। जैसे ही अधिक महिलाएं मेडिकल स्कूलों में प्रवेश करती हैं, अधिक छात्रों को अपने सहयोगियों के साथ निवास का अनुरोध करने की संभावना होती है। इस प्रक्रिया में प्रत्येक आवेदक को पूरे अमेरिका में नियुक्ति के लिए वरीयता सूची प्रदान करने की आवश्यकता होती है, जिसे तब क्रमबद्ध किया जाता था और सौंपा जाता था जब एक अस्पताल और एक आवेदक दोनों एक मैच के लिए सहमत होते थे। विवाहित जोड़ों के सन्दर्भ में जहां दोनों ने निवास की मांग की थी, कलन विधि पहले उच्च-रेटेड साथी के स्थान विकल्पों का वजन करता था। परिणाम प्लेसमेंट वरीयता में समझौता करने के अतिरिक्त पहले साथी को अत्यधिक पसंदीदा स्कूलों और दूसरे साथी को कम-वरीयता वाले स्कूलों का निरन्तर असाइनमेंट था।

अतिरिक्त आकस्मिक पूर्वाग्रहों में सम्मिलित हैं:

सहसंबंध
जब बड़े डेटा सेट की एक दूसरे से तुलना की जाती है तो अप्रत्याशित सहसंबंध निकल सकते हैं। उदाहरण के लिए, वेब-ब्राउज़िंग पैटर्न के बारे में एकत्र किया गया डेटा संवेदनशील डेटा (जैसे जाति या यौन अभिविन्यास) को चिन्हित करने वाले संकेतों के साथ संरेखित हो सकता है। कुछ व्यवहार या ब्राउज़िंग पैटर्न के अनुसार चयन करने से, अंतिम प्रभाव प्रत्यक्ष जाति या यौन अभिविन्यास डेटा के उपयोग के माध्यम से भेदभाव के समान होगा। अन्य स्थितियों में, कलन विधि उन सहसंबंधों को समझने में सक्षम हुए बिना सहसंबंधों से निष्कर्ष निकालता है। उदाहरण के लिए, एक ट्राइएज प्रोग्राम ने उन अस्थमा रोगियों को कम प्राथमिकता दी जिन्हें निमोनिया नहीं था। कार्यक्रम कलन विधि ने ऐसा इसलिए किया क्योंकि यह केवल जीवित रहने की दरों की तुलना करता है: निमोनिया के साथ दमा रोगियों को सबसे अधिक खतरा होता है। ऐतिहासिक रूप से, इसी कारण से, अस्पताल सामान्यतः ऐसे अस्थमा रोगियों को सर्वोत्तम और तत्काल देखभाल प्रदान करते हैं।

अप्रत्याशित उपयोग
आकस्मिक पूर्वाग्रह तब हो सकता है जब एक कलन विधि का उपयोग अप्रत्याशित दर्शकों द्वारा किया जाता है। उदाहरण के लिए, मशीनों की आवश्यकता हो सकती है कि उपयोगकर्ता संख्याओं को पढ़, लिख या समझ सकें, या उन रूपकों का उपयोग करके एक इंटरफ़ेस से संबंधित हो जिन्हें वे नहीं समझते हैं। ये बहिष्करण मिश्रित हो सकते हैं, क्योंकि पूर्वाग्रह या बहिष्करण तकनीक समाज में अधिक गहराई से एकीकृत है।

बहिष्करण के अतिरिक्त, अंतिम उपयोगकर्ता द्वारा अपने स्वयं के ज्ञान के अतिरिक्त सॉफ़्टवेयर पर भरोसा करने से अप्रत्याशित उपयोग निकल सकते हैं। एक उदाहरण में, एक अप्रत्याशित उपयोगकर्ता समूह ने ब्रिटेन में कलन विधि पूर्वाग्रह का नेतृत्व किया, जब ब्रिटिश राष्ट्रीय अधिनियम कार्यक्रम को ब्रिटिश राष्ट्रीयता कानून के लिए उपयुक्तता का मूल्यांकन करने के लिए कंप्यूटर वैज्ञानिकों और आव्रजन वकीलों द्वारा अवधारणा के सबूत के रूप में बनाया गया था। डिजाइनरों के पास आव्रजन कार्यालयों में अंतिम उपयोगकर्ताओं से परे कानूनी विशेषज्ञता तक पहुंच थी, जिनकी सॉफ्टवेयर और आव्रजन कानून दोनों की समझ अपरिष्कृत रही होगी। प्रश्नों को प्रशासित करने वाले एजेंट पूरी तरह से सॉफ्टवेयर पर निर्भर थे, जिसमें नागरिकता के वैकल्पिक रास्ते सम्मिलित नहीं थे, और नए केस कानूनों और कानूनी व्याख्याओं के बाद भी कलन विधि का उपयोग पुराना हो गया था। अप्रवासन कानून पर कानूनी रूप से समझदार माने जाने वाले उपयोगकर्ताओं के लिए एक कलन विधि डिजाइन करने के परिणामस्वरूप, सॉफ्टवेयर के कलन विधि ने अप्रत्यक्ष रूप से उन आवेदकों के पक्ष में पूर्वाग्रह किया, जो अधिक व्यापक मानदंडों के अतिरिक्त कलन विधि द्वारा निर्धारित कानूनी मानदंडों के एक बहुत ही संकीर्ण सेट में फिट बैठते हैं। ब्रिटिश आप्रवासन कानून के मानदंडों के एक बहुत ही संकीर्ण सेट में फिट बैठते हैं।

प्रतिक्रिया पाश
यदि कलन विधि के लिए एकत्र किए गए डेटा का परिणाम वास्तविक दुनिया की प्रतिक्रियाओं में होता है, जो कलन विधि में वापस फीड किए जाते हैं, तो आपातकालीन पूर्वाग्रह फीडबैक लूप या रिकर्सन भी बना सकते हैं। उदाहरण के लिए, ओकलैंड, कैलिफोर्निया में तैनात भविष्य कहने वाला पुलिसिंग सॉफ्टवेयर (प्रेडपोल) के सिमुलेशन ने जनता द्वारा रिपोर्ट किए गए अपराध के आंकड़ों के आधार पर काले पड़ोस में पुलिस की उपस्थिति में वृद्धि का सुझाव दिया। अमेरिका और भारत में अनिर्णीत मतदाताओं के बारे में अध्ययनों की एक श्रृंखला में पाया गया कि सर्च इंजन परिणाम मतदान परिणामों को लगभग 20% तक स्थानांतरित करने में सक्षम थे। सिमुलेशन ने दिखाया कि जनता ने पुलिस कारों की दृष्टि के आधार पर अपराध की सूचना दी, चाहे पुलिस कुछ भी कर रही हो। सिमुलेशन ने अपराध की अपनी भविष्यवाणियों के मॉडलिंग में पुलिस कार देखे जाने की व्याख्या की, और बदले में उन पड़ोस के भीतर पुलिस की उपस्थिति में और भी बड़ी वृद्धि होगी।  मानवाधिकार डेटा विश्लेषण समूह, जिसने सिमुलेशन का संचालन किया, ने चेतावनी दी कि जिन जगहों पर जातिय भेदभाव गिरफ्तारी का एक कारक है, ऐसे फीडबैक लूप पुलिसिंग में जाति ीय भेदभाव को मजबूत और स्थायी बना सकते हैं। इस तरह के व्यवहार को प्रदर्शित करने वाले कलन विधि का एक अन्य प्रसिद्ध उदाहरण कम्पस (सॉफ़्टवेयर) है, एक ऐसा सॉफ़्टवेयर जो किसी व्यक्ति के आपराधिक अपराधी बनने की संभावना को निर्धारित करता है। सॉफ़्टवेयर की अधिकांशतः काले व्यक्तियों को अपराधियों के रूप में लेबल करने के लिए आलोचना की जाती है, जो दूसरों की तुलना में बहुत अधिक होने की संभावना है, और फिर डेटा को स्वयं में वापस फीड कर देता है, जब व्यक्ति पंजीकृत अपराधी बन जाते हैं, आगे उस डेटासेट द्वारा बनाए गए पूर्वाग्रह को लागू करते हैं जिस पर कलन विधि कार्य कर रहा है।

ऑनलाइन वीडियो या समाचार लेखों की सिफारिश करने के लिए उपयोग की जाने वाली अनुशंसा प्रणाली फीडबैक लूप बना सकती है। जब उपयोगकर्ता कलन विधि द्वारा सुझाई गई सामग्री पर क्लिक करते हैं, तो यह सुझावों के अगले सेट को प्रभावित करती है। समय के साथ यह उपयोगकर्ताओं को फ़िल्टर बुलबुला में प्रवेश करने और महत्वपूर्ण या उपयोगी सामग्री से अनजान होने का कारण बन सकता है।

वाणिज्यिक प्रभाव
वाणिज्यिक कलन विधि को किसी उपयोगकर्ता की जानकारी के बिना कंपनियों के बीच वित्तीय व्यवस्थाओं या समझौतों का अदृश्य रूप से पक्ष लेने के लिए झुका हुआ किया जा सकता है, जो कलन विधि को निष्पक्ष होने की गलती कर सकता है। उदाहरण के लिए, अमेरिकन एयरलाइंस ने 1980 के दशक में एक फ्लाइट-फाइंडिंग कलन विधि बनाया। सॉफ्टवेयर ने विभिन्न एयरलाइनों से ग्राहकों के लिए उड़ानों की एक श्रृंखला प्रस्तुत की, लेकिन मूल्य या सुविधा की परवाह किए बिना, अपनी खुद की उड़ानों को बढ़ावा देने वाले कारकों को तौला। संयुक्त राज्य कांग्रेस की गवाही में, एयरलाइन के अध्यक्ष ने स्पष्ट रूप से कहा कि प्रणाली को अधिमान्य उपचार के माध्यम से प्रतिस्पर्धात्मक लाभ प्राप्त करने के इरादे से बनाया गया था।

1998 के एक पेपर में गूगल का वर्णन करते हुए, कंपनी के संस्थापकों ने भुगतान प्लेसमेंट के संबंध में सर्च परिणामों में पारदर्शिता की नीति अपनाई थी, यह तर्क देते हुए कि विज्ञापन-वित्त पोषित सर्च इंजन स्वाभाविक रूप से विज्ञापनदाताओं के प्रति पूर्वाग्रह होंगे और उपभोक्ताओं की जरूरतों से दूर होंगे। यह पूर्वाग्रह उपयोगकर्ता का एक अदृश्य परिचालन होगा।

मतदान व्यवहार
अमेरिका और भारत में अनिर्णीत मतदाताओं के बारे में अध्ययनों की एक श्रृंखला में पाया गया कि सर्च इंजन परिणाम मतदान परिणामों को लगभग 20% तक स्थानांतरित करने में सक्षम थे। शोधकर्ताओं ने निष्कर्ष निकाला कि उम्मीदवारों के पास प्रतिस्पर्धा का कोई साधन नहीं है यदि एक एल्गोरिथ्म, इरादे के साथ या बिना इरादे के, प्रतिद्वंद्वी उम्मीदवार के लिए पेज लिस्टिंग को बढ़ावा देता है। जिन फेसबुक यूजर्स ने वोटिंग से जुड़े मैसेज देखे, उनके वोट देने की संभावना ज्यादा थी। फेसबुक उपयोगकर्ताओं के 2010 के एक यादृच्छिक परीक्षण ने उन उपयोगकर्ताओं के बीच 20% की वृद्धि (340,000 वोट) दिखाई, जिन्होंने मतदान को प्रोत्साहित करने वाले संदेशों के साथ-साथ अपने दोस्तों की छवियों को वोट दिया था। कानूनी विद्वान जोनाथन ज़िट्रेन ने चेतावनी दी है कि यह चुनावों में एक डिजिटल गेरीमांडरिंग प्रभाव उत्पन्न कर सकता है, एक मध्यस्थ द्वारा अपने एजेंडे को पूरा करने के लिए सूचना की चयनात्मक प्रस्तुति, अपने उपयोगकर्ताओं की सेवा करने के अतिरिक्त, यदि जानबूझकर परिचालन की जाती है।

लैंगिक भेदभाव
2016 में, प्रस्तुत ेवर नेटवर्किंग साइट Linkedin को सर्च प्रश्नों के जवाब में महिलाओं के नामों के पुरुष रूपों की सिफारिश करने के लिए खोजा गया था। पुरुष नामों की सर्च में साइट ने समान अनुशंसाएं नहीं कीं। उदाहरण के लिए, एंड्रिया यह पूछने के लिए एक संकेत लाएगा कि क्या उपयोगकर्ता का तात्पर्य एंड्रयू है, लेकिन एंड्रयू के लिए पूछताछ में यह नहीं पूछा गया कि क्या उपयोगकर्ता एंड्रिया को ढूंढना चाहते हैं। कंपनी ने कहा कि यह साइट के साथ यूजर्स के इंटरेक्शन के विश्लेषण का परिणाम है।

2012 में, डिपार्टमेंटल स्टोर फ़्रैंचाइज़ लक्ष्य कंपनी को महिला ग्राहकों के गर्भवती होने पर डेटा बिंदुओं को एकत्रित करने के लिए उद्धृत किया गया था, भले ही उन्होंने इसकी घोषणा नहीं की थी, और फिर उस जानकारी को मार्केटिंग भागीदारों के साथ साझा किया। क्योंकि डेटा की भविष्यवाणी की गई थी, प्रत्यक्ष रूप से देखे जाने या रिपोर्ट किए जाने के अतिरिक्त, कंपनी के पास उन ग्राहकों की गोपनीयता की रक्षा करने का कोई कानूनी दायित्व नहीं था।

वेब सर्च कलन विधि पर भी पूर्वाग्रह का आरोप लगाया गया है। गूगल के परिणाम विषमलैंगिकता से संबंधित सर्च शब्दों में अश्लील सामग्री को प्राथमिकता दे सकते हैं, उदाहरण के लिए, समलैंगिक। यह पूर्वाग्रह तटस्थ खोजों में लोकप्रिय लेकिन यौन सामग्री दिखाने वाले सर्च इंजन तक फैला हुआ है। उदाहरण के लिए, शीर्ष 25 सबसे सेक्सी महिला एथलीट लेख महिला एथलीटों की खोजों में प्रथम-पृष्ठ परिणामों के रूप में प्रदर्शित होते हैं। 2017 में, गूगल ने इन परिणामों को उन अन्य परिणामों के साथ समायोजित किया जो घृणा समूहों, जाति वादी विचारों, बाल दुर्व्यवहार और पोर्नोग्राफ़ी, और अन्य परेशान करने वाली और आपत्तिजनक सामग्री के रूप में सामने आए। अन्य उदाहरणों में नौकरी सर्च वेबसाइटों पर पुरुष आवेदकों को उच्च भुगतान वाली नौकरियों का प्रदर्शन सम्मिलित है। शोधकर्ताओं ने यह भी पहचाना है कि मशीनी अनुवाद पुरुष चूक के प्रति एक मजबूत प्रवृत्ति प्रदर्शित करता है। विशेष रूप से, यह विज्ञान, प्रौद्योगिकी, इंजीनियरिंग और गणित व्यवसायों सहित असंतुलित लिंग वितरण से जुड़े क्षेत्रों में देखा गया है। वास्तव में, वर्तमान मशीनी अनुवाद प्रणालियाँ महिला श्रमिकों के वास्तविक विश्व वितरण को पुन: प्रस्तुत करने में विफल हैं।

2015 में, अमेजन डॉट कॉम ने एक कृत्रिम बुद्धिमत्ता प्रणाली को बंद कर दिया, जिसे उसने नौकरी के आवेदनों को स्क्रीन करने के लिए विकसित किया था, जब उन्हें एहसास हुआ कि यह महिलाओं के विरुद्ध पूर्वाग्रह था। भर्ती उपकरण ने उन आवेदकों को बाहर कर दिया, जिन्होंने सभी महिला कॉलेजों में भाग लिया और पुनः शुरू किया जिसमें महिला शब्द सम्मिलित था। संगीत स्ट्रीमिंग सेवाओं के साथ एक समान समस्या सामने आई- 2019 में, यह पता चला कि Spotify द्वारा उपयोग की जाने वाली अनुशंसा प्रणाली कलन विधि महिला कलाकारों के विरुद्ध पूर्वाग्रह थी। स्पॉटीफी के गाने की सिफारिशों ने महिला कलाकारों की तुलना में अधिक पुरुष कलाकारों का सुझाव दिया।

जातिय और जातीय भेदभाव
निर्णय लेने में जातिय पूर्वाग्रहों को अस्पष्ट करने के कार्यविधि के रूप में कलन विधि की आलोचना की गई है।   अतीत में कुछ जाति और जातीय समूहों के साथ कैसा व्यवहार किया गया था, इसके कारण डेटा में अधिकांशतः छिपे हुए पूर्वाग्रह हो सकते हैं। उदाहरण के लिए, समान अपराध करने वाले गोरे लोगों की तुलना में काले लोगों को लंबी सजा मिलने की संभावना है।  इसका संभावित अर्थ यह हो सकता है कि एक प्रणाली डेटा में मूल पूर्वाग्रहों को बढ़ाती है।

2015 में, गूगल ने माफी मांगी जब काले उपयोगकर्ताओं ने शिकायत की कि इसके फोटो एप्लिकेशन में एक छवि-पहचान कलन विधि ने उन्हें जातीय स्टीरियोटाइप के रूप में पहचाना। 2010 में, निकॉन कैमरों की आलोचना की गई जब छवि-पहचान कलन विधि ने निरन्तर एशियाई उपयोगकर्ताओं से पूछा कि क्या वे पलक झपक रहे हैं। ऐसे उदाहरण बायोमेट्रिक डेटा सेट में पूर्वाग्रह के उत्पाद हैं। बॉयोमीट्रिक डेटा शरीर के पहलुओं से तैयार किया जाता है, जिसमें जातिय विशेषताओं को या तो मनाया जाता है या अनुमान लगाया जाता है, जिसे बाद में डेटा बिंदुओं में स्थानांतरित किया जा सकता है। वाक् पहचान तकनीक में उपयोगकर्ता के उच्चारण के आधार पर अलग-अलग सटीकता हो सकती है। यह उस लहजे के बोलने वालों के लिए प्रशिक्षण डेटा की कमी के कारण हो सकता है।

दौड़ के बारे में बॉयोमीट्रिक डेटा भी देखे जाने के अतिरिक्त अनुमान लगाया जा सकता है। उदाहरण के लिए, 2012 के एक अध्ययन से पता चला है कि सामान्यतः अश्वेतों से जुड़े नामों से सर्च परिणाम मिलने की संभावना अधिक होती है, जो गिरफ्तारी के रिकॉर्ड को दर्शाता है, भले ही उस व्यक्ति के नाम का कोई पुलिस रिकॉर्ड हो या नहीं। 2015 के एक अध्ययन में यह भी पाया गया कि काले और एशियाई लोगों को जातिय और व्यावसायिक जोखिम डेटा के कारण फेफड़े के कार्य के भविष्यवाणी कलन विधि के मॉडल में सम्मिलित नहीं किए जाने के कारण फेफड़े कम काम करने वाले माने जाते हैं।

2019 में, एक शोध अध्ययन से पता चला कि सर्वश्रेष्ठ द्वारा बेचा गया एक हेल्थकेयर कलन विधि बीमार काले रोगियों पर सफेद रोगियों का पक्ष लेता है। कलन विधि भविष्यवाणी करता है कि भविष्य में रोगियों को स्वास्थ्य देखभाल प्रणाली पर कितना खर्च आएगा। हालांकि, लागत दौड़-तटस्थ नहीं है, क्योंकि समान संख्या में पुरानी स्थितियों वाले गोरे रोगियों की तुलना में काले रोगियों को प्रति वर्ष चिकित्सा लागत में लगभग $1,800 कम लगता है, जिसके कारण कलन विधि सफेद रोगियों को भविष्य की स्वास्थ्य समस्याओं के समान जोखिम वाले काले लोगों के रूप में स्कोर करता है। ऐसे मरीज जो काफी अधिक बीमारियों से पीड़ित थे।

नवंबर 2019 में यूसी बर्कले के शोधकर्ताओं द्वारा किए गए एक अध्ययन से पता चला है कि बंधक कलन विधि लेटिनो और अफ्रीकी अमेरिकियों के प्रति भेदभावपूर्ण रहा है, जो साख के आधार पर अल्पसंख्यकों के साथ भेदभाव करता है, जो अमेरिकी निष्पक्ष-उधार कानून में निहित है जो उधारदाताओं को पहचान के उपायों का उपयोग करने की अनुमति देता है। यदि कोई व्यक्ति ऋण प्राप्त करने के योग्य है। ये विशेष कलन विधि फिनटेक कंपनियों में सम्मलित थे और अल्पसंख्यकों के साथ भेदभाव करते दिखाए गए थे।

कानून प्रवर्तन और कानूनी कार्यवाही
कलन विधि के पहले से ही कानूनी प्रणालियों में कई अनुप्रयोग हैं। इसका एक उदाहरण कम्पस (सॉफ्टवेयर) है, एक वाणिज्यिक कार्यक्रम जो अमेरिकी अदालतों द्वारा व्यापक रूप से उपयोग किया जाता है जिससे कि एक प्रतिवादी के पुनरावर्ती बनने की संभावना का आकलन किया जा सके। प्रोपब्लिका का दावा है कि काले प्रतिवादियों का औसत कम्पस -असाइन किया गया पुनर्वितरण जोखिम स्तर श्वेत प्रतिवादियों के औसत कम्पस -नियुक्त जोखिम स्तर से काफी अधिक है, और यह कि काले प्रतिवादियों को गलत कार्यविधि से सफेद प्रतिवादियों के रूप में लेबल उच्च-जोखिम सौंपे जाने की संभावना दोगुनी है।

एक उदाहरण संयुक्त राज्य अमेरिका और प्रतिज्ञा मंडल में आपराधिक सजा में जोखिम आकलन का उपयोग है, न्यायाधीशों को कलन विधि से उत्पन्न स्कोर के साथ प्रस्तुत किया गया था जिसका उद्देश्य जोखिम को प्रतिबिंबित करना था कि एक कैदी अपराध दोहराएगा। 1920 में शुरू होने वाली और 1970 में समाप्त होने वाली समय अवधि के लिए, एक अपराधी के पिता की राष्ट्रीयता उन जोखिम मूल्यांकन अंकों में एक विचार थी। आज, ये स्कोर एरिज़ोना, कोलोराडो, डेलावेयर, केंटकी, लुइसियाना, ओक्लाहोमा, वर्जीनिया, वाशिंगटन और विस्कॉन्सिन में न्यायाधीशों के साथ साझा किए जाते हैं। प्रोपब्लिका द्वारा एक स्वतंत्र जांच में पाया गया कि स्कोर 80% समय गलत थे, और अश्वेतों को पुनरावर्तन के जोखिम में होने का सुझाव देने के लिए अनुपातहीन रूप से झुका हुआ था, गोरों की तुलना में 77% अधिक झुका हुआ था।

एक अध्ययन जो जोखिम, जाति, और वैराग्यवाद की जांच करने के लिए निर्धारित किया गया है: भविष्य कहनेवाला पूर्वाग्रह और असमान प्रभाव काले बनाम कोकेशियान प्रतिवादियों के लिए एक दो गुना (45 प्रतिशत बनाम 23 प्रतिशत) प्रतिकूल संभावना का आरोप लगाता है, जो उच्च जोखिम के रूप में गलत वर्गीकृत होने के अतिरिक्त होता है। अवलोकन के दो साल की अवधि में निष्पक्ष रूप से बिना किसी प्रलेखित पुनरावृत्ति के बने रहे। पूर्व-परीक्षण निरोध के संदर्भ में, एक कानून समीक्षा लेख का तर्क है कि कलन विधि जोखिम आकलन जाति के आधार पर संयुक्त राज्य अमेरिका के संविधान के समान संरक्षण अधिकारों में चौदहवें संशोधन का उल्लंघन करता है, क्योंकि कलन विधि को चेहरे के भेदभावपूर्ण होने का तर्क दिया जाता है, जिसके परिणामस्वरूप असमान उपचार होता है, और संकीर्ण रूप से भेदभावपूर्ण होने का तर्क दिया जाता है।

ऑनलाइन अभद्र भाषा
2017 में आंतरिक फेसबुक दस्तावेजों के अनुसार, आपत्तिजनक सामग्री का आकलन करते समय ऑनलाइन अभद्र भाषा को हटाने के लिए डिज़ाइन किया गया एक फेसबुक कलन विधि काले बच्चों पर सफेद पुरुषों को लाभ देने के लिए पाया गया था। एल्गोरिथ्म, जो कंप्यूटर प्रोग्राम और मानव सामग्री समीक्षकों का एक संयोजन है, को श्रेणियों के विशिष्ट उपसमुच्चय के अतिरिक्त व्यापक श्रेणियों की सुरक्षा के लिए बनाया गया था। उदाहरण के लिए, मुसलमानों की निंदा करने वाली पोस्ट को ब्लॉक कर दिया जाएगा, जबकि कट्टरपंथी मुसलमानों की निंदा करने वाली पोस्ट को अनुमति दी जाएगी। कलन विधि का एक अप्रत्याशित परिणाम काले बच्चों के विरुद्ध अभद्र भाषा की अनुमति देना है, क्योंकि वे सभी अश्वेतों के अतिरिक्त अश्वेतों के बच्चों के सबसेट की निंदा करते हैं, जबकि सभी गोरे लोग एक ब्लॉक को ट्रिगर करेंगे, क्योंकि गोरे और पुरुषों को उपसमुच्चय नहीं माना जाता है। फेसबुक को विज्ञापन खरीदारों को उपयोगकर्ताओं की एक श्रेणी के रूप में यहूदी नफरत करने वालों को लक्षित करने की अनुमति देने के लिए भी पाया गया था, जिसके बारे में कंपनी ने कहा कि डेटा का आकलन और वर्गीकरण करने में उपयोग किए जाने वाले कलन विधि का एक अनजान परिणाम था। कंपनी के डिजाइन ने विज्ञापन खरीदारों को अफ्रीकी-अमेरिकियों को आवास विज्ञापनों को देखने से रोकने की भी अनुमति दी।

जबकि कलन विधि का उपयोग अभद्र भाषा को ट्रैक करने और ब्लॉक करने के लिए किया जाता है, कुछ को काले उपयोगकर्ताओं द्वारा पोस्ट की गई जानकारी को फ़्लैग करने की संभावना 1.5 गुना अधिक और अफ़्रीकी अमेरिकी अंग्रेजी में लिखे जाने पर अभद्र भाषा के रूप में जानकारी को फ़्लैग करने की संभावना 2.2 गुना अधिक पाई गई। अपशब्दों और विशेषणों के संदर्भ के बिना, उन समुदायों द्वारा उपयोग किए जाने पर भी, जिन्होंने उन्हें पुनः विनियोजित किया है, ध्वजांकित किया गया था।

निगरानी
निगरानी कैमरा सॉफ़्टवेयर को स्वाभाविक रूप से राजनीतिक माना जा सकता है क्योंकि इसमें असामान्य व्यवहारों से सामान्य को अलग करने के लिए कलन विधि की आवश्यकता होती है, और यह निर्धारित करने के लिए कि निश्चित समय पर निश्चित स्थानों में कौन है। जाति ीय वर्णक्रम में चेहरों को पहचानने के लिए ऐसे कलन विधि की क्षमता को इसके प्रशिक्षण डेटाबेस में छवियों की जाति ीय विविधता द्वारा सीमित दिखाया गया है; यदि अधिकांश तस्वीरें एक जाति या लिंग की हैं, तो सॉफ्टवेयर उस जाति या लिंग के अन्य सदस्यों को पहचानने में बेहतर है। हालांकि, इन छवि-पहचान प्रणालियों के ऑडिट भी नैतिक रूप से भरे हुए हैं, और कुछ विद्वानों ने सुझाव दिया है कि प्रौद्योगिकी के संदर्भ में सदैव उन समुदायों पर असंगत प्रभाव पड़ेगा जिनके कार्यों पर अधिक निगरानी की जाती है।

उदाहरण के लिए, सीसीटीवी छवियों में व्यक्तियों की पहचान करने के लिए उपयोग किए गए सॉफ्टवेयर के 2002 के एक विश्लेषण में आपराधिक डेटाबेस के विरुद्ध चलाए जाने वाले पूर्वाग्रह के कई उदाहरण पाए गए। सॉफ्टवेयर का मूल्यांकन महिलाओं की तुलना में अधिक बार पुरुषों की पहचान करने, युवा लोगों की तुलना में अधिक उम्र के लोगों की पहचान करने और गोरों की तुलना में अधिक बार एशियाई, अफ्रीकी-अमेरिकी और अन्य जातियों की पहचान करने के लिए किया गया था। चेहरे की पहचान करने वाले सॉफ़्टवेयर के अतिरिक्त अध्ययनों ने गैर-आपराधिक डेटाबेस पर प्रशिक्षित होने पर विपरीत पाया है, सॉफ्टवेयर गहरे रंग की महिलाओं की पहचान करने में सबसे कम सटीक है।

एलजीबीटीक्यू समुदाय के विरुद्ध भेदभाव
2011 में, गे हुकअप एप्लिकेशन ग्राइंडर के उपयोगकर्ताओं ने बताया कि गूगल Play की सिफारिश कलन विधि ग्राइंडर को यौन अपराधियों को खोजने के लिए डिज़ाइन किए गए एप्लिकेशन से जोड़ रहा था, जिसे आलोचकों ने गलत कार्यविधि से समलैंगिकता के प्रति सामाजिक दृष्टिकोण # बाल यौन शोषण और पीडोफिलिया के साथ जोड़ा। लेखक माइक एनी ने द अटलांटिक में इस संघ की आलोचना की, यह तर्क देते हुए कि इस तरह के संघों ने संयुक्त राज्य में समलैंगिक पुरुषों के इतिहास को कलंकित किया। 2009 में, ऑनलाइन रिटेलर अमेज़ॅन (कंपनी) ने एक कलन विधि परिवर्तन के बाद 57,000 पुस्तकों को डी-लिस्ट किया, जिसमें समीक्षकों द्वारा प्रशंसित उपन्यास मानव त्रुटि जैसे विषमलैंगिकता या समलैंगिक विषयों को संबोधित करने वाली किसी भी पुस्तक को सम्मिलित करने के लिए अपनी वयस्क सामग्री ब्लैकलिस्ट का विस्तार किया।

2019 में, यह पाया गया कि फेसबुक पर, मेरी महिला मित्रों की तस्वीरों की सर्च से बिकनी या समुद्र तट जैसे सुझाव मिले। इसके विपरीत, मेरे पुरुष मित्रों की तस्वीरों की सर्च से कोई परिणाम नहीं निकला गया।

चेहरे की पहचान करने वाली तकनीक को विपरीतलिंगी व्यक्तियों के लिए समस्याएँ उत्पन्न करते देखा गया है। 2018 में, उबेर ड्राइवरों की रिपोर्टें थीं जो विपरीतलिंगी थे या संक्रमण के समय चेहरे की पहचान करने वाले सॉफ़्टवेयर के साथ कठिनाई का सामना कर रहे थे, जिसे उबेर एक अंतर्निहित सुरक्षा उपाय के रूप में लागू करता है। इसके परिणामस्वरूप, ट्रांस उबेर ड्राइवरों के कुछ खातों को निलंबित कर दिया गया था, जिससे उनका किराया खर्च हो गया था और संभावित रूप से उन्हें नौकरी से हाथ धोना पड़ा था, यह सब चेहरे की पहचान करने वाले सॉफ़्टवेयर के कारण ट्रांस ड्राइवर के चेहरे को पहचानने में कठिनाई का सामना करना पड़ रहा था। यद्यपि इस समस्या का समाधान मशीन लर्निंग मॉडल के लिए प्रशिक्षण सेट में ट्रांस व्यक्तियों को सम्मिलित करना प्रतीत होता है, ट्रांस यूट्यूब वीडियो का एक उदाहरण जिसे प्रशिक्षण डेटा में उपयोग करने के लिए एकत्र किया गया था, वीडियो में सम्मिलित किए गए ट्रांस व्यक्तियों से सहमति प्राप्त नहीं हुई थी, जिसने गोपनीयता के उल्लंघन का प्रकरण बनाया गया।

2017 में स्टैनफोर्ड यूनिवर्सिटी में एक अध्ययन भी किया गया था जिसमें मशीन लर्निंग प्रणाली में कलन विधि का परीक्षण किया गया था, जिसके बारे में कहा गया था कि यह किसी व्यक्ति के चेहरे की छवियों के आधार पर यौन अभिविन्यास का पता लगाने में सक्षम है। अध्ययन में मॉडल ने 81% समय में समलैंगिक और सीधे पुरुषों के बीच एक सही अंतर और 74% समय में समलैंगिक और सीधे महिलाओं के बीच एक सही अंतर की भविष्यवाणी की। इस अध्ययन के परिणामस्वरूप एलजीबीटीक्यूआईए समुदाय से प्रतिक्रिया हुई, जो संभावित नकारात्मक नतीजों से डरते थे कि यह कृत्रिम बुद्धिमत्ता प्रणाली एल जीबीटीक्यूआईए समुदाय के व्यक्तियों पर उनकी इच्छा के विरुद्ध बाहर होने के जोखिम में डाल सकता है।

विकलांगता भेदभाव
जबकि कलन विधि निष्पक्षता के तौर-तरीकों को पूर्वाग्रह के विभिन्न पहलुओं के आधार पर आंका गया है - जैसे लिंग, जाति और सामाजिक आर्थिक स्थिति, विकलांगता को अधिकांशतः सूची से बाहर कर दिया जाता है। वर्तमान में समाज में विकलांग लोगों को जिस हाशिए पर रखा जा रहा है, उसे कृत्रिम बुद्धिमत्ता प्रणाली और कलन विधि में अनुवादित किया जा रहा है, जिससे और भी अधिक बहिष्कार हो रहा है  विकलांगों की बदलती प्रकृति और इसके व्यक्तिपरक लक्षण वर्णन, कम्प्यूटेशनल रूप से संबोधित करना अधिक कठिन बना देता है। विकलांगों को परिभाषित करने में ऐतिहासिक गहराई की कमी, प्रश्नावली में इसकी घटनाओं और व्यापकता को एकत्रित करना, और मान्यता स्थापित करने से इसकी मात्रा और गणना में विवाद और अस्पष्टता बढ़ जाती है। अक्षमता की परिभाषा पर हाल ही में विकलांगता के एक चिकित्सा मॉडल से विकलांगता के एक सामाजिक मॉडल में स्थानांतरण पर बहस हुई है, जो यह स्थापित करता है कि विकलांगता लोगों की बातचीत और उनके पर्यावरण में बाधाओं के बीच बेमेल होने का परिणाम है, न कि हानि और स्वास्थ्य स्थितियों के कारण। विकलांगता स्थितिजन्य या अस्थायी भी हो सकती है, प्रवाह की एक निरंतर स्थिति में माना जाता है। विकलांग अविश्वसनीय रूप से विविध हैं, एक बड़े स्पेक्ट्रम के भीतर आते हैं, और प्रत्येक व्यक्ति के लिए अद्वितीय हो सकते हैं। लोगों की पहचान उनके द्वारा अनुभव की जाने वाली विशिष्ट प्रकार की विकलांगता, वे किस प्रकार सहायक तकनीकों का उपयोग करते हैं, और वे किसका समर्थन करते हैं, के आधार पर भिन्न हो सकते हैं। लोगों के अनुभवों में परिवर्तनशीलता का उच्च स्तर बहुत ही वैयक्तिकृत करता है कि विकलांगता किस प्रकार प्रकट हो सकती है। ओवरलैपिंग पहचान और चौराहे के अनुभव आँकड़ों और डेटासेट से बाहर रखा गया है, इसलिए प्रशिक्षण डेटा में कम प्रतिनिधित्व और अस्तित्वहीन है। इसलिए, मशीन लर्निंग मॉडल को असमान रूप से प्रशिक्षित किया जाता है और कृत्रिम बुद्धिमान प्रणाली अधिक कलन विधि पूर्वाग्रह को बनाए रखते हैं। उदाहरण के लिए, यदि वाक् निःशक्तता वाले लोगों को प्रशिक्षण ध्वनि नियंत्रण सुविधाओं और स्मार्ट एआई सहायकों में सम्मिलित नहीं किया गया है - तो वे सुविधा का उपयोग करने में असमर्थ हैं या गूगल होम या एलेक्सा से प्राप्त प्रतिक्रियाएँ बेसीमा निष्फल हैं।

रूढ़िवादिता और कलंक को देखते हुए जो अभी भी विकलांगता के आसपास सम्मलित हैं, इन पहचान करने वाली विशेषताओं को प्रकट करने की संवेदनशील प्रकृति में बड़ी गोपनीयता चुनौतियां भी हैं, क्योंकि विकलांगता की जानकारी का खुलासा करना वर्जित हो सकता है और इस आबादी के विरुद्ध और भेदभाव को बढ़ावा दे सकता है, इसके लिए स्पष्ट विकलांगता डेटा उपलब्ध नहीं है कलन विधि प्रणाली के साथ बातचीत करने के लिए। विकलांग लोगों को अपनी विकलांगता स्थिति का खुलासा करने पर उनके सामाजिक समर्थन, स्वास्थ्य बीमा की लागत, कार्यस्थल भेदभाव और अन्य बुनियादी आवश्यकताओं के संबंध में अतिरिक्त नुकसान और जोखिम का सामना करना पड़ता है। कलन विधि सामाजिक व्यवस्थाओं और संरचनाओं में पहले से सम्मलित पूर्वाग्रहों को पुनः बनाकर इस अंतर को और बढ़ा रहे हैं।

गूगल खोज
जबकि उपयोगकर्ता स्वचालित रूप से पूर्ण होने वाले परिणाम उत्पन्न करते हैं, गूगल सेक्सिस्ट और जाति वादी स्वत: पूर्णता पाठ को हटाने में विफल रहा है। उदाहरण के लिए, उत्पीड़न के कलन विधि | दमन के एल्गोरिदम: किस प्रकार सर्च इंजन जातिवाद को मजबूत करते हैं साफिया नोबल काली लड़कियों की सर्च का एक उदाहरण नोट करता है, जिसके परिणामस्वरूप अश्लील चित्र होने की सूचना मिली थी। गूगल ने दावा किया कि वह उन पृष्ठों को तब तक मिटाने में असमर्थ था जब तक कि उन्हें गैर-कानूनी नहीं माना जाता।

शोध में बाधाएँ
कई समस्याएं बड़े पैमाने पर कलन विधि पूर्वाग्रह के अध्ययन को बाधित करती हैं, शैक्षणिक रूप से यथार्थ रूप से अध्ययन और सार्वजनिक समझ के आवेदन में बाधा डालती हैं।

निष्पक्षता को परिभाषित करना
कलन विधि पूर्वाग्रह पर साहित्य ने निष्पक्षता के उपाय पर ध्यान केंद्रित किया है, लेकिन निष्पक्षता की परिभाषाएं अधिकांशतः एक-दूसरे और मशीन लर्निंग अनुकूलन की वास्तविकताओं के साथ असंगत होती हैं। उदाहरण के लिए, निष्पक्षता को परिणामों की समानता के रूप में परिभाषित करना केवल सभी लोगों के लिए समान परिणाम उत्पन्न करने वाली प्रणाली को संदर्भित कर सकता है, जबकि उपचार की समानता के रूप में परिभाषित निष्पक्षता स्पष्ट रूप से व्यक्तियों के बीच अंतरों पर विचार कर सकती है। परिणाम स्वरुप, निष्पक्षता को कभी-कभी एक मॉडल की सटीकता के साथ संघर्ष के रूप में वर्णित किया जाता है, जो सामाजिक कल्याण की प्राथमिकताओं और इन प्रणालियों को डिजाइन करने वाले विक्रेताओं की प्राथमिकताओं के बीच सहज तनाव का सुझाव देता है।  इस तनाव के जवाब में, शोधकर्ताओं ने उन प्रणालियों के डिजाइन और उपयोग पर अधिक ध्यान देने का सुझाव दिया है जो विशिष्ट अनुप्रयोगों और संदर्भों के लिए परिभाषित निष्पक्षता के साथ संभावित पूर्वाग्रह कलन विधि पर आधारित हैं।

जटिलता
कलनविधीय प्रक्रियाएं जटिल प्रणाली हैं, जो अधिकांशतः उन लोगों की समझ से अधिक होती हैं जो उनका उपयोग करते हैं।  हो सकता है कि बड़े पैमाने पर संचालन को बनाने में सम्मिलित लोगों द्वारा भी नहीं समझा जा सकता है। कोड के इनपुट या आउटपुट के प्रत्येक क्रमपरिवर्तन को जानने में असमर्थता के कारण समकालीन कार्यक्रमों की विधियों और प्रक्रियाओं को अधिकांशतः अस्पष्ट कर दिया जाता है।  सामाजिक वैज्ञानिक ब्रूनो लटौर ने इस प्रक्रिया की पहचान ब्लैकबॉक्सिंग के रूप में की है, एक ऐसी प्रक्रिया जिसमें वैज्ञानिक और तकनीकी कार्य अपनी सफलता से अदृश्य हो जाते हैं। जब कोई मशीन कुशलतापूर्वक चलती है, जब कोई तथ्य सुलझा लिया जाता है, तो व्यक्ति को केवल उसके इनपुट और आउटपुट पर ध्यान देने की आवश्यकता होती है, न कि उसकी आंतरिक जटिलता पर। इस प्रकार, विरोधाभासी रूप से, जितना अधिक विज्ञान और प्रौद्योगिकी सफल होते हैं, उतने ही अधिक अपारदर्शी और अस्पष्ट हो जाते हैं। अन्य लोगों ने ब्लैक बॉक्स रूपक की आलोचना की है, यह सुझाव देते हुए कि वर्तमान कलन विधि एक ब्लैक बॉक्स नहीं है, बल्कि आपस में जुड़े हुए नेटवर्क हैं।

प्रतिक्रिया को अनुकूलित करने में इनपुट की श्रेणी में इस जटिलता का एक उदाहरण पाया जा सकता है। सोशल मीडिया साइट फेसबुक ने 2013 में उपयोगकर्ता के सोशल मीडिया फीड के लेआउट को निर्धारित करने के लिए कम से कम 100,000 डेटा बिंदुओं पर विचार किया। इसके अतिरिक्त, प्रोग्रामरों की बड़ी टीमें एक दूसरे से सापेक्ष अलगाव में काम कर सकती हैं, और जुड़े हुए, विस्तृत कलन विधि के भीतर छोटे निर्णयों के संचयी प्रभावों से अनजान हो सकती हैं। सभी कोड मूल नहीं हैं, और डेटा प्रोसेसिंग और डेटा इनपुट प्रणाली के बीच संबंधों का एक जटिल सेट बनाते हुए, अन्य पुस्तकालयों से उधार लिया जा सकता है।

अतिरिक्त जटिलता मशीन लर्निंग और उपयोगकर्ता इंटरैक्शन जैसे क्लिक, साइट पर बिताया गया समय और अन्य मेट्रिक्स के आधार पर कलन विधि के वैयक्तिकरण के माध्यम से होती है। ये व्यक्तिगत समायोजन कलन विधि को समझने के सामान्य प्रयासों को भ्रमित कर सकते हैं।कलनविधीय पूर्वाग्रह में न केवल संरक्षित श्रेणियां सम्मिलित हैं, बल्कि राजनीतिक दृष्टिकोण जैसे कम आसानी से देखे जाने योग्य या संहिताबद्ध विशेषताओं से भी संबंधित हो सकते हैं।  एक अज्ञात स्ट्रीमिंग रेडियो सेवा ने बताया कि उसने अपने उपयोगकर्ताओं के व्यवहार के आधार पर उनके लिए चुने गए पांच अद्वितीय संगीत-चयन कलन विधि का उपयोग किया। यह अलग-अलग उपयोगकर्ताओं के बीच एक ही स्ट्रीमिंग सेवाओं के अलग-अलग अनुभव बनाता है, जिससे यह समझना कठिन हो जाता है कि ये कलन विधि क्या करते हैं।

उपयोगकर्ता की प्रतिक्रिया के आधार पर कलन विधि को फ़ाइन-ट्यून करने के लिए कंपनियाँ बार-बार ए/बी परीक्षण भी चलाती हैं। कई समस्याएं बड़े पैमाने पर कलन विधि पूर्वाग्रह के अध्ययन को बाधित करती हैं, शैक्षणिक रूप से यथार्थ रूप से अध्ययन और सार्वजनिक समझ के आवेदन में बाधा डालती हैं। दाहरण के लिए, सर्च इंजन बिंग (सर्च इंजन) प्रत्येक उपयोग और/या उपयोगकर्ता के बीच सेवा के अलग-अलग अनुभव बनाते हुए प्रति दिन अपनी सेवा के दस मिलियन सूक्ष्म रूपांतरों तक चला सकता है।

पारदर्शिता का अभाव
वाणिज्यिक कलन विधि मालिकाना हैं, और उन्हें व्यापार रहस्य माना जा सकता है।   कलन विधि को व्यापार रहस्य के रूप में मानना ​​कंपनियों की सुरक्षा करता है, जैसे कि वेब सर्च इंजन, जहां एक पारदर्शी कलन विधि सर्च रैंकिंग में परिचालन करने की रणनीति प्रकट कर सकता है।  यह अनुसंधानकर्ताओं के लिए यह पता लगाने के लिए साक्षात्कार या विश्लेषण करना कठिन बना देता है कि कलन विधि किस प्रकार कार्य करता है।  आलोचकों का सुझाव है कि ऐसी गोपनीयता कलन विधि आउटपुट के उत्पादन या प्रसंस्करण में उपयोग किए जाने वाले संभावित अनैतिक तरीकों को भी अस्पष्ट कर सकती है।  अन्य आलोचकों, जैसे कि वकील और अधिनियम विस्ट कतार्ज़ीना स्ज़िमिलेविक्ज़ ने सुझाव दिया है कि पारदर्शिता की कमी अधिकांशतः कलन विधि जटिलता के परिणामस्वरूप प्रच्छन्न होती है, कंपनियों को अपनी स्वयं की कलन विधि प्रक्रियाओं का खुलासा करने या जांच करने से बचाती है।

संवेदनशील श्रेणियों के बारे में डेटा की कमी
व्यवहार में पूर्वाग्रह से निपटने को समझने में एक महत्वपूर्ण बाधा यह है कि भेदभाव-विरोधी कानून द्वारा संरक्षित व्यक्तियों की जनसांख्यिकी जैसी श्रेणियों पर अधिकांशतः डेटा एकत्र और संसाधित करते समय स्पष्ट रूप से विचार नहीं किया जाता है। कुछ स्थितियों में, इस डेटा को स्पष्ट रूप से एकत्र करने का अवसर बहुत कम होता है, जैसे कि डिवाइस फिंगरप्रिंट, सर्वव्यापी कंप्यूटिंग और चीजों की इंटरनेट अन्य स्थितियों में, डेटा नियंत्रक प्रतिष्ठित कारणों से ऐसे डेटा को एकत्र करने की इच्छा नहीं रख सकता है, या क्योंकि यह एक बढ़े हुए दायित्व और सुरक्षा जोखिम का प्रतिनिधित्व करता है। यह भी प्रकरण हो सकता है कि, कम से कम यूरोपीय संघ के सामान्य डेटा संरक्षण विनियम के संबंध में, ऐसा डेटा 'विशेष श्रेणी' प्रावधानों (अनुच्छेद 9) के अंतर्गत आता है, और इसलिए संभावित संग्रह और प्रसंस्करण पर अधिक प्रतिबंधों के साथ आता है।

कुछ चिकित्सकों ने पूर्वाग्रह को कम करने की अनुमति देने के लिए इन लापता संवेदनशील वर्गीकरणों का अनुमान लगाने और उन्हें आरोपित करने का प्रयास किया है, उदाहरण के लिए नामों से जातीयता का अनुमान लगाने के लिए प्रणाली बनाना, हालांकि यह पूर्वाग्रह के अन्य रूपों को प्रस्तुत कर सकता है यदि सावधानी से नहीं किया गया। मशीन सीखने के शोधकर्ताओं ने क्रिप्टोग्राफ़िक गोपनीयता-बढ़ाने वाली तकनीकों जैसे कि सुरक्षित बहु-पार्टी संगणना को ऐसे तरीकों का प्रस्ताव करने के लिए तैयार किया है जिससे कलन विधि पूर्वाग्रह का मूल्यांकन किया जा सकता है या इन डेटा के बिना कभी भी स्पष्ट पाठ में मॉडेलर के लिए उपलब्ध नहीं हो सकता है।

कलनविधीय पूर्वाग्रह में न केवल संरक्षित श्रेणियां सम्मिलित हैं, बल्कि राजनीतिक दृष्टिकोण जैसे कम आसानी से देखे जाने योग्य या संहिताबद्ध विशेषताओं से भी संबंधित हो सकते हैं। इन स्थितियों में,अनुमानतः ही कभी आसानी से सुलभ या गैर-विवादास्पद जमीनी सच्चाई होती है, और ऐसी प्रणाली से पूर्वाग्रह को दूर करना अधिक कठिन होता है। इसके अतिरिक्त, संरक्षित श्रेणियों की समझ की कमी से झूठे और आकस्मिक सहसंबंध निकल सकते हैं, उदाहरण के लिए, कार दुर्घटनाओं के ऐतिहासिक डेटा के आधार पर बीमा दरें जो संयोग से जातीय अल्पसंख्यकों के आवासीय समूहों के साथ ओवरलैप हो सकती हैं।

समाधान
नैतिक एआई पर 84 नीतिगत दिशानिर्देशों के एक अध्ययन में पाया गया कि अवांछित पूर्वाग्रह की निष्पक्षता और शमन चिंता का एक सामान्य बिंदु था, और तकनीकी समाधान, पारदर्शिता और निगरानी, ​​​​उपाय का अधिकार और निगरानी में वृद्धि, और विविधता और समावेशन प्रयासों के मिश्रण के माध्यम से संबोधित किया गया था।.

तकनीकी
ऐसे तरीकों और उपकरणों को बनाने के कई प्रयास किए गए हैं जो कलन विधि के भीतर पूर्वाग्रहों का पता लगा सकते हैं और उनका निरीक्षण कर सकते हैं। ये आकस्मिक क्षेत्र उन उपकरणों पर ध्यान केंद्रित करते हैं जो सामान्यतः कलन विधि की आंतरिक प्रक्रियाओं के अतिरिक्त प्रोग्राम द्वारा उपयोग किए जाने वाले (प्रशिक्षण) डेटा पर लागू होते हैं। ये विधियाँ किसी प्रोग्राम के आउटपुट और उसकी उपयोगिता का विश्लेषण भी कर सकती हैं और इसलिए इसके भ्रम मैट्रिक्स (या भ्रम की तालिका) का विश्लेषण सम्मिलित हो सकता है।        कलन विधि पूर्वाग्रह का पता लगाने के लिए व्याख्या करने योग्य एआई एक कलन विधि या लर्निंग मॉडल में पूर्वाग्रह के अस्तित्व का पता लगाने का एक सुझाया गया तरीका है। पूर्वाग्रह का पता लगाने के लिए मशीन लर्निंग का उपयोग करना, एआई ऑडिट करना कहलाता है, जहां ऑडिटर एक कलन विधि है जो एआई मॉडल और प्रशिक्षण डेटा के माध्यम से पूर्वाग्रह की पहचान करता है।

यह सुनिश्चित करना कि एक एआई उपकरण जैसे क्लासिफायरियर पूर्वाग्रह से मुक्त है, संवेदनशील जानकारी को हटाने की तुलना में अधिक कठिन है इसके इनपुट संकेतों से, क्योंकि यह सामान्यतः अन्य संकेतों में निहित होता है। उदाहरण के लिए, शौक, खेल और स्कूलों में भाग लिया नौकरी के उम्मीदवार द्वारा सॉफ्टवेयर को अपना लिंग प्रकट किया जा सकता है, भले ही इसे विश्लेषण से हटा दिया गया हो।

इसका समाधान समस्या में यह सुनिश्चित करना सम्मिलित है कि बुद्धिमान एजेंट के पास ऐसी कोई जानकारी नहीं है जिसका उपयोग संरक्षित के पुनर्निर्माण के लिए किया जा सके और विषय के बारे में संवेदनशील जानकारी, जैसा कि पहले में प्रदर्शित किया गया था जहां एक गहन शिक्षण नेटवर्क को एक ही समय में संरक्षित सुविधा के बारे में पूरी तरह से अज्ञेय होने के साथ-साथ एक कार्य सीखने के लिए प्रशिक्षित किया गया था। शब्द एम्बेडिंग के संदर्भ में एक सरल विधि प्रस्तावित की गई थी, और इसमें संरक्षित विशेषता से संबंधित जानकारी को हटाना सम्मिलित है।

वर्तमान में, एक नए IEEE मानक संघ का प्रस्तुत तैयार किया जा रहा है जिसका उद्देश्य कलन विधि के रचनाकारों को पूर्वाग्रह के मुद्दों को खत्म करने और उनके कलन विधि के कार्य और संभावित प्रभावों के बारे में स्पष्ट पारदर्शिता (अर्थात अधिकारियों या अंतिम उपयोगकर्ताओं के लिए) को निर्दिष्ट करने में मदद करना है। परियोजना को फरवरी 2017 को मंजूरी दी गई थी और इसे सॉफ्टवेयर और सिस्टम इंजीनियरिंग मानक समिति द्वारा प्रायोजित किया गया था, जो आईईईई कंप्यूटर सोसायटी द्वारा चार्टर्ड समिति है। जून 2019 में मतदान के लिए मानक का एक प्रस्तुत प्रस्तुत किए जाने की उम्मीद है।

पारदर्शिता और निगरानी
एआई पर नैतिक दिशानिर्देश उत्तरदायित्व की आवश्यकता की ओर इशारा करते हैं, यह अनुशंसा करते हैं कि परिणामों की व्याख्या में सुधार के लिए कदम उठाए जाएं। इस तरह के समाधानों में मशीन लर्निंग कलन विधि में समझने के अधिकार पर विचार करना और उन स्थितियों में मशीन लर्निंग की तैनाती का विरोध करना सम्मिलित है जहां निर्णयों की व्याख्या या समीक्षा नहीं की जा सकती है। इस दिशा में, डीएआरपीए जैसे संगठनों के भीतर स्पष्ट करने व्याख्यात्मक कृत्रिम बुद्धि के लिए एक आंदोलन पहले से ही चल रहा है, जो पूर्वाग्रह के उपाय से परे हैं। उदाहरण के लिए, प्राइसवाटरहाउसकूपर्स यह भी सुझाव देते हैं कि मॉनिटरिंग आउटपुट का तात्पर्य प्रणाली को इस तरह से डिजाइन करना है जिससे यह सुनिश्चित किया जा सके कि प्रणाली के एकल घटकों को अलग किया जा सकता है और परिणाम निष्फल होने पर बंद कर दिया जा सकता है।

पारदर्शिता की दिशा में एक प्रारंभिक दृष्टिकोण में खुला स्रोत सॉफ्टवेयर सम्मिलित था | कलन विधि का ओपन-सोर्सिंग। सॉफ्टवेयर कोड पर गौर किया जा सकता है और सोर्स-कोड-होस्टिंग सुविधाओं की तुलना|सोर्स-कोड-होस्टिंग सुविधाओं के माध्यम से सुधार प्रस्तावित किए जा सकते हैं। हालाँकि, यह दृष्टिकोण आवश्यक रूप से इच्छित प्रभाव उत्पन्न नहीं करता है। कंपनियाँ और संगठन सभी संभावित दस्तावेज़ीकरण और कोड साझा कर सकते हैं, लेकिन यदि दर्शक दी गई जानकारी को नहीं समझते हैं तो यह पारदर्शिता स्थापित नहीं करता है। इसलिए, पारदर्शिता के संबंध में इच्छुक आलोचनात्मक दर्शकों की भूमिका तलाशने लायक है। महत्वपूर्ण दर्शकों के बिना कलन विधि को जवाबदेह नहीं ठहराया जा सकता है।

उपचार का अधिकार
एक नियामक दृष्टिकोण से, टोरंटो घोषणा कलन विधि पूर्वाग्रह के कारण होने वाले नुकसान के लिए मानवाधिकार ढांचे को लागू करने की मांग करती है। इसमें इन कलन विधि के डिजाइनरों की ओर से उचित परिश्रम की उम्मीदें सम्मिलित हैं, और उत्तरदायित्व उत्पन्न करना जब निजी अभिनेता सार्वजनिक हितों की रक्षा करने में विफल होते हैं, यह देखते हुए कि ऐसे अधिकार जटिल, परस्पर प्रक्रियाओं के एक जाल के भीतर जिम्मेदारी निर्धारित करने की जटिलता से अस्पष्ट हो सकते हैं। अन्य ने स्पष्ट देयता बीमा तंत्र की आवश्यकता का प्रस्ताव दिया।

विविधता और समावेशन
चिंता के बीच कि एआई प्रणाली का डिज़ाइन मुख्य रूप से गोरे, पुरुष इंजीनियरों का डोमेन है, कई विद्वानों ने सुझाव दिया है कि एआई प्रणाली डिजाइन करने वालों के रैंक में समावेश का विस्तार करके कलन विधि पूर्वाग्रह को कम किया जा सकता है। उदाहरण के लिए, केवल 12% मशीन लर्निंग इंजीनियर महिलाएं हैं, काले एआई नेताओं के साथ क्षेत्र में विविधता संकट की ओर इशारा करते हुए। कृत्रिम बुद्धिमत्ता में ब्लैक और कृत्रिम बुद्धिमत्ता में क्वीर जैसे समूह कृत्रिम बुद्धिमत्ता समुदाय में अधिक समावेशी स्थान बनाने का प्रयास कर रहे हैं और निगमों की अधिकांशतः हानिकारक इच्छाओं के विरुद्ध काम करते हैं जो कृत्रिम बुद्धिमत्ता अनुसंधान के प्रक्षेपवक्र को नियंत्रित करते हैं। सरल समावेशिता प्रयासों की आलोचनाओं से पता चलता है कि विविधता कार्यक्रम असमानता के अतिव्यापी रूपों को संबोधित नहीं कर सकते हैं, और कलन विधि के डिजाइन के लिए अंतरंग नारीवाद के अधिक जानबूझकर लेंस को लागू करने के लिए कहा है।  कैंब्रिज विश्वविद्यालय के शोधकर्ताओं ने तर्क दिया है कि एआई की संस्कृति की सफेदी से जातिय विविधता को संबोधित करने में बाधा आती है।

अंतर्विषयक और सहयोग
एआई प्रणाली के विकास में अंतःविषय और सहयोग को एकीकृत करना कलन विधि पूर्वाग्रह से निपटने में महत्वपूर्ण भूमिका निभा सकता है। कंप्यूटर विज्ञान के बाहर के विषयों से अंतर्दृष्टि, विशेषज्ञता और दृष्टिकोण को एकीकृत करने से समाज पर डेटा संचालित समाधानों के प्रभाव की बेहतर समझ को बढ़ावा मिल सकता है। एआई अनुसंधान में इसका एक उदाहरण समुदायों में क्षमताओं को सक्षम करने के लिए पीएसीटी या भागीदारी दृष्टिकोण है, सामाजिक प्रभाव से संबंधित एआई संचालित समाधान विकसित करते समय सहयोग की सुविधा के लिए एक प्रस्तावित ढांचा। यह ढांचा एआई फॉर सोशल गुड (एआई4एसजी) परियोजनाओं पर काम करते समय हितधारकों की भागीदारी के लिए मार्गदर्शक सिद्धांतों की पहचान करता है। पीएसीटी मानव-केंद्रित एआई समाधानों के डिजाइन में डीकोलोनाइजिंग और पावर-शिफ्टिंग प्रयासों के महत्व को सुधारने का प्रयास करता है। इस संबंध में एक शैक्षणिक पहल स्टैनफोर्ड यूनिवर्सिटी का मानव-केंद्रित कृत्रिम बुद्धिमत्ता संस्थान है जिसका उद्देश्य बहु-विषयक सहयोग को बढ़ावा देना है। संस्थान का मिशन मानव स्थिति में सुधार के लिए कृत्रिम बुद्धिमत्ता (एआई) अनुसंधान, शिक्षा, नीति और अभ्यास को आगे बढ़ाना है।

बाहरी विशेषज्ञों और विभिन्न हितधारकों के साथ सहयोग से बुद्धिमान प्रणालियों के नैतिक, समावेशी और जवाबदेह विकास की सुविधा मिलती है। यह नैतिक विचारों को सम्मिलित करता है, सामाजिक और सांस्कृतिक संदर्भ को समझता है, मानव-केंद्रित डिजाइन को बढ़ावा देता है, तकनीकी विशेषज्ञता का लाभ उठाता है और नीति और कानूनी विचारों को संबोधित करता है। एआई प्रणाली में पूर्वाग्रह को प्रभावी ढंग से कम करने और यह सुनिश्चित करने के लिए कि एआई प्रौद्योगिकियां निष्पक्ष, पारदर्शी और जवाबदेह हैं, सभी विषयों में सहयोग आवश्यक है।

यूरोप
जनरल डेटा प्रोटेक्शन रेगुलेशन (जीडीपीआर), यूरोपीय संघ की संशोधित डेटा सुरक्षा व्यवस्था, जिसे 2018 में लागू किया गया था, अनुच्छेद 22 में प्रोफाइलिंग (सूचना विज्ञान) सहित स्वचालित व्यक्तिगत निर्णय लेने को संबोधित करता है। ये नियम पूरी तरह से स्वचालित निर्णयों को प्रतिबंधित करते हैं जिनमें महत्वपूर्ण या किसी व्यक्ति पर कानूनी प्रभाव, जब तक कि वे सहमति, अनुबंध, या यूरोपीय संघ कानून के सदस्य राज्य द्वारा स्पष्ट रूप से अधिकृत न हों। जहां उन्हें अनुमति दी जाती है, वहां सुरक्षा उपाय होने चाहिए, जैसे मानव-इन-द-लूप का अधिकार, और निर्णयों के स्पष्टीकरण के लिए एक गैर-बाध्यकारी अधिकार। जबकि इन विनियमों को सामान्यतः नया माना जाता है, डेटा संरक्षण निर्देश के अनुच्छेद 15 में, 1995 से पूरे यूरोप में लगभग समान प्रावधान सम्मलित हैं। 1970 के दशक के अंत से फ्रांसीसी कानून में मूल स्वचालित निर्णय नियम और सुरक्षा उपाय पाए गए। जीडीपीआर प्रोफाइलिंग प्रणाली में कलन विधि पूर्वाग्रह को संबोधित करता है, साथ ही इसे साफ करने के लिए संभावित सांख्यिकीय दृष्टिकोण, सीधे रिकेटल (कानून) 71 में, यह नोट करते हुए कि नियंत्रक को प्रोफाइलिंग के लिए उपयुक्त गणितीय या सांख्यिकीय प्रक्रियाओं का उपयोग करना चाहिए, उपयुक्त तकनीकी और संगठनात्मक उपायों को लागू करना चाहिए ... जो जातिय या जातीय मूल, राजनीतिक राय, के आधार पर प्राकृतिक व्यक्तियों पर भेदभावपूर्ण प्रभावों को रोकता है, धर्म या विश्वास, व्यापार संघ की सदस्यता, आनुवंशिक या स्वास्थ्य की स्थिति या यौन अभिविन्यास, या जिसके परिणामस्वरूप इस तरह के प्रभाव वाले उपाय होते हैं। गायन की प्रकृति (कानून)। जबकि डेटा संरक्षण कानून के कार्यान्वयन पर सलाह देने वाले अनुच्छेद 29 वर्किंग पार्टी द्वारा इसे एक आवश्यकता के रूप में माना गया है, इसके व्यावहारिक आयाम अस्पष्ट हैं। यह तर्क दिया गया है कि उच्च जोखिम डेटा प्रोफाइलिंग के लिए डेटा संरक्षण प्रभाव आकलन (डेटा सुरक्षा के भीतर अन्य पूर्व-खाली उपायों के साथ) कलन विधि भेदभाव के मुद्दों से निपटने का एक बेहतर तरीका हो सकता है, क्योंकि यह कलन विधि को तैनात करने वालों के कार्यों को प्रतिबंधित करता है, बजाय इसके कि उपभोक्ताओं को शिकायत दर्ज करने या परिवर्तन का अनुरोध करने की आवश्यकता।

संयुक्त राज्य
संयुक्त राज्य अमेरिका के पास कलन विधि पूर्वाग्रह को नियंत्रित करने वाला कोई सामान्य कानून नहीं है, जो विभिन्न राज्य और संघीय कानूनों के माध्यम से समस्या का सामना कर रहा है, जो उद्योग, क्षेत्र और कलन विधि के उपयोग के कार्यविधि से भिन्न हो सकते हैं। कई नीतियां संघीय व्यापार आयोग द्वारा स्व-प्रवर्तित या नियंत्रित होती हैं। 2016 में, ओबामा प्रशासन ने राष्ट्रीय राष्ट्रीय कृत्रिम बुद्धिमत्ता सर्च और और विकास सामरिक योजना जारी किया, जिसका उद्देश्य नीति निर्माताओं को कलन विधि के एक महत्वपूर्ण मूल्यांकन की दिशा में मार्गदर्शन करना था। इसने शोधकर्ताओं को इन प्रणालियों को डिजाइन करने की सिफारिश की जिससे कि उनके कार्य और निर्णय लेना पारदर्शी हो और मनुष्यों द्वारा आसानी से व्याख्या की जा सके, और इस प्रकार इन पूर्वाग्रहों को सीखने और पुनरावृत्ति के अतिरिक्त किसी भी पूर्वाग्रह के लिए जांच की जा सके। केवल मार्गदर्शन के उद्देश्य से, रिपोर्ट ने कोई कानूनी मिसाल नहीं बनाई।

2017 में, न्यूयॉर्क शहर ने संयुक्त राज्य में पहला कलन विधि उत्तरदायित्व बिल पारित किया। 1 जनवरी, 2018 को लागू हुए बिल में एक टास्क फोर्स के निर्माण की आवश्यकता थी, जो इस बारे में सिफारिशें प्रदान करती है कि एजेंसी स्वचालित निर्णय प्रणाली की जानकारी जनता के साथ किस प्रकार साझा की जा सकती है, और एजेंसियां ​​उन स्थितियों को किस प्रकार संबोधित कर सकती हैं जहां एजेंसी द्वारा लोगों को नुकसान पहुंचाया जाता है। स्वचालित निर्णय प्रणाली। टास्क फोर्स को 2019 में आगे की नियामक कार्रवाई के लिए निष्कर्ष और सिफारिशें प्रस्तुत करने की आवश्यकता है।

भारत
31 जुलाई, 2018 को व्यक्तिगत डेटा बिल का ड्राफ्ट प्रस्तुत किया गया। प्रस्तुत डेटा के भंडारण, प्रसंस्करण और प्रसारण के लिए मानकों का प्रस्ताव करता है। हालांकि यह कलन विधि शब्द का उपयोग नहीं करता है, यह किसी भी प्रसंस्करण या न्यासी द्वारा किए गए किसी भी प्रकार के प्रसंस्करण से होने वाले नुकसान के लिए प्रावधान करता है। यह डेटा के अनुचित उपयोग से उत्पन्न होने वाले नुकसान के स्रोत के रूप में डेटा प्रिंसिपल या किसी भी भेदभावपूर्ण उपचार के बारे में एक मूल्यांकन निर्णय से उत्पन्न सेवा, लाभ या अच्छे के किसी भी बाध्य या वापसी को परिभाषित करता है। यह मध्यलिंगी स्थिति के लोगों के लिए भी विशेष प्रावधान करता है।

यह भी देखें

 * कृत्रिम बुद्धि की नैतिकता
 * निष्पक्षता (मशीन लर्निंग)
 * कृत्रिम बुद्धिमत्ता में गलत लक्ष्य
 * भविष्य कहने वाला पुलिसिंग
 * सेंसटाइम