एल्गोरिदमिक शासन और एल्गोरिदमिक पूर्वाग्रह: जब कोड सार्वजनिक फ़ैसले करता है (UPSC शासन)

कुछ साल पहले, नीदरलैंड के कर प्राधिकरण ने एक ऐसा काम किया जो कुशल लगता था पर एक तबाही बनकर निकला। बाल-देखभाल लाभ की धोखाधड़ी पकड़ने के लिए, उसने एक जोखिम-स्कोरिंग एल्गोरिदम को यह तय करने दिया कि किन माता-पिता की जाँच की जाए — और एल्गोरिदम ने चुपचाप किसी विदेशी-से-लगने वाले नाम या दूसरी राष्ट्रीयता को चेतावनी का संकेत मान लिया। मोटे तौर पर 2005 और 2019 के बीच, दसियों हज़ार परिवारों को, जिनमें अधिकांश प्रवासी पृष्ठभूमि के थे, धोखेबाज़ क़रार दिया गया, उन्हें वे लाभ लौटाने का हुक्म दिया गया जो असल में उनके बनते थे, और उन्हें क़र्ज़, दिवालियापन और उससे भी बुरे हाल में धकेल दिया गया। नीदरलैंड के डेटा-संरक्षण निगरानी संस्थान ने बाद में इस तरीके को “ग़ैरक़ानूनी, भेदभावपूर्ण और अनुचित” कहा। जनवरी 2021 में इसी पर पूरी सरकार ने इस्तीफ़ा दे दिया। किसी एक अधिकारी ने उन परिवारों को बर्बाद करने का फ़ैसला नहीं किया था। एक व्यवस्था ने किया था।

यही इस टॉपिक के दिल में बैठा सवाल है। जब राज्य मामले-दर-मामले फ़ैसला करना बंद कर देता है और इसके बजाय कोड को तय करने देता है — कि क़र्ज़, कल्याण भुगतान, क़तार में जगह, या पुलिस का दौरा किसे मिले — तो क्या होता है जब कोड किसी ऐसे तरीके से ग़लत हो जिसे कोई देख न सके? यह एल्गोरिदमिक शासन (algorithmic governance) की ज़मीन है, यानी सार्वजनिक फ़ैसले करने या उनका मार्गदर्शन करने के लिए एल्गोरिदम का इस्तेमाल, और इसकी परछाईं, एल्गोरिदमिक पूर्वाग्रह (algorithmic bias), जहाँ वे स्वचालित फ़ैसले बड़े पैमाने पर भेदभाव करते हैं। किसी उम्मीदवार के लिए, यह ठीक आधुनिक शासन और नैतिकता पाठ्यक्रम में बैठता है: यह पारदर्शिता, जवाबदेही, समानता के अधिकार, और उस असहज खाई के बारे में है जो तब खुलती है जब “कंप्यूटर कहता है नहीं” और कोई इंसान यह नहीं समझा सकता कि क्यों।

एल्गोरिदमिक शासन का असल में क्या मतलब है

शब्दजाल से पहले सीधे विचार से शुरू करें। एल्गोरिदमिक शासन उन फ़ैसलों को करने, सहारा देने या स्वचालित करने के लिए एल्गोरिदम — क़दम-दर-क़दम कंप्यूटरीय नियम, जिन्हें बढ़ते हुए मशीन लर्निंग (machine learning) चलाती है — का इस्तेमाल है जो सरकारें और बड़ी संस्थाएँ पहले मानवीय विवेक से करती थीं। राजनीतिक सिद्धांतकारों का इसके लिए वाक्यांश है “व्यवहार को व्यवस्थित करने के एक तरीके के रूप में एल्गोरिदम”: ऐसे नियम जो लोग क्या कर सकते हैं इसे आकार देते हैं, कोई क़ानून पास करके और अधिकारियों से उसे लागू करवाकर नहीं, बल्कि फ़ैसले को ऐसे सॉफ़्टवेयर में कूटबद्ध करके जो बिना थके, बहस किए या लॉबिंग के शिकार हुए लाखों बार चलता है। कोई कल्याण विभाग इसका इस्तेमाल यह तय करने में करता है कि धोखाधड़ी-जाँच के लिए किसे चिह्नित किया जाए। कोई बैंक यह तय करने में करता है कि कौन क़र्ज़-योग्य है। कोई पुलिस बल यह तय करने में करता है कि किन मोहल्लों में गश्त की जाए। कोई प्लेटफ़ॉर्म यह तय करने में करता है कि कौन-सी पोस्ट हटाई जाए।

दो ख़ूबियाँ इसे किसी पुराने नियम-पुस्तक से अलग बनाती हैं, और दोनों शासन के लिए मायने रखती हैं। पहली है “ब्लैक बॉक्स”। आधुनिक मशीन-लर्निंग मॉडल किसी इंसान के लिखे नियमों का पालन करने के बजाय डेटा से पैटर्न सीखते हैं, इसलिए उनके डिज़ाइनर भी अक्सर पूरी तरह नहीं समझा पाते कि किसी ख़ास व्यक्ति को उच्च-जोखिम क्यों स्कोर किया गया। तर्क लाखों सांख्यिकीय भारों (weights) में दबा होता है। जब किसी नागरिक को कोई लाभ देने से इनकार किया जाता है, तो उसे देने के लिए कोई पढ़ने-लायक़ कारण नहीं हो सकता — और चुनौती देने के लिए कोई साफ़ चीज़ नहीं। दूसरी है स्वचालन-पूर्वाग्रह (automation bias): किसी मशीन के नतीजे पर ज़रूरत से ज़्यादा भरोसा करने और उस पर सवाल उठाना बंद कर देने की भली-भाँति दर्ज मानवीय प्रवृत्ति। “उच्च जोखिम” कहती स्क्रीन देख रहा कोई अधिकारी उसे रद्द करने की बजाय उस पर मुहर लगाने की कहीं ज़्यादा संभावना रखता है, क्योंकि वह संख्या वस्तुनिष्ठ और तटस्थ लगती है, भले ही वह दोनों में से कुछ न हो। इन्हें मिला दीजिए और आपको ऐसा फ़ैसला मिलता है जो तेज़, बड़े-पैमाने पर लागू, अपारदर्शी और चुनौती देने में बहुत कठिन है — कुशल शासन और एक उचित-प्रक्रिया (due-process) की समस्या एक ही पैकेज में।

इसमें से कुछ भी अपने-आप बुरा नहीं है। अच्छी तरह किया जाए, तो एल्गोरिदम सार्वजनिक फ़ैसलों को तेज़, ज़्यादा एकसमान और किसी अकेले क्लर्क के मूड और पूर्वाग्रहों से कम प्रभावित बना सकते हैं। वे लाखों कल्याण दावों या कर रिटर्न को उतने समय में संसाधित कर सकते हैं जितने में कोई इंसान मुट्ठीभर के लिए लगाता है, और वे — सिद्धांत रूप में — सबके लिए एक ही मानक लागू कर सकते हैं। दिक्कत यह है कि कोई एल्गोरिदम बस वही जानता है जो हमने उसे सिखाया, और जो हम उसे सिखाते हैं वह है अतीत। अगर अतीत असमान था, तो मशीन असमानता सीखती है और फिर उसे औद्योगिक रफ़्तार से लागू करती है। यहीं पूर्वाग्रह घुसता है।

एल्गोरिदमिक पूर्वाग्रह कहाँ से आता है

समझने लायक सबसे अहम बात — और वह बिंदु जो अंक दिलाता है — यह है कि एल्गोरिदमिक पूर्वाग्रह आमतौर पर किसी जातिवादी या लिंगभेदी प्रोग्रामर का नतीजा नहीं होता। यह एक ऐसी व्यवस्था का नतीजा होता है जो किसी पक्षपाती दुनिया से ईमानदारी से सीखती है। इसके भीतर आने के तीन मुख्य दरवाज़े हैं।

पहला और सबसे बड़ा है पक्षपाती प्रशिक्षण डेटा। कोई मशीन-लर्निंग मॉडल उतना ही निष्पक्ष होता है जितने उदाहरण उसे खिलाए जाते हैं, और ऐतिहासिक डेटा ऐतिहासिक भेदभाव की उँगलियों के निशान ढोता है। सबसे साफ़ मिसाल है Amazon का प्रयोगात्मक भर्ती-औज़ार, जो 2018 में रद्द कर दिया गया। कंपनी ने इसे अपने पास आए दस साल के रिज़्यूमे पर प्रशिक्षित किया, फिर इससे नए आवेदकों को रैंक करने को कहा। चूँकि तकनीक उद्योग ने अधिकांशतः पुरुषों को रखा था, मॉडल ने नतीजा निकाला कि पुरुष होना एक अच्छे उम्मीदवार का संकेत है। बताया जाता है कि इसने ऐसे रिज़्यूमे को दंडित किया जिनमें शब्द “women’s” था — जैसे “women’s chess club captain” — और दो पूरी तरह महिला कॉलेजों के स्नातकों को नीचे गिराया। Amazon ने इसे भर्ती में कभी इस्तेमाल नहीं किया और आख़िरकार इसे ख़त्म कर दिया, यह भरोसा खोकर कि इसे तटस्थ बनाया जा सकता है। सबक़ अपनी सादगी में निर्मम है: किसी मॉडल को पक्षपाती अतीत खिलाइए और वह एक पक्षपाती भविष्य की सिफ़ारिश करेगा, ऊपर गणितीय वस्तुनिष्ठता की एक परत चढ़ाकर।

दूसरा दरवाज़ा है प्रॉक्सी चर (proxy variables)। अच्छे डिज़ाइनर जानते हैं कि किसी मॉडल को नस्ल या धर्म जैसी वर्जित विशेषता सीधे न खिलाएँ। पर मॉडल उस विशेषता को मासूम-से दिखने वाले विकल्पों से फिर से गढ़ सकता है। किसी अलग-थलग बँटे शहर में डाक कोड (postal code) जाति, धर्म या नस्ल का लगभग सटीक प्रॉक्सी हो सकता है। कोई उपनाम जातीयता उजागर कर सकता है। नीदरलैंड की बाल-देखभाल तबाही ठीक इसी तर्क पर चली — “विदेशी-से-लगने वाला नाम” और “दोहरी राष्ट्रीयता” “संभावित धोखेबाज़” के मशीन-पढ़ने-योग्य प्रॉक्सी बन गए। मॉडल को कभी “जातीयता” लेबल वाले किसी क्षेत्र की ज़रूरत नहीं पड़ी। उसे बस सहसंबंधी (correlates) चाहिए थे, और समाज ने ख़ूब सारे मुहैया करा दिए थे। तीसरा दरवाज़ा है फ़ीडबैक लूप, जो तीनों में सबसे कपटी है। भविष्यवाणी-आधारित पुलिसिंग (predictive policing) के औज़ार पाठ्यपुस्तक का मामला हैं: मॉडल ने जिस मोहल्ले को चिह्नित किया वहाँ ज़्यादा गश्त भेजिए, और आप वहाँ ज़्यादा गिरफ़्तारियाँ दर्ज करते हैं सिर्फ़ इसलिए कि ज़्यादा अधिकारी मौजूद हैं, जिसे मॉडल इस पुष्टि के रूप में पढ़ता है कि वह इलाक़ा उच्च-अपराध वाला है, इसलिए वह और भी ज़्यादा गश्त भेजता है। एल्गोरिदम आख़िरकार अपनी ही भविष्यवाणी को सही ठहरा देता है। पूर्वाग्रह पक्का बैठ जाता है और फिर बढ़ता जाता है, लूप-दर-लूप।

मशहूर मामलों ने इन अमूर्त बातों को सबूत में बदल दिया। अमेरिका में, COMPAS की ProPublica की 2016 की जाँच — अदालतों में यह भविष्यवाणी करने के लिए इस्तेमाल होने वाला एक मालिकाना जोखिम-आकलन औज़ार कि कोई अभियुक्त दोबारा अपराध करेगा या नहीं — ने पाया कि यह व्यवस्था अश्वेत अभियुक्तों को भविष्य के अपराधी के रूप में ग़लत लेबल करने की श्वेत अभियुक्तों के मुक़ाबले लगभग दोगुनी संभावना रखती थी, जबकि जिन श्वेत अभियुक्तों ने सचमुच दोबारा अपराध किया उन्हें अक्सर कम-जोखिम के रूप में ग़लत लेबल किया गया। चेहरा पहचान (facial recognition) पर, Joy Buolamwini और Timnit Gebru के 2018 के “Gender Shades” अध्ययन ने IBM, Microsoft और Face++ की व्यावसायिक व्यवस्थाओं की जाँच की और हल्की-त्वचा वाले पुरुषों के लिए एक प्रतिशत से कम पर गहरी-त्वचा वाली महिलाओं के लिए 34.7 प्रतिशत तक की त्रुटि दर पाई — वही तकनीक जो किसी संदिग्ध की पहचान करने या किसी लाभ को खोलने में इस्तेमाल हो सकती है, उन्हीं लोगों के लिए कहीं बुरा काम करती हुई जिनके साथ किसी ग़लती से सबसे ज़्यादा अन्याय होने की संभावना है। अपने घर के पास, विद्वानों और नागरिक-समाज समूहों ने भारत में कल्याण और पहचान व्यवस्थाओं को लेकर मिलती-जुलती चिंताएँ उठाई हैं, जहाँ आधार (Aadhaar) से जुड़ी योजनाओं में बायोमेट्रिक प्रमाणन की विफलताओं ने, दर्ज मामलों में, बुज़ुर्गों और हाथ से काम करने वाले मज़दूरों के राशन या पेंशन ग़लत तरीके से काट दिए जिनकी घिसी उँगलियों के निशान मशीन पढ़ नहीं सकी। नुक़सान का पैटर्न हर उदाहरण में दोहराता है: व्यवस्था सबसे कमज़ोर पर सबसे ज़ोर से नाकाम होती है, और वह नाकामी तटस्थ अंकगणित जैसी दिखती है।

नुक़सान: भेदभाव, अपारदर्शिता और जवाबदेही की खाई

पक्षपाती स्वचालित फ़ैसलों से होने वाला नुक़सान कुछ पहचानने-लायक़ आकारों में जमा होता है, और उनका नाम लेना ही किसी पैने उत्तर को बनाने का तरीका है। पहला है बड़े पैमाने पर भेदभाव। कोई पूर्वाग्रही मानव अधिकारी अपने सामने मौजूद लोगों को नुक़सान पहुँचाता है; कोई पूर्वाग्रही एल्गोरिदम हर उस व्यक्ति को नुक़सान पहुँचाता है जिसे वह छूता है, तुरंत और एक-समान। जब पूर्वाग्रह कोड में होता है, तो यह कुछ ख़राब सेब नहीं होते — यह पूरा बाग़ होता है, जो किसी के ध्यान देने से पहले दस लाख फ़ैसलों पर लागू हो जाता है। दूसरा है बहिष्कार (exclusion)। कुशलता के लिए बनी कल्याण और पहचान व्यवस्थाएँ ठीक उन्हीं लोगों को बाहर कर सकती हैं जिनकी सेवा के लिए वे बनी थीं: वह कामगार जिसकी उँगली स्कैन नहीं होती, वह विधवा जिसका नाम किसी डेटाबेस में ग़लत लिखा है, वह प्रवासी जिसके कागज़ात मेल नहीं खाते। स्वचालन एक छोटी प्रशासनिक ग़लती को एक कड़े, स्वचालित “नहीं” में बदल देता है।

तीसरा नुक़सान है अपारदर्शिता, और यह प्राकृतिक न्याय (natural justice) के एक बुनियादी सिद्धांत पर चोट करता है। किसी नागरिक को यह जानने का अधिकार है कि राज्य ने उसके ख़िलाफ़ क्यों कार्रवाई की, ताकि वह उसे चुनौती दे सके। पर कोई ब्लैक-बॉक्स मॉडल अक्सर कोई मानव-पढ़ने-योग्य कारण पैदा नहीं करता — बस एक स्कोर। “कंप्यूटर कहता है नहीं” एक ऐसा जवाब बन जाता है जिससे बहस नहीं हो सकती, क्योंकि बहस करने के लिए कुछ है ही नहीं। चौथा, और वह जो बाक़ी सबको बाँधता है, है जवाबदेही की खाई। जब कोई फ़ैसला किसी निजी विक्रेता के मॉडल, किसी विभाग के डेटा और किसी अधिकारी की मुहर से जोड़ी गई व्यवस्था करती है, तो ग़लत होने पर ज़िम्मेदार कौन है? विक्रेता डेटा की ओर इशारा करता है; विभाग विक्रेता की ओर; अधिकारी स्क्रीन की ओर। नीदरलैंड के घोटाले ने दिखाया कि दोष का यह बिखराव कैसे नुक़सान को किसी के मालिक बनने से पहले सालों चलने देता है। ज़िम्मेदारी ठीक तब वाष्पित हो जाती है जब उसकी सबसे ज़्यादा ज़रूरत होती है।

भारतीय संदर्भ में इस सबका एक संवैधानिक पहलू है, और इसे उत्तर में ले जाना सही रहता है। संविधान का अनुच्छेद 14 (Article 14) क़ानून के समक्ष समानता और क़ानूनों के समान संरक्षण की गारंटी देता है, और सर्वोच्च न्यायालय ने इसमें मनमानेपन (arbitrariness) के ख़िलाफ़ एक गारंटी पढ़ी है — राज्य की कार्रवाई तर्कसंगत, ग़ैर-मनमानी और ग़ैर-भेदभावपूर्ण होनी चाहिए। एक अपारदर्शी एल्गोरिदम जो अनसमझाए, भेदभावपूर्ण नतीजे पैदा करता है, सीधे उसी सिद्धांत से टकराता है। एक निष्पक्ष सुनवाई और एक तर्कसंगत फ़ैसले का अधिकार, प्रशासनिक क़ानून की एक आधारशिला, तब निभाना कठिन होता है जब फ़ैसला करने वाला एक ऐसा मॉडल हो जिससे कोई पूछताछ न कर सके। इसलिए एल्गोरिदमिक पूर्वाग्रह सिर्फ़ नैतिकता की समस्या या तकनीक की समस्या नहीं है; सार्वजनिक क्षेत्र में यह क़ानून-के-राज की समस्या है, जो समानता, उचित-प्रक्रिया और एक जवाबदेह राज्य पर नागरिक के अधिकार को छूती है।

जवाब: पारदर्शिता, ऑडिटिंग और क़ानून का साथ पकड़ना

अच्छी ख़बर यह है कि दुनिया अब इसे विज्ञान-कथा की तरह नहीं ले रही, और एल्गोरिदमिक फ़ैसलों को क़ाबू में लाने का औज़ार-संग्रह साफ़ होता जा रहा है। पहला जवाब है एल्गोरिदमिक पारदर्शिता और ऑडिटिंग — बॉक्स खोलना। इसका मतलब है यह उजागर करना कि सार्वजनिक फ़ैसलों में स्वचालित व्यवस्थाएँ कहाँ इस्तेमाल होती हैं, स्वतंत्र विशेषज्ञों को उन्हें भेदभावपूर्ण नतीजों के लिए जाँचने देना, और लॉग रखना ताकि किसी फ़ैसले को बाद में खोजा जा सके। दूसरा है व्याख्या-योग्यता (explainability) और उससे क़रीब से जुड़ा “व्याख्या का अधिकार” (right to explanation) का विचार: यह सिद्धांत कि किसी स्वचालित फ़ैसले का शिकार व्यक्ति इस बात का हक़दार होना चाहिए कि उसे एक सार्थक हिसाब मिले कि वह फ़ैसला कैसे पहुँचा और मानवीय समीक्षा माँगने का एक रास्ता मिले। तीसरा है निष्पक्षता-जाँच (fairness testing) — किसी मॉडल को तैनात करने से पहले सांख्यिकीय निष्पक्षता मापदंडों से यह जाँचना कि क्या उसकी त्रुटि दरें समूहों में अलग-अलग हैं, वही जाँच जिसने COMPAS और Gender Shades को बाद में उजागर किया। और इन सबमें से गुज़रता है सबसे पुराना रक्षोपाय: एक इंसान को लूप में सार्थक ढंग से रखना, जिसके पास मशीन के आगे झुकने के बजाय उसे रद्द करने का अधिकार और कर्तव्य हो।

क़ानून अब इनमें से कुछ विचारों को पक्के तौर पर दर्ज कर रहा है। यूरोपीय संघ का AI Act, दुनिया का पहला व्यापक AI क़ानून, एक जोखिम-आधारित नज़रिया अपनाता है: यह मुट्ठीभर “अस्वीकार्य-जोखिम” इस्तेमालों पर सीधे रोक लगाता है — वे प्रतिबंध फ़रवरी 2025 में प्रभावी हुए — और “उच्च-जोखिम” व्यवस्थाओं पर सख़्त दायित्व डालता है, एक ऐसी श्रेणी जिसमें रोज़गार, क़र्ज़ और ज़रूरी सार्वजनिक सेवाओं, क़ानून-प्रवर्तन और न्याय-प्रशासन में इस्तेमाल होने वाला AI साफ़ तौर पर शामिल है। इन उच्च-जोखिम व्यवस्थाओं के लिए Act गुणवत्तापूर्ण डेटा, दस्तावेज़ीकरण, लॉगिंग, पारदर्शिता और सच्ची मानवीय निगरानी की माँग करता है, जिसके मूल दायित्व 2026 के दौरान चरणबद्ध रूप से लागू हो रहे हैं और उल्लंघन पर भारी जुर्माने हैं। नीदरलैंड की अदालतें पहले ही इसी दिशा में बढ़ चुकी थीं: फ़रवरी 2020 में, हेग ज़िला अदालत ने SyRI, यानी सरकार की कल्याण-धोखाधड़ी जोखिम-प्रोफ़ाइलिंग व्यवस्था, को रद्द कर दिया, यह फ़ैसला देते हुए कि उसने यूरोपीय मानवाधिकार संधि (European Convention on Human Rights) के तहत निजी जीवन के अधिकार का उल्लंघन किया क्योंकि वह पर्याप्त रूप से पारदर्शी और सत्यापन-योग्य नहीं थी और नागरिक अपने ही जोखिम स्कोर देख या चुनौती नहीं दे सकते थे। वह फ़ैसला एक मील का पत्थर है — एक अदालत किसी राज्य से कह रही है कि ग़रीबों पर लक्षित एक अपारदर्शी एल्गोरिदम सिर्फ़ इसलिए क़ानूनी नहीं है कि वह कुशल है।

भारत अपना ख़ुद का जवाब बना रहा है, और यह वह हिस्सा है जिसे अच्छी तरह जानना है। डिजिटल व्यक्तिगत डेटा संरक्षण अधिनियम, 2023 (Digital Personal Data Protection Act, 2023) — भारत का पहला व्यापक निजता क़ानून — वे सहमति और डेटा-संभाल नियम तय करता है जिनके भीतर किसी भी डेटा-भूखे एल्गोरिदम को चलना होता है, और उन्हें लागू करने के लिए एक डेटा संरक्षण बोर्ड (Data Protection Board) बनाता है; पूरी तस्वीर आप DPDP Act और भारत में निजता के लिए इसके मायने पर इस गाइड में पढ़ सकते हैं। इसके ऊपर, नवंबर 2025 में इलेक्ट्रॉनिक्स और सूचना प्रौद्योगिकी मंत्रालय (Ministry of Electronics and Information Technology) ने IndiaAI Mission के तहत India AI Governance Guidelines जारी कीं, एक सिद्धांत-आधारित ढाँचा जो पक्षपाती डेटा से भेदभाव, ब्लैक-बॉक्स पारदर्शिता-और-जवाबदेही की खाई और डिजिटल खाई को शासित किए जाने वाली मुख्य चुनौतियों में नाम देता है, और एक बहु-स्तरीय संरचना रखता है — नीति के लिए एक शीर्ष AI Governance Group, क्षेत्र-विशेष नियमों और शिकायतों के लिए RBI और SEBI जैसे क्षेत्रीय नियामक, NITI Aayog जैसे सलाहकार निकाय, और जोखिम-वर्गीकरण व प्रमाणन बनाने के लिए मानक निकाय। वित्तीय क्षेत्र पहले ही आगे बढ़ रहा है: RBI का 2025 का वित्त में ज़िम्मेदार AI का ढाँचा विनियमित ऋणदाताओं को बोर्ड-स्वीकृत AI नीतियों, क़र्ज़-स्कोरिंग मॉडलों के स्वतंत्र सत्यापन और उच्च-प्रभाव वाले फ़ैसलों की मानवीय समीक्षा की ओर धकेलता है। भारत ने EU के कड़े-नियम वाले मॉडल के बजाय जानबूझकर एक हल्का, नवाचार-अनुकूल, सिद्धांत-आधारित रास्ता चुना है — यह दाँव कि वह AI अपनाने को बढ़ावा दे सकता है और फिर भी उसे जवाबदेह रख सकता है, और एक चुनाव जो ख़ुद परीक्षा-योग्य है। व्यापक नियामक बहस के लिए, भारत में AI शासन पर यह व्याख्या देखें।

आपके Mains उत्तर के लिए

यह एक उच्च-मूल्य, कई विषयों को जोड़ने वाला टॉपिक है जो मुख्यतः GS Paper 2 में उतरता है — शासन, पारदर्शिता और जवाबदेही, प्रशासन में तकनीक की भूमिका, और संविधान द्वारा गारंटी किए गए अधिकारों, ख़ासकर अनुच्छेद 14, से जुड़े मुद्दे। यह GS Paper 4 (नैतिकता) को भी आहार देता है, निष्पक्षता, न्याय और जवाबदेही जैसे मूल्यों के तकनीक से टकराने के एक मामले के रूप में, और GS Paper 3 को जहाँ यह AI के विज्ञान-और-तकनीक तथा आंतरिक-सुरक्षा इस्तेमालों से जुड़ता है। परीक्षक जिस कौशल को अंक देते हैं वही है जो यह लेख दिखाता है: किसी तकनीकी विचार को सीधी शासन-भाषा में समझाना, उसे दो असली मामलों से लंगर देना, और उसे संवैधानिक सिद्धांत तथा भारतीय नीतिगत जवाब से जोड़ना।

उत्तर कैसे बनाएँ

एक साफ़ कड़ी में बढ़ें। एल्गोरिदमिक शासन को परिभाषित करें और राज्य इसे क्यों अपना रहा है (रफ़्तार, पैमाना, एकरूपता) → दो संरचनात्मक समस्याओं का नाम लें, ब्लैक बॉक्स और स्वचालन-पूर्वाग्रह → समझाएँ कि पूर्वाग्रह तीन दरवाज़ों से कहाँ से आता है: पक्षपाती डेटा, प्रॉक्सी चर, फ़ीडबैक लूप → एक या दो सटीक मामले दें (नीदरलैंड बाल-देखभाल घोटाला, COMPAS या Gender Shades) → नुक़सान गिनाएँ: बड़े पैमाने पर भेदभाव, बहिष्कार, अपारदर्शिता, जवाबदेही की खाई → इसे अनुच्छेद 14 और उचित-प्रक्रिया से बाँधें → जवाबों के साथ समापन करें: पारदर्शिता और ऑडिटिंग, व्याख्या-योग्यता और व्याख्या का अधिकार, मानवीय निगरानी, और क़ानून — विदेश में EU AI Act तथा घर में DPDP Act और 2025 की India AI Governance Guidelines। यह क्रम — अपनाएँ, नाकाम हों, निदान करें, सबूत दें, नुक़सान बताएँ, सिद्धांत जोड़ें, ठीक करें — विषय पर लगभग किसी भी सवाल में फ़िट होता है।

जिन ग़लतियों से बचें

पूर्वाग्रह को दुष्ट प्रोग्रामरों की समस्या के रूप में न रखें; अंक यह दिखाने में हैं कि यह पक्षपाती डेटा और एक पक्षपाती दुनिया है, जिसे ईमानदारी से सीखा और बड़े पैमाने पर लागू किया गया। एल्गोरिदमिक शासन (फ़ैसला करने का एक तरीका) को आम तौर पर AI से न मिलाएँ — ध्यान स्वचालित सार्वजनिक फ़ैसलों पर रखें। बिना किसी बिंदु के मामले न गिनाएँ; हर मामले को किसी ख़ास तंत्र को दर्शाना चाहिए (Amazon = पक्षपाती डेटा, नीदरलैंड घोटाला = प्रॉक्सी चर, भविष्यवाणी-आधारित पुलिसिंग = फ़ीडबैक लूप)। और भारतीय लंगर न भूलें — जो उत्तर अनुच्छेद 14, DPDP Act और 2025 की India AI Governance Guidelines का नाम लेता है वह विदेशी सुर्ख़ियों से उधार लिया हुआ नहीं, बल्कि मौजूदा और ज़मीन से जुड़ा पढ़ा जाता है।

एक संक्षिप्त उत्तर-रीढ़

एल्गोरिदमिक शासन = एल्गोरिदम जो सार्वजनिक फ़ैसले करते/मार्गदर्शित करते हैं → रफ़्तार, पैमाने, एकरूपता के लिए अपनाया गया → दो संरचनात्मक ख़ामियाँ: ब्लैक बॉक्स (कोई पढ़ने-लायक़ कारण नहीं) + स्वचालन-पूर्वाग्रह (इंसान नतीजे पर ज़रूरत से ज़्यादा भरोसा करते हैं) → पूर्वाग्रह घुसता है पक्षपाती प्रशिक्षण डेटा + प्रॉक्सी चर + फ़ीडबैक लूप से → मामले: नीदरलैंड बाल-देखभाल घोटाला (सरकार गिरी, 2021), COMPAS, Gender Shades (गहरी-त्वचा वाली महिलाओं के लिए 34.7% त्रुटि) → नुक़सान: बड़े पैमाने पर भेदभाव, बहिष्कार, अपारदर्शिता, जवाबदेही की खाई → संवैधानिक काँटा: अनुच्छेद 14, मनमानापन, उचित-प्रक्रिया → जवाब: पारदर्शिता/ऑडिटिंग, व्याख्या-योग्यता + व्याख्या का अधिकार, लूप-में-इंसान, निष्पक्षता-जाँच; EU AI Act (जोखिम-आधारित, उच्च-जोखिम नियम), SyRI 2020 में रद्द; भारत = DPDP Act 2023 + India AI Governance Guidelines (नवंबर 2025) + RBI के ज़िम्मेदार-AI नियम → फ़ैसला: कुशलता को जवाबदेही नहीं ख़रीदनी चाहिए।

चित्र या फ़्लोचार्ट का विचार

पूर्वाग्रह की पाइपलाइन को बाएँ-से-दाएँ प्रवाह के रूप में बनाएँ: पक्षपाती डेटा → मॉडल प्रशिक्षण → प्रॉक्सी चर → स्वचालित फ़ैसला → फ़ीडबैक लूप जो मुड़कर वापस डेटा तक जाए। उसके बगल में, चार रक्षोपायों का एक छोटा स्तंभ — पारदर्शिता/ऑडिट, व्याख्या-योग्यता, मानवीय निगरानी, शिकायत निवारण — जो ब्रेक की तरह पाइपलाइन की ओर इशारा करें। ऐसा साफ़ कारण-और-इलाज वाला चित्र परीक्षक को दिखा देता है कि आप बीमारी और इलाज दोनों समझते हैं।

एक संतुलित-निष्कर्ष पंक्ति

एक पंक्ति जो अंक दिलाती है: “कोई एल्गोरिदम राज्य को तेज़ बना सकता है, पर उसे राज्य को बेजवाबदेह नहीं बनाना चाहिए — अच्छे एल्गोरिदमिक शासन की परीक्षा यह नहीं है कि वह कितने फ़ैसले स्वचालित करता है, बल्कि यह है कि किसी एक से अन्याय पाया कोई नागरिक कितनी आसानी से कारण देख सके, उसे चुनौती दे सके, और एक ऐसा इंसान पा सके जो उसका जवाब दे।”

बिना रटे डेटा कैसे इस्तेमाल करें

आपको सिर्फ़ कुछ लंगर चाहिए, कोई डेटाबेस नहीं: बाल-देखभाल-लाभ घोटाले पर 2021 में नीदरलैंड सरकार का इस्तीफ़ा; Gender Shades का यह नतीजा कि हल्की-त्वचा वाले पुरुषों के एक प्रतिशत से कम के मुक़ाबले गहरी-त्वचा वाली महिलाओं के लिए 34.7 प्रतिशत तक त्रुटि; 2020 का SyRI फ़ैसला; और भारत के जवाब की तारीख़ें — 2023 का DPDP Act और नवंबर 2025 की India AI Governance Guidelines। इन्हें सही वाक्यों में रखिए, सीधे-सीधे श्रेय दीजिए, और उत्तर एक भी कोष्ठक के बिना आधिकारिक पढ़ा जाता है।

अभ्यास प्रश्न

Prelims MCQs

1. स्वचालित फ़ैसला-निर्माण में “एल्गोरिदमिक पूर्वाग्रह” के संदर्भ में, इसके प्राथमिक कारण का सबसे सही वर्णन निम्न में से कौन-सा है?
   (a) प्रोग्रामरों द्वारा भेदभावपूर्ण नियमों का जानबूझकर डाला जाना
   (b) किसी मॉडल का पक्षपाती ऐतिहासिक डेटा और प्रॉक्सी चरों से ईमानदारी से पैटर्न सीखना
   (c) सभी आवेदकों को बराबरी से संसाधित करने के लिए कंप्यूटिंग शक्ति की कमी
   (d) सॉफ़्टवेयर लिखने में किसी मानवीय भागीदारी का अभाव
   उत्तर: (b) पूर्वाग्रह आमतौर पर किसी दुर्भावनापूर्ण कोडिंग से नहीं, बल्कि मॉडलों के अपने प्रशिक्षण डेटा में भेदभावपूर्ण पैटर्न सीखने और प्रॉक्सी चरों से संरक्षित विशेषताओं को फिर से गढ़ने से पैदा होता है।
2. डिजिटल व्यक्तिगत डेटा संरक्षण अधिनियम, जो भारत में व्यक्तिगत डेटा के संसाधन के नियम तय करता है, किस वर्ष अधिनियमित हुआ?
   (a) 2019
   (b) 2021
   (c) 2023
   (d) 2025
   उत्तर: (c) DPDP Act 2023 में अधिनियमित हुआ और अपने प्रावधानों को लागू करने के लिए एक डेटा संरक्षण बोर्ड स्थापित करता है।
3. निम्न में से कौन “स्वचालन-पूर्वाग्रह” (automation bias) को सबसे अच्छी तरह बताता है?
   (a) किसी मॉडल की स्वचालित उद्योगों को तरजीह देने की प्रवृत्ति
   (b) किसी मशीन के नतीजे पर ज़रूरत से ज़्यादा भरोसा करने और कम सवाल उठाने की मानवीय प्रवृत्ति
   (c) किसी व्यवस्था के बिना डेटा के पूरी तरह स्वचालित होने पर आने वाला पूर्वाग्रह
   (d) एल्गोरिदम की तेज़ हार्डवेयर के प्रति पसंद
   उत्तर: (b) स्वचालन-पूर्वाग्रह किसी मशीन की सिफ़ारिश के आगे झुकने और उसकी स्वतंत्र जाँच बंद कर देने की दर्ज मानवीय प्रवृत्ति है, जो अपारदर्शी एल्गोरिदमिक फ़ैसलों को सुधारना कठिन बनाती है।
4. India AI Governance Guidelines, एक सिद्धांत-आधारित ढाँचा जो पूर्वाग्रह, पारदर्शिता और डिजिटल खाई को मुख्य चुनौतियों के रूप में नाम देता है, 2025 में किस निकाय ने जारी किया?
   (a) NITI Aayog
   (b) भारतीय रिज़र्व बैंक (RBI)
   (c) इलेक्ट्रॉनिक्स और सूचना प्रौद्योगिकी मंत्रालय
   (d) भारत का सर्वोच्च न्यायालय
   उत्तर: (c) MeitY ने नवंबर 2025 में IndiaAI Mission के तहत India AI Governance Guidelines जारी कीं, जिसमें संरचना के सलाहकार निकायों में NITI Aayog भी शामिल है।
5. भारत में जब कोई अपारदर्शी, भेदभावपूर्ण एल्गोरिदम किसी नागरिक के ख़िलाफ़ कोई प्रतिकूल फ़ैसला करता है, तो सबसे सीधे तौर पर लागू होने वाला संवैधानिक प्रावधान है:
   (a) अनुच्छेद 19, बोलने की स्वतंत्रता
   (b) अनुच्छेद 21, केवल जीवन और व्यक्तिगत स्वतंत्रता
   (c) अनुच्छेद 14, क़ानून के समक्ष समानता और मनमानी राज्य-कार्रवाई के ख़िलाफ़ संरक्षण
   (d) अनुच्छेद 32, संवैधानिक उपचारों का अधिकार
   उत्तर: (c) अनुच्छेद 14 समानता और, जैसा सर्वोच्च न्यायालय ने पढ़ा है, मनमानेपन के ख़िलाफ़ संरक्षण की गारंटी देता है — जो अनसमझाए, भेदभावपूर्ण स्वचालित फ़ैसलों से सीधे जुड़ता है।

Mains अभ्यास प्रश्न

1. “एल्गोरिदमिक शासन कुशलता का वादा करता है पर जवाबदेही को जोखिम में डालता है।” जाँचिए कि राज्य द्वारा स्वचालित फ़ैसला-निर्माण भारत में समानता के अधिकार और उचित-प्रक्रिया से कैसे टकरा सकता है। (15 अंक, 250 शब्द)
2. असली दुनिया के उदाहरणों का इस्तेमाल करते हुए, स्वचालित सार्वजनिक फ़ैसलों में एल्गोरिदमिक पूर्वाग्रह के मुख्य स्रोत समझाइए। ऐसे पूर्वाग्रह को कम करने के लिए सरकारें कौन-से रक्षोपाय अपना सकती हैं? (15 अंक, 250 शब्द)
3. एल्गोरिदमिक फ़ैसला-निर्माण में “ब्लैक बॉक्स” समस्या और “स्वचालन-पूर्वाग्रह” की चर्चा कीजिए। ये प्राकृतिक न्याय और एक तर्कसंगत फ़ैसले के सिद्धांतों के लिए ख़ास चुनौती क्यों पेश करते हैं? (10 अंक, 150 शब्द)
4. AI को विनियमित करने के यूरोपीय संघ के जोखिम-आधारित, कड़े-क़ानून वाले नज़रिए की भारत के India AI Governance Guidelines और DPDP Act के तहत सिद्धांत-आधारित नज़रिए से तुलना कीजिए। भारत जैसे देश के लिए कौन-सा मॉडल बेहतर उपयुक्त है, और क्यों? (15 अंक, 250 शब्द)
5. “किसी एल्गोरिदम को राज्य को तेज़ बनाना चाहिए, कम जवाबदेह नहीं।” इस कथन के आलोक में, भारत में कल्याण-वितरण और क़ानून-प्रवर्तन में स्वचालित फ़ैसला-निर्माण के ज़िम्मेदार इस्तेमाल के लिए एक ढाँचा सुझाइए। (15 अंक, 250 शब्द)

सामान्य प्रश्न

PDF