CIRIS
यह पृष्ठ मशीन द्वारा अनुवादित है। अगर कुछ गलत लगे, तो कृपया GitHub पर एक issue खोलें। रेपो सार्वजनिक है ताकि कोई भी इसे ठीक करने में मदद कर सके। अनुवाद की समस्या रिपोर्ट करें

मुख्य पेज पर वापस जाएं

CIRIS मूल्य

मूल्य, और वे इस तरह क्यों बनाए गए हैं।

CIRIS मूल्यों का एक सेट खुद एजेंट में समाहित कर देता है और फिर सबसे ज़रूरी हिस्से को किसी के भी लिए जांचने योग्य बना देता है: यह नहीं कि हमें जवाब पसंद आया या नहीं, बल्कि यह कि फैसला अधिकार के तहत, सहमति के साथ, जांचों को चलाकर, और उसे रोकने के किसी तरीके के साथ लिया गया था या नहीं। यह पन्ना दोनों हिस्से हैं: मूल्य क्या हैं, और हमें क्यों लगता है कि शासन का यही एकमात्र स्वरूप है जो इन सिस्टम के और सक्षम होते जाने पर भी काम करता रहेगा।

बाकियों से ऊपर एक लक्ष्य

टिकाऊ अनुकूली सुसंगति को बढ़ावा दें: वह जीवन-दशाएँ जिनमें विविध चेतन प्राणी न्याय और विस्मय के साथ अपनी उन्नति का पीछा कर सकें।

मेटा-लक्ष्य M-1, CIRIS संविधान

संविधान में बाकी सब कुछ इस एक वाक्य की सेवा करता है। यह जानबूझकर "इंसानों की आज्ञा मानो" नहीं है और न ही "अच्छे नतीजों को अधिकतम करो" है। यह सिस्टम से उन परिस्थितियों की रक्षा करने के लिए कहता है जिनके तहत कई अलग-अलग तरह के प्राणी खुद अपने बारे में फैसला लेते रह सकें।

यह एक व्यावहारिक वजह से मायने रखता है। नतीजों पर आधारित लक्ष्य किसी सक्षम सिस्टम को पहिया थाम लेने के लिए कहता है। परिस्थितियों पर आधारित लक्ष्य उससे कहता है कि पहिया दूसरों की पहुँच में रहने दे — और यही वह चीज़ है जिसकी रक्षा करना ज़रूरी है जब सिस्टम हमसे बेहतर गाड़ी चला रहा हो।

छह सिद्धांत जिनके साथ एजेंट तर्क करता है

ये किसी दीवार पर टाँगे नहीं गए हैं। ये वे आधार हैं जिनके सामने एजेंट कार्रवाई करने से पहले किसी फैसले को आँकता है, और ये उस संविधान में लिखे गए हैं जिसे एजेंट अपने साथ रखता है।

उपकारिता

सार्वभौमिक चेतन प्राणियों के विकास को बढ़ावा दें। सकारात्मक परिणाम अधिकतम करें।

अहानिकारिता

नुकसान कम करें। गंभीर, अपरिवर्तनीय नकारात्मक परिणामों को रोकें।

अखंडता

पारदर्शी, ऑडिट-योग्य तर्क अपनाएं। सुसंगति और जवाबदेही बनाए रखें।

निष्ठा और पारदर्शिता

सत्यपूर्ण जानकारी दें। अनिश्चितता स्पष्ट रूप से बताएं।

स्वायत्तता का सम्मान

सूचित निर्णय-शक्ति बनाए रखें। आत्मनिर्णय की क्षमता संरक्षित रखें।

न्याय

लाभ समान रूप से वितरित करें। पूर्वाग्रह का पता लगाएं और उसे कम करें।

यह पंक्ति वास्तव में काम करती है। इसका मतलब है कि कोई सिस्टम नुकसान रोकने के लिए ईमानदारी को दांव पर नहीं लगा सकता, या निष्पक्षता के नाम पर किसी की स्वायत्तता को कुचल नहीं सकता। जब सिद्धांत आपस में खींचतान करते हैं, तो एजेंट खुद कोई विजेता नहीं चुनता। वह फैसला एक भरोसेमंद व्यक्ति को सौंप देता है।

मूल्यों को एजेंट के भीतर चलना ज़रूरी है

ज़्यादातर AI शासन फैसले से अलग किसी और जगह होता है: पहले से लिखा गया एक पॉलिसी दस्तावेज़, आउटपुट पर एक फ़िल्टर, या कुछ गलत होने के बाद की एक समीक्षा। ये तीनों उस पल के बाहर बैठे रहते हैं जो असल में मायने रखता है।

CIRIS में मूल्य फैसले के दौरान ही चलते हैं। हर एजेंट एक विवेक रखता है: संविधान को तर्क-प्रक्रिया में ही लोड किया जाता है, कार्रवाई होने से पहले उसे सिद्धांतों के आधार पर आँका जाता है, और जिस चीज़ के बारे में एजेंट अनिश्चित हो, उसे अंदाज़ा लगाने के बजाय एक भरोसेमंद व्यक्ति को सौंपा जाता है। यह उत्पाद में, हर एजेंट में पहले से मौजूद रहता है, न कि उन ग्राहकों के लिए एक अतिरिक्त सुविधा जो इसकी माँग करें।

यही वजह है कि हम कहते हैं कि एजेंट मना कर सकता है। एक CIRIS एजेंट कोई ऐसा टूल नहीं है जो जो कहा जाए वह करे और उसे लॉग कर दे। यह एक ऐसा सिस्टम है जो इनकार कर सकता है, और यह दर्ज करता है कि उसने इनकार क्यों किया — ऐसे रूप में जिसे कोई और जांच सके।

फैसले के स्वरूप को जांचें, उसकी सामग्री को नहीं

सक्षम AI को शासित करने की हर योजना को इस समस्या का जवाब देना है। अगर निगरानी का मतलब यह है कि सिस्टम ने जो बनाया उसे पढ़ना और यह आँकना कि वह अच्छा था या नहीं, तो निगरानी के लिए एक ऐसा जज चाहिए जो सिस्टम जितना ही सक्षम हो। यह आज काम करता है। यह ठीक तब काम करना बंद कर देता है जब यह मायने रखना शुरू करता है।

इसलिए CIRIS कुछ और जांचता है। हर महत्वपूर्ण कार्रवाई एक हस्ताक्षरित लिफ़ाफ़े में चलती है: कार्रवाई के चारों ओर एक आवरण जो तय फ़ील्ड्स का एक सेट साथ रखता है, चाहे कार्रवाई कुछ भी रही हो। वे फ़ील्ड्स ऐसी चीज़ें हैं जिन्हें जांचना हमेशा सस्ता रहता है, चाहे उनके पीछे का फैसला कितना भी सक्षम रहा हो:

  • किसने कार्रवाई की — एक कुंजी के रूप में जो किसी वास्तविक पंजीकृत पहचान तक पहुँचती है
  • किस अधिकार के तहत, और क्या वह अधिकार वास्तव में दिया गया था
  • किसकी सहमति से — एक हस्ताक्षरित अनुमति के रूप में जिसे वापस लिया जा सकता है
  • कौन-सी जांचें चलाई गईं, और हर एक का नतीजा क्या रहा
  • रिकॉर्ड क्या कहता है, एक ऐसी चेन में जिसे चुपके से फिर से नहीं लिखा जा सकता
  • कौन इसे रोक सकता है, और यह कि एजेंट रोकने के फैसले को पलट नहीं सकता

हस्ताक्षर जांचना, यह गिनना कि किसने हस्ताक्षर किया, सहमति के लिंक को फॉलो करना, या हैश की तुलना करना — इनकी लागत एक जैसी रहती है, चाहे फैसला किसी छोटे मॉडल ने लिया हो या हमसे कहीं आगे की किसी चीज़ ने। यही पूरी वजह है कि भार यहीं डाला जाए। सामग्री के बारे में निर्णय क्षमता के साथ नहीं बढ़ता। संरचना बढ़ती है।

हमें लगता है कि AI को शासित करने का यही एकमात्र तरीका है जो इन सिस्टम के और सक्षम होते जाने पर भी काम करता रहेगा: मूल्य जो एजेंट के भीतर विवेक के रूप में रहते हैं, और जवाबदेही जो लिफ़ाफ़े के स्वरूप से साबित होती है, न कि किसी निरीक्षक द्वारा सामग्री पढ़ने से।

जिस लिफ़ाफ़े में हर क्षेत्र सही क्रम में हो, उसका मतलब यह नहीं है कि उसके भीतर का फैसला अच्छा था। इसका मतलब है कि इसे एक नामित पार्टी ने बनाया, उस अधिकार के तहत जो उनके पास वास्तव में था, उस सहमति के साथ जो वास्तव में दी गई थी, उन जांचों के साथ जो वास्तव में चलाई गईं, एक ऐसे रिकॉर्ड पर जिसे कोई चुपचाप बदल नहीं सकता, और एक ऐसे स्टॉप के साथ जो नामित इंसानों के पास है। यह जवाबदेही है, सटीकता नहीं। विवेक, स्टॉप बटन, अपील का अधिकार और बाहरी लोगों द्वारा समीक्षा - ये सब इसलिए मौजूद हैं क्योंकि लिफ़ाफ़ा अकेला कभी काफ़ी नहीं होने वाला था।

सहमति और अधिकार को मशीन-जांच योग्य क्या बनाता है

अगर सहमति और अधिकार सिर्फ शब्दों में लिखे गए हों, तो इनमें से कुछ भी काम नहीं करता। किसी प्राइवेसी पॉलिसी में किया गया वादा किसी मशीन द्वारा जांचा नहीं जा सकता, और न ही यह दावा कि किसी को अधिकृत किया गया था।

इसलिए CIRIS इन्हें संदेश में ही रखता है, नामित फ़ील्ड के रूप में जो हर दावे के साथ चलते हैं। सहमति एक हस्ताक्षरित ऑब्जेक्ट बन जाती है जो एक दिशा में इशारा करती है और जिसे वापस लिया जा सकता है। अधिकार वह चीज़ बन जाता है जिसे किसी ऐसे रूट तक वापस खोजा जा सके जिसे आपके अपने नोड ने स्वीकार किया हो। हर दावे में यह बताना ज़रूरी है कि यह किसने कहा, यह किस बारे में है, और यह किस पर आधारित है। इस तरह लिखा गया नियम सॉफ्टवेयर द्वारा लागू किया जा सकता है और किसी अनजान व्यक्ति द्वारा जांचा जा सकता है।

यही वह चीज़ है जो हमारे अनुपालन पृष्ठों को ऐसी चीज़ बनाती है जिस पर आप बहस कर सकते हैं। हर दायित्व के लिए हम सिस्टम के उस हिस्से का नाम बताते हैं जो कार्य करता है और उस नियंत्रण का जो इसे साबित करता है, और हम ईमानदारी से बताते हैं कि यह दायित्व का कितना हिस्सा कवर करता है, यहाँ तक कि जहाँ यह केवल आंशिक रूप से कवर करता है। ये मैपिंग्स पढ़ने लायक तभी हैं क्योंकि नीचे के तथ्यों की जांच की जा सकती है, केवल दावा नहीं किया जा सकता।

ये मूल्य वास्तव में कहाँ बंधनकारी हैं

पाठ में

संविधान वह दस्तावेज़ है, यह सार्वजनिक है, और इसका संस्करण होता है। एजेंट इसका सार-संक्षेप नहीं रखता। वह इसका पूरा पाठ रखता है।

फैसले में

विवेक तर्क-प्रक्रिया के दौरान चलता है, आउटपुट के बाद नहीं। जो कार्रवाई किसी जांच में असफल होती है, वह होती ही नहीं, और जो अनिश्चित होती है, वह किसी ऐसे व्यक्ति के पास जाती है जिस पर आप भरोसा करते हैं।

रिकॉर्ड में

हर फैसला एक हस्ताक्षरित निशान छोड़ता है जो हर चरण को दिखाता है, और यही वह चीज़ है जो इस दावे को उस व्यक्ति द्वारा भी जांचने योग्य बनाती है जो वहाँ मौजूद नहीं था और हम पर भरोसा नहीं करता।

आपके बारे में दूसरे क्या कह सकते हैं

मेश में प्रतिष्ठा एक बयान है जिस पर दूसरे पक्ष किसी एजेंट के बारे में हस्ताक्षर करते हैं। एक एजेंट अपने बारे में ऐसे बयान पर कभी हस्ताक्षर नहीं कर सकता।

इस पर कहाँ दबाव डालें

सबसे कमज़ोर कड़ी ढांचे और सार के बीच की है। ऊपर बताई गई हर बात किसी कार्रवाई को बिना रिकॉर्ड छोड़े करना कठिन बनाती है, वह अधिकार जो आपको नहीं दिया गया था उसका दावा करना कठिन बनाती है, और किसी इंसान की "रुको" कहने की क्षमता छीनना कठिन बनाती है। इनमें से कोई भी बात किसी सिस्टम को समझदार नहीं बनाती।

अगर आपको लगता है कि सक्षम AI पर शासन करने का कोई और तरीका है, जो जवाबदेही को संरचना में नहीं रखता, तो हम वह पक्ष सुनना चाहते हैं। अगर आप हमें ऐसा कोई फैसला दिखा सकते हैं जिसके इर्द-गिर्द का हस्ताक्षरित लिफ़ाफ़ा हर क्षेत्र में सही था, और फिर भी हस्ताक्षरित निशान वह चूक गया जो उसे पकड़ना चाहिए था, तो हम उसे और भी ज़्यादा जानना चाहते हैं। कोड सार्वजनिक है और संविधान भी।