जीपीटी-3

From Vigyanwiki

जनरेटिव प्री-ट्रेन्ड ट्रांसफॉर्मर 3(GPT-3)
Original author(s)OpenAI[1]
Initial releaseJune 11, 2020 (beta)
PredecessorGPT-2
SuccessorGPT-3.5
Type
Websiteopenai.com/blog/openai-api

जनरेटिव पूर्व-प्रशिक्षित ट्रांसफॉर्मर 3 (जीपीटी-3) 2020 में विवृत एआई द्वारा जारी एक स्वप्रतिगामी भाषा मॉडल है जो मानव-समान मूलपाठ बनाने के लिए डीप लर्निंग का उपयोग करता है। जब एक संकेत दिया जाता है, तो यह पाठ उत्पन्न करेगा जो संकेत को जारी रखता है।

वस्तुकला एक डिकोडर-ओनली ट्रांसफॉर्मर (मशीन लर्निंग मॉडल) है जिसमें 2048-लेक्सिकल विश्लेषण-लंबा संदर्भ और 175 बिलियन पैरामीटर (मशीन लर्निंग) का अभूतपूर्व आकार है, जिसे इकट्ठा करने के लिए 800GB की आवश्यकता होती है। मॉडल को जनरेटिव प्री-ट्रेनिंग का उपयोग करके प्रशिक्षित किया गया था, यह भविष्यवाणी करने के लिए प्रशिक्षित किया जाता है कि अगला संकेत पिछले संकेत के आधार पर क्या है। मॉडल ने कई कार्यों पर मजबूत जीरो-शॉट लर्निंग और सम-शॉट लर्निंग (प्राकृतिक भाषा प्रसंस्करण) का प्रदर्शन किया।[2]

जीपीटी-2, जीपीटी-3 का उत्तराधिकारी विवृत एआई एक सैन फ्रांसिस्को स्थित कृत्रिम बुद्धिमत्ता अनुसंधान प्रयोगशाला द्वारा निर्मित नींव मॉडल की एक जीपीटी श्रृंखला में तीसरी पीढ़ी का भाषा पूर्वानुमान मॉडल है।[3]जीपीटी-3 जिसे मई 2020 में प्रस्तुत किया गया था और जुलाई 2020 तक बीटा परीक्षण में था,[4] पूर्व-प्रशिक्षित भाषा अभ्यावेदन की प्राकृतिक भाषा प्रसंस्करण (NLP) प्रणालियों में एक प्रवृत्ति का हिस्सा है।[1]

जीपीटी-3 द्वारा उत्पन्न पाठ की गुणवत्ता इतनी अधिक है कि यह निर्धारित करना मुश्किल हो सकता है कि यह किसी मानव द्वारा लिखा गया था या नहीं, जिसके लाभ और नुकसान दोनों हैं।[5]इकतीस विवृत एआई शोधकर्ताओं और इंजीनियरों ने जीपीटी-3 को प्रस्तुत करते हुए 28 मई 2020 को मूल लेख्य प्रस्तुत किया। अपने लेख्य में उन्होंने जीपीटी-3 के संभावित खतरों के बारे में आगाह किया और जोखिम को कम करने के लिए अनुसंधान का आह्वान किया।[1]: 34  डेविड चाल्मर्स एक ऑस्ट्रेलियाई दार्शनिक ने जीपीटी-3 को अब तक निर्मित सबसे दिलचस्प और महत्वपूर्ण एआई प्रणालियों में से एक के रूप में वर्णित किया।[6]द न्यू यॉर्क टाइम्स में अप्रैल 2022 की समीक्षा में जीपीटी-3 की क्षमताओं का वर्णन किया गया है, जो मानव के समतुल्य प्रवाह के साथ मूल गद्य लिखने में सक्षम हैं।[7]

माइक्रोसॉफ्ट ने 22 सितंबर 2020 को घोषणा की कि उसने जीपीटी-3 के "अनन्य" उपयोग का लाइसेंस प्राप्त कर लिया है, अन्य अभी भी आउटपुट प्राप्त करने के लिए सार्वजनिक एपीआई का उपयोग कर सकते हैं, लेकिन केवल माइक्रोसॉफ्ट के पास जीपीटी-3 के अंतर्निहित मॉडल तक पहुंच है।[8]


पृष्ठभूमि

अर्थशास्त्री के अनुसार बेहतर एल्गोरिदम, शक्तिशाली कंप्यूटर और डिजीटल डेटा में वृद्धि ने 2010 में नई तकनीकों के साथ यंत्र अधिगम में क्रांति को बढ़ावा दिया है, जिसके परिणामस्वरूप भाषा में हेरफेर सहित "कार्यों में तेजी से सुधार" हुआ है।[9] सॉफ़्टवेयर मॉडल को हज़ारों या लाखों उदाहरणों का उपयोग करके सीखने के लिए प्रशिक्षित किया जाता है ... "संरचना ... मस्तिष्क के तंत्रिका वास्तुकला पर आधारित" है।[9]प्राकृतिक भाषा प्रसंस्करण (एनएलपी) में उपयोग कि जाने वाली एक वास्तुकला एक तंत्रिका नेटवर्क है जो एक गहन शिक्षण मॉडल पर आधारित है जिसे पहली बार 2017 में प्रस्तुत किया गया था- ट्रांसफॉर्मर (मशीन लर्निंग मॉडल) वास्तुकला।[10] कई एनएलपी प्रणालियां प्रसंस्करण, खनन, आयोजन, जोड़ने और शाब्दिक निवेश के विपरीत होने के साथ-साथ प्रश्नों के सही उत्तर देने में सक्षम हैं।[11]

11 जून 2018, को विवृत एआई के शोधकर्ताओं और इंजीनियरों ने पहला जनरेटिव पूर्व-प्रशिक्षित ट्रांसफॉर्मर (जीपीटी) का परिचय दिया गया था—एक प्रकार का जनरेटिव लार्ज लैंग्वेज माडल जो डेटासेट (मशीन लर्निंग) के माध्यम से एक विशाल और विविध मूलपाठ कॉर्पस के साथ पूर्व-प्रशिक्षित होता है, जिसके बाद भेदभावपूर्ण फाइन-ट्यूनिंग (मशीन लर्निंग) होता है। किसी विशिष्ट कार्य पर ध्यान केंद्रित करने के लिए विवेकपूर्ण फाइन-ट्यूनिंग द्वारा जीपीटी मॉडल ट्रांसफ़ॉर्मर-आधारित डीप लर्निंग न्यूरल नेटवर्क वास्तुकला हैं। उस बिंदु तक सबसे अच्छा प्रदर्शन करने वाले तंत्रिका एनएलपी मॉडल ने सामान्यतौर पर बड़ी मात्रा में मैनुअल रूप से नामपत्र किए गए डेटा से सीखने की निगरानी की जिसने इसे बहुत बड़े भाषा मॉडल को प्रशिक्षित करने के लिए निषेधात्मक रूप से महंगा और समय लेने वाला बना दिया।[2]

उस पहले जीपीटी मॉडल को "जीपीटी-1" के रूप में जाना जाता है और उसके बाद फरवरी 2019 में "जीपीटी-2" का अनुसरण किया गया। जीपीटी-2 को जीपीटी-1 के प्रत्यक्ष स्केल-अप के रूप में बनाया गया था जिसमें इसके पैरामीटर गणना और डेटासेट आकार दोनों में 10 गुना वृद्धि हुई थी। इसमें 1.5 बिलियन पैरामीटर थे और इसे 8 मिलियन वेब पेजों के डेटासेट पर प्रशिक्षित किया गया था।[12] फरवरी 2020 में, माइक्रोसॉफ्ट ने अपना ट्यूरिंग नेचुरल लैंग्वेज जनरेशन (T-NLG) प्रस्तुत किया जिसके बारे में दावा किया गया था कि यह 17 बिलियन मापदंडों पर प्रकाशित अब तक का सबसे बड़ा भाषा मॉडल है।[13] इसने विभिन्न प्रकार के कार्यों में किसी भी अन्य भाषा मॉडल से बेहतर प्रदर्शन किया जिसमें पाठों का सारांश और प्रश्नों के उत्तर सम्मिलित था।

प्रशिक्षण और क्षमताएं

A sample student essay about pedagogy written by GPT-3

The construct of “learning styles” is problematic because it fails to account for the processes through which learning styles are shaped. Some students might develop a particular learning style because they have had particular experiences. Others might develop a particular learning style by trying to accommodate to a learning environment that was not well suited to their learning needs. Ultimately, we need to understand the interactions among learning styles and environmental and personal factors, and how these shape how we learn and the kinds of learning we experience.

– Text generated by Mike Sharples[14]

28 मई 2020 को विवृत एआई में 31 इंजीनियरों और शोधकर्ताओं के एक समूह द्वारा एक arXiv प्रीप्रिंट ने जीपीटी-3 के विकास का वर्णन किया जो तीसरी पीढ़ी का "अत्याधुनिक भाषा मॉडल" है।[1][5] जिससे जीपीटी-3 को अब तक का सबसे बड़ा गैर-विरल भाषा मॉडल बन गया[1]: 14[3] क्योंकि जीपीटी-3 संरचनात्मक रूप से अपने पूर्ववर्तियों के समान है,[1]इसकी अधिक सटीकता को इसकी बढ़ी हुई क्षमता और अधिक संख्या में मापदंडों के लिए जिम्मेदार ठहराया जाता है।[15] जीपीटी-3 की क्षमता माइक्रोसॉफ्ट के ट्यूरिंग एनएलजी की तुलना में दस गुना अधिक है जो उस समय ज्ञात अगला सबसे बड़ा एनएलपी मॉडल था।[5]

लैम्बडालैब्स ने 2020 में एक जीपीयू पर जीपीटी-3 को प्रशिक्षित करने के लिए लगभग $4.6 मिलियन अमेरिकी डॉलर और 355 वर्षों की अनुमानित लागत का अनुमान लगाया,[16] समानांतर में अधिक जीपीयू का उपयोग करके समय के साथ कम वास्तविक प्रशिक्षण।

जीपीटी-3 के लिए भारित पूर्व-प्रशिक्षण डेटासेट का साठ प्रतिशत सामान्य क्रॉल के निस्पंदन किए गए संस्करण से आता है जिसमें 410 बिलियन बाइट जोड़ी-एन्कोडेड संकेत सम्मिलित हैं।[1]: 9  अन्य स्रोत वेब पाठ 2 से 19 बिलियन संकेत है जो 22% का प्रतिनिधित्व करते हैं, Books1 से 12 बिलियन संकेत 8% का प्रतिनिधित्व करते हैं, 55 बिलियन संकेत Books2 से 8% का प्रतिनिधित्व करते हैं, और 3 बिलियन संकेत विकिपीडिया से 3% का प्रतिनिधित्व करते हैं।[1]: 9  जीपीटी-3 को सैकड़ों अरबों शब्दों पर प्रशिक्षित किया गया था और यह सीएसएस, जेएसएक्स और पायथन अन्य में कोडिंग करने में भी सक्षम है।[4]

जीपीटी-3 प्रशिक्षण डेटा[1]: 9 
Dataset # tokens Proportion
within trएआईning
Common Crawl 410 billion 60%
WebText2 19 billion 22%
Books1 12 billion 8%
Books2 55 billion 8%
Wikipedia 3 billion 3%

चूँकि जीपीटी-3 का प्रशिक्षण डेटा सर्वव्यापी था इसलिए इसे विशिष्ट भाषा कार्यों के लिए और प्रशिक्षण की आवश्यकता नहीं है।[4]प्रशिक्षण डेटा में कभी-कभार जहरीली भाषा होती है और जीपीटी-3 कभी-कभी अपने प्रशिक्षण डेटा की नकल करने के परिणामस्वरूप जहरीली भाषा उत्पन्न करता है। वाशिंगटन विश्वविद्यालय के एक अध्ययन में पाया गया कि जीपीटी-3 ने जीपीटी-2 और सीटीआरएल के समान प्राकृतिक भाषा प्रसंस्करण मॉडल की तुलना में विषाक्तता स्तर पर जहरीली भाषा का उत्पादन किया। विवृत एआई ने जीपीटी-3 द्वारा उत्पन्न विषाक्त भाषा की मात्रा को सीमित करने के लिए कई रणनीतियाँ लागू की हैं, परिणामस्वरूप जीपीटी-3 ने अपने पूर्ववर्ती मॉडल जीपीटी-1 की तुलना में कम जहरीली भाषा का उत्पादन किया, हालांकि इसने सीटीआरएल(CTRL) विकी की तुलना में जहरीली भाषा की अधिक पीढ़ियों और उच्च विषाक्तता दोनों का उत्पादन किया, जो पूरी तरह से विकिपीडिया डेटा पर प्रशिक्षित भाषा मॉडल है।[17]

11 जून 2020 को विवृत एआई ने घोषणा की कि उपयोगकर्ता इसके उपयोगकर्ता के अनुकूल जीपीटी-3 एपीआई - एक मशीन लर्निंग टूलसेट तक पहुँच का अनुरोध कर सकते हैं - विवृत एआई को इस नई तकनीक की ताकत और सीमाओं का पता लगाने में मदद करने के लिए।[18][19] आमंत्रण में बताया गया है कि कैसे इस एपीआई में एक सामान्य-उद्देश्य वाला मूलपाठ इन, मूलपाठ आउट अंतराफलक है जो सामान्य एकल उपयोग-स्थिति के बजाय लगभग किसी भी अंग्रेजी भाषा के कार्य को पूरा कर सकता है।[18]एक उपयोगकर्ता के अनुसार जिसकी विवृत एआई जीपीटी-3 एपीआई की एक निजी प्रारंभिक प्रकाशन तक पहुंच थी, जीपीटी-3 केवल कुछ सरल संकेतों के साथ आश्चर्यजनक रूप से सुसंगत पाठ लिखने में अच्छा था।[20] एक प्रारंभिक प्रयोग में 80 अमेरिकी विषयों को न्याय करने के लिए कहा गया था कि क्या लघु ~200 शब्दों के लेख मनुष्यों या जीपीटी-3 द्वारा लिखे गए थे। प्रतिभागियों ने 52% समय सही ढंग से निर्णय लिया यादृच्छिक अनुमान लगाने से केवल थोड़ा बेहतर किया।[1]

18 नवंबर 2021 को विवृत एआई ने घोषणा की कि पर्याप्त सुरक्षा उपायों को लागू किया गया है कि इसके एपीआई तक पहुंच अप्रतिबंधित होगी।[21] विवृत एआई ने विकासक को एक कंटेंट मॉडरेशन उपकरण प्रदान किया है जो उन्हें विवृत एआई की सामग्री नीति का पालन करने में मदद करता है।[22] 27 जनवरी 2022 को विवृत एआई ने घोषणा की कि इसके नवीनतम जीपीटी-3 भाषा मॉडल, जिन्हें सामूहिक रूप से अनुदेशित जीपीटी के रूप में जाना जाता है, अब उनके एपीआई पर उपयोग की जाने वाली डिफ़ॉल्ट भाषा मॉडल थी। विवृत एआई के अनुसार अनुदेशित जीपीटी ने ऐसी सामग्री का उत्पादन किया जो निर्देशों का बेहतर ढंग से पालन करके कम गढ़े हुए तथ्यों को उत्पन्न करके और कुछ हद तक कम विषाक्त सामग्री का उत्पादन करके उपयोगकर्ता के इरादों से बेहतर ढंग से जुड़ा हुआ था।[23]

क्योंकि जीपीटी-3 ऐसे समाचार लेख उत्पन्न कर सकता है जिन्हें मानव मूल्यांकनकर्ताओं को मनुष्यों द्वारा लिखे गए लेखों से अलग करने में कठिनाई होती है,[5]जीपीटी-3 में भाषा मॉडलों के लाभकारी और हानिकारक दोनों अनुप्रयोगों को आगे बढ़ाने की क्षमता है।[1]: 34  अपने 28 मई, 2020 के लेख्य में शोधकर्ताओं ने "जीपीटी-3 के हानिकारक प्रभावों" का विस्तार से वर्णन किया[5]जिसमें गलत सूचना, स्पैमिंग, मछली पकड़ना, कानूनी और सरकारी प्रक्रियाओं का दुरुपयोग, कपटपूर्ण शैक्षणिक निबंध लेखन और सामाजिक इंजीनियरिंग का बहाना बनाना सम्मिलित हैं।[1]लेखक जोखिम प्रबंधन पर शोध करने के लिए इन खतरों की ओर ध्यान आकर्षित करते हैं।[1]: 34 

जीपीटी-3 जीरो-शॉट और सम-शॉट लर्निंग (एक-शॉट सहित) करने में सक्षम है।[1]

जून 2022 में, अलमीरा उस्मानोविक थुनस्ट्रॉम ने लिखा कि जीपीटी-3 स्वयं पर एक लेख का प्राथमिक लेखक था, जिसे उन्होंने प्रकाशन के लिए प्रस्तुत किया था[24] और इसकी समीक्षा पूरी होने की प्रतीक्षा करते हुए इसे पूर्व-प्रकाशित किया गया था।[25]

मॉडल

इसके सात मॉडल हैं।[26] इनमें जीपीटी-3.5 और कोडेक्स सम्मिलित नहीं हैं।

  • मूलपाठ-क्यूरी-001
  • मूलपाठ-बबेज-001
  • मूलपाठ-एडा-001
  • दा विंसी
  • क्यूरी
  • बैबेज
  • एडीए

रिसेप्शन

अनुप्रयोग

  • जीपीटी-3 विशेष रूप से कोडेक्स मॉडल गिटहब कोपिलॉट का आधार है, जो एक कोड पूर्णता और संतति सॉफ़्टवेयर है जिसका उपयोग विभिन्न कोड संपादकों और आईडीई में किया जा सकता है।[27][28]
  • जीपीटी-3 का उपयोग कुछ माइक्रोसॉफ्ट उत्पादों में पारंपरिक भाषा को औपचारिक कंप्यूटर कोड में अनुवाद करने के लिए किया जाता है।[29][30]
  • [31] स्ट्रक्चर्ड क्वैरी लैग्विज (SQL) प्रसंस्करण के लिए क्वेरी-विशिष्ट कोड उत्पन्न करने के लिए कोडेक्सडीबी में जीपीटी-3 का उपयोग किया गया है।
  • जीपीटी-3 का उपयोग जेसन रोहरर द्वारा "प्रोजेक्ट दिसंबर" नामक एक रेट्रो-थीम वाले चैटबॉट परियोजना में किया गया है, जो ऑनलाइन उपलब्ध है और उपयोगकर्ताओं को जीपीटी-3 तकनीक का उपयोग करके कई एआई के साथ संपर्क करने की अनुमति देता है।[32]
  • जीपीटी-3 का उपयोग अभिभावक द्वारा एआई के मानव के लिए हानिकारक होने के बारे में एक लेख लिखने के लिए किया गया था। इसमें कुछ विचार दिए गए और आठ अलग-अलग निबंध तैयार किए गए, जिन्हें अंततः एक लेख में मिला दिया गया था।[33]
  • जीपीटी-3 का उपयोग एआई डंगऑन में किया गया था, जो पाठ-आधारित साहसिक खेल उत्पन्न करता है, बाद में विवृत एआई ने उत्पन्न की गई सामग्री के संबंध में अपनी नीति में बदलाव के बाद इसे एक प्रतिस्पर्धी मॉडल से बदल दिया।[34][35]
  • जीपीटी-3 का उपयोग प्रतिलिपि (प्रकाशन) और अन्य विपणन सामग्री लिखने में सहायता के लिए किया जाता है।[36]
  • ड्रेक्सेल विश्वविद्यालय के 2022 के एक अध्ययन ने सुझाव दिया कि जीपीटी-3-आधारित प्रणालियों का उपयोग अल्जाइमर रोग के प्रारंभिक लक्षणों की जांच के लिए किया जा सकता है।[37][38]

समीक्षा

द न्यूयॉर्क टाइम्स में जुलाई 2020 की समीक्षा में फरहाद मंजू ने कहा कि जीपीटी-3 की कंप्यूटर कोड, कविता और गद्य उत्पन्न करने की क्षमता न केवल अद्भुत", "डरावना" और "विनम्र" है, बल्कि थोड़ी भयानक से भी अधिक है।[39]

  • डेली नूस ने जीपीटी-3 पर नौ दार्शनिकों द्वारा लेखों की एक श्रृंखला प्रस्तुत की।[40] ऑस्ट्रेलियाई दार्शनिक डेविड चाल्मर्स ने जीपीटी-3 को अब तक निर्मित सबसे दिलचस्प और "महत्वपूर्ण एआई सिस्टम में से एक" के रूप में वर्णित किया है।[6]
  • वायर्ड (पत्रिका) में एक समीक्षा में कहा गया है कि जीपीटी-3 सिलिकॉन वैली में ठंडक पैदा कर रहा था।[41]
  • राष्ट्रीय कानून की समीक्षा ने कहा कि जीपीटी-3 बड़ी प्रक्रिया में एक प्रभावशाली कदम है, जिसमें विवृत एआई और अन्य लोगों ने अधिक कृत्रिम सामान्य बुद्धिमत्ता की दिशा में काम करना जारी रखते हुए इस सभी शक्ति के लिए उपयोगी आवेदन ढूंढे हैं।[42]
  • एमआईटी प्रौद्योगिकी समीक्षा में एक लेख, डीप लर्निंग समीक्षक गैरी मार्कस द्वारा लिखित हैं।
  • फेसबुक एआई प्रयोगशाला के प्रमुख जेरोम पेसेंटी ने कहा कि जीपीटी-3 असुरक्षित है जो यहूदियों, महिलाओं, काले लोगों और प्रलय पर चर्चा करने के लिए कहा गया था, जब प्रणाली द्वारा उत्पन्न जातिवाद, नस्लवादी और अन्य पक्षपाती और नकारात्मक भाषा की ओर इशारा किया गया था।
  • नबला, एक फ्रांसीसी स्टार्ट-अप जो स्वास्थ्य सेवा प्रौद्योगिकी में विशेषज्ञता रखती हैं जीपीटी-3 का एक मेडिकल चैटबॉट के रूप में परीक्षण किया, हालाँकि विवृत एआई ने स्वयं इस तरह के उपयोग के खिलाफ चेतावनी दी थी, जैसा कि अपेक्षित था। जीपीटी-3 ने कई सीमाएँ दिखाईं , उदाहरण के लिए मानसिक स्वास्थ्य के विषय के बारे में जीपीटी-3 प्रतिक्रियाओं का परीक्षण करते समय एआई ने नकली रोगी को आत्महत्या करने की सलाह दी।
  • नोम चौमस्की ने जीपीटी-3 के वैज्ञानिक मूल्य के बारे में अपना संदेह व्यक्त किया: यह कोई भाषा मॉडल नहीं है। यह असंभव भाषाओं के साथ-साथ वास्तविक भाषाओं के लिए भी काम करता है इसलिए सामान्य वैज्ञानिक मानदंडों द्वारा भाषा मॉडल के रूप में इरादा होने पर इसका खंडन किया जाता है, शायद यह किसी उद्देश्य के लिए उपयोगी है लेकिन ऐसा लगता है कि यह हमें सामान्य तौर पर भाषा या अनुभूति के बारे में कुछ नहीं बताता है।
  • विवृत एआई के सैम ऑल्टमैन ने स्वयं इसकी आलोचना की जिसे उन्होंने "जीपीटी-3 प्रचार" कहा, यह स्वीकार करते हुए कि जीपीटी-3 में गंभीर कमज़ोरी है और कभी-कभी बहुत मूर्खतापूर्ण गलतियाँ करता है... एआई दुनिया को बदलने जा रहा है, लेकिन जीपीटी-3 केवल एक बहुत प्रारंभिक झलक है।

आलोचना

जीपीटी-3 के निर्माता विवृत एआई को प्रारंभ में 2015 में एक गैर-लाभकारी संस्था के रूप में स्थापित किया गया था।[43] 2019 में, विवृत एआई ने जीपीटी-3 के पूर्ववर्ती मॉडल को सार्वजनिक रूप से जारी नहीं करके अपने सामान्य विवृत-स्रोत मानकों को तोड़ दिया, इस चिंता का हवाला देते हुए कि मॉडल नकली समाचारों के प्रसार को सुगम बना सकता है। विवृत एआई ने अंततः जीपीटी-2 का एक संस्करण जारी किया जो मूल मॉडल के आकार का 8% था।[44] उसी वर्ष विवृत एआई को एक फ़ायदेमंद कंपनी के रूप में पुनर्गठित किया गया।[45] 2020 में, माइक्रोसॉफ्ट ने घोषणा की कि कंपनी के पास विवृत एआई में बहु-अरब डॉलर के निवेश के बाद माइक्रोसॉफ्ट के उत्पादों और सेवाओं के लिए जीपीटी-3 का विशेष लाइसेंस है। अनुबंध विवृत एआई को एक सार्वजनिक-सामना करने वाले एपीआई की उपस्थिति की अनुमति देता है, जैसे कि उपयोगकर्ता मॉडल के आउटपुट प्राप्त करने के लिए जीपीटी-3 को पाठ भेज सकते हैं, लेकिन केवल माइक्रोसॉफ्ट के पास जीपीटी-3 के स्रोत कोड तक पहुंच होगी।[8]

जीपीटी-3 जैसे बड़े भाषा मॉडल प्रशिक्षण के पर्यावरणीय प्रभाव और मॉडलों को संग्रहीत करने के लिए गूगल के एआई नैतिकता शोधकर्ताओं में से कुछ की आलोचना के अधीन आ गए हैं, 2021 में तिमनिट गेब्रू और एमिली एम. बेंडर द्वारा सह-लेखक एक लेख्य में विस्तार से बताया गया है। .[46]

जीपीटी-3 और अन्य भाषा उत्पादक पर आधारित स्वचालित लेखन तकनीकों के बढ़ते उपयोग ने अकादमिक अखंडता के बारे में चिंताएँ बढ़ा दी हैं[47] और इस बात का दांव उठाया कि विश्वविद्यालय और स्कूल कैसे साहित्यिक चोरी जैसे शैक्षणिक कदाचार का गठन करेंगे।[48]

विवृत एआई की जीपीटी श्रृंखला को 12 वर्षों की अवधि में 60 मिलियन कार्यक्षेत्र से खंड किए गए प्रतिलिप्याधिकार लेखों, इंटरनेट पोस्ट, वेब पेजों और पुस्तकों के एक समूह, सामान्य क्रॉल डेटासेट के डेटा के साथ बनाया गया था। टेकक्रंच की रिपोर्ट है कि इस प्रशिक्षण डेटा में बीबीसी, द न्यूयॉर्क टाइम्स, रेडिट , ऑनलाइन पुस्तकों का पूरा पाठ और बहुत कुछ से प्रतिलिप्याधिकार सामग्री सम्मिलित है।[49] संयुक्त राज्य अमेरिका पेटेंट और ट्रेडमार्क कार्यालय (यूएसपीटीओ) से कृत्रिम बुद्धि नवाचार के लिए बौद्धिक संपदा संरक्षण पर टिप्पणियों के लिए 2019 के अनुरोध के जवाब में विवृत एआई ने तर्क दिया कि वर्तमान कानून के अंतर्गत प्रशिक्षण एआई सिस्टम [जैसे इसके जीपीटी मॉडल] उचित उपयोग का गठन करते हैं, लेकिन उस बिंदु पर निर्णय विधि की कमी को देखते हुए विवृत एआई और हमारे जैसे अन्य एआई विकासक को पर्याप्त कानूनी अनिश्चितता और अनुपालन लागत का सामना करना पड़ता है।[50]


जीपीटी-3.5

जनरेटिव प्री-ट्रेन्ड ट्रांसफॉर्मर 3.5 (GPT-3.5)
Original author(s)OpenAI[1]
Initial releaseMarch 15, 2022; 2 years ago (2022-03-15)
Repositoryn/a
PredecessorGPT-3
SuccessorGPT-4
Type
LicenseProprietary
Websiten/a

जनरेटिव पूर्व-प्रशिक्षित ट्रांसफॉर्मर 3.5 (जीपीटी-3.5) 2022 में विवृत एआई द्वारा बनाया गया एक बड़ा भाषा मॉडल है।

15 मार्च 2022 को विवृत एआई ने अपने एपीआई में जीपीटी-3 और विवृत एआई कोडेक्स के नए संस्करणों को "मूलपाठ-डेविन्सी-002" और "कोड-डेविन्सी-002" नामों के अंतर्गत संपादन और सम्मिलन क्षमताओं के साथ उपलब्ध कराया।[51] इन मॉडलों को पिछले संस्करणों की तुलना में अधिक सक्षम बताया गया था और जून 2021 तक के डेटा पर प्रशिक्षित किया गया था।[52] 28 नवंबर, 2022 को विवृत एआई ने मूलपाठ-डेविन्सी-003 प्रस्तुत किया।[53] 30 नवंबर, 2022 को विवृत एआई ने इन मॉडलों को जीपीटी-3.5 श्रृंखला से संबंधित के रूप में संदर्भित करना प्रारंभ किया[52]और चैट जीपीटी जारी किया, जो जीपीटी-3.5 श्रृंखला में एक मॉडल से फाइन-ट्यून किया गया था।[54] विवृत एआई जीपीटी-3 में जीपीटी-3.5 सम्मिलित नहीं है।[55]


मॉडल

इसमें चार मॉडल हैं।[56]

  • चैट
    • जीपीटी-3.5-टर्बो
  • पाठ मिश्रता
    • मूलपाठ-डेविंसी-003
    • मूलपाठ-डेविंसी-002
    • कोड-डेविंसी-002 - कोड-पूर्ण कार्यों के लिए अनुकूलित

जीपीटी-3.5 ब्राउज़िंग

10 अप्रैल 2023, को विवृत एआई ने अपने जीपीटी-3.5 श्रृंखला मॉडल का एक नया संस्करण प्रस्तुत किया, जिसे जीपीटी-3.5 ब्राउज़िंग (अल्फा) के रूप में जाना जाता है।[57] यह अद्यतन मॉडल अपने पूर्ववर्तियों "मूलपाठ-डेविंसी-002" और "कोड-डेविन्सी-002" की क्षमताओं पर आधारित है।[58] जीपीटी-3.5 ब्राउज़िंग (अल्फा) मॉडल के साथ ऑनलाइन जानकारी तक पहुँचने और ब्राउज़ करने की क्षमता को सम्मिलित करके अपने प्रदर्शन को बढ़ाता है, जिससे उपयोगकर्ता प्रश्नों के लिए उचित और अद्यतित प्रतिक्रियाएँ प्राप्त होती हैं।[57]

जीपीटी-3.5 ब्राउज़िंग (अल्फा) मॉडल का प्राथमिक लक्ष्य अधिक सटीक और प्रासंगिक रूप से प्रासंगिक जानकारी प्रदान करके उपयोगकर्ता अनुभव को बेहतर बनाना है। इसे सितंबर 2021 तक के डेटा पर प्रशिक्षित किया गया है, जो पिछले जीपीटी-3.5 मॉडल की तुलना में बेहतर प्रदर्शन की अनुमति देता है, जिन्हें जून 2021 तक डेटा पर प्रशिक्षित किया गया था। विवृत एआई ने इस मॉडल को विकासक और उपयोगकर्ताओं को एक उन्नत प्राकृतिक भाषा प्रसंस्करण उपकरण प्रदान करने के लिए जारी किया है जो ऑनलाइन जानकारी को प्रभावी ढंग से पुनः प्राप्त और संश्लेषित कर सकते हैं। [57]

ब्राउज़िंग क्षमताओं को सक्षम करने के लिए विवृत एआई ने एक नया एपीआई लागू किया है जो जीपीटी-3.5 को ब्राउज़िंग (अल्फा) मॉडल के साथ संचालन के दौरान चयनित ऑनलाइन संसाधनों तक पहुंचने की अनुमति देता है। [59] यह सुविधा उपयोगकर्ताओं को इस अपेक्षा के साथ प्रश्न पूछने या सूचना का अनुरोध करने का अधिकार देती है कि मॉडल नवीनतम ऑनलाइन स्रोतों के आधार पर अद्यतन, उचित और प्रासंगिक उत्तर प्रदान करेगा।

27 अप्रैल 2023 को विवृत एआई ने जीपीटी-3.5 को ब्राउजिंग (अल्फा) मॉडल के साथ जीपीटी प्लस उपयोगकर्ताओं के लिए सार्वजनिक रूप से उपलब्ध कराया, इसकी अत्याधुनिक क्षमताओं और सुविधाओं तक पहुंच को व्यापक बनाया।[59]


यह भी देखें

संदर्भ

  1. 1.00 1.01 1.02 1.03 1.04 1.05 1.06 1.07 1.08 1.09 1.10 1.11 1.12 1.13 1.14 Brown, Tom B.; Mann, Benjamin; Ryder, Nick; Subbiah, Melanie; Kaplan, Jared; Dhariwal, Prafulla; Neelakantan, Arvind; Shyam, Pranav; Sastry, Girish; Askell, Amanda; Agarwal, Sandhini; Herbert-Voss, Ariel; Krueger, Gretchen; Henighan, Tom; Child, Rewon; Ramesh, Aditya; Ziegler, Daniel M.; Wu, Jeffrey; Winter, Clemens; Hesse, Christopher; Chen, Mark; Sigler, Eric; Litwin, Mateusz; Gray, Scott; Chess, Benjamin; Clark, Jack; Berner, Christopher; McCandlish, Sam; Radford, Alec; Sutskever, Ilya; Amodei, Dario (May 28, 2020). "Language Models are Few-Shot Learners". arXiv:2005.14165.
  2. 2.0 2.1 Radford, Alec; Narasimhan, Karthik; Salimans, Tim; Sutskever, Ilya (June 11, 2018). "जनरेटिव प्री-ट्रेनिंग द्वारा भाषा की समझ में सुधार" (PDF). p. 12. Archived (PDF) from the original on January 26, 2021. Retrieved July 31, 2020.
  3. 3.0 3.1 Shead, Sam (July 23, 2020). "हर कोई एआई के बारे में क्यों बात कर रहा है? एलोन मस्क-समर्थित लैब द्वारा जारी किया गया टेक्स्ट जनरेटर". CNBC. Archived from the original on July 30, 2020. Retrieved July 31, 2020. 28 मई और 22 जुलाई, 2020 के बीच चार प्रीप्रिंट जारी किए गए थे।
  4. 4.0 4.1 4.2 Bussler, Frederik (July 21, 2020). "क्या GPT-3 कोडिंग को खत्म कर देगा?". Towards Data Science. Archived from the original on August 19, 2020. Retrieved August 1, 2020.
  5. 5.0 5.1 5.2 5.3 5.4 {{Cite magazine| last = Sagar| first = Ram| title = OpenAI ने GPT-3 जारी किया, जो अब तक का सबसे बड़ा मॉडल है| magazine = Analytics India Magazine| access-date = July 31, 2020| date = June 3, 2020| url = https://analyticsindiamag.com/open-ai-gpt-3-language-model/%7C archive-date = August 4, 2020| archive-url = https://web.archive.org/web/20200804173452/https://analyticsindiamag.com/open-ai-gpt-3-language-model/%7C url-status = live}
  6. 6.0 6.1 Chalmers, David (July 30, 2020). Weinberg, Justin (ed.). "GPT-3 और जनरल इंटेलिजेंस". Daily Nous. Philosophers On GPT-3 (updated with replies by GPT-3). Archived from the original on August 4, 2020. Retrieved August 4, 2020.
  7. Johnson, Steven; Iziev, Nikita (April 15, 2022). "A.I. Is Mastering Language. Should We Trust What It Says?". The New York Times. Archived from the original on November 24, 2022. Retrieved April 23, 2022.
  8. 8.0 8.1 Hao, Karen (September 23, 2020). "OpenAI is giving Microsoft exclusive access to its GPT-3 language model". MIT Technology Review (in English). Archived from the original on February 5, 2021. Retrieved September 25, 2020. The companies say OpenAI will continue to offer its public-facing API, which allows chosen users to send text to GPT-3 or OpenAI's other models and receive its output. Only Microsoft, however, will have access to GPT-3's underlying code, allowing it to embed, repurpose, and modify the model as it pleases.
  9. 9.0 9.1 {{Cite news| issn = 0013-0613| title = एआई की सीमाओं को समझने की शुरुआत हो रही है| newspaper = The Economist| date = June 11, 2020| access-date = July 31, 2020| url = https://www.economist.com/technology-quarterly/2020/06/11/an-understanding-of-ais-limitations-is-starting-to-sink-in%7C archive-date = July 31, 2020| archive-url = https://web.archive.org/web/20200731060114/https://www.economist.com/technology-quarterly/2020/06/11/an-understanding-of-ais-limitations-is-starting-to-sink-in%7C url-status = live}
  10. {{cite arXiv|last1=Polosukhin|first1=Illia|last2=Kaiser|first2=Lukasz|last3=Gomez|first3=Aidan N.|last4=Jones|first4=Llion|last5=Uszkoreit|first5=Jakob|last6=Parmar|first6=Niki|last7=Shazeer|first7=Noam|last8=Vaswani|first8=Ashish|date=2017-06-12|title=अटेंशन इज़ ऑल यू नीड|eprint=1706.03762|class=cs.CL}
  11. "प्राकृतिक भाषा प्रसंस्करण". Archived from the original on August 22, 2020. Retrieved July 31, 2020.
  12. "संग्रहीत प्रति" (PDF). Archived (PDF) from the original on February 6, 2021. Retrieved April 28, 2023.
  13. Sterling, Bruce (February 13, 2020). "वेब शब्दार्थ: Microsoft प्रोजेक्ट ट्यूरिंग ने ट्यूरिंग नेचुरल लैंग्वेज जनरेशन (T-NLG) पेश किया". Wired. ISSN 1059-1028. Archived from the original on November 4, 2020. Retrieved July 31, 2020.
  14. Marche, Stephen (December 6, 2022). "The College Essay Is Dead". The Atlantic. Archived from the original on January 24, 2023. Retrieved December 8, 2022.
  15. {{Cite web| last = Ray| first = Tiernan| date = June 1, 2020| title = OpenAI का विशाल GPT-3 AI के लिए भाषा मॉडल की सीमाओं पर संकेत देता है| work = ZDNet| access-date = July 31, 2020| url = https://www.zdnet.com/article/openais-gigantic-gpt-3-hints-at-the-limits-of-language-models-for-ai/%7C archive-date = June 1, 2020| archive-url = https://web.archive.org/web/20200601081629/https://www.zdnet.com/article/openais-gigantic-gpt-3-hints-at-the-limits-of-language-models-for-ai/%7C url-status = live}
  16. Li, Chuan (June 3, 2020), OpenAI's GPT-3 Language Model: A Technical Overview, archived from the original on March 27, 2023, retrieved March 27, 2023
  17. Gehman, Samuel; Gururangan, Suchin; Sap, Maarten; Choi, Yejin; Smith, Noah A. (November 16–20, 2020), REALTOXICITYPROMPTS: Evaluating Neural Toxic Degeneration in Language Models, Association for Computational Linguistics, pp. 3356–3369, arXiv:2009.11462
  18. 18.0 18.1 "ओपनएआई एपीआई". OpenAI. June 11, 2020. Archived from the original on June 11, 2020. Retrieved July 31, 2020.
  19. Coldewey, Devin (June 11, 2020). "OpenAI अपनी टेक्स्ट-आधारित AI क्षमताओं के लिए एक सर्व-उद्देश्यीय API बनाता है". TechCrunch. Archived from the original on October 27, 2021. Retrieved July 31, 2020. यदि आप कभी भी OpenAI के प्रशंसित मशीन लर्निंग टूलसेट को आज़माना चाहते हैं, तो यह बहुत आसान हो गया है। कंपनी ने एक एपीआई जारी किया है जो डेवलपर्स को अपने एआई टूल्स को "लगभग किसी भी अंग्रेजी भाषा के कार्य" पर कॉल करने देता है।
  20. {{Cite web| last = Arram| title = GPT-3: एक ऐसा AI जो लगभग कुछ भी लिखने में बेहद अच्छा है| work = Arram Sabeti| access-date = July 31, 2020| date = July 9, 2020| url = https://arr.am/2020/07/09/gpt-3-an-ai-thats-eerily-good-at-writing-almost-anything/%7C archive-date = July 20, 2020| archive-url = https://web.archive.org/web/20200720192137/https://arr.am/2020/07/09/gpt-3-an-ai-thats-eerily-good-at-writing-almost-anything/%7C url-status = live}
  21. "ओपनएआई का एपीआई अब बिना प्रतीक्षा सूची के उपलब्ध है". OpenAI (in English). November 18, 2021. Archived from the original on November 5, 2022. Retrieved November 5, 2022.
  22. "ओपनएआई एपीआई". beta.openai.com (in English). Archived from the original on December 23, 2022. Retrieved November 5, 2022.
  23. "निर्देशों का पालन करने के लिए भाषा मॉडल को संरेखित करना". OpenAI (in English). January 27, 2022. Archived from the original on November 5, 2022. Retrieved November 5, 2022.
  24. Thunström, Almira Osmanovic (June 30, 2022). "हमने GPT-3 से अपने बारे में एक अकादमिक पेपर लिखने को कहा - फिर हमने इसे प्रकाशित करने की कोशिश की". Scientific American. Archived from the original on June 30, 2022. Retrieved June 30, 2022.
  25. Transformer, Gpt Generative Pretrained; Thunström, Almira Osmanovic; Steingrimsson, Steinn (June 21, 2022). "क्या GPT-3 न्यूनतम मानव इनपुट के साथ अपने आप में एक अकादमिक पेपर लिख सकता है?". Archive ouverte HAL (in français). Archived from the original on June 30, 2022. Retrieved June 30, 2022.
  26. "ओपनएआई एपीआई". Retrieved May 6, 2023.
  27. "ओपनएआई कोडेक्स". OpenAI (in English). August 10, 2021. Archived from the original on February 3, 2023. Retrieved December 23, 2022.
  28. Thompson, Clive (March 15, 2022). "कैसे एक एआई मेरा कोड-लेखन जिन्न बन गया". Wired. Archived from the original on December 23, 2022. Retrieved December 23, 2022.
  29. "Microsoft announced its first customer product features powered by GPT-3 and @Azure". The AI Blog. May 25, 2021. Archived from the original on May 26, 2021. Retrieved May 26, 2021.
  30. Vincent, James (May 25, 2021). "Microsoft has built an AI-powered autocomplete for code using GPT-3". The Verge. Archived from the original on December 23, 2022. Retrieved December 23, 2022.
  31. "CodexDB - SQL Processing Powered by GPT-3". CodexDB - SQL Processing Powered by GPT-3. Archived from the original on December 7, 2022. Retrieved December 7, 2022.
  32. Fagone, Jason (July 23, 2021). "The Jessica Simulation: Love and loss in the age of A.I." San Francisco Chronicle. Archived from the original on July 28, 2021. Retrieved July 29, 2021.
  33. GPT-3 (September 8, 2020). "A robot wrote this entire article. Are you scared yet, human? | GPT-3". The Guardian. ISSN 0261-3077. Archived from the original on September 8, 2020. Retrieved September 15, 2020.
  34. "Update: Language Models and Dragon". Latitude blog. December 8, 2021. Archived from the original on April 25, 2022. Retrieved March 22, 2022.
  35. "यह रहस्यवादी पुस्तक डिस्टर्बिंगली रियलिस्टिक एआई द्वारा सह-लेखक थी". www.vice.com (in English). 2022. Archived from the original on December 23, 2022. Retrieved December 23, 2022.
  36. GPT-3 (February 24, 2023). "38 Prompt Examples in 10 Different Categories | GPT-3". GiPiTi Chat. Archived from the original on April 8, 2023. Retrieved February 24, 2023.
  37. "Can ChatGPT AI chatbot spot early stages of Alzheimer's? - study". The Jerusalem Post. 2022. Archived from the original on February 10, 2023. Retrieved February 10, 2023.
  38. Agbavor, Felix; Liang, Hualou (December 22, 2022). "बड़े भाषा मॉडल का उपयोग करके सहज भाषण से डिमेंशिया की भविष्यवाणी करना". PLOS Digital Health. 1 (12): e0000168. doi:10.1371/journal.pdig.0000168. PMID 36812634. S2CID 255029590.
  39. Manjoo, Farhad (July 29, 2020). "आप कैसे जानते हैं कि एक मानव ने इसे लिखा है?". The New York Times. ISSN 0362-4331. Archived from the original on October 29, 2020. Retrieved August 4, 2020.
  40. {{Cite web| editor-last = Weinberg| editor-first = Justin| title = GPT-3 पर दार्शनिक (GPT-3 द्वारा उत्तर के साथ अद्यतन)| work = Daily Nous| access-date = July 31, 2020| date = July 30, 2020| url = http://dailynous.com/2020/07/30/philosophers-gpt-3/%7C archive-date = October 30, 2020| archive-url = https://web.archive.org/web/20201030232410/http://dailynous.com/2020/07/30/philosophers-gpt-3/%7C url-status = live}
  41. Simonite, Tom (July 22, 2020). "यह शीर्षक किसी व्यक्ति ने लिखा है या मशीन ने?". Wired. ISSN 1059-1028. Archived from the original on November 1, 2020. Retrieved July 31, 2020.
  42. Claypoole, Theodore (July 30, 2020). "नया AI टूल GPT-3 नई चोटियों पर चढ़ता है, लेकिन यह साबित करता है कि हमें अभी भी कितनी दूर तक यात्रा करने की आवश्यकता है". The National Law Review. Archived from the original on October 30, 2020. Retrieved August 4, 2020.
  43. Olanoff, Drew (December 11, 2015). "आर्टिफिशियल इंटेलिजेंस गैर-लाभकारी OpenAI एलोन मस्क और सैम ऑल्टमैन के समर्थन से लॉन्च हुआ". Tech Crunch. Archived from the original on October 20, 2022. Retrieved May 31, 2021.
  44. Hao, Karen (August 29, 2019). "OpenAI ने अपने फर्जी-समाचार-उगलने वाले AI का अभी तक का सबसे बड़ा संस्करण जारी किया है". MIT Technology Review. Archived from the original on May 9, 2021. Retrieved May 31, 2021.
  45. Coldewey, Devin (March 11, 2019). "पूंजी आकर्षित करने के लिए OpenAI गैर-लाभकारी से 'कैप्ड-प्रॉफिट' में स्थानांतरित हो गया". Tech Crunch. Archived from the original on January 4, 2023. Retrieved May 31, 2021.
  46. Bender, Emily M.; Gebru, Timnit; McMillan-Major, Angelina; Shmitchell, Shmargaret (March 3, 2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?. FAccT '21: Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency. pp. 610–623. doi:10.1145/3442188.3445922.
  47. Mindzak, Michael; Eaton, Sarah Elaine. "लेखन में आर्टिफिशियल इंटेलिजेंस बेहतर हो रहा है, और विश्वविद्यालयों को साहित्यिक चोरी के बारे में चिंता करनी चाहिए". The Conversation (in English). Archived from the original on November 7, 2021. Retrieved November 6, 2021.
  48. Rogerson, Ann M.; McCarthy, Grace (December 2017). "Using Internet based paraphrasing tools: Original work, patchwriting or facilitated plagiarism?". International Journal for Educational Integrity (in English). 13 (1): 1–15. doi:10.1007/s40979-016-0013-y. ISSN 1833-2595. S2CID 9473217.
  49. Here are a few ways GPT-3 can go wrong. TechCrunch. Archived from the original on November 26, 2021. Retrieved November 26, 2021.
  50. आर्टिफिशियल इंटेलिजेंस इनोवेशन के लिए बौद्धिक संपदा संरक्षण पर टिप्पणियों के अनुरोध के संबंध में टिप्पणी (PDF). USPTO. Archived (PDF) from the original on October 16, 2021. Retrieved November 30, 2021.
  51. "New GPT-3 Capabilities: Edit & Insert". OpenAI (in English). March 15, 2022. Archived from the original on January 13, 2023. Retrieved January 13, 2023.
  52. 52.0 52.1 "ओपनएआई एपीआई". platform.openai.com. Archived from the original on March 20, 2023. Retrieved March 15, 2023.
  53. "Check out OpenAI's new text-davinci-003! Same underlying model as text-davinci-002 but more aligned. Would love to hear feedback about it! / Twitter". Retrieved May 6, 2023.
  54. "ChatGPT: Optimizing Language Models for Dialogue". OpenAI (in English). November 30, 2022. Archived from the original on November 30, 2022. Retrieved January 13, 2023.
  55. "ओपनएआई एपीआई". Retrieved May 6, 2023.
  56. "ओपनएआई एपीआई". Retrieved May 6, 2023.
  57. 57.0 57.1 57.2 tingetici (April 10, 2023). "Default (GPT-3.5) with browsing ALPHA -- NEW Model showed up just now". r/OpenAI. Archived from the original on April 27, 2023. Retrieved April 27, 2023.
  58. "Introducing GPT-3.5 Series: text-davinci-002 and code-davinci-002 Models". OPEN AI (in English). March 15, 2022. Archived from the original on March 20, 2023. Retrieved April 27, 2023.
  59. 59.0 59.1 "GPT-3.5 with Browsing (ALPHA) Now Available for GPT Plus Users". OPEN AI (in English). April 27, 2023. Archived from the original on March 20, 2023. Retrieved April 27, 2023.