जीपीटी-3

जनरेटिव प्री-ट्रेन्ड ट्रांसफॉर्मर 3 (जीपीटी-3) 2020 में ओपन एआई द्वारा जारी एक स्वप्रतिगामी भाषा मॉडल है जो मानव-समान टेक्स्ट बनाने के लिए डीप लर्निंग का उपयोग करता है। जब एक संकेत दिया जाता है, तो यह पाठ उत्पन्न करेगा जो संकेत को जारी रखता है।

वस्तुकला एक डिकोडर-ओनली ट्रांसफॉर्मर (मशीन लर्निंग मॉडल) है जिसमें 2048-लेक्सिकल विश्लेषण-लंबा संदर्भ और 175 बिलियन पैरामीटर (मशीन लर्निंग) का अभूतपूर्व आकार है, जिसे इकट्ठा करने के लिए 800GB की आवश्यकता होती है। मॉडल को जनरेटिव प्री-ट्रेनिंग का उपयोग करके प्रशिक्षित किया गया था, यह भविष्यवाणी करने के लिए प्रशिक्षित किया जाता है कि अगला टोकन पिछले टोकन के आधार पर क्या है। मॉडल ने कई कार्यों पर मजबूत जीरो-शॉट लर्निंग और कुछ-शॉट लर्निंग (प्राकृतिक भाषा प्रसंस्करण) का प्रदर्शन किया।

जीपीटी-2, जीपीटी-3 का उत्तराधिकारी ओपन एआई एक सैन फ्रांसिस्को स्थित कृत्रिम बुद्धिमत्ता अनुसंधान प्रयोगशाला द्वारा निर्मित नींव मॉडल की एक जीपीटी श्रृंखला में तीसरी पीढ़ी का भाषा पूर्वानुमान मॉडल है। जीपीटी-3 जिसे मई 2020 में प्रस्तुत किया गया था और जुलाई 2020 तक बीटा परीक्षण में था, पूर्व-प्रशिक्षित भाषा अभ्यावेदन की प्राकृतिक भाषा प्रसंस्करण (NLP) प्रणालियों में एक प्रवृत्ति का हिस्सा है।

जीपीटी-3 द्वारा उत्पन्न पाठ की गुणवत्ता इतनी अधिक है कि यह निर्धारित करना मुश्किल हो सकता है कि यह किसी मानव द्वारा लिखा गया था या नहीं, जिसके लाभ और जोखिम दोनों हैं। इकतीस ओपन एआई शोधकर्ताओं और इंजीनियरों ने जीपीटी-3 को प्रस्तुत करते हुए 28 मई 2020 को मूल लेख्य प्रस्तुत किया। अपने लेख्य में उन्होंने जीपीटी-3 के संभावित खतरों के बारे में आगाह किया और जोखिम को कम करने के लिए अनुसंधान का आह्वान किया। डेविड चाल्मर्स एक ऑस्ट्रेलियाई दार्शनिक ने जीपीटी-3 को अब तक निर्मित सबसे दिलचस्प और महत्वपूर्ण एआई प्रणालियों में से एक के रूप में वर्णित किया। द न्यू यॉर्क टाइम्स में अप्रैल 2022 की समीक्षा में जीपीटी-3 की क्षमताओं का वर्णन किया गया है, जो मानव के समतुल्य प्रवाह के साथ मूल गद्य लिखने में सक्षम हैं।

माइक्रोसॉफ्ट ने 22 सितंबर 2020 को घोषणा की कि उसने जीपीटी-3 के "अनन्य" उपयोग का लाइसेंस प्राप्त कर लिया है, अन्य अभी भी आउटपुट प्राप्त करने के लिए सार्वजनिक एपीआई का उपयोग कर सकते हैं, लेकिन केवल माइक्रोसॉफ्ट के पास जीपीटी-3 के अंतर्निहित मॉडल तक पहुंच है।

पृष्ठभूमि
अर्थशास्त्री के अनुसार बेहतर एल्गोरिदम, शक्तिशाली कंप्यूटर और डिजीटल डेटा में वृद्धि ने 2010 में नई तकनीकों के साथ यंत्र अधिगम  में क्रांति को बढ़ावा दिया है, जिसके परिणामस्वरूप भाषा में हेरफेर सहित "कार्यों में तेजी से सुधार" हुआ है। सॉफ़्टवेयर मॉडल को हज़ारों या लाखों उदाहरणों का उपयोग करके सीखने के लिए प्रशिक्षित किया जाता है... "संरचना ... मस्तिष्क के तंत्रिका वास्तुकला पर आधारित" है। प्राकृतिक भाषा प्रसंस्करण (एनएलपी) में उपयोग कि जाने वाली एक वास्तुकला एक तंत्रिका नेटवर्क है जो एक गहन शिक्षण मॉडल पर आधारित है जिसे पहली बार 2017 में पेश किया गया था- ट्रांसफॉर्मर (मशीन लर्निंग मॉडल) वास्तुकला। कई एनएलपी प्रणालियां प्रसंस्करण, खनन, आयोजन, जोड़ने और शाब्दिक इनपुट के विपरीत होने के साथ-साथ प्रश्नों के सही उत्तर देने में सक्षम हैं।

11 जून 2018, को ओपन एआई के शोधकर्ताओं और इंजीनियरों ने पहला जनरेटिव पूर्व-प्रशिक्षित ट्रांसफॉर्मर (जीपीटी) का परिचय दिया गया था—एक प्रकार का जनरेटिव लार्ज लैंग्वेज मॉडलजो डेटासेट (मशीन लर्निंग) के माध्यम से एक विशाल और विविध टेक्स्ट कॉर्पस के साथ पूर्व-प्रशिक्षित होता है, जिसके बाद भेदभावपूर्ण फाइन-ट्यूनिंग (मशीन लर्निंग) होता है। किसी विशिष्ट कार्य पर ध्यान केंद्रित करने के लिए विवेकपूर्ण फाइन-ट्यूनिंग द्वारा जीपीटी मॉडल ट्रांसफ़ॉर्मर-आधारित डीप लर्निंग न्यूरल नेटवर्क वास्तुकला हैं। उस बिंदु तक सबसे अच्छा प्रदर्शन करने वाले तंत्रिका एनएलपी मॉडल ने सामान्यतौर पर बड़ी मात्रा में शारीरिक रूप से नामपत्र किए गए डेटा से सीखने की निगरानी की जिसने इसे बहुत बड़े भाषा मॉडल को प्रशिक्षित करने के लिए निषेधात्मक रूप से महंगा और समय लेने वाला बना दिया।

उस पहले जीपीटी मॉडल को "जीपीटी-1" के रूप में जाना जाता है और उसके बाद फरवरी 2019 में "जीपीटी-2" का अनुसरण किया गया। जीपीटी-2 को जीपीटी-1 के प्रत्यक्ष स्केल-अप के रूप में बनाया गया था जिसमें इसके पैरामीटर गणना और डेटासेट आकार दोनों में 10 गुना वृद्धि हुई थी। इसमें 1.5 बिलियन पैरामीटर थे और इसे 8 मिलियन वेब पेजों के डेटासेट पर प्रशिक्षित किया गया था। फरवरी 2020 में, माइक्रोसॉफ्ट ने अपना ट्यूरिंग नेचुरल लैंग्वेज जनरेशन (T-NLG) पेश किया जिसके बारे में दावा किया गया था कि यह 17 बिलियन मापदंडों पर प्रकाशित अब तक का सबसे बड़ा भाषा मॉडल है। इसने विभिन्न प्रकार के कार्यों में किसी भी अन्य भाषा मॉडल से बेहतर प्रदर्शन किया जिसमें पाठों का सारांश और प्रश्नों के उत्तर सम्मिलित था।

प्रशिक्षण और क्षमताएं
28 मई 2020 को ओपन एआई में 31 इंजीनियरों और शोधकर्ताओं के एक समूह द्वारा एक arXiv प्रीप्रिंट ने जीपीटी-3 के विकास का वर्णन किया जो तीसरी पीढ़ी का "अत्याधुनिक भाषा मॉडल" है। टीम ने जीपीटी-3 की क्षमता को अपने पूर्ववर्ती जीपीटी-2 की तुलना में परिमाण के दो क्रमों की वृद्धि की,  जिससे जीपीटी-3 को अब तक का सबसे बड़ा गैर-विरल भाषा मॉडल बन गया।  क्योंकि जीपीटी-3 संरचनात्मक रूप से अपने पूर्ववर्तियों के समान है, इसकी अधिक सटीकता को इसकी बढ़ी हुई क्षमता और अधिक संख्या में मापदंडों के लिए जिम्मेदार ठहराया जाता है। जीपीटी-3 की क्षमता माइक्रोसॉफ्ट के ट्यूरिंग एनएलजी की तुलना में दस गुना अधिक है जो उस समय ज्ञात अगला सबसे बड़ा एनएलपी मॉडल था।

लैम्बडालैब्स ने 2020 में एक जीपीयू पर जीपीटी-3 को प्रशिक्षित करने के लिए लगभग $4.6 मिलियन अमेरिकी डॉलर और 355 वर्षों की अनुमानित लागत का अनुमान लगाया, समानांतर में अधिक जीपीयू का उपयोग करके समय के साथ कम वास्तविक प्रशिक्षण।

जीपीटी-3 के लिए भारित पूर्व-प्रशिक्षण डेटासेट का साठ प्रतिशत सामान्य क्रॉल  के निस्पंदन किए गए संस्करण से आता है जिसमें 410 बिलियन बाइट जोड़ी-एन्कोडेड टोकन सम्मिलित हैं।  अन्य स्रोत WebText2 से 19 बिलियन टोकन है जो 22% का प्रतिनिधित्व करते हैं, Books1 से 12 बिलियन टोकन 8% का प्रतिनिधित्व करते हैं, 55 बिलियन टोकन Books2 से 8% का प्रतिनिधित्व करते हैं, और 3 बिलियन टोकन विकिपीडिया से 3% का प्रतिनिधित्व करते हैं।  जीपीटी-3 को सैकड़ों अरबों शब्दों पर प्रशिक्षित किया गया था और यह सीएसएस, जेएसएक्स और पायथन अन्य में कोडिंग करने में भी सक्षम है।

चूँकि जीपीटी-3 का प्रशिक्षण डेटा सर्वव्यापी था इसलिए इसे विशिष्ट भाषा कार्यों के लिए और प्रशिक्षण की आवश्यकता नहीं है। प्रशिक्षण डेटा में कभी-कभार जहरीली भाषा होती है और जीपीटी-3 कभी-कभी अपने प्रशिक्षण डेटा की नकल करने के परिणामस्वरूप जहरीली भाषा उत्पन्न करता है। वाशिंगटन विश्वविद्यालय के एक अध्ययन में पाया गया कि जीपीटी-3 ने जीपीटी-2 और सीटीआरएल के समान प्राकृतिक भाषा प्रसंस्करण मॉडल की तुलना में विषाक्तता स्तर पर जहरीली भाषा का उत्पादन किया। विवृत एआई ने जीपीटी-3 द्वारा उत्पन्न विषाक्त भाषा की मात्रा को सीमित करने के लिए कई रणनीतियाँ लागू की हैं। परिणामस्वरूप जीपीटी-3 ने अपने पूर्ववर्ती मॉडल जीपीटी-1 की तुलना में कम जहरीली भाषा का उत्पादन किया, हालांकि इसने CTRL विकी की तुलना में जहरीली भाषा की अधिक पीढ़ियों और उच्च विषाक्तता दोनों का उत्पादन किया, जो पूरी तरह से विकिपीडिया डेटा पर प्रशिक्षित भाषा मॉडल है।

11 जून 2020 को विवृत एआई ने घोषणा की कि उपयोगकर्ता इसके उपयोगकर्ता के अनुकूल जीपीटी-3 एपीआई - एक मशीन लर्निंग टूलसेट - तक पहुँच का अनुरोध कर सकते हैं - विवृत एआई को इस नई तकनीक की ताकत और सीमाओं का पता लगाने में मदद करने के लिए। आमंत्रण में बताया गया है कि कैसे इस एपीआई में एक सामान्य-उद्देश्य वाला टेक्स्ट इन, टेक्स्ट आउट अंतराफलक है जो सामान्य एकल उपयोग-स्थिति के बजाय लगभग किसी भी अंग्रेजी भाषा के कार्य को पूरा कर सकता है। एक उपयोगकर्ता के अनुसार जिसकी  विवृत एआई जीपीटी-3 API की एक निजी प्रारंभिक रिलीज़ तक पहुंच थी, जीपीटी-3 केवल कुछ सरल संकेतों के साथ आश्चर्यजनक रूप से सुसंगत पाठ लिखने में अच्छा था। एक प्रारंभिक प्रयोग में 80 अमेरिकी विषयों को न्याय करने के लिए कहा गया था कि क्या लघु ~200 शब्दों के लेख मनुष्यों या जीपीटी-3 द्वारा लिखे गए थे। प्रतिभागियों ने 52% समय सही ढंग से निर्णय लिया यादृच्छिक अनुमान लगाने से केवल थोड़ा बेहतर किया।

18 नवंबर 2021 को विवृत एआई ने घोषणा की कि पर्याप्त सुरक्षा उपायों को लागू किया गया है कि इसके API तक पहुंच अप्रतिबंधित होगी।  विवृत एआई ने विकासक को एक कंटेंट मॉडरेशन उपकरण प्रदान किया है जो उन्हें विवृत एआई की सामग्री नीति का पालन करने में मदद करता है। 27 जनवरी 2022 को विवृत एआई ने घोषणा की कि इसके नवीनतम जीपीटी-3 भाषा मॉडल, जिन्हें सामूहिक रूप से अनुदेशित जीपीटी के रूप में जाना जाता है, अब उनके API पर उपयोग की जाने वाली डिफ़ॉल्ट भाषा मॉडल थी।  ओपन एआई के अनुसार अनुदेशित जीपीटी ने ऐसी सामग्री का उत्पादन किया जो निर्देशों का बेहतर ढंग से पालन करके, कम गढ़े हुए तथ्यों को उत्पन्न करके, और कुछ हद तक कम विषाक्त सामग्री का उत्पादन करके उपयोगकर्ता के इरादों से बेहतर ढंग से जुड़ा हुआ था।

क्योंकि जीपीटी-3 ऐसे समाचार लेख उत्पन्न कर सकता है जिन्हें मानव मूल्यांकनकर्ताओं को मनुष्यों द्वारा लिखे गए लेखों से अलग करने में कठिनाई होती है, जीपीटी-3 में भाषा मॉडलों के लाभकारी और हानिकारक दोनों अनुप्रयोगों को आगे बढ़ाने की क्षमता है। अपने 28 मई, 2020 के लेख्य में, शोधकर्ताओं ने "जीपीटी-3 के हानिकारक प्रभावों" का विस्तार से वर्णन किया जिसमें गलत सूचना, स्पैमिंग, फ़िशिंग, कानूनी और सरकारी प्रक्रियाओं का दुरुपयोग, कपटपूर्ण शैक्षणिक निबंध लेखन और सोशल इंजीनियरिंग का बहाना बनाना सम्मिलित हैं। लेखक जोखिम प्रबंधन पर शोध करने के लिए इन खतरों की ओर ध्यान आकर्षित करते हैं।

जीपीटी-3 शून्य-शॉट और कुछ-शॉट सीखने (एक-शॉट सहित) करने में सक्षम है।

जून 2022 में, अलमीरा उस्मानोविक थुनस्ट्रॉम ने लिखा कि जीपीटी-3 स्वयं पर एक लेख का प्राथमिक लेखक था, जिसे उन्होंने प्रकाशन के लिए प्रस्तुत किया था, और इसकी समीक्षा पूरी होने की प्रतीक्षा करते हुए इसे पूर्व-प्रकाशित किया गया था।

मॉडल
इसके सात मॉडल हैं। इनमें जीपीटी-3.5 और कोडेक्स सम्मिलित नहीं हैं।
 * टेक्स्ट-क्यूरी-001
 * टेक्स्ट-बबेज-001
 * टेक्स्ट-एडा-001
 * दा विंसी
 * क्यूरी
 * बैबेज
 * एडीए

अनुप्रयोग

 * जीपीटी-3, विशेष रूप से कोडेक्स मॉडल, GitHub Copilot का आधार है, जो एक कोड पूर्णता और जनरेशन सॉफ़्टवेयर है जिसका उपयोग विभिन्न कोड संपादकों और IDE में किया जा सकता है।
 * जीपीटी-3 का उपयोग कुछ माइक्रोसॉफ्ट उत्पादों में पारंपरिक भाषा को औपचारिक कंप्यूटर कोड में अनुवाद करने के लिए किया जाता है।
 * SQL प्रसंस्करण के लिए क्वेरी-विशिष्ट कोड उत्पन्न करने के लिए।कोडेक्सडीबी में जीपीटी-3 का उपयोग किया गया है।
 * जीपीटी-3 का उपयोग जेसन रोहरर द्वारा "प्रोजेक्ट दिसंबर" नामक एक रेट्रो-थीम वाले चैटबॉट प्रोजेक्ट में किया गया है, जो ऑनलाइन उपलब्ध है और उपयोगकर्ताओं को जीपीटी-3 तकनीक का उपयोग करके कई एआई के साथ बातचीत करने की अनुमति देता है।
 * जीपीटी-3 का उपयोग अभिभावक द्वारा एआई के मानव के लिए हानिकारक होने के बारे में एक लेख लिखने के लिए किया गया था। इसमें कुछ विचार दिए गए और आठ अलग-अलग निबंध तैयार किए गए, जिन्हें अंततः एक लेख में मिला दिया गया था।
 * जीपीटी-3 का उपयोग एआई डंगऑन में किया गया था, जो पाठ-आधारित साहसिक खेल उत्पन्न करता है। बाद में ओपन एआई ने जनरेट की गई सामग्री के संबंध में अपनी नीति में बदलाव के बाद इसे एक प्रतिस्पर्धी मॉडल से बदल दिया।
 * जीपीटी-3 का उपयोग प्रतिलिपि (प्रकाशन) और अन्य विपणन सामग्री लिखने में सहायता के लिए किया जाता है।
 * ड्रेक्सेल विश्वविद्यालय के 2022 के एक अध्ययन ने सुझाव दिया कि जीपीटी-3-आधारित प्रणालियों का उपयोग अल्जाइमर रोग के शुरुआती लक्षणों की जांच के लिए किया जा सकता है।

समीक्षा
द न्यूयॉर्क टाइम्स में जुलाई 2020 की समीक्षा में, फरहाद मंजू ने कहा कि जीपीटी-3 की कंप्यूटर कोड, कविता और गद्य उत्पन्न करने की क्षमता न केवल अद्भुत", "डरावना" और "विनम्र" है, बल्कि थोड़ी भयानक से भी अधिक है।
 * डेली नूस ने जीपीटी-3 पर नौ दार्शनिकों द्वारा लेखों की एक श्रृंखला प्रस्तुत की। ऑस्ट्रेलियाई दार्शनिक डेविड चाल्मर्स ने जीपीटी-3 को अब तक निर्मित सबसे दिलचस्प और महत्वपूर्ण एआई सिस्टम में से एक" के रूप में वर्णित किया है।
 * वायर्ड (पत्रिका) में एक समीक्षा में कहा गया है कि जीपीटी-3 सिलिकॉन वैली में ठंडक पैदा कर रहा था।
 * राष्ट्रीय कानून की समीक्षा ने कहा कि जीपीटी-3 बड़ी प्रक्रिया में एक प्रभावशाली कदम है, जिसमें ओपन एआई और अन्य लोगों ने अधिक  कृत्रिम सामान्य बुद्धि  इंटेलिजेंस की दिशा में काम करना जारी रखते हुए इस सभी शक्ति के लिए उपयोगी एप्लिकेशन ढूंढे हैं।
 * एमआईटी प्रौद्योगिकी समीक्षा में एक लेख, डीप लर्निंग समीक्षक गैरी मार्कस द्वारा लिखित,


 * फेसबुक एआई लैब के प्रमुख जेरोम पेसेंटी ने कहा कि जीपीटी-3 असुरक्षित है, जो यहूदियों, महिलाओं, काले लोगों और प्रलय  पर चर्चा करने के लिए कहा गया था, जब प्रणाली द्वारा उत्पन्न जातिवाद, नस्लवादी और अन्य पक्षपाती और नकारात्मक भाषा की ओर इशारा किया गया था।
 * नबला, एक फ्रांसीसी स्टार्ट-अप जो स्वास्थ्य सेवा प्रौद्योगिकी में विशेषज्ञता रखती है, ने जीपीटी-3 का एक मेडिकल चैटबॉट के रूप में परीक्षण किया, हालाँकि ओपन एआई ने स्वयं इस तरह के उपयोग के खिलाफ चेतावनी दी थी। जैसा कि अपेक्षित था, जीपीटी-3 ने कई सीमाएँ दिखाईं। उदाहरण के लिए, मानसिक स्वास्थ्य के मुद्दों के बारे में जीपीटी-3 प्रतिक्रियाओं का परीक्षण करते समय, एआई ने नकली रोगी को आत्महत्या करने की सलाह दी।


 * नोम चौमस्की ने जीपीटी-3 के वैज्ञानिक मूल्य के बारे में अपना संदेह व्यक्त किया: यह कोई भाषा मॉडल नहीं है। यह असंभव भाषाओं के साथ-साथ वास्तविक भाषाओं के लिए भी काम करता है। इसलिए सामान्य वैज्ञानिक मानदंडों द्वारा भाषा मॉडल के रूप में इरादा होने पर इसका खंडन किया जाता है। [...] शायद यह किसी उद्देश्य के लिए उपयोगी है, लेकिन ऐसा लगता है कि यह हमें आम तौर पर भाषा या अनुभूति के बारे में कुछ नहीं बताता है।


 * लुसियानो फ्लोरिडी और मास्सिमो चिरियत्ती ने अच्छी, सिमेंटिक कलाकृतियों के सस्ते उत्पादन के जोखिम पर प्रकाश डाला।


 * ओपन एआई के सैम ऑल्टमैन ने स्वयं इसकी आलोचना की जिसे उन्होंने "जीपीटी-3 प्रचार" कहा, यह स्वीकार करते हुए कि जीपीटी-3 में गंभीर कमज़ोरी है और कभी-कभी बहुत मूर्खतापूर्ण गलतियाँ करता है... एआई दुनिया को बदलने जा रहा है, लेकिन जीपीटी-3 केवल एक बहुत प्रारंभिक झलक है।

आलोचना
जीपीटी-3 के निर्माता, ओपन एआई को शुरू में 2015 में एक गैर-लाभकारी संस्था के रूप में स्थापित किया गया था। 2019 में,  ओपन एआई ने जीपीटी-3 के पूर्ववर्ती मॉडल को सार्वजनिक रूप से जारी नहीं करके अपने सामान्य ओपन-सोर्स मानकों को तोड़ दिया, इस चिंता का हवाला देते हुए कि मॉडल नकली समाचारों के प्रसार को सुगम बना सकता है।  ओपन एआई ने अंततः जीपीटी-2 का एक संस्करण जारी किया जो मूल मॉडल के आकार का 8% था। उसी वर्ष,  ओपन एआई को एक फ़ायदेमंद कंपनी के रूप में पुनर्गठित किया गया। 2020 में, माइक्रोसॉफ्ट ने घोषणा की कि कंपनी के पास  ओपन एआई में बहु-अरब डॉलर के निवेश के बाद माइक्रोसॉफ्ट के उत्पादों और सेवाओं के लिए जीपीटी-3 का विशेष लाइसेंस है। अनुबंध  ओपन एआई को एक सार्वजनिक-सामना करने वाले API की पेशकश करने की अनुमति देता है, जैसे कि उपयोगकर्ता मॉडल के आउटपुट प्राप्त करने के लिए जीपीटी-3 को पाठ भेज सकते हैं, लेकिन केवल माइक्रोसॉफ्ट के पास जीपीटी-3 के स्रोत कोड तक पहुंच होगी।

जीपीटी-3 जैसे बड़े भाषा मॉडल, प्रशिक्षण के पर्यावरणीय प्रभाव और मॉडलों को संग्रहीत करने के लिए Google के एआई नैतिकता शोधकर्ताओं में से कुछ की आलोचना के अधीन आ गए हैं, 2021 में तिमनिट गेब्रू  और एमिली एम. बेंडर द्वारा सह-लेखक एक लेख्य में विस्तार से बताया गया है।.

जीपीटी-3 और अन्य भाषा जनरेटर पर आधारित स्वचालित लेखन तकनीकों के बढ़ते उपयोग ने अकादमिक अखंडता के बारे में चिंताएँ बढ़ा दी हैं और इस बात का दांव उठाया कि विश्वविद्यालय और स्कूल कैसे साहित्यिक चोरी जैसे शैक्षणिक कदाचार का गठन करेंगे।

ओपन एआई की जीपीटी श्रृंखला को 12 वर्षों की अवधि में 60 मिलियन डोमेन से स्क्रैप किए गए कॉपीराइट लेखों, इंटरनेट पोस्ट, वेब पेजों और पुस्तकों के एक समूह, कॉमन क्रॉल डेटासेट के डेटा के साथ बनाया गया था। टेकक्रंच की रिपोर्ट है कि इस प्रशिक्षण डेटा में बीबीसी, द न्यूयॉर्क टाइम्स, रेडिट, ऑनलाइन पुस्तकों का पूरा पाठ और बहुत कुछ से कॉपीराइट सामग्री शामिल है।  संयुक्त राज्य अमेरिका पेटेंट और ट्रेडमार्क कार्यालय (यूएसपीटीओ) से आर्टिफिशियल इंटेलिजेंस इनोवेशन के लिए बौद्धिक संपदा संरक्षण पर टिप्पणियों के लिए 2019 के अनुरोध के जवाब में, ओपनएआई ने तर्क दिया कि वर्तमान कानून के तहत, प्रशिक्षण एआई सिस्टम [जैसे इसके जीपीटी मॉडल] उचित उपयोग का गठन करते हैं, लेकिन उस बिंदु पर निर्णय विधि की कमी को देखते हुए,  ओपन एआई और हमारे जैसे अन्य एआई डेवलपर्स को पर्याप्त कानूनी अनिश्चितता और अनुपालन लागत का सामना करना पड़ता है।

जीपीटी-3.5
जनरेटिव प्री-ट्रेन्ड ट्रांसफॉर्मर 3.5 (जीपीटी-3.5) 2022 में ओपन एआई द्वारा बनाया गया एक बड़ा भाषा मॉडल है।

15 मार्च, 2022 को, ओपन एआई ने अपने API में जीपीटी-3 और  ओपन एआई कोडेक्स के नए संस्करणों को "टेक्स्ट-डेविन्सी-002" और "कोड-डेविन्सी-002" नामों के तहत संपादन और सम्मिलन क्षमताओं के साथ उपलब्ध कराया। इन मॉडलों को पिछले संस्करणों की तुलना में अधिक सक्षम बताया गया था और जून 2021 तक के डेटा पर प्रशिक्षित किया गया था। 28 नवंबर, 2022 को  ओपन एआई ने text-davinci-003 पेश किया। 30 नवंबर, 2022 को  ओपन एआई ने इन मॉडलों को जीपीटी-3.5 श्रृंखला से संबंधित के रूप में संदर्भित करना शुरू किया, और Chatजीपीटी जारी किया, जो जीपीटी-3.5 श्रृंखला में एक मॉडल से फाइन-ट्यून किया गया था।  ओपन एआई जीपीटी-3 में जीपीटी-3.5 शामिल नहीं है।

मॉडल
चार मॉडल हैं।
 * बात करना
 * जीपीटी-3.5-टर्बो
 * पाठ पूरा करना
 * टेक्स्ट-डेविंसी-003
 * टेक्स्ट-डेविंसी-002
 * code-davinci-002 - कोड-पूर्ण कार्यों के लिए अनुकूलित

जीपीटी-3.5 ब्राउज़िंग के साथ
10 अप्रैल, 2023 को, ओपन एआई ने अपने जीपीटी-3.5 श्रृंखला मॉडल का एक नया संस्करण पेश किया, जिसे जीपीटी-3.5 ब्राउज़िंग (ALPHA) के रूप में जाना जाता है। यह अद्यतन मॉडल अपने पूर्ववर्तियों "टेक्स्ट-डेविंसी-002" और "कोड-डेविन्सी-002" की क्षमताओं पर आधारित है। जीपीटी-3.5 ब्राउज़िंग (ALPHA) मॉडल के साथ ऑनलाइन जानकारी तक पहुँचने और ब्राउज़ करने की क्षमता को शामिल करके अपने प्रदर्शन को बढ़ाता है, जिससे उपयोगकर्ता प्रश्नों के लिए अधिक सटीक और अद्यतित प्रतिक्रियाएँ प्राप्त होती हैं।

जीपीटी-3.5 with Browsing (ALPHA) मॉडल का प्राथमिक लक्ष्य अधिक सटीक और प्रासंगिक रूप से प्रासंगिक जानकारी प्रदान करके उपयोगकर्ता अनुभव को बेहतर बनाना है। इसे सितंबर 2021 तक के डेटा पर प्रशिक्षित किया गया है, जो पिछले जीपीटी-3.5 मॉडल की तुलना में बेहतर प्रदर्शन की अनुमति देता है, जिन्हें जून 2021 तक डेटा पर प्रशिक्षित किया गया था। ओपन एआई ने इस मॉडल को डेवलपर्स और उपयोगकर्ताओं को एक उन्नत प्राकृतिक भाषा प्रसंस्करण उपकरण प्रदान करने के लिए जारी किया है जो ऑनलाइन जानकारी को प्रभावी ढंग से पुनः प्राप्त और संश्लेषित कर सकते हैं।

ब्राउज़िंग क्षमताओं को सक्षम करने के लिए, ओपन एआई ने एक नया एपीआई लागू किया है जो जीपीटी-3.5 को ब्राउज़िंग (ALPHA) मॉडल के साथ ऑपरेशन के दौरान चयनित ऑनलाइन संसाधनों तक पहुंचने की अनुमति देता है। यह सुविधा उपयोगकर्ताओं को इस अपेक्षा के साथ प्रश्न पूछने या सूचना का अनुरोध करने का अधिकार देती है कि मॉडल नवीनतम ऑनलाइन स्रोतों के आधार पर अद्यतन, सटीक और प्रासंगिक उत्तर प्रदान करेगा।

27 अप्रैल, 2023 को, ओपन एआई ने जीपीटी-3.5 को ब्राउजिंग (ALPHA) मॉडल के साथ जीपीटी प्लस उपयोगकर्ताओं के लिए सार्वजनिक रूप से उपलब्ध कराया, इसकी अत्याधुनिक क्षमताओं और सुविधाओं तक पहुंच को व्यापक बनाया।

यह भी देखें

 * बीईआरटी (भाषा मॉडल)
 * मतिभ्रम (कृत्रिम बुद्धि)
 * लाएमडीए (LaMDA)
 * वू डाओ (Wu Dao)