जीपीटी-3

जनरेटिव प्री-ट्रेन्ड ट्रांसफॉर्मर 3 (GPT-3) 2020 में OpenAI द्वारा जारी एक ऑटोरेग्रेसिव मॉडल भाषा मॉडल  है जो मानव-समान टेक्स्ट बनाने के लिए ध्यान लगा के पढ़ना या सीखना का उपयोग करता है। जब एक संकेत दिया जाता है, तो यह पाठ उत्पन्न करेगा जो संकेत को जारी रखता है।

आर्किटेक्चर एक डिकोडर-ओनली ट्रांसफॉर्मर (मशीन लर्निंग मॉडल) है जिसमें 2048-लेक्सिकल विश्लेषण-लंबा संदर्भ और फिर 175 बिलियन पैरामीटर (मशीन लर्निंग) का अभूतपूर्व आकार है, जिसे स्टोर करने के लिए 800GB की आवश्यकता होती है। मॉडल को जनरेटिव प्री-ट्रेनिंग का उपयोग करके प्रशिक्षित किया गया था; यह भविष्यवाणी करने के लिए प्रशिक्षित किया जाता है कि अगला टोकन पिछले टोकन के आधार पर क्या है। मॉडल ने मजबूत जीरो-शॉट लर्निंग | जीरो-शॉट और कुछ-शॉट लर्निंग (प्राकृतिक भाषा प्रसंस्करण) | कई कार्यों पर कुछ-शॉट सीखने का प्रदर्शन किया।

GPT-2, GPT-3 का उत्तराधिकारी, OpenAI, एक सैन फ्रांसिस्को स्थित कृत्रिम बुद्धिमत्ता अनुसंधान प्रयोगशाला द्वारा निर्मित नींव मॉडल की एक जनरेटिव पूर्व-प्रशिक्षित ट्रांसफार्मर श्रृंखला में तीसरी पीढ़ी का भाषा पूर्वानुमान मॉडल है। GPT-3, जिसे मई 2020 में पेश किया गया था, और जुलाई 2020 तक बीटा परीक्षण में था, पूर्व-प्रशिक्षित भाषा अभ्यावेदन की प्राकृतिक भाषा प्रसंस्करण (एनएलपी) प्रणालियों में एक प्रवृत्ति का हिस्सा है।

GPT-3 द्वारा उत्पन्न पाठ की गुणवत्ता इतनी अधिक है कि यह निर्धारित करना मुश्किल हो सकता है कि यह किसी मानव द्वारा लिखा गया था या नहीं, जिसके लाभ और जोखिम दोनों हैं। इकतीस OpenAI शोधकर्ताओं और इंजीनियरों ने GPT-3 को पेश करते हुए 28 मई, 2020 को मूल पेपर प्रस्तुत किया। अपने पेपर में, उन्होंने GPT-3 के संभावित खतरों के प्रति आगाह किया और जोखिम को कम करने के लिए अनुसंधान का आह्वान किया। डेविड चाल्मर्स, एक ऑस्ट्रेलियाई दार्शनिक, ने GPT-3 को अब तक निर्मित सबसे दिलचस्प और महत्वपूर्ण AI प्रणालियों में से एक के रूप में वर्णित किया। द न्यू यॉर्क टाइम्स में अप्रैल 2022 की समीक्षा में GPT-3 की क्षमताओं का वर्णन किया गया है, जो मानव के समतुल्य प्रवाह के साथ मूल गद्य लिखने में सक्षम हैं। Microsoft ने 22 सितंबर, 2020 को घोषणा की कि उसने GPT-3 के अनन्य उपयोग का लाइसेंस प्राप्त कर लिया है; अन्य अभी भी आउटपुट प्राप्त करने के लिए सार्वजनिक एपीआई का उपयोग कर सकते हैं, लेकिन केवल Microsoft के पास GPT-3 के अंतर्निहित मॉडल तक पहुंच है।

पृष्ठभूमि
अर्थशास्त्री के अनुसार, बेहतर एल्गोरिदम, शक्तिशाली कंप्यूटर, और डिजीटल डेटा में वृद्धि ने 2010 में नई तकनीकों के साथ यंत्र अधिगम  में क्रांति को बढ़ावा दिया है, जिसके परिणामस्वरूप भाषा में हेरफेर करने सहित कार्यों में तेजी से सुधार हुआ है। सॉफ़्टवेयर मॉडल को किसी संरचना में हज़ारों या लाखों उदाहरणों का उपयोग करके सीखने के लिए प्रशिक्षित किया जाता है... शिथिल रूप से मस्तिष्क की तंत्रिका संरचना पर आधारित है। प्राकृतिक भाषा प्रसंस्करण (एनएलपी) में उपयोग किया जाने वाला एक आर्किटेक्चर एक कृत्रिम तंत्रिका नेटवर्क है जो एक गहन शिक्षण मॉडल पर आधारित है जिसे पहली बार 2017 में पेश किया गया था- ट्रांसफॉर्मर (मशीन लर्निंग मॉडल) आर्किटेक्चर। ऐसे कई एनएलपी सिस्टम हैं जो टेक्स्ट इनपुट को संसाधित करने, खनन करने, व्यवस्थित करने, कनेक्ट करने और इसके विपरीत करने में सक्षम हैं, साथ ही प्रश्नों का सही उत्तर देने में भी सक्षम हैं।

11 जून, 2018 को, OpenAI के शोधकर्ताओं और इंजीनियरों ने पहला जनरेटिव प्री-ट्रेन्ड ट्रांसफॉर्मर (GPT) पेश करते हुए अपना मूल पेपर पोस्ट किया।—एक प्रकार का जनरेटिव आर्टिफिशियल इंटेलिजेंस विशाल भाषा मॉडल  जो डेटासेट (मशीन लर्निंग) के माध्यम से एक विशाल और विविध टेक्स्ट कॉर्पस के साथ पूर्व-प्रशिक्षित होता है, जिसके बाद भेदभावपूर्ण फाइन-ट्यूनिंग (मशीन लर्निंग) होता है। किसी विशिष्ट कार्य पर ध्यान केंद्रित करने के लिए फाइन-ट्यूनिंग। GPT मॉडल ट्रांसफ़ॉर्मर-आधारित डीप लर्निंग न्यूरल नेटवर्क आर्किटेक्चर हैं। उस बिंदु तक, सबसे अच्छा प्रदर्शन करने वाले तंत्रिका एनएलपी मॉडल ने आमतौर पर बड़ी मात्रा में मैन्युअल रूप से लेबल किए गए डेटा से सीखने की निगरानी की, जिसने इसे बहुत बड़े भाषा मॉडल को प्रशिक्षित करने के लिए निषेधात्मक रूप से महंगा और समय लेने वाला बना दिया।

उस पहले GPT मॉडल को GPT-1 के रूप में जाना जाता है, और उसके बाद फरवरी 2019 में GPT-2 का अनुसरण किया गया। GPT-2 को GPT-1 के प्रत्यक्ष स्केल-अप के रूप में बनाया गया था, इसके पैरामीटर काउंट और डेटासेट आकार दोनों में वृद्धि हुई थी 10 का कारक। इसमें 1.5 बिलियन पैरामीटर थे, और इसे 8 मिलियन वेब पेजों के डेटासेट पर प्रशिक्षित किया गया था। फरवरी 2020 में, Microsoft ने अपना ट्यूरिंग नेचुरल लैंग्वेज जनरेशन (T-NLG) पेश किया, जिसके बारे में दावा किया गया था कि यह 17 बिलियन मापदंडों पर प्रकाशित अब तक का सबसे बड़ा भाषा मॉडल है। इसने विभिन्न प्रकार के कार्यों में किसी भी अन्य भाषा मॉडल से बेहतर प्रदर्शन किया जिसमें स्वचालित सारांश और प्रश्न उत्तर शामिल थे।

प्रशिक्षण और क्षमताएं
28 मई, 2020 को, OpenAI में 31 इंजीनियरों और शोधकर्ताओं के एक समूह द्वारा एक arXiv प्रीप्रिंट ने तीसरी पीढ़ी के अत्याधुनिक भाषा मॉडल GPT-3 के विकास का वर्णन किया। टीम ने GPT-3 की क्षमता में अपने पूर्ववर्ती GPT-2 की तुलना में परिमाण के दो क्रमों की वृद्धि की, रेफरी नाम = gpt2-साथ-उद्धरण> GPT-3 को अब तक का सबसे बड़ा गैर-विरल भाषा मॉडल बनाता है। क्योंकि GPT-3 संरचनात्मक रूप से अपने पूर्ववर्तियों के समान है, इसकी अधिक सटीकता को इसकी बढ़ी हुई क्षमता और अधिक संख्या में मापदंडों के लिए जिम्मेदार ठहराया जाता है। जीपीटी-3 की क्षमता माइक्रोसॉफ्ट के ट्यूरिंग एनएलजी की तुलना में दस गुना अधिक है, जो उस समय ज्ञात अगला सबसे बड़ा एनएलपी मॉडल था।

लैम्बडालैब्स ने 2020 में एक जीपीयू पर GPT-3 को प्रशिक्षित करने के लिए लगभग $4.6 मिलियन अमेरिकी डॉलर और 355 वर्षों की अनुमानित लागत का अनुमान लगाया, समानांतर में अधिक जीपीयू का उपयोग करके कम वास्तविक प्रशिक्षण समय के साथ।

GPT-3 के लिए भारित पूर्व-प्रशिक्षण डेटासेट का साठ प्रतिशत सामान्य क्रॉल  के फ़िल्टर किए गए संस्करण से आता है जिसमें 410 बिलियन बाइट जोड़ी एन्कोडिंग | बाइट-जोड़ी-एन्कोडेड टोकन शामिल हैं।  अन्य स्रोत हैं WebText2 से 19 बिलियन टोकन जो कुल भार के 22% का प्रतिनिधित्व करते हैं, Books1 से 12 बिलियन टोकन 8% का प्रतिनिधित्व करते हैं, 55 बिलियन टोकन Books2 से 8% का प्रतिनिधित्व करते हैं, और 3 बिलियन टोकन विकिपीडिया से 3% का प्रतिनिधित्व करते हैं।  GPT-3 को सैकड़ों अरबों शब्दों पर प्रशिक्षित किया गया था और यह CSS, JSX, और Python, अन्य में कोडिंग करने में भी सक्षम है।

चूँकि GPT-3 का प्रशिक्षण डेटा सर्वव्यापी था, इसलिए इसे विशिष्ट भाषा कार्यों के लिए और प्रशिक्षण की आवश्यकता नहीं है। प्रशिक्षण डेटा में कभी-कभार जहरीली भाषा होती है और GPT-3 कभी-कभी अपने प्रशिक्षण डेटा की नकल करने के परिणामस्वरूप जहरीली भाषा उत्पन्न करता है। वाशिंगटन विश्वविद्यालय के एक अध्ययन में पाया गया कि GPT-3 ने GPT-2 और CTRL के समान प्राकृतिक भाषा प्रसंस्करण मॉडल की तुलना में विषाक्तता स्तर पर जहरीली भाषा का उत्पादन किया। OpenAI ने GPT-3 द्वारा उत्पन्न विषाक्त भाषा की मात्रा को सीमित करने के लिए कई रणनीतियाँ लागू की हैं। परिणामस्वरूप, GPT-3 ने अपने पूर्ववर्ती मॉडल, GPT-1 की तुलना में कम जहरीली भाषा का उत्पादन किया, हालांकि इसने CTRL विकी की तुलना में जहरीली भाषा की अधिक पीढ़ियों और उच्च विषाक्तता दोनों का उत्पादन किया, जो पूरी तरह से विकिपीडिया डेटा पर प्रशिक्षित भाषा मॉडल है। 11 जून, 2020 को, OpenAI ने घोषणा की कि उपयोगकर्ता इसके उपयोगकर्ता के अनुकूल GPT-3 API - एक मशीन लर्निंग टूलसेट - तक पहुँच का अनुरोध कर सकते हैं - OpenAI को इस नई तकनीक की ताकत और सीमाओं का पता लगाने में मदद करने के लिए। आमंत्रण में बताया गया है कि कैसे इस API में एक सामान्य-उद्देश्य वाला टेक्स्ट इन, टेक्स्ट आउट इंटरफ़ेस है जो सामान्य एकल उपयोग-मामले के बजाय लगभग किसी भी अंग्रेजी भाषा के कार्य को पूरा कर सकता है। एक उपयोगकर्ता के अनुसार, जिसकी OpenAI GPT-3 API की एक निजी प्रारंभिक रिलीज़ तक पहुंच थी, GPT-3 केवल कुछ सरल संकेतों के साथ आश्चर्यजनक रूप से सुसंगत पाठ लिखने में अच्छा था। एक प्रारंभिक प्रयोग में 80 अमेरिकी विषयों को न्याय करने के लिए कहा गया था कि क्या लघु ~200 शब्दों के लेख मनुष्यों या GPT-3 द्वारा लिखे गए थे। प्रतिभागियों ने 52% समय सही ढंग से आंका, यादृच्छिक अनुमान लगाने से केवल थोड़ा बेहतर किया।

18 नवंबर, 2021 को, OpenAI ने घोषणा की कि पर्याप्त सुरक्षा उपाय लागू किए गए थे कि इसके API तक पहुंच अप्रतिबंधित होगी। OpenAI ने डेवलपर्स को एक कंटेंट मॉडरेशन टूल प्रदान किया है जो उन्हें OpenAI की सामग्री नीति का पालन करने में मदद करता है। 27 जनवरी, 2022 को, OpenAI ने घोषणा की कि इसके नवीनतम GPT-3 भाषा मॉडल, जिन्हें सामूहिक रूप से InstructGPT के रूप में जाना जाता है, अब उनके API पर उपयोग की जाने वाली डिफ़ॉल्ट भाषा मॉडल थी। OpenAI के अनुसार, InstructGPT ने ऐसी सामग्री का उत्पादन किया जो बेहतर निर्देशों का पालन करके, कम गढ़े हुए तथ्यों को उत्पन्न करके, और कुछ हद तक कम विषाक्त सामग्री का उत्पादन करके उपयोगकर्ता के इरादों से बेहतर ढंग से जुड़ा हुआ था। क्योंकि GPT-3 ऐसे समाचार लेख उत्पन्न कर सकता है जिन्हें मानव मूल्यांकनकर्ताओं को मनुष्यों द्वारा लिखे गए लेखों से अलग करने में कठिनाई होती है, GPT-3 में भाषा मॉडलों के लाभकारी और हानिकारक दोनों अनुप्रयोगों को आगे बढ़ाने की क्षमता है। अपने 28 मई, 2020 के पेपर में, शोधकर्ताओं ने GPT-3 के संभावित हानिकारक प्रभावों का विस्तार से वर्णन किया जिसमें गलत सूचना, स्पैमिंग, फ़िशिंग, प्रक्रिया का दुरुपयोग, अकादमिक बेईमानी लेखन और सोशल इंजीनियरिंग बहाना शामिल हैं। लेखक जोखिम प्रबंधन पर शोध करने के लिए इन खतरों की ओर ध्यान आकर्षित करते हैं।

GPT-3 शून्य-शॉट और कुछ-शॉट सीखने (एक-शॉट सहित) करने में सक्षम है।

जून 2022 में, अल्मीरा उस्मानोविक थुनस्ट्रॉम ने लिखा कि GPT-3 अपने आप में एक लेख का प्राथमिक लेखक था, जिसे उन्होंने प्रकाशन के लिए प्रस्तुत किया था, और यह कि इसकी समीक्षा पूरी होने की प्रतीक्षा करते हुए इसे पूर्व-प्रकाशित किया गया था।

मॉडल
सात मॉडल हैं। इनमें #GPT-3.5|GPT-3.5 और OpenAI कोडेक्स शामिल नहीं हैं।
 * पाठ-क्यूरी-001
 * टेक्स्ट-बबेज-001
 * पाठ-अदा-001
 * दा विंसी
 * क्यूरी
 * बकवास
 * अदा

अनुप्रयोग

 * GPT-3, विशेष रूप से OpenAI कोडेक्स, GitHub Copilot का आधार है, जो एक कोड पूर्णता और जनरेशन सॉफ़्टवेयर है जिसका उपयोग विभिन्न कोड संपादकों और IDE में किया जा सकता है।
 * GPT-3 का उपयोग कुछ Microsoft उत्पादों में पारंपरिक भाषा को औपचारिक कंप्यूटर कोड में अनुवाद करने के लिए किया जाता है।
 * कोडेक्सडीबी में GPT-3 का इस्तेमाल किया गया है SQL प्रसंस्करण के लिए क्वेरी-विशिष्ट कोड उत्पन्न करने के लिए।
 * GPT-3 का उपयोग जेसन रोहरर द्वारा प्रोजेक्ट दिसंबर नाम के एक रेट्रो-थीम वाले चैटबॉट प्रोजेक्ट में किया गया है, जो ऑनलाइन उपलब्ध है और उपयोगकर्ताओं को GPT-3 तकनीक का उपयोग करके कई AI के साथ बातचीत करने की अनुमति देता है।
 * GPT-3 का उपयोग अभिभावक द्वारा AI के मानव के लिए हानिकारक होने के बारे में एक लेख लिखने के लिए किया गया था। इसमें कुछ विचार दिए गए और आठ अलग-अलग निबंध तैयार किए गए, जिन्हें अंततः एक लेख में मिला दिया गया।
 * GPT-3 का उपयोग AI डंगऑन में किया गया था, जो पाठ-आधारित साहसिक खेल उत्पन्न करता है। बाद में OpenAI ने जनरेट की गई सामग्री के संबंध में अपनी नीति में बदलाव के बाद इसे एक प्रतिस्पर्धी मॉडल से बदल दिया।
 * GPT-3 का उपयोग प्रतिलिपि (प्रकाशन) और अन्य विपणन सामग्री लिखने में सहायता के लिए किया जाता है।
 * ड्रेक्सेल विश्वविद्यालय के 2022 के एक अध्ययन ने सुझाव दिया कि जीपीटी-3-आधारित सिस्टम का उपयोग अल्जाइमर रोग के शुरुआती लक्षणों की जांच के लिए किया जा सकता है।

समीक्षा
दी न्यू यौर्क टाइम्स में जुलाई 2020 की समीक्षा में, फरहाद मंजू ने कहा कि GPT-3 की कंप्यूटर कोड, कविता और गद्य उत्पन्न करने की क्षमता न केवल अद्भुत, डरावनी और विनम्र है, बल्कि थोड़ी भयानक से भी अधिक है। रेफरी> ने कहा कि GPT-3 की दुनिया की समझ अक्सर गंभीर रूप से बंद होती है, जिसका अर्थ है कि आप जो कहते हैं उस पर वास्तव में कभी भरोसा नहीं कर सकते। लेखकों के अनुसार, GPT-3 प्रत्येक शब्द के पीछे के अर्थ को समझे बिना शब्दों के बीच संबंधों को मॉडल करता है। रेफरी> रेफरी> रेफरी> रेफरी>
 * डेली नूस ने GPT-3 पर नौ दार्शनिकों द्वारा लेखों की एक श्रृंखला प्रस्तुत की। ऑस्ट्रेलियाई दार्शनिक डेविड चाल्मर्स ने GPT-3 को अब तक निर्मित सबसे दिलचस्प और महत्वपूर्ण AI सिस्टम के रूप में वर्णित किया है।
 * वायर्ड (पत्रिका) में एक समीक्षा में कहा गया है कि GPT-3 सिलिकॉन वैली में ठंडक पैदा कर रहा था।
 * राष्ट्रीय कानून की समीक्षा ने कहा कि GPT-3 बड़ी प्रक्रिया में एक प्रभावशाली कदम है, जिसमें OpenAI और अन्य लोगों ने अधिक कृत्रिम सामान्य बुद्धि  इंटेलिजेंस की दिशा में काम करना जारी रखते हुए इस सभी शक्ति के लिए उपयोगी एप्लिकेशन ढूंढे हैं।
 * एमआईटी प्रौद्योगिकी समीक्षा में एक लेख, डीप लर्निंग समीक्षक गैरी मार्कस द्वारा लिखित,
 * फेसबुक एआई लैब के प्रमुख जेरोम पेसेंटी ने कहा कि जीपीटी-3 असुरक्षित है, जो यहूदियों, महिलाओं, काले लोगों और प्रलय  पर चर्चा करने के लिए कहा गया था, जब प्रणाली द्वारा उत्पन्न [[जातिवाद]], नस्लवादी और अन्य पक्षपाती और नकारात्मक भाषा की ओर इशारा किया गया था। . रेफरी>
 * नबला, एक फ्रांसीसी स्टार्ट-अप जो स्वास्थ्य सेवा प्रौद्योगिकी में विशेषज्ञता रखती है, ने GPT-3 का एक मेडिकल चैटबॉट के रूप में परीक्षण किया, हालाँकि OpenAI ने स्वयं इस तरह के उपयोग के खिलाफ चेतावनी दी थी। जैसा कि अपेक्षित था, GPT-3 ने कई सीमाएँ दिखाईं। उदाहरण के लिए, मानसिक स्वास्थ्य के मुद्दों के बारे में GPT-3 प्रतिक्रियाओं का परीक्षण करते समय, AI ने नकली रोगी को आत्महत्या करने की सलाह दी।
 * नोम चौमस्की ने GPT-3 के वैज्ञानिक मूल्य के बारे में अपना संदेह व्यक्त किया: यह कोई भाषा मॉडल नहीं है। यह असंभव भाषाओं के साथ-साथ वास्तविक भाषाओं के लिए भी काम करता है। इसलिए सामान्य वैज्ञानिक मानदंडों द्वारा भाषा मॉडल के रूप में इरादा होने पर इसका खंडन किया जाता है। [...] शायद यह किसी उद्देश्य के लिए उपयोगी है, लेकिन ऐसा लगता है कि यह हमें आम तौर पर भाषा या अनुभूति के बारे में कुछ नहीं बताता है।
 * लुसियानो फ्लोरिडी और मास्सिमो चिरियत्ती ने अच्छी, सिमेंटिक कलाकृतियों के सस्ते उत्पादन के जोखिम पर प्रकाश डाला।
 * OpenAI के सैम ऑल्टमैन ने स्वयं इसकी आलोचना की जिसे उन्होंने GPT-3 प्रचार कहा, यह स्वीकार करते हुए कि GPT-3 में गंभीर कमज़ोरी है और कभी-कभी बहुत मूर्खतापूर्ण गलतियाँ करता है... AI दुनिया को बदलने जा रहा है, लेकिन GPT-3 केवल एक बहुत प्रारंभिक झलक है।

आलोचना
GPT-3 के निर्माता, OpenAI को शुरू में 2015 में एक गैर-लाभकारी संस्था के रूप में स्थापित किया गया था। 2019 में, OpenAI ने GPT-3 के पूर्ववर्ती मॉडल को सार्वजनिक रूप से जारी नहीं करके अपने सामान्य ओपन-सोर्स मानकों को तोड़ दिया, इस चिंता का हवाला देते हुए कि मॉडल नकली समाचारों के प्रसार को सुगम बना सकता है। OpenAI ने अंततः GPT-2 का एक संस्करण जारी किया जो मूल मॉडल के आकार का 8% था। उसी वर्ष, OpenAI को एक फ़ायदेमंद कंपनी के रूप में पुनर्गठित किया गया। 2020 में, Microsoft ने घोषणा की कि कंपनी के पास OpenAI में बहु-अरब डॉलर के निवेश के बाद Microsoft के उत्पादों और सेवाओं के लिए GPT-3 का विशेष लाइसेंस है। अनुबंध OpenAI को एक सार्वजनिक-सामना करने वाले API की पेशकश करने की अनुमति देता है, जैसे कि उपयोगकर्ता मॉडल के आउटपुट प्राप्त करने के लिए GPT-3 को पाठ भेज सकते हैं, लेकिन केवल Microsoft के पास GPT-3 के स्रोत कोड तक पहुंच होगी।

GPT-3 जैसे बड़े भाषा मॉडल, प्रशिक्षण के पर्यावरणीय प्रभाव और मॉडलों को संग्रहीत करने के लिए Google के AI नैतिकता शोधकर्ताओं में से कुछ की आलोचना के अधीन आ गए हैं, 2021 में तिमनिट गेब्रू  और एमिली एम. बेंडर द्वारा सह-लेखक एक पेपर में विस्तार से बताया गया है।. बढ़ रहा है GPT-3 और अन्य भाषा जनरेटर पर आधारित स्वचालित लेखन तकनीकों के उपयोग ने अकादमिक अखंडता के बारे में चिंताएँ बढ़ा दी हैं और इस बात का दांव उठाया कि विश्वविद्यालय और स्कूल कैसे साहित्यिक चोरी जैसे शैक्षणिक कदाचार का गठन करेंगे। OpenAI की GPT श्रृंखला को 12 वर्षों की अवधि में 60 मिलियन डोमेन से स्क्रैप किए गए कॉपीराइट लेखों, इंटरनेट पोस्ट, वेब पेजों और पुस्तकों के एक समूह, कॉमन क्रॉल डेटासेट के डेटा के साथ बनाया गया था। TechCrunch की रिपोर्ट है कि इस प्रशिक्षण डेटा में बीबीसी, द न्यूयॉर्क टाइम्स, reddit, ऑनलाइन पुस्तकों का पूरा पाठ, और बहुत कुछ से कॉपीराइट सामग्री शामिल है।  संयुक्त राज्य अमेरिका पेटेंट और ट्रेडमार्क कार्यालय  (यूएसपीटीओ) से आर्टिफिशियल इंटेलिजेंस इनोवेशन के लिए बौद्धिक संपदा संरक्षण पर टिप्पणियों के लिए 2019 के अनुरोध के जवाब में, ओपनएआई ने तर्क दिया कि वर्तमान कानून के तहत, प्रशिक्षण एआई सिस्टम [जैसे इसके जीपीटी मॉडल] उचित उपयोग का गठन करते हैं, लेकिन उस बिंदु पर निर्णय विधि की कमी को देखते हुए, OpenAI और हमारे जैसे अन्य AI डेवलपर्स को पर्याप्त कानूनी अनिश्चितता और अनुपालन लागत का सामना करना पड़ता है।

जीपीटी-3.5
जनरेटिव प्री-ट्रेन्ड ट्रांसफॉर्मर 3.5 (GPT-3.5) 2022 में OpenAI द्वारा बनाया गया एक बड़ा भाषा मॉडल है।

15 मार्च, 2022 को, OpenAI ने अपने API में GPT-3 और OpenAI कोडेक्स के नए संस्करण उपलब्ध कराए, जिनमें text-davinci-002 और code-davinci-002 नामों के तहत संपादन और सम्मिलन क्षमताएं हैं। इन मॉडलों को पिछले संस्करणों की तुलना में अधिक सक्षम बताया गया था और जून 2021 तक के डेटा पर प्रशिक्षित किया गया था। 28 नवंबर, 2022 को OpenAI ने text-davinci-003 पेश किया। 30 नवंबर, 2022 को OpenAI ने इन मॉडलों को GPT-3.5 श्रृंखला से संबंधित के रूप में संदर्भित करना शुरू किया, और ChatGPT जारी किया, जो GPT-3.5 श्रृंखला में एक मॉडल से फाइन-ट्यूनिंग (मशीन लर्निंग) | फाइन-ट्यून किया गया था। OpenAI में GPT-3 में GPT-3.5 शामिल नहीं है।

मॉडल
चार मॉडल हैं।
 * बात करना
 * जीपीटी-3.5-टर्बो
 * पाठ पूरा करना
 * टेक्स्ट-डेविंसी-003
 * टेक्स्ट-डेविंसी-002
 * code-davinci-002 - कोड-पूर्ण कार्यों के लिए अनुकूलित

GPT-3.5 ब्राउज़िंग के साथ
10 अप्रैल, 2023 को, OpenAI ने अपने GPT-3.5 श्रृंखला मॉडल का एक नया संस्करण पेश किया, जिसे GPT-3.5 ब्राउज़िंग (ALPHA) के रूप में जाना जाता है। यह अद्यतन मॉडल अपने पूर्ववर्तियों text-davinci-002 और code-davinci-002 की क्षमताओं पर आधारित है। GPT-3.5 ब्राउज़िंग (ALPHA) मॉडल के साथ ऑनलाइन जानकारी तक पहुँचने और ब्राउज़ करने की क्षमता को शामिल करके अपने प्रदर्शन को बढ़ाता है, जिससे उपयोगकर्ता प्रश्नों के लिए अधिक सटीक और अद्यतित प्रतिक्रियाएँ प्राप्त होती हैं।

GPT-3.5 with Browsing (ALPHA) मॉडल का प्राथमिक लक्ष्य अधिक सटीक और प्रासंगिक रूप से प्रासंगिक जानकारी प्रदान करके उपयोगकर्ता अनुभव को बेहतर बनाना है। इसे सितंबर 2021 तक के डेटा पर प्रशिक्षित किया गया है, जो पिछले GPT-3.5 मॉडल की तुलना में बेहतर प्रदर्शन की अनुमति देता है, जिन्हें जून 2021 तक डेटा पर प्रशिक्षित किया गया था। OpenAI ने इस मॉडल को डेवलपर्स और उपयोगकर्ताओं को एक उन्नत प्राकृतिक भाषा प्रसंस्करण उपकरण प्रदान करने के लिए जारी किया है जो ऑनलाइन जानकारी को प्रभावी ढंग से पुनः प्राप्त और संश्लेषित कर सकते हैं।

ब्राउज़िंग क्षमताओं को सक्षम करने के लिए, OpenAI ने एक नया एपीआई लागू किया है जो संचालन के दौरान चयनित ऑनलाइन संसाधनों तक पहुँचने के लिए GPT-3.5 ब्राउज़िंग (ALPHA) मॉडल के साथ अनुमति देता है। यह सुविधा उपयोगकर्ताओं को इस अपेक्षा के साथ प्रश्न पूछने या सूचना का अनुरोध करने का अधिकार देती है कि मॉडल नवीनतम ऑनलाइन स्रोतों के आधार पर अद्यतन, सटीक और प्रासंगिक उत्तर प्रदान करेगा।

27 अप्रैल, 2023 को, OpenAI ने GPT-3.5 को ब्राउजिंग (ALPHA) मॉडल के साथ GPT प्लस उपयोगकर्ताओं के लिए सार्वजनिक रूप से उपलब्ध कराया, इसकी अत्याधुनिक क्षमताओं और सुविधाओं तक पहुंच को व्यापक बनाया।

यह भी देखें

 * बर्ट (भाषा मॉडल)
 * मतिभ्रम (कृत्रिम बुद्धि)
 * लाएमडीए
 * आप डीएओ हैं