जीपीटी-3

जनरेटिव प्री-ट्रेन्ड ट्रांसफॉर्मर 3(GPT-3)

Original author(s)	OpenAI
Initial release	June 11, 2020 (beta)
Predecessor	GPT-2
Successor	GPT-3.5
Type	Large language model Generative pre-trained transformer Foundation model
Website	openai.com/blog/openai-api

जनरेटिव प्री-ट्रेन्ड ट्रांसफॉर्मर 3 (GPT-3) 2020 में OpenAI द्वारा जारी एक ऑटोरेग्रेसिव लैंग्वेज मॉडल है जो मानव-समान टेक्स्ट बनाने के लिए डीप लर्निंग का उपयोग करता है। जब एक संकेत दिया जाता है, तो यह पाठ उत्पन्न करेगा जो संकेत को जारी रखता है।

आर्किटेक्चर एक डिकोडर-ओनली ट्रांसफॉर्मर (मशीन लर्निंग मॉडल) है जिसमें 2048-लेक्सिकल विश्लेषण-लंबा संदर्भ और 175 बिलियन पैरामीटर (मशीन लर्निंग) का अभूतपूर्व आकार है, जिसे स्टोर करने के लिए 800GB की आवश्यकता होती है। मॉडल को जनरेटिव प्री-ट्रेनिंग का उपयोग करके प्रशिक्षित किया गया था, यह भविष्यवाणी करने के लिए प्रशिक्षित किया जाता है कि अगला टोकन पिछले टोकन के आधार पर क्या है। मॉडल ने कई कार्यों पर मजबूत जीरो-शॉट लर्निंग और कुछ-शॉट लर्निंग (प्राकृतिक भाषा प्रसंस्करण) का प्रदर्शन किया।

GPT-2, GPT-3 का उत्तराधिकारी OpenAI एक सैन फ्रांसिस्को स्थित कृत्रिम बुद्धिमत्ता अनुसंधान प्रयोगशाला द्वारा निर्मित नींव मॉडल की एक GPT श्रृंखला में तीसरी पीढ़ी का भाषा पूर्वानुमान मॉडल है।GPT-3 जिसे मई 2020 में प्रस्तुत किया गया था और जुलाई 2020 तक बीटा परीक्षण में था, पूर्व-प्रशिक्षित भाषा अभ्यावेदन की प्राकृतिक भाषा प्रसंस्करण (NLP) प्रणालियों में एक प्रवृत्ति का हिस्सा है।

GPT-3 द्वारा उत्पन्न पाठ की गुणवत्ता इतनी अधिक है कि यह निर्धारित करना मुश्किल हो सकता है कि यह किसी मानव द्वारा लिखा गया था या नहीं, जिसके लाभ और जोखिम दोनों हैं।इकतीस OpenAI शोधकर्ताओं और इंजीनियरों ने GPT-3 को प्रस्तुत करते हुए 28 मई 2020 को मूल लेख्य प्रस्तुत किया। अपने लेख्य में उन्होंने GPT-3 के संभावित खतरों के बारे में आगाह किया और जोखिम को कम करने के लिए अनुसंधान का आह्वान किया। डेविड चाल्मर्स एक ऑस्ट्रेलियाई दार्शनिक ने GPT-3 को अब तक निर्मित सबसे दिलचस्प और महत्वपूर्ण AI प्रणालियों में से एक के रूप में वर्णित किया।द न्यू यॉर्क टाइम्स में अप्रैल 2022 की समीक्षा में GPT-3 की क्षमताओं का वर्णन किया गया है, जो मानव के समतुल्य प्रवाह के साथ मूल गद्य लिखने में सक्षम हैं।

माइक्रोसॉफ्ट ने 22 सितंबर 2020 को घोषणा की कि उसने GPT-3 के "अनन्य" उपयोग का लाइसेंस प्राप्त कर लिया है, अन्य अभी भी आउटपुट प्राप्त करने के लिए सार्वजनिक एपीआई का उपयोग कर सकते हैं, लेकिन केवल माइक्रोसॉफ्ट के पास GPT-3 के अंतर्निहित मॉडल तक पहुंच है।

पृष्ठभूमि

Further information: अधिक जानकारी: GPT-2 § पृष्ठभूमि

अर्थशास्त्री के अनुसार, बेहतर एल्गोरिदम, शक्तिशाली कंप्यूटर, और डिजीटल डेटा में वृद्धि ने 2010 में नई तकनीकों के साथ यंत्र अधिगम में क्रांति को बढ़ावा दिया है, जिसके परिणामस्वरूप भाषा में हेरफेर करने सहित कार्यों में तेजी से सुधार हुआ है। सॉफ़्टवेयर मॉडल को किसी संरचना में हज़ारों या लाखों उदाहरणों का उपयोग करके सीखने के लिए प्रशिक्षित किया जाता है ... शिथिल रूप से मस्तिष्क की तंत्रिका संरचना पर आधारित है।प्राकृतिक भाषा प्रसंस्करण (एनएलपी) में उपयोग किया जाने वाला एक आर्किटेक्चर एक कृत्रिम तंत्रिका नेटवर्क है जो एक गहन शिक्षण मॉडल पर आधारित है जिसे पहली बार 2017 में पेश किया गया था- ट्रांसफॉर्मर (मशीन लर्निंग मॉडल) आर्किटेक्चर। ऐसे कई एनएलपी सिस्टम हैं जो टेक्स्ट इनपुट को संसाधित करने, खनन करने, व्यवस्थित करने, कनेक्ट करने और इसके विपरीत करने में सक्षम हैं, साथ ही प्रश्नों का सही उत्तर देने में भी सक्षम हैं।

11 जून, 2018 को, OpenAI के शोधकर्ताओं और इंजीनियरों ने पहला जनरेटिव प्री-ट्रेन्ड ट्रांसफॉर्मर (GPT) पेश करते हुए अपना मूल पेपर पोस्ट किया।—एक प्रकार का जनरेटिव आर्टिफिशियल इंटेलिजेंस विशाल भाषा मॉडल जो डेटासेट (मशीन लर्निंग) के माध्यम से एक विशाल और विविध टेक्स्ट कॉर्पस के साथ पूर्व-प्रशिक्षित होता है, जिसके बाद भेदभावपूर्ण फाइन-ट्यूनिंग (मशीन लर्निंग) होता है। किसी विशिष्ट कार्य पर ध्यान केंद्रित करने के लिए फाइन-ट्यूनिंग। GPT मॉडल ट्रांसफ़ॉर्मर-आधारित डीप लर्निंग न्यूरल नेटवर्क आर्किटेक्चर हैं। उस बिंदु तक, सबसे अच्छा प्रदर्शन करने वाले तंत्रिका एनएलपी मॉडल ने आमतौर पर बड़ी मात्रा में मैन्युअल रूप से लेबल किए गए डेटा से सीखने की निगरानी की, जिसने इसे बहुत बड़े भाषा मॉडल को प्रशिक्षित करने के लिए निषेधात्मक रूप से महंगा और समय लेने वाला बना दिया।

उस पहले GPT मॉडल को GPT-1 के रूप में जाना जाता है, और उसके बाद फरवरी 2019 में GPT-2 का अनुसरण किया गया। GPT-2 को GPT-1 के प्रत्यक्ष स्केल-अप के रूप में बनाया गया था, इसके पैरामीटर काउंट और डेटासेट आकार दोनों में वृद्धि हुई थी 10 का कारक। इसमें 1.5 बिलियन पैरामीटर थे, और इसे 8 मिलियन वेब पेजों के डेटासेट पर प्रशिक्षित किया गया था। फरवरी 2020 में, Microsoft ने अपना ट्यूरिंग नेचुरल लैंग्वेज जनरेशन (T-NLG) पेश किया, जिसके बारे में दावा किया गया था कि यह 17 बिलियन मापदंडों पर प्रकाशित अब तक का सबसे बड़ा भाषा मॉडल है। इसने विभिन्न प्रकार के कार्यों में किसी भी अन्य भाषा मॉडल से बेहतर प्रदर्शन किया जिसमें स्वचालित सारांश और प्रश्न उत्तर शामिल थे।

प्रशिक्षण और क्षमताएं

A sample student essay about pedagogy written by GPT-3

The construct of “learning styles” is problematic because it fails to account for the processes through which learning styles are shaped. Some students might develop a particular learning style because they have had particular experiences. Others might develop a particular learning style by trying to accommodate to a learning environment that was not well suited to their learning needs. Ultimately, we need to understand the interactions among learning styles and environmental and personal factors, and how these shape how we learn and the kinds of learning we experience.

– Text generated by Mike Sharples

28 मई, 2020 को, OpenAI में 31 इंजीनियरों और शोधकर्ताओं के एक समूह द्वारा एक arXiv प्रीप्रिंट ने तीसरी पीढ़ी के अत्याधुनिक भाषा मॉडल GPT-3 के विकास का वर्णन किया। टीम ने GPT-3 की क्षमता में अपने पूर्ववर्ती GPT-2 की तुलना में परिमाण के दो क्रमों की वृद्धि की, रेफरी नाम = gpt2-साथ-उद्धरण>"लैंग्वेज मॉडल्स अनसुपर्वाइज्ड मल्टीटास्क लर्नर्स हैं" (PDF). openai.com. Archived (PDF) from the original on December 12, 2019. Retrieved December 4, 2019. GPT-2, एक 1.5B पैरामीटर ट्रांसफॉर्मर है</ref> GPT-3 को अब तक का सबसे बड़ा गैर-विरल भाषा मॉडल बनाता है। क्योंकि GPT-3 संरचनात्मक रूप से अपने पूर्ववर्तियों के समान है,इसकी अधिक सटीकता को इसकी बढ़ी हुई क्षमता और अधिक संख्या में मापदंडों के लिए जिम्मेदार ठहराया जाता है। जीपीटी-3 की क्षमता माइक्रोसॉफ्ट के ट्यूरिंग एनएलजी की तुलना में दस गुना अधिक है, जो उस समय ज्ञात अगला सबसे बड़ा एनएलपी मॉडल था।

लैम्बडालैब्स ने 2020 में एक जीपीयू पर GPT-3 को प्रशिक्षित करने के लिए लगभग $4.6 मिलियन अमेरिकी डॉलर और 355 वर्षों की अनुमानित लागत का अनुमान लगाया, समानांतर में अधिक जीपीयू का उपयोग करके कम वास्तविक प्रशिक्षण समय के साथ।

GPT-3 के लिए भारित पूर्व-प्रशिक्षण डेटासेट का साठ प्रतिशत सामान्य क्रॉल के फ़िल्टर किए गए संस्करण से आता है जिसमें 410 बिलियन बाइट जोड़ी एन्कोडिंग | बाइट-जोड़ी-एन्कोडेड टोकन शामिल हैं। अन्य स्रोत हैं WebText2 से 19 बिलियन टोकन जो कुल भार के 22% का प्रतिनिधित्व करते हैं, Books1 से 12 बिलियन टोकन 8% का प्रतिनिधित्व करते हैं, 55 बिलियन टोकन Books2 से 8% का प्रतिनिधित्व करते हैं, और 3 बिलियन टोकन विकिपीडिया से 3% का प्रतिनिधित्व करते हैं। GPT-3 को सैकड़ों अरबों शब्दों पर प्रशिक्षित किया गया था और यह CSS, JSX, और Python, अन्य में कोडिंग करने में भी सक्षम है।

GPT-3 training data

Dataset	# tokens	Proportion within training
Common Crawl	410 billion	60%
WebText2	19 billion	22%
Books1	12 billion	8%
Books2	55 billion	8%
Wikipedia	3 billion	3%

चूँकि GPT-3 का प्रशिक्षण डेटा सर्वव्यापी था, इसलिए इसे विशिष्ट भाषा कार्यों के लिए और प्रशिक्षण की आवश्यकता नहीं है।प्रशिक्षण डेटा में कभी-कभार जहरीली भाषा होती है और GPT-3 कभी-कभी अपने प्रशिक्षण डेटा की नकल करने के परिणामस्वरूप जहरीली भाषा उत्पन्न करता है। वाशिंगटन विश्वविद्यालय के एक अध्ययन में पाया गया कि GPT-3 ने GPT-2 और CTRL के समान प्राकृतिक भाषा प्रसंस्करण मॉडल की तुलना में विषाक्तता स्तर पर जहरीली भाषा का उत्पादन किया। OpenAI ने GPT-3 द्वारा उत्पन्न विषाक्त भाषा की मात्रा को सीमित करने के लिए कई रणनीतियाँ लागू की हैं। परिणामस्वरूप, GPT-3 ने अपने पूर्ववर्ती मॉडल, GPT-1 की तुलना में कम जहरीली भाषा का उत्पादन किया, हालांकि इसने CTRL विकी की तुलना में जहरीली भाषा की अधिक पीढ़ियों और उच्च विषाक्तता दोनों का उत्पादन किया, जो पूरी तरह से विकिपीडिया डेटा पर प्रशिक्षित भाषा मॉडल है। 11 जून, 2020 को, OpenAI ने घोषणा की कि उपयोगकर्ता इसके उपयोगकर्ता के अनुकूल GPT-3 API - एक मशीन लर्निंग टूलसेट - तक पहुँच का अनुरोध कर सकते हैं - OpenAI को इस नई तकनीक की ताकत और सीमाओं का पता लगाने में मदद करने के लिए। आमंत्रण में बताया गया है कि कैसे इस API में एक सामान्य-उद्देश्य वाला टेक्स्ट इन, टेक्स्ट आउट इंटरफ़ेस है जो सामान्य एकल उपयोग-मामले के बजाय लगभग किसी भी अंग्रेजी भाषा के कार्य को पूरा कर सकता है।एक उपयोगकर्ता के अनुसार, जिसकी OpenAI GPT-3 API की एक निजी प्रारंभिक रिलीज़ तक पहुंच थी, GPT-3 केवल कुछ सरल संकेतों के साथ आश्चर्यजनक रूप से सुसंगत पाठ लिखने में अच्छा था। एक प्रारंभिक प्रयोग में 80 अमेरिकी विषयों को न्याय करने के लिए कहा गया था कि क्या लघु ~200 शब्दों के लेख मनुष्यों या GPT-3 द्वारा लिखे गए थे। प्रतिभागियों ने 52% समय सही ढंग से आंका, यादृच्छिक अनुमान लगाने से केवल थोड़ा बेहतर किया।

18 नवंबर, 2021 को, OpenAI ने घोषणा की कि पर्याप्त सुरक्षा उपाय लागू किए गए थे कि इसके API तक पहुंच अप्रतिबंधित होगी। OpenAI ने डेवलपर्स को एक कंटेंट मॉडरेशन टूल प्रदान किया है जो उन्हें OpenAI की सामग्री नीति का पालन करने में मदद करता है। 27 जनवरी, 2022 को, OpenAI ने घोषणा की कि इसके नवीनतम GPT-3 भाषा मॉडल, जिन्हें सामूहिक रूप से InstructGPT के रूप में जाना जाता है, अब उनके API पर उपयोग की जाने वाली डिफ़ॉल्ट भाषा मॉडल थी। OpenAI के अनुसार, InstructGPT ने ऐसी सामग्री का उत्पादन किया जो बेहतर निर्देशों का पालन करके, कम गढ़े हुए तथ्यों को उत्पन्न करके, और कुछ हद तक कम विषाक्त सामग्री का उत्पादन करके उपयोगकर्ता के इरादों से बेहतर ढंग से जुड़ा हुआ था। क्योंकि GPT-3 ऐसे समाचार लेख उत्पन्न कर सकता है जिन्हें मानव मूल्यांकनकर्ताओं को मनुष्यों द्वारा लिखे गए लेखों से अलग करने में कठिनाई होती है,GPT-3 में भाषा मॉडलों के लाभकारी और हानिकारक दोनों अनुप्रयोगों को आगे बढ़ाने की क्षमता है। अपने 28 मई, 2020 के पेपर में, शोधकर्ताओं ने GPT-3 के संभावित हानिकारक प्रभावों का विस्तार से वर्णन कियाजिसमें गलत सूचना, स्पैमिंग, फ़िशिंग, प्रक्रिया का दुरुपयोग, अकादमिक बेईमानी लेखन और सोशल इंजीनियरिंग बहाना शामिल हैं।लेखक जोखिम प्रबंधन पर शोध करने के लिए इन खतरों की ओर ध्यान आकर्षित करते हैं।

GPT-3 शून्य-शॉट और कुछ-शॉट सीखने (एक-शॉट सहित) करने में सक्षम है।

जून 2022 में, अल्मीरा उस्मानोविक थुनस्ट्रॉम ने लिखा कि GPT-3 अपने आप में एक लेख का प्राथमिक लेखक था, जिसे उन्होंने प्रकाशन के लिए प्रस्तुत किया था, और यह कि इसकी समीक्षा पूरी होने की प्रतीक्षा करते हुए इसे पूर्व-प्रकाशित किया गया था।

मॉडल

सात मॉडल हैं। इनमें #GPT-3.5|GPT-3.5 और OpenAI कोडेक्स शामिल नहीं हैं।

• पाठ-क्यूरी-001
• टेक्स्ट-बबेज-001
• पाठ-अदा-001
• दा विंसी
• क्यूरी
• बकवास
• अदा

रिसेप्शन

अनुप्रयोग

• GPT-3, विशेष रूप से OpenAI कोडेक्स, GitHub Copilot का आधार है, जो एक कोड पूर्णता और जनरेशन सॉफ़्टवेयर है जिसका उपयोग विभिन्न कोड संपादकों और IDE में किया जा सकता है।
• GPT-3 का उपयोग कुछ Microsoft उत्पादों में पारंपरिक भाषा को औपचारिक कंप्यूटर कोड में अनुवाद करने के लिए किया जाता है।
• कोडेक्सडीबी में GPT-3 का इस्तेमाल किया गया है SQL प्रसंस्करण के लिए क्वेरी-विशिष्ट कोड उत्पन्न करने के लिए।
• GPT-3 का उपयोग जेसन रोहरर द्वारा प्रोजेक्ट दिसंबर नाम के एक रेट्रो-थीम वाले चैटबॉट प्रोजेक्ट में किया गया है, जो ऑनलाइन उपलब्ध है और उपयोगकर्ताओं को GPT-3 तकनीक का उपयोग करके कई AI के साथ बातचीत करने की अनुमति देता है।
• GPT-3 का उपयोग अभिभावक द्वारा AI के मानव के लिए हानिकारक होने के बारे में एक लेख लिखने के लिए किया गया था। इसमें कुछ विचार दिए गए और आठ अलग-अलग निबंध तैयार किए गए, जिन्हें अंततः एक लेख में मिला दिया गया।
• GPT-3 का उपयोग AI डंगऑन में किया गया था, जो पाठ-आधारित साहसिक खेल उत्पन्न करता है। बाद में OpenAI ने जनरेट की गई सामग्री के संबंध में अपनी नीति में बदलाव के बाद इसे एक प्रतिस्पर्धी मॉडल से बदल दिया।
• GPT-3 का उपयोग प्रतिलिपि (प्रकाशन) और अन्य विपणन सामग्री लिखने में सहायता के लिए किया जाता है।
• ड्रेक्सेल विश्वविद्यालय के 2022 के एक अध्ययन ने सुझाव दिया कि जीपीटी-3-आधारित सिस्टम का उपयोग अल्जाइमर रोग के शुरुआती लक्षणों की जांच के लिए किया जा सकता है।

समीक्षा

दी न्यू यौर्क टाइम्स में जुलाई 2020 की समीक्षा में, फरहाद मंजू ने कहा कि GPT-3 की कंप्यूटर कोड, कविता और गद्य उत्पन्न करने की क्षमता न केवल अद्भुत, डरावनी और विनम्र है, बल्कि थोड़ी भयानक से भी अधिक है।

• डेली नूस ने GPT-3 पर नौ दार्शनिकों द्वारा लेखों की एक श्रृंखला प्रस्तुत की। ऑस्ट्रेलियाई दार्शनिक डेविड चाल्मर्स ने GPT-3 को अब तक निर्मित सबसे दिलचस्प और महत्वपूर्ण AI सिस्टम के रूप में वर्णित किया है।
• वायर्ड (पत्रिका) में एक समीक्षा में कहा गया है कि GPT-3 सिलिकॉन वैली में ठंडक पैदा कर रहा था।
• राष्ट्रीय कानून की समीक्षा ने कहा कि GPT-3 बड़ी प्रक्रिया में एक प्रभावशाली कदम है, जिसमें OpenAI और अन्य लोगों ने अधिक कृत्रिम सामान्य बुद्धि इंटेलिजेंस की दिशा में काम करना जारी रखते हुए इस सभी शक्ति के लिए उपयोगी एप्लिकेशन ढूंढे हैं।
• एमआईटी प्रौद्योगिकी समीक्षा में एक लेख, डीप लर्निंग समीक्षक गैरी मार्कस द्वारा लिखित,

रेफरी>Marcus, Gary (December 1, 2018). "गहरी शिक्षा के साथ सबसे गहरी समस्या". Medium (in English). Archived from the original on August 1, 2019. Retrieved September 29, 2020.</ref> ने कहा कि GPT-3 की दुनिया की समझ अक्सर गंभीर रूप से बंद होती है, जिसका अर्थ है कि आप जो कहते हैं उस पर वास्तव में कभी भरोसा नहीं कर सकते। लेखकों के अनुसार, GPT-3 प्रत्येक शब्द के पीछे के अर्थ को समझे बिना शब्दों के बीच संबंधों को मॉडल करता है।

• फेसबुक एआई लैब के प्रमुख जेरोम पेसेंटी ने कहा कि जीपीटी-3 असुरक्षित है, जो यहूदियों, महिलाओं, काले लोगों और प्रलय पर चर्चा करने के लिए कहा गया था, जब प्रणाली द्वारा उत्पन्न [[जातिवाद]], नस्लवादी और अन्य पक्षपाती और नकारात्मक भाषा की ओर इशारा किया गया था। . रेफरी>Metz, Cade (November 24, 2020). "GPT-3 से मिलें। इसने कोड करना सीख लिया है (और ब्लॉग और तर्क)।". The New York Times (in English). ISSN 0362-4331. Archived from the original on December 6, 2020. Retrieved November 24, 2020.</ref>
• नबला, एक फ्रांसीसी स्टार्ट-अप जो स्वास्थ्य सेवा प्रौद्योगिकी में विशेषज्ञता रखती है, ने GPT-3 का एक मेडिकल चैटबॉट के रूप में परीक्षण किया, हालाँकि OpenAI ने स्वयं इस तरह के उपयोग के खिलाफ चेतावनी दी थी। जैसा कि अपेक्षित था, GPT-3 ने कई सीमाएँ दिखाईं। उदाहरण के लिए, मानसिक स्वास्थ्य के मुद्दों के बारे में GPT-3 प्रतिक्रियाओं का परीक्षण करते समय, AI ने नकली रोगी को आत्महत्या करने की सलाह दी।

रेफरी>"OpenAI के GPT-3 का उपयोग करने वाले मेडिकल चैटबॉट ने नकली रोगी को खुद को मारने के लिए कहा". AI News (in British English). October 28, 2020. Archived from the original on January 10, 2021. Retrieved January 8, 2021.</ref>

• नोम चौमस्की ने GPT-3 के वैज्ञानिक मूल्य के बारे में अपना संदेह व्यक्त किया: यह कोई भाषा मॉडल नहीं है। यह असंभव भाषाओं के साथ-साथ वास्तविक भाषाओं के लिए भी काम करता है। इसलिए सामान्य वैज्ञानिक मानदंडों द्वारा भाषा मॉडल के रूप में इरादा होने पर इसका खंडन किया जाता है। [...] शायद यह किसी उद्देश्य के लिए उपयोगी है, लेकिन ऐसा लगता है कि यह हमें आम तौर पर भाषा या अनुभूति के बारे में कुछ नहीं बताता है।

रेफरी>टेरेंस मैककेना, सैम हैरिस, GPT3, क्रिप्टोकरेंसी, कीर्केगार्ड, न्यूरालिंक, और हॉफस्टैटर पर चॉम्स्की. March 24, 2021. Event occurs at 1:11:44. Archived from the original on April 29, 2021. Retrieved April 29, 2021.</ref>

• लुसियानो फ्लोरिडी और मास्सिमो चिरियत्ती ने अच्छी, सिमेंटिक कलाकृतियों के सस्ते उत्पादन के जोखिम पर प्रकाश डाला।

रेफरी>Floridi, Luciano; Chiriatti, Massimo (November 1, 2020). "GPT-3: इसकी प्रकृति, कार्यक्षेत्र, सीमाएँ और परिणाम". Minds and Machines. 30 (4): 681–694. doi:10.1007/s11023-020-09548-1. S2CID 228954221.</ref>

• OpenAI के सैम ऑल्टमैन ने स्वयं इसकी आलोचना की जिसे उन्होंने GPT-3 प्रचार कहा, यह स्वीकार करते हुए कि GPT-3 में गंभीर कमज़ोरी है और कभी-कभी बहुत मूर्खतापूर्ण गलतियाँ करता है... AI दुनिया को बदलने जा रहा है, लेकिन GPT-3 केवल एक बहुत प्रारंभिक झलक है।

रेफरी>Vincent, James (July 30, 2020). "OpenAI की नवीनतम सफलता आश्चर्यजनक रूप से शक्तिशाली है, लेकिन अभी भी इसकी खामियों से जूझ रही है". The Verge. Archived from the original on July 30, 2020. Retrieved November 9, 2022.</ref>

आलोचना

GPT-3 के निर्माता, OpenAI को शुरू में 2015 में एक गैर-लाभकारी संस्था के रूप में स्थापित किया गया था। 2019 में, OpenAI ने GPT-3 के पूर्ववर्ती मॉडल को सार्वजनिक रूप से जारी नहीं करके अपने सामान्य ओपन-सोर्स मानकों को तोड़ दिया, इस चिंता का हवाला देते हुए कि मॉडल नकली समाचारों के प्रसार को सुगम बना सकता है। OpenAI ने अंततः GPT-2 का एक संस्करण जारी किया जो मूल मॉडल के आकार का 8% था। उसी वर्ष, OpenAI को एक फ़ायदेमंद कंपनी के रूप में पुनर्गठित किया गया। 2020 में, Microsoft ने घोषणा की कि कंपनी के पास OpenAI में बहु-अरब डॉलर के निवेश के बाद Microsoft के उत्पादों और सेवाओं के लिए GPT-3 का विशेष लाइसेंस है। अनुबंध OpenAI को एक सार्वजनिक-सामना करने वाले API की पेशकश करने की अनुमति देता है, जैसे कि उपयोगकर्ता मॉडल के आउटपुट प्राप्त करने के लिए GPT-3 को पाठ भेज सकते हैं, लेकिन केवल Microsoft के पास GPT-3 के स्रोत कोड तक पहुंच होगी।

GPT-3 जैसे बड़े भाषा मॉडल, प्रशिक्षण के पर्यावरणीय प्रभाव और मॉडलों को संग्रहीत करने के लिए Google के AI नैतिकता शोधकर्ताओं में से कुछ की आलोचना के अधीन आ गए हैं, 2021 में तिमनिट गेब्रू और एमिली एम. बेंडर द्वारा सह-लेखक एक पेपर में विस्तार से बताया गया है। . बढ़ रहा है GPT-3 और अन्य भाषा जनरेटर पर आधारित स्वचालित लेखन तकनीकों के उपयोग ने अकादमिक अखंडता के बारे में चिंताएँ बढ़ा दी हैं और इस बात का दांव उठाया कि विश्वविद्यालय और स्कूल कैसे साहित्यिक चोरी जैसे शैक्षणिक कदाचार का गठन करेंगे। OpenAI की GPT श्रृंखला को 12 वर्षों की अवधि में 60 मिलियन डोमेन से स्क्रैप किए गए कॉपीराइट लेखों, इंटरनेट पोस्ट, वेब पेजों और पुस्तकों के एक समूह, कॉमन क्रॉल डेटासेट के डेटा के साथ बनाया गया था। TechCrunch की रिपोर्ट है कि इस प्रशिक्षण डेटा में बीबीसी, द न्यूयॉर्क टाइम्स, reddit , ऑनलाइन पुस्तकों का पूरा पाठ, और बहुत कुछ से कॉपीराइट सामग्री शामिल है। संयुक्त राज्य अमेरिका पेटेंट और ट्रेडमार्क कार्यालय (यूएसपीटीओ) से आर्टिफिशियल इंटेलिजेंस इनोवेशन के लिए बौद्धिक संपदा संरक्षण पर टिप्पणियों के लिए 2019 के अनुरोध के जवाब में, ओपनएआई ने तर्क दिया कि वर्तमान कानून के तहत, प्रशिक्षण एआई सिस्टम [जैसे इसके जीपीटी मॉडल] उचित उपयोग का गठन करते हैं, लेकिन उस बिंदु पर निर्णय विधि की कमी को देखते हुए, OpenAI और हमारे जैसे अन्य AI डेवलपर्स को पर्याप्त कानूनी अनिश्चितता और अनुपालन लागत का सामना करना पड़ता है।

जीपीटी-3.5

Generative Pre-trained Transformer 3.5 (GPT-3.5)

Original author(s)	OpenAI
Initial release	March 15, 2022 (2022-03-15)
Repository	n/a
Predecessor	GPT-3
Successor	GPT-4
Type	Large language model Generative pre-trained transformer Foundation model
License	Proprietary
Website	n/a

जनरेटिव प्री-ट्रेन्ड ट्रांसफॉर्मर 3.5 (GPT-3.5) 2022 में OpenAI द्वारा बनाया गया एक बड़ा भाषा मॉडल है।

15 मार्च, 2022 को, OpenAI ने अपने API में GPT-3 और OpenAI कोडेक्स के नए संस्करण उपलब्ध कराए, जिनमें text-davinci-002 और code-davinci-002 नामों के तहत संपादन और सम्मिलन क्षमताएं हैं। इन मॉडलों को पिछले संस्करणों की तुलना में अधिक सक्षम बताया गया था और जून 2021 तक के डेटा पर प्रशिक्षित किया गया था। 28 नवंबर, 2022 को OpenAI ने text-davinci-003 पेश किया। 30 नवंबर, 2022 को OpenAI ने इन मॉडलों को GPT-3.5 श्रृंखला से संबंधित के रूप में संदर्भित करना शुरू किया,और ChatGPT जारी किया, जो GPT-3.5 श्रृंखला में एक मॉडल से फाइन-ट्यूनिंग (मशीन लर्निंग) | फाइन-ट्यून किया गया था। OpenAI में GPT-3 में GPT-3.5 शामिल नहीं है।

मॉडल

चार मॉडल हैं।

• बात करना
  • जीपीटी-3.5-टर्बो
• पाठ पूरा करना
  • टेक्स्ट-डेविंसी-003
  • टेक्स्ट-डेविंसी-002
  • code-davinci-002 - कोड-पूर्ण कार्यों के लिए अनुकूलित