जीपीटी-3: Difference between revisions

From Vigyanwiki
Line 174: Line 174:
}}
}}


जनरेटिव प्री-ट्रेन्ड ट्रांसफॉर्मर 3.5 (जीपीटी-3.5) 2022 में ओपन एआई द्वारा बनाया गया एक बड़ा भाषा मॉडल है।
जनरेटिव प्री-ट्रेन्ड ट्रांसफॉर्मर 3.5 (जीपीटी-3.5) 2022 में ओपन एआई द्वारा बनाया गया एक बड़ा भाषा मॉडल है।


15 मार्च 2022 को ओपन एआई ने अपने एपीआई में जीपीटी-3 और ओपन एआई कोडेक्स के नए संस्करणों को "टेक्स्ट-डेविन्सी-002" और "कोड-डेविन्सी-002" नामों के अंतर्गत संपादन और सम्मिलन क्षमताओं के साथ उपलब्ध कराया।<ref>{{Cite web |date=2022-03-15 |title=New GPT-3 Capabilities: Edit & Insert |url=https://openai.com/blog/gpt-3-edit-insert/ |access-date=2023-01-13 |website=OpenAI |language=en |archive-date=January 13, 2023 |archive-url=https://web.archive.org/web/20230113234402/https://openai.com/blog/gpt-3-edit-insert/ |url-status=live }}</ref> इन मॉडलों को पिछले संस्करणों की तुलना में अधिक सक्षम बताया गया था और जून 2021 तक के डेटा पर प्रशिक्षित किया गया था।<ref name="auto">{{Cite web|url=https://platform.openai.com/|title=ओपनएआई एपीआई|website=platform.openai.com|access-date=March 15, 2023|archive-date=March 20, 2023|archive-url=https://web.archive.org/web/20230320023933/https://platform.openai.com/|url-status=live}}</ref> 28 नवंबर, 2022 को  ओपन एआई ने टेक्स्ट-डेविन्सी-003 प्रस्तुत किया।<ref>{{Cite web |url=https://twitter.com/janleike/status/1597355354433916928 |title=Check out OpenAI's new text-davinci-003! Same underlying model as text-davinci-002 but more aligned. Would love to hear feedback about it! / Twitter |access-date=2023-05-06}}</ref> 30 नवंबर, 2022 को  ओपन एआई ने इन मॉडलों को जीपीटी-3.5 श्रृंखला से संबंधित के रूप में संदर्भित करना प्रारंभ किया<ref name="auto"/>और चैट[[ChatGPT|जीपीटी]] जारी किया, जो जीपीटी-3.5 श्रृंखला में एक मॉडल से फाइन-ट्यून किया गया था।<ref>{{Cite web |date=2022-11-30 |title=ChatGPT: Optimizing Language Models for Dialogue |url=https://openai.com/blog/chatgpt/ |access-date=2023-01-13 |website=OpenAI |language=en |archive-date=November 30, 2022 |archive-url=https://web.archive.org/web/20221130180912/https://openai.com/blog/chatgpt/ |url-status=live }}</ref>  विवृत एआई जीपीटी-3 में जीपीटी-3.5 सम्मिलित नहीं है।<ref>{{Cite web |title=ओपनएआई एपीआई|access-date=6 May 2023 |url= https://platform.openai.com/docs/models }}</ref>
15 मार्च 2022 को ओपन एआई ने अपने एपीआई में जीपीटी-3 और ओपन एआई कोडेक्स के नए संस्करणों को "टेक्स्ट-डेविन्सी-002" और "कोड-डेविन्सी-002" नामों के अंतर्गत संपादन और सम्मिलन क्षमताओं के साथ उपलब्ध कराया।<ref>{{Cite web |date=2022-03-15 |title=New GPT-3 Capabilities: Edit & Insert |url=https://openai.com/blog/gpt-3-edit-insert/ |access-date=2023-01-13 |website=OpenAI |language=en |archive-date=January 13, 2023 |archive-url=https://web.archive.org/web/20230113234402/https://openai.com/blog/gpt-3-edit-insert/ |url-status=live }}</ref> इन मॉडलों को पिछले संस्करणों की तुलना में अधिक सक्षम बताया गया था और जून 2021 तक के डेटा पर प्रशिक्षित किया गया था।<ref name="auto">{{Cite web|url=https://platform.openai.com/|title=ओपनएआई एपीआई|website=platform.openai.com|access-date=March 15, 2023|archive-date=March 20, 2023|archive-url=https://web.archive.org/web/20230320023933/https://platform.openai.com/|url-status=live}}</ref> 28 नवंबर, 2022 को  ओपन एआई ने टेक्स्ट-डेविन्सी-003 प्रस्तुत किया।<ref>{{Cite web |url=https://twitter.com/janleike/status/1597355354433916928 |title=Check out OpenAI's new text-davinci-003! Same underlying model as text-davinci-002 but more aligned. Would love to hear feedback about it! / Twitter |access-date=2023-05-06}}</ref> 30 नवंबर, 2022 को  ओपन एआई ने इन मॉडलों को जीपीटी-3.5 श्रृंखला से संबंधित के रूप में संदर्भित करना प्रारंभ किया<ref name="auto"/>और चैट[[ChatGPT|जीपीटी]] जारी किया, जो जीपीटी-3.5 श्रृंखला में एक मॉडल से फाइन-ट्यून किया गया था।<ref>{{Cite web |date=2022-11-30 |title=ChatGPT: Optimizing Language Models for Dialogue |url=https://openai.com/blog/chatgpt/ |access-date=2023-01-13 |website=OpenAI |language=en |archive-date=November 30, 2022 |archive-url=https://web.archive.org/web/20221130180912/https://openai.com/blog/chatgpt/ |url-status=live }}</ref>  विवृत एआई जीपीटी-3 में जीपीटी-3.5 सम्मिलित नहीं है।<ref>{{Cite web |title=ओपनएआई एपीआई|access-date=6 May 2023 |url= https://platform.openai.com/docs/models }}</ref>
Line 189: Line 189:


=== {{Anchor|GPT-3.5 with browsing}}जीपीटी-3.5 ब्राउज़िंग ===
=== {{Anchor|GPT-3.5 with browsing}}जीपीटी-3.5 ब्राउज़िंग ===
10 अप्रैल 2023, को  विवृत एआई ने अपने जीपीटी-3.5 श्रृंखला मॉडल का एक नया संस्करण प्रस्तुत किया, जिसे जीपीटी-3.5 ब्राउज़िंग (ALPHA) के रूप में जाना जाता है।<ref name=":0">{{Cite web |last=tingetici |date=2023-04-10 |title=Default (GPT-3.5) with browsing ALPHA -- NEW Model showed up just now. |url=http://www.reddit.com/r/OpenAI/comments/1300c2g/default_gpt35_with_browsing_alpha_new_model/ |access-date=2023-04-27 |website=r/OpenAI |archive-date=April 27, 2023 |archive-url=https://web.archive.org/web/20230427085505/https://www.reddit.com/r/OpenAI/comments/1300c2g/default_gpt35_with_browsing_alpha_new_model/ |url-status=live }}</ref> यह अद्यतन मॉडल अपने पूर्ववर्तियों "टेक्स्ट-डेविंसी-002" और "कोड-डेविन्सी-002" की क्षमताओं पर आधारित है।<ref name=":1">{{Cite web |date=2022-03-15 |title=Introducing GPT-3.5 Series: text-davinci-002 and code-davinci-002 Models |url=https://platform.openai.com/ |access-date=2023-04-27 |website=OPEN AI |language=en |archive-date=March 20, 2023 |archive-url=https://web.archive.org/web/20230320023933/https://platform.openai.com/ |url-status=live }}</ref> जीपीटी-3.5 ब्राउज़िंग (ALPHA) मॉडल के साथ ऑनलाइन जानकारी तक पहुँचने और ब्राउज़ करने की क्षमता को सम्मिलित करके अपने प्रदर्शन को बढ़ाता है, जिससे उपयोगकर्ता प्रश्नों के लिए अधिक सटीक और अद्यतित प्रतिक्रियाएँ प्राप्त होती हैं।<ref name=":0" />
10 अप्रैल 2023, को  विवृत एआई ने अपने जीपीटी-3.5 श्रृंखला मॉडल का एक नया संस्करण प्रस्तुत किया, जिसे जीपीटी-3.5 ब्राउज़िंग (अल्फा) के रूप में जाना जाता है।<ref name=":0">{{Cite web |last=tingetici |date=2023-04-10 |title=Default (GPT-3.5) with browsing ALPHA -- NEW Model showed up just now. |url=http://www.reddit.com/r/OpenAI/comments/1300c2g/default_gpt35_with_browsing_alpha_new_model/ |access-date=2023-04-27 |website=r/OpenAI |archive-date=April 27, 2023 |archive-url=https://web.archive.org/web/20230427085505/https://www.reddit.com/r/OpenAI/comments/1300c2g/default_gpt35_with_browsing_alpha_new_model/ |url-status=live }}</ref> यह अद्यतन मॉडल अपने पूर्ववर्तियों "टेक्स्ट-डेविंसी-002" और "कोड-डेविन्सी-002" की क्षमताओं पर आधारित है।<ref name=":1">{{Cite web |date=2022-03-15 |title=Introducing GPT-3.5 Series: text-davinci-002 and code-davinci-002 Models |url=https://platform.openai.com/ |access-date=2023-04-27 |website=OPEN AI |language=en |archive-date=March 20, 2023 |archive-url=https://web.archive.org/web/20230320023933/https://platform.openai.com/ |url-status=live }}</ref> जीपीटी-3.5 ब्राउज़िंग (अल्फा) मॉडल के साथ ऑनलाइन जानकारी तक पहुँचने और ब्राउज़ करने की क्षमता को सम्मिलित करके अपने प्रदर्शन को बढ़ाता है, जिससे उपयोगकर्ता प्रश्नों के लिए उचित और अद्यतित प्रतिक्रियाएँ प्राप्त होती हैं।<ref name=":0" />


जीपीटी-3.5 ब्राउज़िंग (ALPHA) मॉडल का प्राथमिक लक्ष्य अधिक सटीक और प्रासंगिक रूप से प्रासंगिक जानकारी प्रदान करके उपयोगकर्ता अनुभव को बेहतर बनाना है। इसे सितंबर 2021 तक के डेटा पर प्रशिक्षित किया गया है, जो पिछले जीपीटी-3.5 मॉडल की तुलना में बेहतर प्रदर्शन की अनुमति देता है, जिन्हें जून 2021 तक डेटा पर प्रशिक्षित किया गया था। विवृत एआई ने इस मॉडल को विकासक और उपयोगकर्ताओं को एक उन्नत प्राकृतिक भाषा प्रसंस्करण उपकरण प्रदान करने के लिए जारी किया है जो ऑनलाइन जानकारी को प्रभावी ढंग से पुनः प्राप्त और संश्लेषित कर सकते हैं। <ref name=":0" />
जीपीटी-3.5 ब्राउज़िंग (अल्फा) मॉडल का प्राथमिक लक्ष्य अधिक सटीक और प्रासंगिक रूप से प्रासंगिक जानकारी प्रदान करके उपयोगकर्ता अनुभव को बेहतर बनाना है। इसे सितंबर 2021 तक के डेटा पर प्रशिक्षित किया गया है, जो पिछले जीपीटी-3.5 मॉडल की तुलना में बेहतर प्रदर्शन की अनुमति देता है, जिन्हें जून 2021 तक डेटा पर प्रशिक्षित किया गया था। विवृत एआई ने इस मॉडल को विकासक और उपयोगकर्ताओं को एक उन्नत प्राकृतिक भाषा प्रसंस्करण उपकरण प्रदान करने के लिए जारी किया है जो ऑनलाइन जानकारी को प्रभावी ढंग से पुनः प्राप्त और संश्लेषित कर सकते हैं। <ref name=":0" />


ब्राउज़िंग क्षमताओं को सक्षम करने के लिए विवृत एआई ने एक नया एपीआई लागू किया है जो जीपीटी-3.5 को ब्राउज़िंग (ALPHA) मॉडल के साथ संचालन के दौरान चयनित ऑनलाइन संसाधनों तक पहुंचने की अनुमति देता है। <ref name=":2">{{Cite web |date=2023-04-27 |title=GPT-3.5 with Browsing (ALPHA) Now Available for GPT Plus Users |url=https://platform.openai.com/ |access-date=2023-04-27 |website=OPEN AI |language=en |archive-date=March 20, 2023 |archive-url=https://web.archive.org/web/20230320023933/https://platform.openai.com/ |url-status=live }}</ref> यह सुविधा उपयोगकर्ताओं को इस अपेक्षा के साथ प्रश्न पूछने या सूचना का अनुरोध करने का अधिकार देती है कि मॉडल नवीनतम ऑनलाइन स्रोतों के आधार पर अद्यतन, सटीक और प्रासंगिक उत्तर प्रदान करेगा।
ब्राउज़िंग क्षमताओं को सक्षम करने के लिए विवृत एआई ने एक नया एपीआई लागू किया है जो जीपीटी-3.5 को ब्राउज़िंग (अल्फा) मॉडल के साथ संचालन के दौरान चयनित ऑनलाइन संसाधनों तक पहुंचने की अनुमति देता है। <ref name=":2">{{Cite web |date=2023-04-27 |title=GPT-3.5 with Browsing (ALPHA) Now Available for GPT Plus Users |url=https://platform.openai.com/ |access-date=2023-04-27 |website=OPEN AI |language=en |archive-date=March 20, 2023 |archive-url=https://web.archive.org/web/20230320023933/https://platform.openai.com/ |url-status=live }}</ref> यह सुविधा उपयोगकर्ताओं को इस अपेक्षा के साथ प्रश्न पूछने या सूचना का अनुरोध करने का अधिकार देती है कि मॉडल नवीनतम ऑनलाइन स्रोतों के आधार पर अद्यतन, सटीक और प्रासंगिक उत्तर प्रदान करेगा।


27 अप्रैल 2023 को विवृत एआई ने जीपीटी-3.5 को ब्राउजिंग (ALPHA) मॉडल के साथ जीपीटी प्लस उपयोगकर्ताओं के लिए सार्वजनिक रूप से उपलब्ध कराया, इसकी अत्याधुनिक क्षमताओं और सुविधाओं तक पहुंच को व्यापक बनाया।<ref name=":2" />
27 अप्रैल 2023 को विवृत एआई ने जीपीटी-3.5 को ब्राउजिंग (अल्फा) मॉडल के साथ जीपीटी प्लस उपयोगकर्ताओं के लिए सार्वजनिक रूप से उपलब्ध कराया, इसकी अत्याधुनिक क्षमताओं और सुविधाओं तक पहुंच को व्यापक बनाया।<ref name=":2" />




Revision as of 00:43, 26 May 2023

जनरेटिव प्री-ट्रेन्ड ट्रांसफॉर्मर 3(GPT-3)
Original author(s)OpenAI[1]
Initial releaseJune 11, 2020 (beta)
PredecessorGPT-2
SuccessorGPT-3.5
Type
Websiteopenai.com/blog/openai-api

जनरेटिव प्री-ट्रेन्ड ट्रांसफॉर्मर 3 (जीपीटी-3) 2020 में ओपन एआई द्वारा जारी एक स्वप्रतिगामी भाषा मॉडल है जो मानव-समान टेक्स्ट बनाने के लिए डीप लर्निंग का उपयोग करता है। जब एक संकेत दिया जाता है, तो यह पाठ उत्पन्न करेगा जो संकेत को जारी रखता है।

वस्तुकला एक डिकोडर-ओनली ट्रांसफॉर्मर (मशीन लर्निंग मॉडल) है जिसमें 2048-लेक्सिकल विश्लेषण-लंबा संदर्भ और 175 बिलियन पैरामीटर (मशीन लर्निंग) का अभूतपूर्व आकार है, जिसे इकट्ठा करने के लिए 800GB की आवश्यकता होती है। मॉडल को जनरेटिव प्री-ट्रेनिंग का उपयोग करके प्रशिक्षित किया गया था, यह भविष्यवाणी करने के लिए प्रशिक्षित किया जाता है कि अगला टोकन पिछले टोकन के आधार पर क्या है। मॉडल ने कई कार्यों पर मजबूत जीरो-शॉट लर्निंग और कुछ-शॉट लर्निंग (प्राकृतिक भाषा प्रसंस्करण) का प्रदर्शन किया।[2]

जीपीटी-2, जीपीटी-3 का उत्तराधिकारी ओपन एआई एक सैन फ्रांसिस्को स्थित कृत्रिम बुद्धिमत्ता अनुसंधान प्रयोगशाला द्वारा निर्मित नींव मॉडल की एक जीपीटी श्रृंखला में तीसरी पीढ़ी का भाषा पूर्वानुमान मॉडल है।[3]जीपीटी-3 जिसे मई 2020 में प्रस्तुत किया गया था और जुलाई 2020 तक बीटा परीक्षण में था,[4] पूर्व-प्रशिक्षित भाषा अभ्यावेदन की प्राकृतिक भाषा प्रसंस्करण (NLP) प्रणालियों में एक प्रवृत्ति का हिस्सा है।[1]

जीपीटी-3 द्वारा उत्पन्न पाठ की गुणवत्ता इतनी अधिक है कि यह निर्धारित करना मुश्किल हो सकता है कि यह किसी मानव द्वारा लिखा गया था या नहीं, जिसके लाभ और जोखिम दोनों हैं।[5]इकतीस ओपन एआई शोधकर्ताओं और इंजीनियरों ने जीपीटी-3 को प्रस्तुत करते हुए 28 मई 2020 को मूल लेख्य प्रस्तुत किया। अपने लेख्य में उन्होंने जीपीटी-3 के संभावित खतरों के बारे में आगाह किया और जोखिम को कम करने के लिए अनुसंधान का आह्वान किया।[1]: 34  डेविड चाल्मर्स एक ऑस्ट्रेलियाई दार्शनिक ने जीपीटी-3 को अब तक निर्मित सबसे दिलचस्प और महत्वपूर्ण एआई प्रणालियों में से एक के रूप में वर्णित किया।[6]द न्यू यॉर्क टाइम्स में अप्रैल 2022 की समीक्षा में जीपीटी-3 की क्षमताओं का वर्णन किया गया है, जो मानव के समतुल्य प्रवाह के साथ मूल गद्य लिखने में सक्षम हैं।[7]

माइक्रोसॉफ्ट ने 22 सितंबर 2020 को घोषणा की कि उसने जीपीटी-3 के "अनन्य" उपयोग का लाइसेंस प्राप्त कर लिया है, अन्य अभी भी आउटपुट प्राप्त करने के लिए सार्वजनिक एपीआई का उपयोग कर सकते हैं, लेकिन केवल माइक्रोसॉफ्ट के पास जीपीटी-3 के अंतर्निहित मॉडल तक पहुंच है।[8]


पृष्ठभूमि

Further information: अधिक जानकारी: GPT-2 § पृष्ठभूमि

अर्थशास्त्री के अनुसार बेहतर एल्गोरिदम, शक्तिशाली कंप्यूटर और डिजीटल डेटा में वृद्धि ने 2010 में नई तकनीकों के साथ यंत्र अधिगम में क्रांति को बढ़ावा दिया है, जिसके परिणामस्वरूप भाषा में हेरफेर सहित "कार्यों में तेजी से सुधार" हुआ है।[9] सॉफ़्टवेयर मॉडल को हज़ारों या लाखों उदाहरणों का उपयोग करके सीखने के लिए प्रशिक्षित किया जाता है ... "संरचना ... मस्तिष्क के तंत्रिका वास्तुकला पर आधारित" है।[9]प्राकृतिक भाषा प्रसंस्करण (एनएलपी) में उपयोग कि जाने वाली एक वास्तुकला एक तंत्रिका नेटवर्क है जो एक गहन शिक्षण मॉडल पर आधारित है जिसे पहली बार 2017 में पेश किया गया था- ट्रांसफॉर्मर (मशीन लर्निंग मॉडल) वास्तुकला।[10] कई एनएलपी प्रणालियां प्रसंस्करण, खनन, आयोजन, जोड़ने और शाब्दिक निवेश के विपरीत होने के साथ-साथ प्रश्नों के सही उत्तर देने में सक्षम हैं।[11]

11 जून 2018, को ओपन एआई के शोधकर्ताओं और इंजीनियरों ने पहला जनरेटिव पूर्व-प्रशिक्षित ट्रांसफॉर्मर (जीपीटी) का परिचय दिया गया था—एक प्रकार का जनरेटिव लार्ज लैंग्वेज मॉडलजो डेटासेट (मशीन लर्निंग) के माध्यम से एक विशाल और विविध टेक्स्ट कॉर्पस के साथ पूर्व-प्रशिक्षित होता है, जिसके बाद भेदभावपूर्ण फाइन-ट्यूनिंग (मशीन लर्निंग) होता है। किसी विशिष्ट कार्य पर ध्यान केंद्रित करने के लिए विवेकपूर्ण फाइन-ट्यूनिंग द्वारा जीपीटी मॉडल ट्रांसफ़ॉर्मर-आधारित डीप लर्निंग न्यूरल नेटवर्क वास्तुकला हैं। उस बिंदु तक सबसे अच्छा प्रदर्शन करने वाले तंत्रिका एनएलपी मॉडल ने सामान्यतौर पर बड़ी मात्रा में शारीरिक रूप से नामपत्र किए गए डेटा से सीखने की निगरानी की जिसने इसे बहुत बड़े भाषा मॉडल को प्रशिक्षित करने के लिए निषेधात्मक रूप से महंगा और समय लेने वाला बना दिया।[2]

उस पहले जीपीटी मॉडल को "जीपीटी-1" के रूप में जाना जाता है और उसके बाद फरवरी 2019 में "जीपीटी-2" का अनुसरण किया गया। जीपीटी-2 को जीपीटी-1 के प्रत्यक्ष स्केल-अप के रूप में बनाया गया था जिसमें इसके पैरामीटर गणना और डेटासेट आकार दोनों में 10 गुना वृद्धि हुई थी। इसमें 1.5 बिलियन पैरामीटर थे और इसे 8 मिलियन वेब पेजों के डेटासेट पर प्रशिक्षित किया गया था।[12] फरवरी 2020 में, माइक्रोसॉफ्ट ने अपना ट्यूरिंग नेचुरल लैंग्वेज जनरेशन (T-NLG) पेश किया जिसके बारे में दावा किया गया था कि यह 17 बिलियन मापदंडों पर प्रकाशित अब तक का सबसे बड़ा भाषा मॉडल है।[13] इसने विभिन्न प्रकार के कार्यों में किसी भी अन्य भाषा मॉडल से बेहतर प्रदर्शन किया जिसमें पाठों का सारांश और प्रश्नों के उत्तर सम्मिलित था।

प्रशिक्षण और क्षमताएं

A sample student essay about pedagogy written by GPT-3

The construct of “learning styles” is problematic because it fails to account for the processes through which learning styles are shaped. Some students might develop a particular learning style because they have had particular experiences. Others might develop a particular learning style by trying to accommodate to a learning environment that was not well suited to their learning needs. Ultimately, we need to understand the interactions among learning styles and environmental and personal factors, and how these shape how we learn and the kinds of learning we experience.

– Text generated by Mike Sharples[14]

28 मई 2020 को ओपन एआई में 31 इंजीनियरों और शोधकर्ताओं के एक समूह द्वारा एक arXiv प्रीप्रिंट ने जीपीटी-3 के विकास का वर्णन किया जो तीसरी पीढ़ी का "अत्याधुनिक भाषा मॉडल" है।[1][5] टीम ने जीपीटी-3 की क्षमता को अपने पूर्ववर्ती जीपीटी-2 की तुलना में परिमाण के दो क्रमों की वृद्धि की, "लैंग्वेज मॉडल्स अनसुपर्वाइज्ड मल्टीटास्क लर्नर्स हैं" (PDF). openai.com. Archived (PDF) from the original on December 12, 2019. Retrieved December 4, 2019. GPT-2, एक 1.5B पैरामीटर ट्रांसफॉर्मर है</ref>जिससे जीपीटी-3 को अब तक का सबसे बड़ा गैर-विरल भाषा मॉडल बन गया[1]: 14 [3] क्योंकि जीपीटी-3 संरचनात्मक रूप से अपने पूर्ववर्तियों के समान है,[1]इसकी अधिक सटीकता को इसकी बढ़ी हुई क्षमता और अधिक संख्या में मापदंडों के लिए जिम्मेदार ठहराया जाता है।[15] जीपीटी-3 की क्षमता माइक्रोसॉफ्ट के ट्यूरिंग एनएलजी की तुलना में दस गुना अधिक है जो उस समय ज्ञात अगला सबसे बड़ा एनएलपी मॉडल था।[5]

लैम्बडालैब्स ने 2020 में एक जीपीयू पर जीपीटी-3 को प्रशिक्षित करने के लिए लगभग $4.6 मिलियन अमेरिकी डॉलर और 355 वर्षों की अनुमानित लागत का अनुमान लगाया,[16] समानांतर में अधिक जीपीयू का उपयोग करके समय के साथ कम वास्तविक प्रशिक्षण।

जीपीटी-3 के लिए भारित पूर्व-प्रशिक्षण डेटासेट का साठ प्रतिशत सामान्य क्रॉल के निस्पंदन किए गए संस्करण से आता है जिसमें 410 बिलियन बाइट जोड़ी-एन्कोडेड टोकन सम्मिलित हैं।[1]: 9  अन्य स्रोत वेब टेक्सट 2 से 19 बिलियन टोकन है जो 22% का प्रतिनिधित्व करते हैं, Books1 से 12 बिलियन टोकन 8% का प्रतिनिधित्व करते हैं, 55 बिलियन टोकन Books2 से 8% का प्रतिनिधित्व करते हैं, और 3 बिलियन टोकन विकिपीडिया से 3% का प्रतिनिधित्व करते हैं।[1]: 9  जीपीटी-3 को सैकड़ों अरबों शब्दों पर प्रशिक्षित किया गया था और यह सीएसएस, जेएसएक्स और पायथन अन्य में कोडिंग करने में भी सक्षम है।[4]

जीपीटी-3 प्रशिक्षण डेटा[1]: 9 
Dataset # tokens Proportion
within trएआईning
Common Crawl 410 billion 60%
WebText2 19 billion 22%
Books1 12 billion 8%
Books2 55 billion 8%
Wikipedia 3 billion 3%

चूँकि जीपीटी-3 का प्रशिक्षण डेटा सर्वव्यापी था इसलिए इसे विशिष्ट भाषा कार्यों के लिए और प्रशिक्षण की आवश्यकता नहीं है।[4]प्रशिक्षण डेटा में कभी-कभार जहरीली भाषा होती है और जीपीटी-3 कभी-कभी अपने प्रशिक्षण डेटा की नकल करने के परिणामस्वरूप जहरीली भाषा उत्पन्न करता है। वाशिंगटन विश्वविद्यालय के एक अध्ययन में पाया गया कि जीपीटी-3 ने जीपीटी-2 और सीटीआरएल के समान प्राकृतिक भाषा प्रसंस्करण मॉडल की तुलना में विषाक्तता स्तर पर जहरीली भाषा का उत्पादन किया। विवृत एआई ने जीपीटी-3 द्वारा उत्पन्न विषाक्त भाषा की मात्रा को सीमित करने के लिए कई रणनीतियाँ लागू की हैं। परिणामस्वरूप जीपीटी-3 ने अपने पूर्ववर्ती मॉडल जीपीटी-1 की तुलना में कम जहरीली भाषा का उत्पादन किया, हालांकि इसने सीटीआरएल(CTRL) विकी की तुलना में जहरीली भाषा की अधिक पीढ़ियों और उच्च विषाक्तता दोनों का उत्पादन किया, जो पूरी तरह से विकिपीडिया डेटा पर प्रशिक्षित भाषा मॉडल है।[17]

11 जून 2020 को विवृत एआई ने घोषणा की कि उपयोगकर्ता इसके उपयोगकर्ता के अनुकूल जीपीटी-3 एपीआई - एक मशीन लर्निंग टूलसेट तक पहुँच का अनुरोध कर सकते हैं - विवृत एआई को इस नई तकनीक की ताकत और सीमाओं का पता लगाने में मदद करने के लिए।[18][19] आमंत्रण में बताया गया है कि कैसे इस एपीआई में एक सामान्य-उद्देश्य वाला टेक्स्ट इन, टेक्स्ट आउट अंतराफलक है जो सामान्य एकल उपयोग-स्थिति के बजाय लगभग किसी भी अंग्रेजी भाषा के कार्य को पूरा कर सकता है।[18]एक उपयोगकर्ता के अनुसार जिसकी विवृत एआई जीपीटी-3 एपीआई की एक निजी प्रारंभिक रिलीज़ तक पहुंच थी, जीपीटी-3 केवल कुछ सरल संकेतों के साथ आश्चर्यजनक रूप से सुसंगत पाठ लिखने में अच्छा था।[20] एक प्रारंभिक प्रयोग में 80 अमेरिकी विषयों को न्याय करने के लिए कहा गया था कि क्या लघु ~200 शब्दों के लेख मनुष्यों या जीपीटी-3 द्वारा लिखे गए थे। प्रतिभागियों ने 52% समय सही ढंग से निर्णय लिया यादृच्छिक अनुमान लगाने से केवल थोड़ा बेहतर किया।[1]

18 नवंबर 2021 को विवृत एआई ने घोषणा की कि पर्याप्त सुरक्षा उपायों को लागू किया गया है कि इसके एपीआई तक पहुंच अप्रतिबंधित होगी।[21] विवृत एआई ने विकासक को एक कंटेंट मॉडरेशन उपकरण प्रदान किया है जो उन्हें विवृत एआई की सामग्री नीति का पालन करने में मदद करता है।[22] 27 जनवरी 2022 को विवृत एआई ने घोषणा की कि इसके नवीनतम जीपीटी-3 भाषा मॉडल, जिन्हें सामूहिक रूप से अनुदेशित जीपीटी के रूप में जाना जाता है, अब उनके एपीआई पर उपयोग की जाने वाली डिफ़ॉल्ट भाषा मॉडल थी। विवृत एआई के अनुसार अनुदेशित जीपीटी ने ऐसी सामग्री का उत्पादन किया जो निर्देशों का बेहतर ढंग से पालन करके कम गढ़े हुए तथ्यों को उत्पन्न करके और कुछ हद तक कम विषाक्त सामग्री का उत्पादन करके उपयोगकर्ता के इरादों से बेहतर ढंग से जुड़ा हुआ था।[23]

क्योंकि जीपीटी-3 ऐसे समाचार लेख उत्पन्न कर सकता है जिन्हें मानव मूल्यांकनकर्ताओं को मनुष्यों द्वारा लिखे गए लेखों से अलग करने में कठिनाई होती है,[5]जीपीटी-3 में भाषा मॉडलों के लाभकारी और हानिकारक दोनों अनुप्रयोगों को आगे बढ़ाने की क्षमता है।[1]: 34  अपने 28 मई, 2020 के लेख्य में, शोधकर्ताओं ने "जीपीटी-3 के हानिकारक प्रभावों" का विस्तार से वर्णन किया[5]जिसमें गलत सूचना, स्पैमिंग, फ़िशिंग, कानूनी और सरकारी प्रक्रियाओं का दुरुपयोग, कपटपूर्ण शैक्षणिक निबंध लेखन और सोशल इंजीनियरिंग का बहाना बनाना सम्मिलित हैं।[1]लेखक जोखिम प्रबंधन पर शोध करने के लिए इन खतरों की ओर ध्यान आकर्षित करते हैं।[1]: 34 

जीपीटी-3 शून्य-शॉट और कुछ-शॉट सीखने (एक-शॉट सहित) करने में सक्षम है।[1]

जून 2022 में, अलमीरा उस्मानोविक थुनस्ट्रॉम ने लिखा कि जीपीटी-3 स्वयं पर एक लेख का प्राथमिक लेखक था, जिसे उन्होंने प्रकाशन के लिए प्रस्तुत किया था[24] और इसकी समीक्षा पूरी होने की प्रतीक्षा करते हुए इसे पूर्व-प्रकाशित किया गया था।[25]

मॉडल

इसके सात मॉडल हैं।[26] इनमें जीपीटी-3.5 और कोडेक्स सम्मिलित नहीं हैं।

  • टेक्स्ट-क्यूरी-001
  • टेक्स्ट-बबेज-001
  • टेक्स्ट-एडा-001
  • दा विंसी
  • क्यूरी
  • बैबेज
  • एडीए

रिसेप्शन

अनुप्रयोग

  • जीपीटी-3 विशेष रूप से कोडेक्स मॉडल गिटहब कोपिलॉट का आधार है, जो एक कोड पूर्णता और संतति सॉफ़्टवेयर है जिसका उपयोग विभिन्न कोड संपादकों और आईडीई में किया जा सकता है।[27][28]
  • जीपीटी-3 का उपयोग कुछ माइक्रोसॉफ्ट उत्पादों में पारंपरिक भाषा को औपचारिक कंप्यूटर कोड में अनुवाद करने के लिए किया जाता है।[29][30]
  • [31] स्ट्रक्चर्ड क्वैरी लैंग्वेज प्रसंस्करण के लिए क्वेरी-विशिष्ट कोड उत्पन्न करने के लिए, कोडेक्सडीबी में जीपीटी-3 का उपयोग किया गया है।
  • जीपीटी-3 का उपयोग जेसन रोहरर द्वारा "प्रोजेक्ट दिसंबर" नामक एक रेट्रो-थीम वाले चैटबॉट प्रोजेक्ट में किया गया है, जो ऑनलाइन उपलब्ध है और उपयोगकर्ताओं को जीपीटी-3 तकनीक का उपयोग करके कई एआई के साथ संपर्क करने की अनुमति देता है।[32]
  • जीपीटी-3 का उपयोग अभिभावक द्वारा एआई के मानव के लिए हानिकारक होने के बारे में एक लेख लिखने के लिए किया गया था। इसमें कुछ विचार दिए गए और आठ अलग-अलग निबंध तैयार किए गए, जिन्हें अंततः एक लेख में मिला दिया गया था।[33]
  • जीपीटी-3 का उपयोग एआई डंगऑन में किया गया था, जो पाठ-आधारित साहसिक खेल उत्पन्न करता है। बाद में विवृत एआई ने उत्पन्न की गई सामग्री के संबंध में अपनी नीति में बदलाव के बाद इसे एक प्रतिस्पर्धी मॉडल से बदल दिया।[34][35]
  • जीपीटी-3 का उपयोग प्रतिलिपि (प्रकाशन) और अन्य विपणन सामग्री लिखने में सहायता के लिए किया जाता है।[36]
  • ड्रेक्सेल विश्वविद्यालय के 2022 के एक अध्ययन ने सुझाव दिया कि जीपीटी-3-आधारित प्रणालियों का उपयोग अल्जाइमर रोग के प्रारंभिक लक्षणों की जांच के लिए किया जा सकता है।[37][38]

समीक्षा

द न्यूयॉर्क टाइम्स में जुलाई 2020 की समीक्षा में फरहाद मंजू ने कहा कि जीपीटी-3 की कंप्यूटर कोड, कविता और गद्य उत्पन्न करने की क्षमता न केवल अद्भुत", "डरावना" और "विनम्र" है, बल्कि थोड़ी भयानक से भी अधिक है।[39]

  • डेली नूस ने जीपीटी-3 पर नौ दार्शनिकों द्वारा लेखों की एक श्रृंखला प्रस्तुत की।[40] ऑस्ट्रेलियाई दार्शनिक डेविड चाल्मर्स ने जीपीटी-3 को अब तक निर्मित सबसे दिलचस्प और "महत्वपूर्ण एआई सिस्टम में से एक" के रूप में वर्णित किया है।[6]
  • वायर्ड (पत्रिका) में एक समीक्षा में कहा गया है कि जीपीटी-3 सिलिकॉन वैली में ठंडक पैदा कर रहा था।[41]
  • राष्ट्रीय कानून की समीक्षा ने कहा कि जीपीटी-3 बड़ी प्रक्रिया में एक प्रभावशाली कदम है, जिसमें विवृत एआई और अन्य लोगों ने अधिक कृत्रिम सामान्य बुद्धिमत्ता की दिशा में काम करना जारी रखते हुए इस सभी शक्ति के लिए उपयोगी एप्लिकेशन ढूंढे हैं।[42]
  • एमआईटी प्रौद्योगिकी समीक्षा में एक लेख, डीप लर्निंग समीक्षक गैरी मार्कस द्वारा लिखित हैं।
  • फेसबुक एआई प्रयोगशाला के प्रमुख जेरोम पेसेंटी ने कहा कि जीपीटी-3 असुरक्षित है जो यहूदियों, महिलाओं, काले लोगों और प्रलय पर चर्चा करने के लिए कहा गया था, जब प्रणाली द्वारा उत्पन्न जातिवाद, नस्लवादी और अन्य पक्षपाती और नकारात्मक भाषा की ओर इशारा किया गया था।
  • नबला, एक फ्रांसीसी स्टार्ट-अप जो स्वास्थ्य सेवा प्रौद्योगिकी में विशेषज्ञता रखती हैं जीपीटी-3 का एक मेडिकल चैटबॉट के रूप में परीक्षण किया, हालाँकि विवृत एआई ने स्वयं इस तरह के उपयोग के खिलाफ चेतावनी दी थी, जैसा कि अपेक्षित था। जीपीटी-3 ने कई सीमाएँ दिखाईं , उदाहरण के लिए मानसिक स्वास्थ्य के विषय के बारे में जीपीटी-3 प्रतिक्रियाओं का परीक्षण करते समय एआई ने नकली रोगी को आत्महत्या करने की सलाह दी।
  • नोम चौमस्की ने जीपीटी-3 के वैज्ञानिक मूल्य के बारे में अपना संदेह व्यक्त किया: यह कोई भाषा मॉडल नहीं है। यह असंभव भाषाओं के साथ-साथ वास्तविक भाषाओं के लिए भी काम करता है इसलिए सामान्य वैज्ञानिक मानदंडों द्वारा भाषा मॉडल के रूप में इरादा होने पर इसका खंडन किया जाता है, शायद यह किसी उद्देश्य के लिए उपयोगी है लेकिन ऐसा लगता है कि यह हमें सामान्य तौर पर भाषा या अनुभूति के बारे में कुछ नहीं बताता है।
  • विवृत एआई के सैम ऑल्टमैन ने स्वयं इसकी आलोचना की जिसे उन्होंने "जीपीटी-3 प्रचार" कहा, यह स्वीकार करते हुए कि जीपीटी-3 में गंभीर कमज़ोरी है और कभी-कभी बहुत मूर्खतापूर्ण गलतियाँ करता है... एआई दुनिया को बदलने जा रहा है, लेकिन जीपीटी-3 केवल एक बहुत प्रारंभिक झलक है।

आलोचना

जीपीटी-3 के निर्माता विवृत एआई को प्रारंभ में 2015 में एक गैर-लाभकारी संस्था के रूप में स्थापित किया गया था।[43] 2019 में, विवृत एआई ने जीपीटी-3 के पूर्ववर्ती मॉडल को सार्वजनिक रूप से जारी नहीं करके अपने सामान्य ओपन-सोर्स मानकों को तोड़ दिया, इस चिंता का हवाला देते हुए कि मॉडल नकली समाचारों के प्रसार को सुगम बना सकता है। विवृत एआई ने अंततः जीपीटी-2 का एक संस्करण जारी किया जो मूल मॉडल के आकार का 8% था।[44] उसी वर्ष विवृत एआई को एक फ़ायदेमंद कंपनी के रूप में पुनर्गठित किया गया।[45] 2020 में, माइक्रोसॉफ्ट ने घोषणा की कि कंपनी के पास विवृत एआई में बहु-अरब डॉलर के निवेश के बाद माइक्रोसॉफ्ट के उत्पादों और सेवाओं के लिए जीपीटी-3 का विशेष लाइसेंस है। अनुबंध विवृत एआई को एक सार्वजनिक-सामना करने वाले एपीआई की उपस्थिति की अनुमति देता है, जैसे कि उपयोगकर्ता मॉडल के आउटपुट प्राप्त करने के लिए जीपीटी-3 को पाठ भेज सकते हैं, लेकिन केवल माइक्रोसॉफ्ट के पास जीपीटी-3 के स्रोत कोड तक पहुंच होगी।[8]

जीपीटी-3 जैसे बड़े भाषा मॉडल प्रशिक्षण के पर्यावरणीय प्रभाव और मॉडलों को संग्रहीत करने के लिए गूगल के एआई नैतिकता शोधकर्ताओं में से कुछ की आलोचना के अधीन आ गए हैं, 2021 में तिमनिट गेब्रू और एमिली एम. बेंडर द्वारा सह-लेखक एक लेख्य में विस्तार से बताया गया है। .[46]

जीपीटी-3 और अन्य भाषा उत्पादक पर आधारित स्वचालित लेखन तकनीकों के बढ़ते उपयोग ने अकादमिक अखंडता के बारे में चिंताएँ बढ़ा दी हैं[47] और इस बात का दांव उठाया कि विश्वविद्यालय और स्कूल कैसे साहित्यिक चोरी जैसे शैक्षणिक कदाचार का गठन करेंगे।[48]

विवृत एआई की जीपीटी श्रृंखला को 12 वर्षों की अवधि में 60 मिलियन डोमेन से स्क्रैप किए गए प्रतिलिप्याधिकार लेखों, इंटरनेट पोस्ट, वेब पेजों और पुस्तकों के एक समूह, सामान्य क्रॉल डेटासेट के डेटा के साथ बनाया गया था। टेकक्रंच की रिपोर्ट है कि इस प्रशिक्षण डेटा में बीबीसी, द न्यूयॉर्क टाइम्स, रेडिट , ऑनलाइन पुस्तकों का पूरा प