जीपीटी-3: Difference between revisions

जनरेटिव प्री-ट्रेन्ड ट्रांसफॉर्मर 3(GPT-3)
Original author(s)	OpenAI
Initial release	June 11, 2020 (beta)
Predecessor	GPT-2
Successor	GPT-3.5
Type	Large language model; Generative pre-trained transformer; Foundation model;
Website	openai.com/blog/openai-api

Revision as of 00:37, 26 May 2023

जनरेटिव प्री-ट्रेन्ड ट्रांसफॉर्मर 3 (जीपीटी-3) 2020 में ओपन एआई द्वारा जारी एक स्वप्रतिगामी भाषा मॉडल है जो मानव-समान टेक्स्ट बनाने के लिए डीप लर्निंग का उपयोग करता है। जब एक संकेत दिया जाता है, तो यह पाठ उत्पन्न करेगा जो संकेत को जारी रखता है।

वस्तुकला एक डिकोडर-ओनली ट्रांसफॉर्मर (मशीन लर्निंग मॉडल) है जिसमें 2048-लेक्सिकल विश्लेषण-लंबा संदर्भ और 175 बिलियन पैरामीटर (मशीन लर्निंग) का अभूतपूर्व आकार है, जिसे इकट्ठा करने के लिए 800GB की आवश्यकता होती है। मॉडल को जनरेटिव प्री-ट्रेनिंग का उपयोग करके प्रशिक्षित किया गया था, यह भविष्यवाणी करने के लिए प्रशिक्षित किया जाता है कि अगला टोकन पिछले टोकन के आधार पर क्या है। मॉडल ने कई कार्यों पर मजबूत जीरो-शॉट लर्निंग और कुछ-शॉट लर्निंग (प्राकृतिक भाषा प्रसंस्करण) का प्रदर्शन किया।^[2]

जीपीटी-2, जीपीटी-3 का उत्तराधिकारी ओपन एआई एक सैन फ्रांसिस्को स्थित कृत्रिम बुद्धिमत्ता अनुसंधान प्रयोगशाला द्वारा निर्मित नींव मॉडल की एक जीपीटी श्रृंखला में तीसरी पीढ़ी का भाषा पूर्वानुमान मॉडल है।^[3]जीपीटी-3 जिसे मई 2020 में प्रस्तुत किया गया था और जुलाई 2020 तक बीटा परीक्षण में था,^[4] पूर्व-प्रशिक्षित भाषा अभ्यावेदन की प्राकृतिक भाषा प्रसंस्करण (NLP) प्रणालियों में एक प्रवृत्ति का हिस्सा है।^[1]

जीपीटी-3 द्वारा उत्पन्न पाठ की गुणवत्ता इतनी अधिक है कि यह निर्धारित करना मुश्किल हो सकता है कि यह किसी मानव द्वारा लिखा गया था या नहीं, जिसके लाभ और जोखिम दोनों हैं।^[5]इकतीस ओपन एआई शोधकर्ताओं और इंजीनियरों ने जीपीटी-3 को प्रस्तुत करते हुए 28 मई 2020 को मूल लेख्य प्रस्तुत किया। अपने लेख्य में उन्होंने जीपीटी-3 के संभावित खतरों के बारे में आगाह किया और जोखिम को कम करने के लिए अनुसंधान का आह्वान किया।^[1]^: 34 डेविड चाल्मर्स एक ऑस्ट्रेलियाई दार्शनिक ने जीपीटी-3 को अब तक निर्मित सबसे दिलचस्प और महत्वपूर्ण एआई प्रणालियों में से एक के रूप में वर्णित किया।^[6]द न्यू यॉर्क टाइम्स में अप्रैल 2022 की समीक्षा में जीपीटी-3 की क्षमताओं का वर्णन किया गया है, जो मानव के समतुल्य प्रवाह के साथ मूल गद्य लिखने में सक्षम हैं।^[7]

माइक्रोसॉफ्ट ने 22 सितंबर 2020 को घोषणा की कि उसने जीपीटी-3 के "अनन्य" उपयोग का लाइसेंस प्राप्त कर लिया है, अन्य अभी भी आउटपुट प्राप्त करने के लिए सार्वजनिक एपीआई का उपयोग कर सकते हैं, लेकिन केवल माइक्रोसॉफ्ट के पास जीपीटी-3 के अंतर्निहित मॉडल तक पहुंच है।^[8]

पृष्ठभूमि

अर्थशास्त्री के अनुसार बेहतर एल्गोरिदम, शक्तिशाली कंप्यूटर और डिजीटल डेटा में वृद्धि ने 2010 में नई तकनीकों के साथ यंत्र अधिगम में क्रांति को बढ़ावा दिया है, जिसके परिणामस्वरूप भाषा में हेरफेर सहित "कार्यों में तेजी से सुधार" हुआ है।^[9] सॉफ़्टवेयर मॉडल को हज़ारों या लाखों उदाहरणों का उपयोग करके सीखने के लिए प्रशिक्षित किया जाता है ... "संरचना ... मस्तिष्क के तंत्रिका वास्तुकला पर आधारित" है।^[9]प्राकृतिक भाषा प्रसंस्करण (एनएलपी) में उपयोग कि जाने वाली एक वास्तुकला एक तंत्रिका नेटवर्क है जो एक गहन शिक्षण मॉडल पर आधारित है जिसे पहली बार 2017 में पेश किया गया था- ट्रांसफॉर्मर (मशीन लर्निंग मॉडल) वास्तुकला।^[10] कई एनएलपी प्रणालियां प्रसंस्करण, खनन, आयोजन, जोड़ने और शाब्दिक निवेश के विपरीत होने के साथ-साथ प्रश्नों के सही उत्तर देने में सक्षम हैं।^[11]

11 जून 2018, को ओपन एआई के शोधकर्ताओं और इंजीनियरों ने पहला जनरेटिव पूर्व-प्रशिक्षित ट्रांसफॉर्मर (जीपीटी) का परिचय दिया गया था—एक प्रकार का जनरेटिव लार्ज लैंग्वेज मॉडलजो डेटासेट (मशीन लर्निंग) के माध्यम से एक विशाल और विविध टेक्स्ट कॉर्पस के साथ पूर्व-प्रशिक्षित होता है, जिसके बाद भेदभावपूर्ण फाइन-ट्यूनिंग (मशीन लर्निंग) होता है। किसी विशिष्ट कार्य पर ध्यान केंद्रित करने के लिए विवेकपूर्ण फाइन-ट्यूनिंग द्वारा जीपीटी मॉडल ट्रांसफ़ॉर्मर-आधारित डीप लर्निंग न्यूरल नेटवर्क वास्तुकला हैं। उस बिंदु तक सबसे अच्छा प्रदर्शन करने वाले तंत्रिका एनएलपी मॉडल ने सामान्यतौर पर बड़ी मात्रा में शारीरिक रूप से नामपत्र किए गए डेटा से सीखने की निगरानी की जिसने इसे बहुत बड़े भाषा मॉडल को प्रशिक्षित करने के लिए निषेधात्मक रूप से महंगा और समय लेने वाला बना दिया।^[2]

उस पहले जीपीटी मॉडल को "जीपीटी-1" के रूप में जाना जाता है और उसके बाद फरवरी 2019 में "जीपीटी-2" का अनुसरण किया गया। जीपीटी-2 को जीपीटी-1 के प्रत्यक्ष स्केल-अप के रूप में बनाया गया था जिसमें इसके पैरामीटर गणना और डेटासेट आकार दोनों में 10 गुना वृद्धि हुई थी। इसमें 1.5 बिलियन पैरामीटर थे और इसे 8 मिलियन वेब पेजों के डेटासेट पर प्रशिक्षित किया गया था।^[12] फरवरी 2020 में, माइक्रोसॉफ्ट ने अपना ट्यूरिंग नेचुरल लैंग्वेज जनरेशन (T-NLG) पेश किया जिसके बारे में दावा किया गया था कि यह 17 बिलियन मापदंडों पर प्रकाशित अब तक का सबसे बड़ा भाषा मॉडल है।^[13] इसने विभिन्न प्रकार के कार्यों में किसी भी अन्य भाषा मॉडल से बेहतर प्रदर्शन किया जिसमें पाठों का सारांश और प्रश्नों के उत्तर सम्मिलित था।

प्रशिक्षण और क्षमताएं

A sample student essay about pedagogy written by GPT-3

The construct of “learning styles” is problematic because it fails to account for the processes through which learning styles are shaped. Some students might develop a particular learning style because they have had particular experiences. Others might develop a particular learning style by trying to accommodate to a learning environment that was not well suited to their learning needs. Ultimately, we need to understand the interactions among learning styles and environmental and personal factors, and how these shape how we learn and the kinds of learning we experience.

– Text generated by Mike Sharples^[14]

28 मई 2020 को ओपन एआई में 31 इंजीनियरों और शोधकर्ताओं के एक समूह द्वारा एक arXiv प्रीप्रिंट ने जीपीटी-3 के विकास का वर्णन किया जो तीसरी पीढ़ी का "अत्याधुनिक भाषा मॉडल" है।^[1]^[5] टीम ने जीपीटी-3 की क्षमता को अपने पूर्ववर्ती जीपीटी-2 की तुलना में परिमाण के दो क्रमों की वृद्धि की, "लैंग्वेज मॉडल्स अनसुपर्वाइज्ड मल्टीटास्क लर्नर्स हैं" (PDF). openai.com. Archived (PDF) from the original on December 12, 2019. Retrieved December 4, 2019. GPT-2, एक 1.5B पैरामीटर ट्रांसफॉर्मर है</ref>जिससे जीपीटी-3 को अब तक का सबसे बड़ा गैर-विरल भाषा मॉडल बन गया^[1]^: 14^[3] क्योंकि जीपीटी-3 संरचनात्मक रूप से अपने पूर्ववर्तियों के समान है,^[1]इसकी अधिक सटीकता को इसकी बढ़ी हुई क्षमता और अधिक संख्या में मापदंडों के लिए जिम्मेदार ठहराया जाता है।^[15] जीपीटी-3 की क्षमता माइक्रोसॉफ्ट के ट्यूरिंग एनएलजी की तुलना में दस गुना अधिक है जो उस समय ज्ञात अगला सबसे बड़ा एनएलपी मॉडल था।^[5]

लैम्बडालैब्स ने 2020 में एक जीपीयू पर जीपीटी-3 को प्रशिक्षित करने के लिए लगभग $4.6 मिलियन अमेरिकी डॉलर और 355 वर्षों की अनुमानित लागत का अनुमान लगाया,^[16] समानांतर में अधिक जीपीयू का उपयोग करके समय के साथ कम वास्तविक प्रशिक्षण।

जीपीटी-3 के लिए भारित पूर्व-प्रशिक्षण डेटासेट का साठ प्रतिशत सामान्य क्रॉल के निस्पंदन किए गए संस्करण से आता है जिसमें 410 बिलियन बाइट जोड़ी-एन्कोडेड टोकन सम्मिलित हैं।^[1]^: 9 अन्य स्रोत वेब टेक्सट 2 से 19 बिलियन टोकन है जो 22% का प्रतिनिधित्व करते हैं, Books1 से 12 बिलियन टोकन 8% का प्रतिनिधित्व करते हैं, 55 बिलियन टोकन Books2 से 8% का प्रतिनिधित्व करते हैं, और 3 बिलियन टोकन विकिपीडिया से 3% का प्रतिनिधित्व करते हैं।^[1]^: 9 जीपीटी-3 को सैकड़ों अरबों शब्दों पर प्रशिक्षित किया गया था और यह सीएसएस, जेएसएक्स और पायथन अन्य में कोडिंग करने में भी सक्षम है।^[4]

जीपीटी-3 प्रशिक्षण डेटा^[1]^: 9
Dataset	# tokens	Proportion within trएआईning
Common Crawl	410 billion	60%
WebText2	19 billion	22%
Books1	12 billion	8%
Books2	55 billion	8%
Wikipedia	3 billion	3%

चूँकि जीपीटी-3 का प्रशिक्षण डेटा सर्वव्यापी था इसलिए इसे विशिष्ट भाषा कार्यों के लिए और प्रशिक्षण की आवश्यकता नहीं है।^[4]प्रशिक्षण डेटा में कभी-कभार जहरीली भाषा होती है और जीपीटी-3 कभी-कभी अपने प्रशिक्षण डेटा की नकल करने के परिणामस्वरूप जहरीली भाषा उत्पन्न करता है। वाशिंगटन विश्वविद्यालय के एक अध्ययन में पाया गया कि जीपीटी-3 ने जीपीटी-2 और सीटीआरएल के समान प्राकृतिक भाषा प्रसंस्करण मॉडल की तुलना में विषाक्तता स्तर पर जहरीली भाषा का उत्पादन किया। विवृत एआई ने जीपीटी-3 द्वारा उत्पन्न विषाक्त भाषा की मात्रा को सीमित करने के लिए कई रणनीतियाँ लागू की हैं। परिणामस्वरूप जीपीटी-3 ने अपने पूर्ववर्ती मॉडल जीपीटी-1 की तुलना में कम जहरीली भाषा का उत्पादन किया, हालांकि इसने सीटीआरएल(CTRL) विकी की तुलना में जहरीली भाषा की अधिक पीढ़ियों और उच्च विषाक्तता दोनों का उत्पादन किया, जो पूरी तरह से विकिपीडिया डेटा पर प्रशिक्षित भाषा मॉडल है।^[17]

11 जून 2020 को विवृत एआई ने घोषणा की कि उपयोगकर्ता इसके उपयोगकर्ता के अनुकूल जीपीटी-3 एपीआई - एक मशीन लर्निंग टूलसेट तक पहुँच का अनुरोध कर सकते हैं - विवृत एआई को इस नई तकनीक की ताकत और सीमाओं का पता लगाने में मदद करने के लिए।^[18]^[19] आमंत्रण में बताया गया है कि कैसे इस एपीआई में एक सामान्य-उद्देश्य वाला टेक्स्ट इन, टेक्स्ट आउट अंतराफलक है जो सामान्य एकल उपयोग-स्थिति के बजाय लगभग किसी भी अंग्रेजी भाषा के कार्य को पूरा कर सकता है।^[18]एक उपयोगक

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

@@ Line 113: / Line 113: @@
 === अनुप्रयोग ===
-* जीपीटी-3 विशेष रूप से कोडेक्स मॉडल [[GitHub Copilot|गिटहब कोपिलॉट]] का आधार है, जो एक कोड पूर्णता और जनरेशन सॉफ़्टवेयर है जिसका उपयोग विभिन्न कोड संपादकों और आईडीई में किया जा सकता है।<ref>{{cite web |title=ओपनएआई कोडेक्स|url=https://openai.com/blog/openai-codex/ |website=OpenAI |access-date=23 December 2022 |language=en |date=10 August 2021 |archive-date=February 3, 2023 |archive-url=https://web.archive.org/web/20230203201912/https://openai.com/blog/openai-codex/ |url-status=live }}</ref><ref>{{cite magazine |last1=Thompson |first1=Clive |title=कैसे एक एआई मेरा कोड-लेखन जिन्न बन गया|url=https://www.wired.com/story/openai-copilot-autocomplete-for-code/ |access-date=23 December 2022 |magazine=Wired |date=15 March 2022 |archive-date=December 23, 2022 |archive-url=https://web.archive.org/web/20221223183659/https://www.wired.com/story/openai-copilot-autocomplete-for-code/ |url-status=live }}</ref>
+* जीपीटी-3 विशेष रूप से कोडेक्स मॉडल [[GitHub Copilot|गिटहब कोपिलॉट]] का आधार है, जो एक कोड पूर्णता और संतति सॉफ़्टवेयर है जिसका उपयोग विभिन्न कोड संपादकों और आईडीई में किया जा सकता है।<ref>{{cite web |title=ओपनएआई कोडेक्स|url=https://openai.com/blog/openai-codex/ |website=OpenAI |access-date=23 December 2022 |language=en |date=10 August 2021 |archive-date=February 3, 2023 |archive-url=https://web.archive.org/web/20230203201912/https://openai.com/blog/openai-codex/ |url-status=live }}</ref><ref>{{cite magazine |last1=Thompson |first1=Clive |title=कैसे एक एआई मेरा कोड-लेखन जिन्न बन गया|url=https://www.wired.com/story/openai-copilot-autocomplete-for-code/ |access-date=23 December 2022 |magazine=Wired |date=15 March 2022 |archive-date=December 23, 2022 |archive-url=https://web.archive.org/web/20221223183659/https://www.wired.com/story/openai-copilot-autocomplete-for-code/ |url-status=live }}</ref>
 * जीपीटी-3 का उपयोग कुछ माइक्रोसॉफ्ट उत्पादों में पारंपरिक भाषा को औपचारिक कंप्यूटर कोड में अनुवाद करने के लिए किया जाता है।<ref>{{Cite web|url=https://blogs.microsoft.com/ai/from-conversation-to-code-microsoft-introduces-its-first-product-features-powered-by-gpt-3/|title=Microsoft announced its first customer product features powered by GPT-3 and @Azure.|date=May 25, 2021|website=The AI Blog|access-date=May 26, 2021|archive-date=May 26, 2021|archive-url=https://web.archive.org/web/20210526120530/https://blogs.microsoft.com/ai/from-conversation-to-code-microsoft-introduces-its-first-product-features-powered-by-gpt-3/|url-status=live}}</ref><ref>{{cite news |last1=Vincent |first1=James |title=Microsoft has built an AI-powered autocomplete for code using GPT-3 |url=https://www.theverge.com/2021/5/25/22451144/microsoft-gpt-3-openai-coding-autocomplete-powerapps-power-fx |access-date=23 December 2022 |work=The Verge |date=25 May 2021 |archive-date=December 23, 2022 |archive-url=https://web.archive.org/web/20221223183700/https://www.theverge.com/2021/5/25/22451144/microsoft-gpt-3-openai-coding-autocomplete-powerapps-power-fx |url-status=live }}</ref>
 * <ref>{{Cite web|url=https://itrummer.github.io/CodexDB/|title=CodexDB - SQL Processing Powered by GPT-3|website=CodexDB - SQL Processing Powered by GPT-3|access-date=December 7, 2022|archive-date=December 7, 2022|archive-url=https://web.archive.org/web/20221207034506/https://itrummer.github.io/CodexDB/|url-status=live}}</ref> स्ट्रक्चर्ड क्वैरी लैंग्वेज प्रसंस्करण के लिए क्वेरी-विशिष्ट कोड उत्पन्न करने के लिए, कोडेक्सडीबी में जीपीटी-3 का उपयोग किया गया है।
@@ Line 124: / Line 124: @@
 === समीक्षा ===
 [[दी न्यू यौर्क टाइम्स|द न्यूयॉर्क टाइम्स]] में जुलाई 2020 की समीक्षा में [[फरहाद मंजू]] ने कहा कि जीपीटी-3 की कंप्यूटर कोड, कविता और गद्य उत्पन्न करने की क्षमता न केवल अद्भुत", "डरावना" और "विनम्र" है, बल्कि थोड़ी भयानक से भी अधिक है।<ref name="NYT_Farhad_20190515">{{Cite news| issn = 0362-4331| first = Farhad| last = Manjoo| title = आप कैसे जानते हैं कि एक मानव ने इसे लिखा है?| work = [[The New York Times]]| access-date = August 4, 2020| date = July 29, 2020| url = https://www.nytimes.com/2020/07/29/opinion/gpt-3-ai-automation.html| archive-date = October 29, 2020| archive-url = https://web.archive.org/web/20201029161230/https://www.nytimes.com/2020/07/29/opinion/gpt-3-ai-automation.html| url-status = live}}</ref>
-* डेली नूस ने जीपीटी-3 पर नौ दार्शनिकों द्वारा लेखों की एक श्रृंखला प्रस्तुत की।<ref name="DailyNous_Weinberg_20200730">{{Cite web| editor-last = Weinberg| editor-first = Justin| title = GPT-3 पर दार्शनिक (GPT-3 द्वारा उत्तर के साथ अद्यतन)| work = Daily Nous| access-date = July 31, 2020| date = July 30, 2020| url = http://dailynous.com/2020/07/30/philosophers-gpt-3/| archive-date = October 30, 2020| archive-url = https://web.archive.org/web/20201030232410/http://dailynous.com/2020/07/30/philosophers-gpt-3/| url-status = live}</ref> ऑस्ट्रेलियाई दार्शनिक डेविड चाल्मर्स ने जीपीटी-3 को अब तक निर्मित सबसे दिलचस्प और महत्वपूर्ण एआई सिस्टम में से एक" के रूप में वर्णित किया है।<ref name="DailyNous_Weinberg_Chalmer_20200730">{{Cite news| first = David| last = Chalmers| author-link = David Chalmers| editor-last = Weinberg| editor-first = Justin| title = GPT-3 और जनरल इंटेलिजेंस| series = Philosophers On GPT-3 (updated with replies by GPT-3)| work = Daily Nous| access-date = August 4, 2020| date = July 30, 2020| url = https://dailynous.com/2020/07/30/philosophers-gpt-3/#chalmers| archive-date = August 4, 2020| archive-url = https://web.archive.org/web/20200804135420/http://dailynous.com/2020/07/30/philosophers-gpt-3/#chalmers| url-status = live}}</ref>
+* डेली नूस ने जीपीटी-3 पर नौ दार्शनिकों द्वारा लेखों की एक श्रृंखला प्रस्तुत की।<ref name="DailyNous_Weinberg_20200730">{{Cite web| editor-last = Weinberg| editor-first = Justin| title = GPT-3 पर दार्शनिक (GPT-3 द्वारा उत्तर के साथ अद्यतन)| work = Daily Nous| access-date = July 31, 2020| date = July 30, 2020| url = http://dailynous.com/2020/07/30/philosophers-gpt-3/| archive-date = October 30, 2020| archive-url = https://web.archive.org/web/20201030232410/http://dailynous.com/2020/07/30/philosophers-gpt-3/| url-status = live}</ref> ऑस्ट्रेलियाई दार्शनिक डेविड चाल्मर्स ने जीपीटी-3 को अब तक निर्मित सबसे दिलचस्प और "महत्वपूर्ण एआई सिस्टम में से एक" के रूप में वर्णित किया है।<ref name="DailyNous_Weinberg_Chalmer_20200730">{{Cite news| first = David| last = Chalmers| author-link = David Chalmers| editor-last = Weinberg| editor-first = Justin| title = GPT-3 और जनरल इंटेलिजेंस| series = Philosophers On GPT-3 (updated with replies by GPT-3)| work = Daily Nous| access-date = August 4, 2020| date = July 30, 2020| url = https://dailynous.com/2020/07/30/philosophers-gpt-3/#chalmers| archive-date = August 4, 2020| archive-url = https://web.archive.org/web/20200804135420/http://dailynous.com/2020/07/30/philosophers-gpt-3/#chalmers| url-status = live}}</ref>
 * [[वायर्ड (पत्रिका)]] में एक समीक्षा में कहा गया है कि जीपीटी-3 [[सिलिकॉन वैली]] में ठंडक पैदा कर रहा था।<ref name="Wired_Simonite_20200722">{{Cite magazine| issn = 1059-1028| title = यह शीर्षक किसी व्यक्ति ने लिखा है या मशीन ने?| first = Tom| last = Simonite| magazine = [[Wired (magazine)|Wired]]| access-date = July 31, 2020| date = July 22, 2020| url = https://www.wired.com/story/ai-text-generator-gpt-3-learning-language-fitfully/| archive-date = November 1, 2020| archive-url = https://web.archive.org/web/20201101124640/https://www.wired.com/story/ai-text-generator-gpt-3-learning-language-fitfully/| url-status = live}}</ref>
 * [[राष्ट्रीय कानून की समीक्षा]] ने कहा कि जीपीटी-3 बड़ी प्रक्रिया में एक प्रभावशाली कदम है, जिसमें विवृत एआई और अन्य लोगों ने अधिक [[ कृत्रिम सामान्य बुद्धि | कृत्रिम सामान्य]]  बुद्धिमत्ता की दिशा में काम करना जारी रखते हुए इस सभी शक्ति के लिए उपयोगी एप्लिकेशन ढूंढे हैं।<ref name="NTR_20200730">{{Cite web |first=Theodore |last=Claypoole |title=नया AI टूल GPT-3 नई चोटियों पर चढ़ता है, लेकिन यह साबित करता है कि हमें अभी भी कितनी दूर तक यात्रा करने की आवश्यकता है|work=[[The National Law Review]] |date=July 30, 2020 |access-date=August 4, 2020 |volume=10 |number=214 |url=https://www.natlawreview.com/article/new-ai-tool-gpt-3-ascends-to-new-peaks-proves-how-far-we-still-need-to-travel |archive-date=October 30, 2020 |archive-url=https://web.archive.org/web/20201030140406/https://www.natlawreview.com/article/new-ai-tool-gpt-3-ascends-to-new-peaks-proves-how-far-we-still-need-to-travel |url-status=live }}</ref>
 * [[एमआईटी प्रौद्योगिकी समीक्षा]] में एक लेख, डीप लर्निंग समीक्षक [[गैरी मार्कस]] द्वारा लिखित हैं।
-* फेसबुक एआई लैब के प्रमुख जेरोम पेसेंटी ने कहा कि जीपीटी-3 असुरक्षित है, जो यहूदियों, महिलाओं, काले लोगों और [[ प्रलय ]] पर चर्चा करने के लिए कहा गया था, जब प्रणाली द्वारा उत्पन्न [[जातिवाद]], नस्लवादी और अन्य पक्षपाती और नकारात्मक भाषा की ओर इशारा किया गया था।
+* फेसबुक एआई प्रयोगशाला के प्रमुख जेरोम पेसेंटी ने कहा कि जीपीटी-3 असुरक्षित है जो यहूदियों, महिलाओं, काले लोगों और [[ प्रलय ]] पर चर्चा करने के लिए कहा गया था, जब प्रणाली द्वारा उत्पन्न [[जातिवाद]], नस्लवादी और अन्य पक्षपाती और नकारात्मक भाषा की ओर इशारा किया गया था।
-* नबला, एक फ्रांसीसी स्टार्ट-अप जो स्वास्थ्य सेवा प्रौद्योगिकी में विशेषज्ञता रखती हैं जीपीटी-3 का एक मेडिकल [[चैटबॉट]] के रूप में परीक्षण किया, हालाँकि विवृत एआई ने स्वयं इस तरह के उपयोग के खिलाफ चेतावनी दी थी, जैसा कि अपेक्षित था। जीपीटी-3 ने कई सीमाएँ दिखाईं , उदाहरण के लिए मानसिक स्वास्थ्य के मुद्दों के बारे में जीपीटी-3 प्रतिक्रियाओं का परीक्षण करते समय, एआई ने नकली रोगी को आत्महत्या करने की सलाह दी।
+* नबला, एक फ्रांसीसी स्टार्ट-अप जो स्वास्थ्य सेवा प्रौद्योगिकी में विशेषज्ञता रखती हैं जीपीटी-3 का एक मेडिकल [[चैटबॉट]] के रूप में परीक्षण किया, हालाँकि विवृत एआई ने स्वयं इस तरह के उपयोग के खिलाफ चेतावनी दी थी, जैसा कि अपेक्षित था। जीपीटी-3 ने कई सीमाएँ दिखाईं , उदाहरण के लिए मानसिक स्वास्थ्य के विषय के बारे में जीपीटी-3 प्रतिक्रियाओं का परीक्षण करते समय एआई ने नकली रोगी को आत्महत्या करने की सलाह दी।
 * [[नोम चौमस्की]] ने जीपीटी-3 के वैज्ञानिक मूल्य के बारे में अपना संदेह व्यक्त किया: यह कोई भाषा मॉडल नहीं है। यह असंभव भाषाओं के साथ-साथ वास्तविक भाषाओं के लिए भी काम करता है इसलिए सामान्य वैज्ञानिक मानदंडों द्वारा भाषा मॉडल के रूप में इरादा होने पर इसका खंडन किया जाता है, शायद यह किसी उद्देश्य के लिए उपयोगी है लेकिन ऐसा लगता है कि यह हमें सामान्य तौर पर भाषा या अनुभूति के बारे में कुछ नहीं बताता है।
@@ Line 138: / Line 138: @@
 * विवृत एआई के सैम ऑल्टमैन ने स्वयं इसकी आलोचना की जिसे उन्होंने "जीपीटी-3 प्रचार" कहा, यह स्वीकार करते हुए कि जीपीटी-3 में गंभीर कमज़ोरी है और कभी-कभी बहुत मूर्खतापूर्ण गलतियाँ करता है... एआई दुनिया को बदलने जा रहा है, लेकिन जीपीटी-3 केवल एक बहुत प्रारंभिक झलक है।
 === आलोचना ===
-जीपीटी-3 के निर्माता विवृत एआई को प्रारंभ में 2015 में एक गैर-लाभकारी संस्था के रूप में स्थापित किया गया था।<ref>{{cite news |first= Drew |last= Olanoff |title= आर्टिफिशियल इंटेलिजेंस गैर-लाभकारी OpenAI एलोन मस्क और सैम ऑल्टमैन के समर्थन से लॉन्च हुआ|url= https://techcrunch.com/2015/12/11/non-profit-openai-launches-with-backing-from-elon-musk-and-sam-altman/ |publisher= Tech Crunch |date= 11 December 2015 |accessdate= 31 May 2021 |archive-date= October 20, 2022 |archive-url= https://web.archive.org/web/20221020165718/https://techcrunch.com/2015/12/11/non-profit-openai-launches-with-backing-from-elon-musk-and-sam-altman/ |url-status= live }}</ref> 2019 में,  विवृत एआई ने जीपीटी-3 के पूर्ववर्ती मॉडल को सार्वजनिक रूप से जारी नहीं करके अपने सामान्य ओपन-सोर्स मानकों को तोड़ दिया, इस चिंता का हवाला देते हुए कि मॉडल नकली समाचारों के प्रसार को सुगम बना सकता है। विवृत एआई ने अंततः जीपीटी-2 का एक संस्करण जारी किया जो मूल मॉडल के आकार का 8% था।<ref>{{cite news |first= Karen |last= Hao |title= OpenAI ने अपने फर्जी-समाचार-उगलने वाले AI का अभी तक का सबसे बड़ा संस्करण जारी किया है|url= https://www.technologyreview.com/2019/08/29/133218/openai-released-its-fake-news-ai-gpt-2/ |publisher= MIT Technology Review |date= 29 August 2019 |accessdate= 31 May 2021 |archive-date= May 9, 2021 |archive-url= https://web.archive.org/web/20210509013721/https://www.technologyreview.com/2019/08/29/133218/openai-released-its-fake-news-ai-gpt-2/ |url-status= live }}</ref> उसी वर्ष विवृत एआई को एक फ़ायदेमंद कंपनी के रूप में पुनर्गठित किया गया।<ref>{{cite news |first= Devin |last= Coldewey |title= पूंजी आकर्षित करने के लिए OpenAI गैर-लाभकारी से 'कैप्ड-प्रॉफिट' में स्थानांतरित हो गया|url= https://techcrunch.com/2019/03/11/openai-shifts-from-nonprofit-to-capped-profit-to-attract-capital/ |publisher= Tech Crunch |date= 11 Mar 2019 |accessdate= 31 May 2021 |archive-date= January 4, 2023 |archive-url= https://web.archive.org/web/20230104154138/https://techcrunch.com/2019/03/11/openai-shifts-from-nonprofit-to-capped-profit-to-attract-capital/ |url-status= live }}</ref> 2020 में, माइक्रोसॉफ्ट ने घोषणा की कि कंपनी के पास  विवृत एआई में बहु-अरब डॉलर के निवेश के बाद माइक्रोसॉफ्ट के उत्पादों और सेवाओं के लिए जीपीटी-3 का विशेष लाइसेंस है। अनुबंध  विवृत एआई को एक सार्वजनिक-सामना करने वाले एपीआई की उपस्थिति की अनुमति देता है, जैसे कि उपयोगकर्ता मॉडल के आउटपुट प्राप्त करने के लिए जीपीटी-3 को पाठ भेज सकते हैं, लेकिन केवल माइक्रोसॉफ्ट के पास जीपीटी-3 के स्रोत कोड तक पहुंच होगी।<ref name="MSgotcode" />
+जीपीटी-3 के निर्माता विवृत एआई को प्रारंभ में 2015 में एक गैर-लाभकारी संस्था के रूप में स्थापित किया गया था।<ref>{{cite news |first= Drew |last= Olanoff |title= आर्टिफिशियल इंटेलिजेंस गैर-लाभकारी OpenAI एलोन मस्क और सैम ऑल्टमैन के समर्थन से लॉन्च हुआ|url= https://techcrunch.com/2015/12/11/non-profit-openai-launches-with-backing-from-elon-musk-and-sam-altman/ |publisher= Tech Crunch |date= 11 December 2015 |accessdate= 31 May 2021 |archive-date= October 20, 2022 |archive-url= https://web.archive.org/web/20221020165718/https://techcrunch.com/2015/12/11/non-profit-openai-launches-with-backing-from-elon-musk-and-sam-altman/ |url-status= live }}</ref> 2019 में,  विवृत एआई ने जीपीटी-3 के पूर्ववर्ती मॉडल को सार्वजनिक रूप से जारी नहीं करके अपने सामान्य ओपन-सोर्स मानकों को तोड़ दिया, इस चिंता का हवाला देते हुए कि मॉडल नकली समाचारों के प्रसार को सुगम बना सकता है। विवृत एआई ने अंततः जीपीटी-2 का एक संस्करण जारी किया जो मूल मॉडल के आकार का 8% था।<ref>{{cite news |first= Karen |last= Hao |title= OpenAI ने अपने फर्जी-समाचार-उगलने वाले AI का अभी तक का सबसे बड़ा संस्करण जारी किया है|url= https://www.technologyreview.com/2019/08/29/133218/openai-released-its-fake-news-ai-gpt-2/ |publisher= MIT Technology Review |date= 29 August 2019 |accessdate= 31 May 2021 |archive-date= May 9, 2021 |archive-url= https://web.archive.org/web/20210509013721/https://www.technologyreview.com/2019/08/29/133218/openai-released-its-fake-news-ai-gpt-2/ |url-status= live }}</ref> उसी वर्ष विवृत एआई को एक फ़ायदेमंद कंपनी के रूप में पुनर्गठित किया गया।<ref>{{cite news |first= Devin |last= Coldewey |title= पूंजी आकर्षित करने के लिए OpenAI गैर-लाभकारी से 'कैप्ड-प्रॉफिट' में स्थानांतरित हो गया|url= https://techcrunch.com/2019/03/11/openai-shifts-from-nonprofit-to-capped-profit-to-attract-capital/ |publisher= Tech Crunch |date= 11 Mar 2019 |accessdate= 31 May 2021 |archive-date= January 4, 2023 |archive-url= https://web.archive.org/web/20230104154138/https://techcrunch.com/2019/03/11/openai-shifts-from-nonprofit-to-capped-profit-to-attract-capital/ |url-status= live }}</ref> 2020 में, माइक्रोसॉफ्ट ने घोषणा की कि कंपनी के पास विवृत एआई में बहु-अरब डॉलर के निवेश के बाद माइक्रोसॉफ्ट के उत्पादों और सेवाओं के लिए जीपीटी-3 का विशेष लाइसेंस है। अनुबंध  विवृत एआई को एक सार्वजनिक-सामना करने वाले एपीआई की उपस्थिति की अनुमति देता है, जैसे कि उपयोगकर्ता मॉडल के आउटपुट प्राप्त करने के लिए जीपीटी-3 को पाठ भेज सकते हैं, लेकिन केवल माइक्रोसॉफ्ट के पास जीपीटी-3 के स्रोत कोड तक पहुंच होगी।<ref name="MSgotcode" />
 जीपीटी-3 जैसे बड़े भाषा मॉडल प्रशिक्षण के पर्यावरणीय प्रभाव और मॉडलों को संग्रहीत करने के लिए गूगल के एआई नैतिकता शोधकर्ताओं में से कुछ की आलोचना के अधीन आ गए हैं, 2021 में [[ तिमनिट गेब्रू ]] और एमिली एम. बेंडर द्वारा सह-लेखक एक लेख्य में विस्तार से बताया गया है। .<ref>{{cite conference|last1=Bender|first1=Emily M.|last2=Gebru|first2=Timnit|last3=McMillan-Major|first3=Angelina|last4=Shmitchell|first4=Shmargaret|date=2021-03-03|title=On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?|conference=|publisher=FAccT '21: Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency|pages=610–623|doi=10.1145/3442188.3445922|doi-access=free}}</ref>
-जीपीटी-3 और अन्य भाषा जनरेटर पर आधारित स्वचालित लेखन तकनीकों के बढ़ते उपयोग ने अकादमिक अखंडता के बारे में चिंताएँ बढ़ा दी हैं<ref>{{Cite news|last1=Mindzak|first1=Michael|last2=Eaton|first2=Sarah Elaine|title=लेखन में आर्टिफिशियल इंटेलिजेंस बेहतर हो रहा है, और विश्वविद्यालयों को साहित्यिक चोरी के बारे में चिंता करनी चाहिए|url=http://theconversation.com/artificial-intelligence-is-getting-better-at-writing-and-universities-should-worry-about-plagiarism-160481|access-date=2021-11-06|website=The Conversation|language=en|archive-date=November 7, 2021|archive-url=https://web.archive.org/web/20211107102635/https://theconversation.com/artificial-intelligence-is-getting-better-at-writing-and-universities-should-worry-about-plagiarism-160481|url-status=live}}</ref> और इस बात का दांव उठाया कि विश्वविद्यालय और स्कूल कैसे साहित्यिक चोरी जैसे शैक्षणिक कदाचार का गठन करेंगे।<ref>{{Cite journal|last1=Rogerson|first1=Ann M.|last2=McCarthy|first2=Grace|date=December 2017|title=Using Internet based paraphrasing tools: Original work, patchwriting or facilitated plagiarism?|journal=International Journal for Educational Integrity|language=en|volume=13|issue=1|pages=1–15|doi=10.1007/s40979-016-0013-y|s2cid=9473217|issn=1833-2595|doi-access=free}}</ref>
+जीपीटी-3 और अन्य भाषा उत्पादक पर आधारित स्वचालित लेखन तकनीकों के बढ़ते उपयोग ने अकादमिक अखंडता के बारे में चिंताएँ बढ़ा दी हैं<ref>{{Cite news|last1=Mindzak|first1=Michael|last2=Eaton|first2=Sarah Elaine|title=लेखन में आर्टिफिशियल इंटेलिजेंस बेहतर हो रहा है, और विश्वविद्यालयों को साहित्यिक चोरी के बारे में चिंता करनी चाहिए|url=http://theconversation.com/artificial-intelligence-is-getting-better-at-writing-and-universities-should-worry-about-plagiarism-160481|access-date=2021-11-06|website=The Conversation|language=en|archive-date=November 7, 2021|archive-url=https://web.archive.org/web/20211107102635/https://theconversation.com/artificial-intelligence-is-getting-better-at-writing-and-universities-should-worry-about-plagiarism-160481|url-status=live}}</ref> और इस बात का दांव उठाया कि विश्वविद्यालय और स्कूल कैसे साहित्यिक चोरी जैसे शैक्षणिक कदाचार का गठन करेंगे।<ref>{{Cite journal|last1=Rogerson|first1=Ann M.|last2=McCarthy|first2=Grace|date=December 2017|title=Using Internet based paraphrasing tools: Original work, patchwriting or facilitated plagiarism?|journal=International Journal for Educational Integrity|language=en|volume=13|issue=1|pages=1–15|doi=10.1007/s40979-016-0013-y|s2cid=9473217|issn=1833-2595|doi-access=free}}</ref>
-विवृत एआई की जीपीटी श्रृंखला को 12 वर्षों की अवधि में 60 मिलियन डोमेन से स्क्रैप किए गए प्रतिलिप्याधिकार लेखों, इंटरनेट पोस्ट, वेब पेजों और पुस्तकों के एक समूह, सामान्य क्रॉल डेटासेट के डेटा के साथ बनाया गया था। टेकक्रंच की रिपोर्ट है कि इस प्रशिक्षण डेटा में बीबीसी, द न्यूयॉर्क टाइम्स, [[ reddit | रेडिट]] , ऑनलाइन पुस्तकों का पूरा पाठ और बहुत कुछ से प्रतिलिप्याधिकार सामग्री सम्मिलित है।<ref>{{cite conference|title=Here are a few ways GPT-3 can go wrong|work=TechCrunch|url=https://techcrunch.com/2020/08/07/here-are-a-few-ways-gpt-3-can-go-wrong/|access-date=November 26, 2021|archive-date=November 26, 2021|archive-url=https://web.archive.org/web/20211126192240/https://techcrunch.com/2020/08/07/here-are-a-few-ways-gpt-3-can-go-wrong/|url-status=live}}</ref> [[ संयुक्त राज्य अमेरिका पेटेंट और ट्रेडमार्क कार्यालय | संयुक्त राज्य अमेरिका पेटेंट और ट्रेडमार्क कार्यालय]] (यूएसपीटीओ) से आर्टिफिशियल इंटेलिजेंस इनोवेशन के लिए बौद्धिक संपदा संरक्षण पर टिप्पणियों के लिए 2019 के अनुरोध के जवाब में विवृत एआई ने तर्क दिया कि वर्तमान कानून के अंतर्गत प्रशिक्षण एआई सिस्टम [जैसे इसके जीपीटी मॉडल] [[उचित उपयोग]] का गठन करते हैं, लेकिन उस बिंदु पर [[निर्णय विधि]] की कमी को देखते हुए विवृत एआई और हमारे जैसे अन्य एआई विकासक को पर्याप्त कानूनी अनिश्चितता और अनुपालन लागत का सामना करना पड़ता है।<ref>{{cite conference |title=आर्टिफिशियल इंटेलिजेंस इनोवेशन के लिए बौद्धिक संपदा संरक्षण पर टिप्पणियों के अनुरोध के संबंध में टिप्पणी|url=https://www.uspto.gov/sites/default/files/documents/OpenAI_RFC-84-FR-58141.pdf |publisher=USPTO |access-date=November 30, 2021 |archive-date=October 16, 2021 |archive-url=https://web.archive.org/web/20211016024654/https://www.uspto.gov/sites/default/files/documents/OpenAI_RFC-84-FR-58141.pdf |url-status=live }}</ref>
+विवृत एआई की जीपीटी श्रृंखला को 12 वर्षों की अवधि में 60 मिलियन डोमेन से स्क्रैप किए गए प्रतिलिप्याधिकार लेखों, इंटरनेट पोस्ट, वेब पेजों और पुस्तकों के एक समूह, सामान्य क्रॉल डेटासेट के डेटा के साथ बनाया गया था। टेकक्रंच की रिपोर्ट है कि इस प्रशिक्षण डेटा में बीबीसी, द न्यूयॉर्क टाइम्स, [[ reddit | रेडिट]] , ऑनलाइन पुस्तकों का पूरा पाठ और बहुत कुछ से प्रतिलिप्याधिकार सामग्री सम्मिलित है।<ref>{{cite conference|title=Here are a few ways GPT-3 can go wrong|work=TechCrunch|url=https://techcrunch.com/2020/08/07/here-are-a-few-ways-gpt-3-can-go-wrong/|access-date=November 26, 2021|archive-date=November 26, 2021|archive-url=https://web.archive.org/web/20211126192240/https://techcrunch.com/2020/08/07/here-are-a-few-ways-gpt-3-can-go-wrong/|url-status=live}}</ref> [[ संयुक्त राज्य अमेरिका पेटेंट और ट्रेडमार्क कार्यालय | संयुक्त राज्य अमेरिका पेटेंट और ट्रेडमार्क कार्यालय]] (यूएसपीटीओ) से कृत्रिम बुद्धि नवाचार के लिए बौद्धिक संपदा संरक्षण पर टिप्पणियों के लिए 2019 के अनुरोध के जवाब में विवृत एआई ने तर्क दिया कि वर्तमान कानून के अंतर्गत प्रशिक्षण एआई सिस्टम [जैसे इसके जीपीटी मॉडल] [[उचित उपयोग]] का गठन करते हैं, लेकिन उस बिंदु पर [[निर्णय विधि]] की कमी को देखते हुए विवृत एआई और हमारे जैसे अन्य एआई विकासक को पर्याप्त कानूनी अनिश्चितता और अनुपालन लागत का सामना करना पड़ता है।<ref>{{cite conference |title=आर्टिफिशियल इंटेलिजेंस इनोवेशन के लिए बौद्धिक संपदा संरक्षण पर टिप्पणियों के अनुरोध के संबंध में टिप्पणी|url=https://www.uspto.gov/sites/default/files/documents/OpenAI_RFC-84-FR-58141.pdf |publisher=USPTO |access-date=November 30, 2021 |archive-date=October 16, 2021 |archive-url=https://web.archive.org/web/20211016024654/https://www.uspto.gov/sites/default/files/documents/OpenAI_RFC-84-FR-58141.pdf |url-status=live }}</ref>

Anonymous

Search

जीपीटी-3: Difference between revisions

Namespaces

More

Page actions

Revision as of 00:37, 26 May 2023

Contents

पृष्ठभूमि

प्रशिक्षण और क्षमताएं

Original author(s)	OpenAI^[1]
Initial release	June 11, 2020 (beta)
Predecessor	GPT-2
Successor	GPT-3.5
Type	Large language model Generative pre-trained transformer Foundation model
Website	openai.com/blog/openai-api