जीपीटी3

मुक्त ज्ञानकोश विकिपीडिया से
नेविगेशन पर जाएँ खोज पर जाएँ
The printable version is no longer supported and may have rendering errors. Please update your browser bookmarks and please use the default browser print function instead.

[[Category:संक्षिप्त विवरण वाले साँचा:pagetype]]

जेनरेटर पूर्व प्रशिक्षित ट्रांसफार्मर 3 (GPT-3)
Original author(s)OpenAI
Initial releaseजून 11, 2020 (बीटा)
Websiteopenai.com/blog/openai-api

साँचा:template other

जीपीटी-३ या जेनेरिक प्री-ट्र्न्ड ट्रांसफ़ॉर्मर 3 (GPT-3) कृत्रिम बुद्धिमत्ता पर आधारित भाषा मॉडल है जो मानव-जैसा पाठ (टेक्स्ट) पैदा करने के लिए डीप लर्निंग का उपयोग करता है। यह सैन फ्रांसिस्को की कृत्रिम बुद्धिमत्ता अनुसंधान प्रयोगशाला द्वारा बनाई गई जीपीटी-एन शृंखला में तीसरी पीढ़ी की भाषा मॉडल है। GPT। -3 के पूर्ण संस्करण में 175 बिलियन की क्षमता है, जो कि अपने पूर्ववर्ती की तुलना में अधिक परिमाण के दो आदेशों से अधिक है। GPT-3, जो मई 2020 में पेश किया गया था, और जुलाई 2020 तक बीटा परीक्षण में है, [१] भाग है प्राकृतिक भाषा प्रसंस्करण (एनएलपी) पूर्व प्रशिक्षित भाषा अभ्यावेदन की प्रणाली में एक प्रवृत्ति। < सबसे बड़े भाषा मॉडल GPT-3 की रिलीज से पहले Microsoft GPT-3 की तुलना में 17 बिलियन पैरामीटर या 10 प्रतिशत से कम की क्षमता के साथ फरवरी 2020 में पेश किया गया ट्यूरिंग NLG, [२]

GPT-3 द्वारा उत्पन्न पाठ की गुणवत्ता इतनी अधिक है कि मानव द्वारा लिखित उस से अंतर करना मुश्किल है, जिसमें लाभ और जोखिम दोनों हैं। [२] थर्टी-वन ओपनएआई के शोधकर्ताओं और इंजीनियरों ने प्रस्तुत किया। मूल 28 मई, 2020 कागज GPT-3 को पेश करता है। अपने पेपर में, उन्होंने GPT-3 के संभावित खतरों के बारे में चेतावनी दी और जोखिम को कम करने के लिए शोध करने के लिए कहा। साँचा:rp डेविड चालमर्स, एक ऑस्ट्रेलियाई दार्शनिक, ने GPT- का वर्णन किया। 3 के रूप में "सबसे दिलचस्प और महत्वपूर्ण एआई सिस्टम में से एक।" [३]

पृष्ठभूमि

द इकोनॉमिस्ट 'के अनुसार, बेहतर एल्गोरिदम, शक्तिशाली कंप्यूटर, और डिजीटल डेटा में वृद्धि ने मशीन लर्निंग में एक क्रांति ला दी है, 2010 में नई तकनीकों के परिणामस्वरूप "कार्यों में तेजी से सुधार हुआ है।" "भाषा से छेड़छाड़ सहित। [४] संरचना में हजारों या लाखों उदाहरणों का उपयोग करके सीखने के लिए प्रशिक्षित किया गया है। मस्तिष्क के तंत्रिका वास्तुकला पर आधारित [४] एक वास्तुकला जिसका उपयोग [प्राकृतिक भाषा] में किया जाता है। प्रसंस्करण (एनएलपी) एक कृत्रिम तंत्रिका नेटवर्क] तंत्रिका नेटवर्क एक गहन शिक्षण मॉडल पर आधारित है जिसे पहली बार 2017 में पेश किया गया था - ट्रांसफार्मर (मशीन सीखने का मॉडल) | ट्रांसफार्मर। [५] GPT-n मॉडल इस ट्रांसफॉर्मर-आधारित डीप लर्निंग न्यूरल नेटवर्क आर्किटेक्चर पर आधारित हैं इ। ऐसे कई एनएलपी सिस्टम हैं जो सवालों के जवाब देने, खनन करने, संगठित करने, जोड़ने, विपरीत करने, समझने और उत्पन्न करने में सक्षम हैं। [६] 11 जून, 2018 को, OpenAI के शोधकर्ताओं और इंजीनियरों ने अपने जेनेरेटिव मॉडल s- भाषा के मॉडल-आर्टिफिशियल इंटेलिजेंस सिस्टम पर अपना मूल पेपर पोस्ट किया, जो डेटासेट के माध्यम से टेक्स्ट के एक विशाल और विविध कॉर्प के साथ पूर्व-प्रशिक्षित हो सकता है, एक प्रक्रिया में उन्होंने जेनरिक प्री-ट्रेनिंग (GP) कहा। [७] लेखकों ने बताया कि कैसे प्राकृतिक भाषा में भाषा समझने का प्रदर्शन होता है। प्रसंस्करण (एनएलपी) को जीपीटी-एन में सुधार किया गया था, "प्रत्येक विशिष्ट कार्य पर भेदभावपूर्ण फाइन-ट्यूनिंग द्वारा पीछा किए गए गैर-लेबल पाठ के एक विविध कॉर्पस पर एक भाषा मॉडल के जेनेरिक प्री-ट्रेनिंग की प्रक्रिया के माध्यम से।" यह अनसुपर्वीकृत लर्निंग | मानव पर्यवेक्षण की आवश्यकता को समाप्त कर दिया और समय-गहन हाथ से लेबल करने के लिए। [७]

फरवरी 2020 में, Microsoft ने अपनी ट्यूरिंग नेचुरल लैंग्वेज जनरेशन (T-NLG) शुरू की, जो उस समय "17 बिलियन मापदंडों पर प्रकाशित अब तक का सबसे बड़ा भाषा मॉडल था।" [८] इसने विभिन्न प्रकार के कार्यों में किसी भी अन्य भाषा मॉडल की तुलना में बेहतर प्रदर्शन किया जिसमें पाठों का सारांश और प्रश्नों का उत्तर देना शामिल था। [८] इसने विभिन्न प्रकार के कार्यों में किसी भी अन्य भाषा मॉडल की तुलना में बेहतर प्रदर्शन किया जिसमें पाठों का सारांश और प्रश्नों का उत्तर देना शामिल था। [८]

क्षमताएं

28 मई, 2020 arXiv ओपनएआई के 31 इंजीनियरों और शोधकर्ताओं के एक समूह द्वारा छापा, जीपीटी -3 के विकास का वर्णन किया, जो तीसरी पीढ़ी का "अत्याधुनिक भाषा मॉडल" है। [९][२]टीम ने अपने पूर्ववर्ती GPT से परिमाण के दो आदेशों से GPT-3 की क्षमता में वृद्धि की -2, GPT-3 को अब तक का सबसे बड़ा गैर-विरल भाषा मॉडल बनाना। [९]साँचा:rp[१०] GPT-3 की उच्च संख्या। पैरामीटर इसे छोटी क्षमता के साथ पिछले संस्करणों की तुलना में उच्च स्तर की सटीकता प्रदान करता है।[११] GPT-3 की क्षमता Microsoft ट्यूरिंग एनएलजी से दस गुना बड़ा है।[२]


GPT-3 के लिए भारित पूर्व-प्रशिक्षण डाटासेट का साठ प्रतिशत, कॉमन क्रॉल के फ़िल्टर्ड संस्करण से आता है, जिसमें 410 बिलियन बाइट पेयर एन्कोडिंग | बाइट-पेयर-इनकोडिंग टोकन शामिल हैं। अन्य स्रोत WebText2 से 19 बिलियन टोकन हैं जो कुल भारित 22% का प्रतिनिधित्व करते हैं, Books1 से 12 बिलियन टोकन 8% का प्रतिनिधित्व करते हैं, Books2 से 55 बिलियन टोकन 8% का प्रतिनिधित्व करते हैं, और विकिपीडिया से 3 बिलियन टोकन हैं। 3% का प्रतिनिधित्व करते हैं। GPT-3 को सैकड़ों अरबों शब्दों में प्रशिक्षित किया गया था और यह सीएसएस, JSX, पायथन, अन्य लोगों के बीच कोडिंग में सक्षम है। [१] चूंकि GPT-3 का प्रशिक्षण डेटा सर्वव्यापी था, इसलिए इसे अलग-अलग भाषा के कार्यों के लिए और प्रशिक्षण की आवश्यकता नहीं है। [१]

11 जून, 2020 को, OpenAI ने घोषणा की कि उपयोगकर्ता अपने उपयोगकर्ता के अनुकूल GPT-3 API तक पहुंच का अनुरोध कर सकते हैं - "एक मशीन सीखने का टूलसेट" - इस बारे में OpenAI "शक्तियों और सीमाओं का पता लगाने" में मदद करता है। नई तकनीक। [१२][१३] [१३] निमंत्रण में वर्णित है कि कैसे इस एपीआई में एक सामान्य-उद्देश्य "पाठ, पाठ बाहर" इंटरफ़ेस था जो सामान्य एकल उपयोग-मामले के बजाय लगभग "किसी भी अंग्रेजी भाषा के कार्य" को पूरा कर सकता है। [१२] एक उपयोगकर्ता के अनुसार, जिनके पास OpenAI GPT-3 API की निजी प्रारंभिक रिलीज़ तक पहुंच थी, GPT-3 केवल कुछ सरल संकेतों के साथ" आश्चर्यजनक सुसंगत पाठ "लिखने में" शाब्दिक अच्छा "था। [१४]


क्योंकि GPT-3 उन समाचार लेखों को "उत्पन्न कर सकता है जिन्हें मानव मूल्यांकनकर्ताओं को मनुष्यों द्वारा लिखे गए लेखों से अलग करने में कठिनाई होती है," [२] GPT-3 में "भाषा मॉडल के लाभकारी और हानिकारक अनुप्रयोगों को आगे बढ़ाने की क्षमता" है। "अपने 28 मई, 2020 के पेपर में, शोधकर्ताओं ने विस्तार से वर्णन किया" जीपीटी -3 के हानिकारक प्रभाव "[२] जो "गलत सूचना, स्पैम, फ़िशिंग, प्रक्रिया का दुरुपयोग | कानूनी और सरकारी प्रक्रियाओं का दुरुपयोग, अकादमिक बेईमानी | धोखाधड़ी शैक्षणिक निबंध लेखन और सोशल इंजीनियरिंग प्रीटेक्सिंग"। लेखक जोखिम प्रबंधन | जोखिम शमन पर शोध करने के लिए इन खतरों पर ध्यान आकर्षित करते हैं।

समीक्षा

29 जुलाई, 2020 में [न्यूयॉर्क टाइम्स , फरहद मंजु में समीक्षा में कहा गया है कि GPT-3-जो कंप्यूटर कोड और कविता उत्पन्न कर सकता है, साथ ही साथ गद्य भी नहीं है " अद्भुत "," डरावना ", और" विनम्र ", लेकिन यह भी" थोड़ा अधिक से अधिक भयानक "[१५] डेली नूस 'ने GPT-3 पर नौ दार्शनिकों द्वारा लेखों की एक श्रृंखला प्रस्तुत की। [१६] ऑस्ट्रेलियाई दार्शनिक डेविड चालर्स ने GPT-3 को "सबसे दिलचस्प और महत्वपूर्ण AI में से एक" बताया सिस्टम ने कभी उत्पादन किया। [३]

वायर्ड (पत्रिका) | वायर्ड 'में एक समीक्षा ने कहा कि जीपीटी -3 सिलिकॉन वैली के पार ठंडक भड़का रहा था।" [१७]

टुवर्ड्स डेटा साइंस के एक लेख में कहा गया है कि GPT-3 को सैकड़ों अरबों शब्दों में प्रशिक्षित किया गया था और यह CSS, JSX, Python और अन्य भाषाओं में कोडिंग करने में सक्षम है। [१]

नेशनल लॉ रिव्यू ने कहा कि GPT-3 एक "बड़ी प्रक्रिया में प्रभावशाली कदम है", OpenAI और अन्य लोगों को इस शक्ति के सभी के लिए उपयोगी एप्लिकेशन ढूंढते हुए और अधिक की ओर काम करते हुए सामान्य बुद्धिमत्ता । [१८]

सन्दर्भ

  1. ↑ अ आ इ ई स्क्रिप्ट त्रुटि: "citation/CS1" ऐसा कोई मॉड्यूल नहीं है।
  2. ↑ अ आ इ ई उ ऊ Sagar, Ram (June 3, 2020). "OpenAI Releases GPT-3, The Largest Model So Far". Analytics India Magazine. Retrieved July 31, 2020.
  3. ↑ अ आ स्क्रिप्ट त्रुटि: "citation/CS1" ऐसा कोई मॉड्यूल नहीं है।
  4. ↑ अ आ स्क्रिप्ट त्रुटि: "citation/CS1" ऐसा कोई मॉड्यूल नहीं है।
  5. ↑ साँचा:cite arxiv
  6. ↑ स्क्रिप्ट त्रुटि: "citation/CS1" ऐसा कोई मॉड्यूल नहीं है।
  7. ↑ अ आ स्क्रिप्ट त्रुटि: "citation/CS1" ऐसा कोई मॉड्यूल नहीं है।
  8. ↑ अ आ इ स्क्रिप्ट त्रुटि: "citation/CS1" ऐसा कोई मॉड्यूल नहीं है।
  9. ↑ अ आ साँचा:cite arxiv
  10. ↑ स्क्रिप्ट त्रुटि: "citation/CS1" ऐसा कोई मॉड्यूल नहीं है। Four preprints were released between May 28 and July 22, 2020.
  11. ↑ स्क्रिप्ट त्रुटि: "citation/CS1" ऐसा कोई मॉड्यूल नहीं है।
  12. ↑ अ आ साँचा:cite web
  13. ↑ अ आ स्क्रिप्ट त्रुटि: "citation/CS1" ऐसा कोई मॉड्यूल नहीं है।
  14. ↑ स्क्रिप्ट त्रुटि: "citation/CS1" ऐसा कोई मॉड्यूल नहीं है।
  15. ↑ स्क्रिप्ट त्रुटि: "citation/CS1" ऐसा कोई मॉड्यूल नहीं है।
  16. ↑ स्क्रिप्ट त्रुटि: "citation/CS1" ऐसा कोई मॉड्यूल नहीं है।
  17. ↑ स्क्रिप्ट त्रुटि: "citation/CS1" ऐसा कोई मॉड्यूल नहीं है।
  18. ↑ स्क्रिप्ट त्रुटि: "citation/CS1" ऐसा कोई मॉड्यूल नहीं है।

बाहरी लिंक

"https://hiwiki.iiit.ac.in/index.php?title=जीपीटी3&oldid=264933" से लिया गया