Vyvinul | OpenAI |
---|---|
První verze | 28. května 2020 |
Poslední verze | 175B |
Vklad | github.com/openai/gpt-3 |
Typ |
Jazykový model Autoregresní model Transformační model Generativní model |
Licence | Licence vlastníka |
webová stránka | arxiv.org/abs/2005.14165 |
Chronologie verzí
GPT-3 je jazykový model vyvinutý společností OpenAI, který byl oznámen 28. května 2020 a který je uživatelům přístupný prostřednictvím rozhraní OpenAI API v červenci 2020.
V době svého oznámení je GPT-3 největším jazykovým modelem, jaký byl kdy trénován, se 175 miliardami parametrů. GPT-2 , vydané v roce 2019, mělo pouze 1,5 miliardy parametrů.
OpenAI otevírá beta verzi v červenci 2020 a jejím cílem je poté z ní udělat komerční produkt.
28.května 2020 arXiv prepublication skupinou 31 OpenAI inženýrů a vědců představil vývoj GPT-3, třetí generace „pokročilého modelu jazyka“. Tým zvýšil kapacitu GPT-3 o více než dva řády ve srovnání s předchůdcem GPT-2. Vyšší počet parametrů GPT-3 mu dává větší přesnost ve srovnání s předchozími verzemi s nižší kapacitou. Kapacita GPT-3 je desetkrát větší než u Microsoftu Turing NLG.
60% předtréninkové vážené datové sady pro model GPT-3 pochází z filtrované verze korpusu Common Crawl skládající se ze 410 miliard sub-lexikálních textových jednotek kódovaných algoritmem BPE. Dalšími zdroji jsou 19 miliard jednotek korpusu WebText2, což představuje 22% váženého celku, 12 miliard jednotek korpusu Books1, což představuje 8%, 55 miliard korpusu Books2, což představuje 8% a 3 miliardy jednotek Wikipedia, což představuje 3%. GPT-3 byl proškolen na stovky miliard slov a je schopen programovat mimo jiné v CSS, JSX, Python.
Jelikož jsou tréninková data GPT-3 globální, nevyžadují další školení pro samostatné jazykové úkoly. 11. června 2020 OpenAI oznámila, že uživatelé mohou požádat o přístup k jeho GPT-3 API - sadě nástrojů pro strojové učení -, aby pomohli OpenAI prozkoumat „silné a slabé stránky“ této nové technologie. Pozvánka popisovala, jak toto API mělo všestranné rozhraní „textového vstupu / výstupu“, které dokázalo provádět téměř „jakýkoli úkol v angličtině“, místo obvyklého případu jednoho použití. Podle jednoho uživatele, který měl přístup k soukromé verzi náhledu API OpenAI GPT-3, byl GPT-3 „podivně dobrý“ v psaní „překvapivě konzistentního textu“ jen s několika jednoduchými pokyny.
Protože GPT-3 může „generovat novinové články, které lidští recenzenti obtížně odlišují od článků napsaných lidmi“, „GPT-3 má„ potenciál urychlit prospěšné i škodlivé aplikace jazykových modelů. “Ve svém článku z 28. května 2020 vědci podrobně popsali „potenciální nepříznivé účinky GPT-3“, které zahrnují „ dezinformace , spam , phishing , zneužívání právních a vládních procesů, přípravu podvodného akademického procesu pod rouškou sociálního inženýrství .“ Autoři upozorňují na tato nebezpečí pro vyzvat k výzkumu snižování rizik.
Umělec Mario Klingemann použil GPT-3 ke generování pastiček velkých autorů .
Mezi možná použití patří vyhledávání dokumentů v přirozeném jazyce. Například GPT-3 může v přirozeném jazyce odpovědět na otázku „proč je chléb oteklý“ na základě článku Wikipedie „chleba“.
Je možné vést rychlé, komplexní a koherentní diskuse v přirozeném jazyce za účelem vytváření nápadů, doporučení knih a filmů, vyprávění interaktivních příběhů nebo účasti na schůzce. GPT-3 může například poskytovat automatickou zákaznickou podporu online na webových stránkách.
GPT-3 umožňuje analyzovat a syntetizovat text ve formě tabulek, shrnout diskuse, rozšířit obsah od základních myšlenek.
GPT-3 lze použít k překladu textů z jednoho jazyka do druhého. Může také transformovat text v běžném jazyce na legální text.
GPT-3 lze použít ke generování počítačových kódů z pokynů v přirozeném jazyce, například tlačítek, tabulek s údaji nebo dokonce z domovské stránky Google.
Stejně jako ostatní konkurenční modely: BERT od Google nebo XLM-R z Facebooku , GPT-3 není schopen uvažovat, například analogicky ; ve skutečnosti nemá žádné zastoupení světa.
Na rozdíl od svých konkurentů nelze GPT-3 vzhledem ke své velikosti provozovat na osobním počítači : samotné ukládání parametrů vyžaduje minimálně 175 gigabajtů RAM , což v roce 2020 výrazně převyšuje kapacitu strojů. Obvykle dostupné na trhu, nebo vyrobitelné ze spotřebního zařízení.
Na rozdíl od GPT-2 , předchozího jazykového modelu vyvinutého OpenAI, je GPT-3 dodáván jako API a zdrojový kód není otevřený.
V roce 2020 francouzský start-up Nabla navrhl lékařského chatbota založeného na GPT-3, navzdory kontraindikacím OpenAI. Během testovacích fází chatbot doporučil simulovanému pacientovi spáchat sebevraždu.
„ Abychom studovali závislost výkonu ML na velikosti modelu, trénujeme 8 různých velikostí modelu, které se pohybují v rozmezí tří řádů od 125 milionů parametrů do 175 miliard parametrů, přičemž posledním je model, který nazýváme GPT-3. "
"" GPT-2, je transformátor parametrů o velikosti 1,5 B ""