BERT (jazykový model)

BERT

Informace

Vyvinul	Google Research ( d )
První verze	2018
Vklad	github.com/google-research/bert
Velikost dat	110 000 000 parametrů a 340 000 000 parametrů
Typ	Jazykový model Transformátorový model
Licence	Licence Apache verze 2.0
webová stránka	ai.googleblog.com/2018/11/open-sourcing-bert-state-of-art-pre.html

Při zpracování přirozeného jazyka je BERT , zkratka pro Bidirectional Encoder Representations from Transformers , jazykový model vyvinutý společností Google v roce 2018. Tato metoda výrazně zlepšila výkon automatického zpracování jazyka .

Použití v aplikacích

The 25. října 2019, Google oficiálně oznamuje, že BERT je nyní integrován do některých svých služeb pro firmy (Cloud TPU , knihovna pro TensorFlow ) a že jeho nasazení proběhne v následujících dnech, nejprve pro anglický jazyk, poté pro ostatní. Společnost Mountain View kvalifikuje tuto změnu jako nejvýznamnější změnu v algoritmu Google za 5 let, kdy byl spuštěn RankBrain.

Metoda byla v roce 2019 přizpůsobena francouzskému jazyku u modelů CamemBERT a FlauBERT. CamemBERT byl vyškolen na korpusu o velikosti 138 GB textu a FlauBERT na korpusu o velikosti 71 GB textu.

Bibliografie

• https://arxiv.org/abs/1810.04805 .

Podívejte se také

Související články

• Stanfordská datová sada pro zodpovězení otázek
• Word2vec

externí odkazy

• Github adresář

Poznámky a odkazy

1. „  Jak BERT, největší aktualizace světě algoritmu Google  “ (k dispozici na 1. st května 2020 )
2. (in) „  Open Sourcing BERT: Nejmodernější předškolení pro zpracování přirozeného jazyka  “ na blogu Google AI (přístup 30. října 2019 )
3. https://arxiv.org/abs/1911.03894
4. https://arxiv.org/abs/1912.05372