Jazykový model

Jazykový model

Podtřída	Statistický model
Aspekt	Automatické zpracování přirozeného jazyka

V automatickém zpracování jazyka , je model, jazyk je statistický model, který modeluje distribuce sekvencí slov, obecněji sekvencí diskrétních znaků (písmena, hlásek, slov), v přirozeném jazyce. Jazykový model může například předpovídat slovo po posloupnosti slov.

BERT a GPT-3 jsou jazykové modely.

Bender a kol. Rok 2021 zpochybňuje význam obrovských předškolených jazykových modelů.

Poznámky a odkazy

1. (in) Yoshua Bengio , „Jazykové modely neuronových sítí“ ve Scholarpedii ( číst online ).
2. (in) Emily Bender , Timnit Gebru Angelina McMillan Staff a Shmargaret Shmitchell , „  O nebezpečích stochastických papoušků: Mohou být zachráněné modely příliš velké? ?  ” , FAccT '21: Sborník konferencí ACM o spravedlnosti, odpovědnosti a transparentnosti v roce 2021 ,Březen 2021, str.  610-623 ( DOI  10.1145 / 3442188.3445922 )