Podtřída | Vkládání slov |
---|
V umělé inteligenci a strojovém učení je Word2vec skupina modelů používaných pro lexikální vkládání .
Tyto modely byly vyvinuty výzkumným týmem společnosti Google pod vedením Tomáše Mikolova (v) .
Jsou to dvouvrstvé umělé neuronové sítě trénované k rekonstrukci jazykového kontextu slov.
Metoda je implementována v knihovně Python Gensim .
Pro výuku Word2vec byly původně navrženy dvě architektury, model kabelů spojitých slov (CBOW: Continuous bag of words ) a model skip-gram. Cílem CBOW je předvídat slovo vzhledem k jeho kontextu, tj. Vzhledem k slovům, která jsou mu v textu blízká. Takovým kontextem je například 5 slov napravo a 5 slov nalevo od slova, které se má předvídat. Přeskočit gram má symetrickou architekturu, jejímž cílem je předvídat slova kontextu dané vstupní slovo.
V praxi se model CBOW učí rychleji, ale model skip-gram obecně poskytuje lepší výsledky.
V obou případech má neurální síť dvě vrstvy. Skrytá vrstva obsahuje několik stovek neuronů a na konci reprezentace představuje lexikální vložení umožňující reprezentovat slovo. Výstupní vrstva umožňuje implementaci úlohy klasifikace pomocí softmaxu .
Učení však nevyžaduje žádnou nálepku, základní pravda je přímo odvozena z údajů a konkrétněji z blízkosti slov v cvičném korpusu. V tomto smyslu představuje učení Word2vec učení pod vlastním dohledem .