Neuronový síťový akcelerační čip

AI Accelerator pro umělé inteligence urychlovač (nebo NPU , anglicky  : Neural Processing Unit ) je třída mikroprocesorem nebo výpočtové systémy určené pro rychlosti až k umělé neuronové sítě , urychlit algoritmy průmyslové vize a učení automatické pro robotiku , internet věcí a jiných computation- intenzivní úkoly nebo ovládání senzorem. Jedná se často o vícejádrové návrhy a obvykle se zaměřují na aritmetiku s nízkou přesností , nové architektury toku dat nebo výpočetní kapacitu v paměti. Na této stránce je několik termínů specifických pro dodavatele pro určitá zařízení.

Historie akceleračních čipů AI

Počítačové systémy jsou často doplněny o procesor s speciální akcelerátory pro specializované úkoly, včetně grafické karty ( GPU ) pro grafiku, ale také zvukové karty pro audio, atd. Jak strojové učení a umělá inteligence nabraly na obrátkách, byly specializované hardwarové jednotky vyvinuty nebo upraveny z předchozích produktů k urychlení těchto úkolů.

První pokusy

Již v roce 1993 byly DSP použity jako urychlovače neuronových sítí, například k urychlení softwaru pro optické rozpoznávání znaků . V 90. letech byly rovněž učiněny pokusy o vytvoření vysoce výkonných paralelních systémů pro pracovní stanice pro různé aplikace, včetně simulací neuronových sítí. Akcelerátory založené na FPGA byly také poprvé prozkoumány v 90. letech pro odvození a učení ANNA bylo urychlovačem neuronových sítí CMOS vyvinutým Yannem LeCunem .

Heterogenní počet

Heterogenní výpočetní začal se začleněním řada specializovaných procesorů v jednom systému nebo jednom čipu, každý je optimalizován pro typ konkrétního úkolu. Architektury, jako je mikroprocesor (procesor) Cell, mají vlastnosti, které se významně překrývají s akcelerátory AI, včetně: podpory aritmetiky s nízkou přesností, architektury toku dat a upřednostňování spíše „propustnosti“ než latence. Mikroprocesor Cell byl poté aplikován na řadu úkolů, včetně AI.

Samotné procesory také získaly větší a větší jednotky SIMD (používané pro náročné úkoly a hraní her) a podporu pro datové typy s nízkou přesností.

Používání GPU

Tyto procesory grafika , nebo GPU jsou specializované hardware pro manipulaci s obrázky. Jelikož jsou matematické základy neuronových sítí a manipulace s obrázky podobné, pro složité paralelní úlohy zahrnující matice se pro úlohy strojového učení stále častěji používají GPU. Od roku 2016 jsou GPU oblíbené pro učení AI a nadále se vyvíjejí směrem, který usnadňuje hluboké učení, a to jak pro učení, tak pro odvození v zařízeních, jako jsou autonomní vozidla . - a získání další možnosti připojení pro druh datového toku, který AI přináší (např. Nvidia NVLink ). Vzhledem k tomu, že GPU se stále více používají k urychlení AI, výrobci GPU začlenili hardware specifický pro neuronové sítě, aby tyto úkoly dále urychlili. Tenzorová jádra jsou určena k urychlení tréninku neuronových sítí. 26] [26] Tenzorová jádra mají za cíl urychlit výcvik neuronových sítí.

Použití FPGA

Rámce učení hloubka se stále vyvíjí, což znesnadňuje zakázkový hardware designu. Rekonfigurovatelná zařízení, jako jsou programovatelná hradlová pole (FPGA), usnadňují vývoj hardwaru, rámců a softwaru v nich.

Microsoft použil FPGA čipy k urychlení závěru . Aplikace FPGA na akceleraci AI také motivovala Intel ke koupi Altera s cílem integrovat FPGA do CPU serverů, které by dokázaly urychlit AI i obecné úkoly.

Vznik ASIC zaměřených na zrychlení AI

Zatímco GPU a FPGA překonávají CPU u těchto úkolů souvisejících s umělou inteligencí, faktoru efektivity 10 lze stále dosáhnout se specifičtějším designem, přes „ Application-specific integrated circuit “ (ASIC). . To zahrnuje rozdíly ve využití paměti a použití nižších množství přesných.

Nomenklatura

Od roku 2016 je pole stále v pohybu a prodejci prosazují svůj vlastní marketingový termín, který odpovídá „urychlovači AI“, v naději, že budou dominovat jejich designy a API . Neexistuje shoda na hranici mezi těmito zařízeními ani na přesné formě, jakou budou mít, ale několik příkladů si jasně klade za cíl zaplnit tento nový prostor s určitým překrytím kapacit.

V minulosti, když se objevily spotřebitelské grafické akcelerátory , průmysl nakonec přijal samozvaný termín společnosti Nvidia „GPU“ jako souhrnný název pro „grafické akcelerátory“, které před vznikem měly mnoho podob. Instalovat na globálním potrubí implementace modelu představeného Direct3D .

Příklady

Jednotlivé produkty

• Google „ TPU “ je akcelerátor speciálně navržený společností Google pro jeho rámec TensorFlow , který je široce používán pro konvoluční neuronové sítě . Zaměřuje se na vysoký objem 8bitové přesné aritmetiky . První generace se zaměřila na inference, zatímco druhá generace zvýšila kapacitu pro výcvik neuronových sítí.
• Adapteva epiphany je vícejádrový koprocesor se sítí na modelu „ paměti zápisníku “, vhodný pro programovací model toku dat, který by měl být vhodný pro mnoho úloh strojového učení.
• Intel Nervana NNP („  Neural Network Processor  “) (aka „  Lake Crest  “), který je podle Intel prvním čipem dostupným na trhu s architekturou speciálně navrženou pro hluboké učení. Facebook byl partnerem v procesu návrhu.
• Movidius Myriad 2 je vícejádrový akcelerátor VLIW AI, doplněný o pevné video funkční jednotky .
• Mobileye EyeQ je specializovaný procesor pro zpracování obrazu ( VPU ) pro samojízdné automobily.

Produkty založené na GPU

• Nvidia Tesla je řada produktů odvozených od GPU Nvidia prodávaná pro úkoly GPGPU a umělou neuronovou síť.
  • Nvidia Volta je mikroarchitektura, která doplňuje jednotku grafického zpracování o další „tenzory“ zaměřené konkrétně na zrychlení výpočtů pro neuronové sítě.
  • Nvidia DGX-1 je produkt pracovní stanice / serveru Nvidia, který integruje GPU značky Nvidia pro úkoly GPGPU, včetně strojového učení.
• Radeon Instinct je produktová řada [AMD] odvozená od GPU pro akceleraci AI.

Koprocesory optimalizované pro AI

• Procesor mobilní platformy Snapdragon 845 od společnosti Qualcomm obsahuje jádro DSP Hexagon 685 pro zpracování AI v aplikacích fotoaparátů, hlasu, XR a hrách.
• PowerVR 2NX NNA („Neural Net Accelerator“) je jádro IP společnosti Imagination Technologies licencované pro integraci čipů.
• Neural Engine je jádro akcelerátoru AI v rámci Apple A11 Bionic SoC .
• Cadence Tensilica Vision C5 je jádro IP DSP optimalizované pro neuronové sítě.
• Processing Unit Neural (NPU) je neuronová síť urychlovač v HiSilicon Kirin 970.
• v ledna 2018Společnost CEVA, Inc. vydala rodinu čtyř procesorů AI s názvem NeuPro , z nichž každý obsahuje programovatelný vektorový DSP a hardwarovou implementaci 8 nebo 16bitových vrstev neuronové sítě podporujících neuronové sítě s výkonem od 2 TOPS do 12,5 TOPS.
• Sipeed vyvinul kartu Sipeed M1 (nebo Kendryte KD233), vybavenou Kendryte K210 SoC obsahující 2 64bitové jádra RISC-V a procesor umělé inteligence. Tyto karty jsou navrženy pro práci s FreeRTOS . Existuje několik variant, lze je programovat v microPythonu prostřednictvím Platform.IO IDE, s Arduino IDE a také podporují Linux.

Multifunkční akcelerátor

Universal Multifunctional Accelerator (UMA) vyvinutý a vyráběný společností Manjeera Digital Systems pod záštitou Centra pro inovační inženýrství a podnikatelský inkubátor Indického institutu informačních technologií (IIIT), Hyderabad je revoluční novinkou v akceleraci při výpočtu jakékoli aplikace s patentovaným architektura založená na operacích Middle Stratum.

Výzkum a neprodávané výrobky

• v prosince 2017„ Tesla Motors potvrdila pověst, že vyvíjí AI Soc pro autonomní řízení . Jim Keller pracuje na tomto projektu nejméně od začátku roku 2016.
• Eyeriss je akcelerátor speciálně určený pro konvoluční neuronové sítě, využívající scratchpad a architekturu network-on-chip.
• Nullhop je urychlovač navržený v Institutu neuroinformatiky ETH v Curychu a na univerzitě v Curychu na základě řídkého zobrazení map funkcí. Druhá generace architektury je uváděna na trh univerzitní spin-off Synthara Technologies.
• Kalray je urychlovač konvolučních neuronových sítí.
• SpiNNNaker je vícejádrový design specializující se na simulaci velké neuronové sítě.
• Graphcore IPU je grafický akcelerátor AI.
• DPU , pomocí wave computingu , je architektura datového toku
• Společnost STMicroelectronics představila počátkem roku 2017 demonstrátor SoC vyrobený pomocí 28 nm procesu obsahujícího hluboký urychlovač CNN .
• NM500 je nejnovější v roce 2016 ze série akceleračních čipů pro neurální sítě Radial Basis Function od General Vision.
• TrueNorth je vícejádrový model založený spíše na špičkových neuronech než na tradiční aritmetice.
• Intel Loihi je experimentální neuromorfní čip .
• v září 2017„Společnost BrainChip představila komerční kartu [PCI Express] s Xilinx Kintex Ultrascale FPGA využívající neuromorfní neurální jádra pomocí rozpoznávání vzorů na 600 video snímků za sekundu s použitím 16 wattů energie.
• IIT Madras je v procesu navrhování špičkového neurálního urychlovače pro analýzu velkých dat .
• Bylo navrženo několik urychlovačů umělé inteligence založených na paměti, které využívají paměťovou kapacitu paměti memristoru .
• AlphaICs je v procesu navrhování koprocesoru založeného na agentech, který se nazývá „Real AI Processor“ (RAP), aby umožnil vnímání a rozhodování v čipu.
• Evropská iniciativa procesorů , jejímž cílem je vybavit evropské superpočítače a evropské automobily, jejichž procesor je založen na architektuře ARM , a akcelerátory odpovědné za AI a superpočítače jsou založeny na architektuře RISC-V .

Potenciální aplikace

• Autonomní auta , Nvidia navrhla své karty řady Drive PX s ohledem na tento cíl.
• Thales , vojenský robot , vyrábí protiletadlový protiraketový obranný systém CIWS Goalkeeper, který pro rozpoznání cíle používá VPU.
• Zemědělské roboty , například v boji proti plevelům bez chemikálií.
• Hlasový příkaz , například v mobilních telefonech, cíl pro Qualcomm nultého nebo Google asistenta .
• Strojový překlad , stránka DeepL trénuje umělou inteligenci k porozumění a překladu textů.
• Drony , například navigační systémy, jako Movidius Myriad 2 , byly úspěšně používány při vedení autonomních dronů.
• Průmysloví roboti zvyšují rozsah úloh, které lze automatizovat, a zvyšují přizpůsobivost různým situacím.
• Zdraví , s diagnostickou pomocí, Hospices Civils de Lyon v současné době testují AI pro diagnostickou pomoc.
• Roboty , zvyšování energetické účinnosti v datových centrech a schopnost obsluhovat dotazy pokročilejší.
• Zpracování přirozeného jazyka

Podívejte se také

• Umělá inteligence
• Umělá neuronová síť
• Konvoluční neuronová síť
• Neuromorfní inženýrství
• Fyzická neurální síť

Reference

1. „  Intel Movidius, USB klíč určený pro„ zpracování obrazu “  “ .
2. „  Inspurs odhaluje GX4 AI Accelerator  “ .
3. „  Google vyvíjí procesory AI  “ google pomocí vlastních akcelerátorů AI.
4. „ A Survey of ReRAM-based Architectures for Processing-in-memory and Neural Networks “, S. Mittal, Machine Learning and Knowledge Extraction, 2018
5. „  demo konvoluční neurální sítě z roku 1993 s akcelerátorem DSP32  “ .
6. „  Návrh propojovacího síťového superpočítače  “ .
7. „  Konec počítačů pro všeobecné použití (ne)  “ Tato prezentace pojednává o minulém pokusu o urychlovače neuronové sítě, upozorňuje na podobnost s moderním nastavením procesoru SLI GPGPU a tvrdí, že vektorové akcelerátory pro všeobecné použití jsou cestou vpřed (ve vztahu k RISC -V hwacha project. Tvrdí, že NN jsou jen husté a řídké matice, jeden z několika opakujících se algoritmů)
8. „  SYNAPSE-1: vysokorychlostní paralelní neuro-počítačový systém pro všeobecné použití  “ .
9. „  Space Efficient Implementace Neural Net  “ .
10. „  generický Building Block pro Hopfield neuronových sítí s on-chip učení  “ .
11. Aplikace ANNA Neural Network Chip na vysokorychlostní rozpoznávání znaků
12. „  Synergické zpracování ve vícejádrové architektuře buňky  “ .
13. „  Výkon procesoru buněk pro biomolekulární simulace  “ .
14. „  Zpracování a vyhledávání videa na architektuře buněk  “ .
15. „  Sledování paprsku na buněčném procesoru  “ .
16. „  Vývoj umělé neuronové sítě na heterogenní vícejádrové architektuře k předpovědi úspěšného úbytku hmotnosti u obézních jedinců  “ .
17. „  Parallelization of the Scale-Invariant Keypoint Detection Algorithm for Cell Broadband Engine Architecture  “ .
18. „  Algoritmy pro dolování dat na širokopásmovém modulu buněk  “ .
19. „  Zlepšení výkonu videa pomocí AVX  “ .
20. „  Microsoft research / pixel shaders / MNIST  “ .
21. "  jak se GPU začalo používat pro obecný výpočet  " .
22. „  klasifikace imagenetů s hlubokými konvolučními neuronovými sítěmi  “ .
23. „  nvidia podporuje rozvoj hlubokého učení  “ .
24. „  nvidia představuje superpočítač pro samojízdná auta  “ .
25. "  jak nvlink umožní rychlejší a snadnější výpočet více GPU  " .
26. Mark Harris , „  Odhalení funkcí CUDA 9: Volta, kooperativní skupiny a další  “ ,11. května 2017(zpřístupněno 12. srpna 2017 ) .
27. „  FPGA Based Deep Learning Accelerators Take on ASICs  “ , na The Next Platform ,23. srpna 2016(zpřístupněno 7. září 2016 ) .
28. „  Microsoft rozšiřuje dosah fpga z bingu na hluboké učení  “ .
29. „  Zrychlení hlubokých konvolučních neuronových sítí pomocí specializovaného hardwaru  “ .
30. „  Google podporuje strojové učení pomocí své jednotky Tensor Processing Unit  “ ,19. května 2016(zpřístupněno 13. září 2016 ) .
31. „  Čip může mobilním zařízením přinést hluboké učení  “ , na www.sciencedaily.com ,3. února 2016(zpřístupněno 13. září 2016 ) .
32. „  Hluboké učení s omezenou numerickou přesností  “ .
33. (in) Mohammad Rastegari, Vicente Ordonez, Joseph Redmon a Ali Farhadi „  Klasifikace XNOR-Net IMAGEnet pomocí binárních konvolučních neuronových sítí  “2016. .
34. „  NVIDIA uvádí na trh první jednotku grafického zpracování na světě, GeForce 256,  “ .
35. Jeff Kampman , „  Intel představuje účelový procesor neurální sítě pro hluboké učení,  “ technická zpráva ,17. října 2017( číst online , konzultováno 18. října 2017 ).
36. (in) „  Intel Nervana Neural Network Processors (NNP) redefine AI Silicon  “ na intel.com ,17. října 2017(zpřístupněno 20. října 2017 ) .
37. „  Evoluce EyeQ  “ .
38. „  Nvidia jde nad rámec GPU pro AI s Volta  “ .
39. „  nvidia dgx-1  “ .
40. Ryan Smith , „  AMD oznamuje Radeon Instinct: GPU akcelerátory pro hluboké učení, od roku 2017  “, Anandtech ,12. prosince 2016( číst online , konzultováno 12. prosince 2016 ).
41. „  Nejvýkonnější akcelerátor odvození neurální sítě  “ .
42. (in) James Vincent , „  Nový neurální modul X pro iPhone je příkladem přístupu Apple k IA  “ , The Verge ,13. září 2017( číst online , konzultováno 23. září 2017 ).
43. „  Cadence představuje první průmyslovou neuronovou síťovou DSP IP pro automobilové, dohledové, dronové a mobilní trhy  “ .
44. „  HUAWEI odhaluje budoucnost mobilní AI na IFA 2017  “ .
45. „  Rodina procesorů AI pro hluboké učení na hraně  “ .
46. (in) Brian Benchoff, „  New Day Part: The RISC-V Chip With Built-In Neural Networks  “ na Hack a Day ,8. října 2018
47. Digitální systém UMA Manjeera , „  Universal Multifunction Accelerator  “, v Manjeera Digital Systems (přístup k 28. červnu 2018 ) .
48. Universal Multifunction Accelerator Manjeera Digital Systems , „  Revolutionize Processing,  “ on Indian Express (přístup 28. června 2018 ) .
49. UMA AI Chip , „  AI Chip from Hyderabad  ,“ Telangana Today , n o  News Paper,10. května 2018( číst online , konzultováno 28. června 2018 ).
50. Lambert, Fred, „  Elon Musk potvrzuje, že Tesla pracuje na svém novém čipu AI vedeném Jimem Kellerem  “ ,8. prosince 2017.
51. Chen, Yu-Hsin, Krishna, Tushar, Emer, Joel a Sze, Vivienne, „  Eyeriss: Energeticky efektivní rekonfigurovatelný akcelerátor pro hluboké konvoluční neuronové sítě  “ , Mezinárodní konference polovodičových obvodů IEEE, ISSCC 2016, Přehled technických dokumentů ,2016, str.  262–263.
52. Aimar, Alessandro a kol., „  NullHop: Flexibilní akcelerátor neuronových sítí založený na řídkých zobrazeních map funkcí  “ .
53. „  Synthara Technologies  “ .
54. „  kalray MPPA  “ .
55. „  Technologie Graphcore  “ .
56. „  Architektura DPU společnosti Wave Computing  “ .
57. „  A 2.9 TOPS / W Deep Convolutional Neural Network SoC in FD-SOI 28nm for Intelligent Embedded Systems  “ .
58. „  NM500, neuromorfní čip s 576 neurony  “ .
59. „  yann lecun on IBM truenorth  “ tvrdí, že špičkové neurony nikdy nepřinesly špičkové výsledky kvality a že 8-16bitová přesnost je optimální, tlačí konkurenční design „neuflow“
60. „  IBM otevírá novou éru neuromorfních výpočtů  “  : „TrueNorth je neuvěřitelně efektivní: Čip spotřebovává při maximálním zatížení pouze 72 miliwattů, což odpovídá zhruba 400 miliardám synaptických operací za sekundu na watt - neboli 176 000krát účinnější než moderní CPU se stejnou pracovní zátěží podobnou mozku nebo 769krát účinnější než jiné nejmodernější neuromorfní přístupy “ .
61. „  Nový čip Intel Self-Learning slibuje zrychlení umělé inteligence  “ .
62. „  BrainChip Accelerator  “ .
63. „  Indie připravuje procesory RISC-V - Shakti se zaměřuje na servery, IoT, analytiku  “  : „Projekt Shakti nyní zahrnuje plány pro nejméně šest návrhů mikroprocesorů, stejně jako přidružené struktury a akcelerační čip“ .
64. „  AlfaIC  “ .
65. „  pohon px  “ .
66. „  Brankář - blízký zbraňový systém  “ .
67. „  Návrh systému strojového vidění pro kontrolu plevele  “ .
68. „  Kvalitativní výzkum přináší strojové učení třídy serveru na všechna datová zařízení  “ .
69. „  Google Assistant ia  “ .
70. „  DeepL Learning  “ .
71. „  movidius ovládá nejinteligentnější dron na světě  “ .
72. „  Umělá inteligence na pomoc lyonským nemocnicím  “ .

externí odkazy

• http://www.nextplatform.com/2016/04/05/nvidia-puts-accelerator-metal-pascal/
• http://eyeriss.mit.edu
• http://www.alphaics.ai/