Usměrňovač (neuronové sítě)

V matematice je funkce Unit Linear Rectified (nebo reread for Rectified Linear Unit ) definována jako:

F(X)=mnaX(0,X){\ displaystyle f (x) = max (0, x)}pro všechny skutečné X{\ displaystyle x}

Často se používá jako aktivační funkce v kontextu umělé neuronové sítě pro její jednoduchost výpočtu, zejména její derivace .

Variace

Nevýhodou funkce ReLU je, že její derivace se stává nulovou, když je vstup záporný, což může zabránit zpětnému šíření přechodu . Poté můžeme představit verzi nazvanou Leaky ReLU definovanou:

F(X)=mnaX(ϵX,X){\ displaystyle f (x) = max (\ epsilon x, x)} pro všechny skutečné X{\ displaystyle x}

Parametr je striktně pozitivním skutečný a méně než 1 derivát se potom rovná , když x je striktně záporný, což umožňuje, aby se o aktualizaci závaží z A perceptron použití této aktivační funkci. ϵ{\ displaystyle \ epsilon}ϵ∈]0,1[{\ displaystyle \ epsilon \ in] 0,1 [}ϵ{\ displaystyle \ epsilon}

Poznámky a odkazy

1. "  Aktivační funkce | Fundamentals of Deep Learning  ” , ve službě Analytics Vidhya ,29. ledna 2020(k dispozici na 1. st srpen 2020 )

<img src="https://fr.wikipedia.org/wiki/Special:CentralAutoLogin/start?type=1x1" alt="" title="" width="1" height="1" style="border: none; position: absolute;">