Articles

Funcții de activare în rețelele neuronale: o prezentare generală

rețelele neuronale au o arhitectură similară cu creierul uman format din neuroni. Aici intrările produsului(X1, X2) și greutățile(W1, W2) sunt însumate cu părtinire(b) și în cele din urmă acționate de o funcție de activare(f) pentru a da ieșirea (y).

funcția de activare este cel mai important factor într-o rețea neuronală care a decis dacă un neuron va fi activat sau nu și transferat la următorul strat. Aceasta înseamnă pur și simplu că va decide dacă intrarea neuronului în rețea este relevantă sau nu în procesul de predicție. Din acest motiv, este denumit și prag sau transformare pentru neuroni care pot converge rețeaua.

funcțiile de activare ajută la normalizarea ieșirii între 0 și 1 sau -1 la 1. Ajută în procesul de retropropagare datorită proprietății lor diferențiate. În timpul backpropagation, funcția de pierdere devine actualizat, și funcția de activare ajută curbele de coborâre gradient pentru a atinge minimele lor locale.

în acest articol, voi discuta despre diferitele tipuri de funcții de activare prezente într-o rețea neuronală.

Linear

Linear este cea mai de bază funcție de activare, ceea ce implică proporțional cu intrarea. Ecuația Y = az, care este similară cu ecuația unei linii drepte. Oferă o serie de activări de la-inf la +inf. Acest tip de funcție este cea mai potrivită pentru probleme de regresie simple, poate predicția prețurilor locuințelor.

dezavantaje – derivata funcției liniare este constanta(a) deci nu există nicio legătură cu intrarea. Astfel, nu ar trebui să fie o alegere ideală, deoarece nu ar fi util în backpropagation pentru rectificarea gradientului și a funcțiilor de pierdere.

ReLU

unitatea liniară rectificată este cea mai utilizată funcție de activare în straturile ascunse ale unui model de învățare profundă. Formula este destul de simplă, dacă intrarea este o valoare pozitivă, atunci acea valoare este returnată altfel 0. Astfel, derivata este de asemenea simplă, 1 Pentru valori pozitive și 0 altfel(deoarece funcția va fi 0 atunci și tratată ca constantă, astfel derivata va fi 0). Astfel rezolvă problema gradientului de dispariție. Intervalul este de la 0 la infinit.

dezavantaje – problema ReLU muribundă sau activarea moartă apare atunci când derivata este 0 și greutățile nu sunt actualizate. Nu poate fi folosit în altă parte decât straturi ascunse.

ELU

unitate liniară exponențială depășește problema de moarte ReLU. Destul de similar cu ReLU, cu excepția valorilor negative. Această funcție returnează aceeași valoare dacă valoarea este pozitivă altfel, rezultă alfa(exp (x) – 1), unde alfa este o constantă pozitivă. Derivatul este 1 pentru valorile pozitive și produsul alfa și exp(x) pentru valorile negative. Intervalul este de la 0 la infinit. Este zero centric.

dezavantaje – Elu are proprietatea de a deveni netedă încet și, astfel, poate exploda funcția de activare foarte mult. Este scump de calcul decât ReLU, datorită funcției exponențiale prezente.

LeakyReLU

LeakyReLU este o ușoară variație a ReLU. Pentru valorile pozitive, este aceeași ca ReLU, returnează aceeași intrare, iar pentru alte valori, este furnizată o constantă 0,01 cu intrare. Acest lucru se face pentru a rezolva problema Relu muribund. Derivatul este 1 Pentru pozitiv și 0,01 altfel.

Demerit – datorită liniarității, nu poate fi utilizat în probleme complexe, cum ar fi clasificarea.

PReLU

unitatea liniară parametrizată rectificată este din nou o variație a ReLU și LeakyReLU cu valori negative calculate ca intrare alfa*. Spre deosebire de Relu Leaky unde alfa este 0.01 aici, în PReLU valoarea alfa va fi învățat prin backpropagation prin plasarea valori diferite și va oferi astfel cea mai bună curbă de învățare.

dezavantaje – aceasta este, de asemenea, o funcție liniară, deci nu este adecvată pentru toate tipurile de probleme

Sigmoid

Sigmoid este o funcție de activare neliniară. De asemenea, cunoscut sub numele de funcția logistică. Este continuu și monoton. Ieșirea este normalizată în intervalul de la 0 la 1. Este diferențiat și oferă o curbă de gradient netedă. Sigmoidul este utilizat mai ales înainte de stratul de ieșire în clasificarea binară.

dezavantaje – problema gradientului de dispariție și nu centrică zero, ceea ce face ca optimizarea să devină mai dificilă. Adesea face învățarea mai lentă.

Tanh

valoarea funcției de activare a tangentei hiperbolice variază de la -1 la 1, iar valorile derivate se situează între 0 și 1. Este zero centric. Funcționează mai bine decât sigmoidul. Ele sunt utilizate în clasificarea binară pentru straturile ascunse.

probleme de gradient care dispar

Softmax

funcția de activare Softmax returnează probabilitățile intrărilor ca ieșire. Probabilitățile vor fi folosite pentru a afla clasa țintă. Rezultatul Final va fi cel cu cea mai mare probabilitate. Suma tuturor acestor probabilități trebuie să fie egală cu 1. Acest lucru este utilizat mai ales în problemele de clasificare, de preferință în clasificarea multiclaselor.

dezavantaje – softmax nu va funcționa pentru date separabile liniar

swish

Swish este un fel de funcție Relu. Este o singură funcție de auto-ras este nevoie doar de intrare și nici un alt parametru. Formula y = x * sigmoid (x). Cea mai mare parte utilizate în LSTMs. Zero centrice și rezolvă problema de activare mort. Are netezime care ajută la generalizare și optimizare.

dezavantaje – putere de calcul mare și utilizate numai atunci când rețeaua neuronală are mai mult de 40 de straturi.

Softplus

găsirea derivatei lui 0 nu este posibilă din punct de vedere matematic. Majoritatea funcțiilor de activare au eșuat la un moment dat din cauza acestei probleme. Este depășită de funcția de activare softplus. Formula y = ln(1 + exp (x)). Este similar cu ReLU. Mai lin în natură. Variază de la 0 la infinit.

dezavantaje – datorită netezimii și nelegării sale natura softplus poate exploda activările într-o măsură mult mai mare.

ce crezi?

Aboneaza-te la Newsletter-ul nostru

Obțineți cele mai recente actualizări și oferte relevante prin schimbul de e-mail.

Alăturați-vă grupului nostru Telegram. Faceți parte dintr-o comunitate online captivantă. Alătură-Te Aici.