Rétropropagation du gradient dans le cadre d’une ultime couche $Softmax$

Cet article présente la rétropropagation du gradient dans un réseau neuronal monocouche complètement connecté, avec softmax comme fonction d’activation et la divergence de Kullback-Leibler comme fonction de coût. Minimiser cette fonction qui fait office de distance entre nos deux distributions va se résumer dans notre cas à réduire l’entropie croisée entre le résultat obtenu et le résultat souhaité.

Le but est d’optimiser une matrice de poids W pour que la prédiction d’appartenance de X à une classe soit la plus proche de la classe Y connue.

Présentation du contexte

Graphe


Ce que l’on connait:
$X$ vecteur d’entrées de dimension (D)
$y$ classe à laquelle appartient le vecteur d’entrées, $y$ est un scalaire $\in {1,\cdots,C}$. On associe à $y$ un vecteur de dimension C: , qui est la version “one hot encoded” de $y$. Tous ses termes sont 0 sauf

Ce que l’on cherche:
$W$ matrice des poids de dimension (D,C). Où C représente le nombre de classes possibles

Représentation générale du graphe des calculs effectués:

** 1 ** multiplication matricielle : $\lambda = X.W$

$\lambda$ vecteur logits de dimension (C)

** 2 ** $S=softmax(\lambda)$

$S$ vecteur de dimension (C) qui donne la probabilité d’appartenance de X pour chacune des classes

** 3 ** Fonction de coût: correspond à la répartition de probabilité pour la classe connue.

$L$ (Loss) scalaire (1)

Motivation

Le but est de trouver Jacobien généralisé de L par rapport à W, pour pouvoir modifier W en utilisant le taux d’apprentissage:

La fonction $Softmax$

Définition

Chaque élément de $S(a)$ est défini par:

Par souci de simplification d’écriture on a tendance à nommer de la même manière une fonction et son résultat. $S$ ici est selon le contexte la fonction $softmax$ ou un vecteur de taille N.

Caractéristiques

L’ordre des valeurs de a est conservé et la plus haute valeur ressort clairement. Par exemple pour a = [1,0 2,0 5,0]on aura S(a) = [0,02 0,05 0,93]

Softmax est comme une version “soft” de la fonction maximum, elle fait ressortir le maximum mais n’élimine pas complètement les autres valeurs.

Instabilité numérique

Le problème du calcul de la valeur de $softmax$ est que l’on divise facilement de très grands nombres entre eux, source d’instabilités numériques. Pour éviter cela on va ajouter une constante judicieusement choisie.

Choix classique de $ln(C)$: valeur maximale du vecteur $\lambda$

import numpy as np
logits = np.array([123, 456, 789]) ## Exemple de 3 classes avec de larges scores
p = np.exp(logits) / np.sum(np.exp(logits)) ## Plante la machine
/anaconda3/lib/python3.7/site-packages/ipykernel_launcher.py:3: RuntimeWarning: invalid value encountered in true_divide
  This is separate from the ipykernel package so we can avoid doing imports until
## Translation du vecteur logits pour que la plus haute valeur soit 0:
logits -= np.max(logits) ## logits devient [-666, -333, 0]
p = np.exp(logits) / np.sum(np.exp(logits)) ## Fonctionne correctement
def my_round(value, N):
    exponent = np.ceil(np.log10(value))
    return 10**exponent*np.round(value*10**(-exponent), N)
my_round(p,3)
array([5.75e-290, 2.40e-145, 1.00e+000])

Dans notre cas de figure on calculera numériquement où $\hat{\lambda}$ est une version translatée de $\lambda$ pour éviter les instabilités numériques mais qui est égale à $S$. $\hat{\lambda}$ vecteur logits translaté de dimension (C)

Gradient

On utilise la loi donnant la dérivée d’une composée de fonctions:

Ce qui nous donne en considérant les dimensions:

où le “.” correspond au produit matriciel généralisé aux tenseurs.

Jacobien généralisé de $\lambda$ par rapport à $W$

Dimensions: X(D) - W(D,C) - $lambda (C)$ - J(C,D,C)

Jacobien de $L$ par rapport à $W$

Donc sous forme matricielle on obtient:

Jacobien de L par rapport à X

De même on peut monter:

Expression de la dérivée de $L$ par rapport à $\lambda$

Fonction de coût

correspond à la répartition de probabilité pour la classe connue et S les probabilités de la classe prédite par notre modèle.

La divergence de Kullback-Leibler $D_{KL}$ correspond à une mesure de la similarité entre deux distributions. On peut l’écrire sous la forme où p est la véritable distribution et q la répartition estimée.

Comme 100% des valeurs de p sont en y on a $H(p)=O$, d’où:

Tous les termes de la somme sont nuls sauf pour $i=y$

Calcul de la dérivée de L

Calcul préliminaire:

On obtient une expression simple en fonction de $softmax(\lambda)$

Gradients dW et dX

En incorporant cette dernière formule à dW, Jacobien de $L$ par rapport à $W$, on obtient une expression du gradient facilement programmable.

Sur github une version avec boucles et une version vectorisée de cette fonction.

De même, le couple d’équations pour exprimer dX, Jacobien de L par rapport à X:

Références

CS231n: Convolutional Neural Networks for Visual Recognition

Backpropagation for a Linear Layer - Justin Johnson

Demystifying KL Divergence

How the backpropagation algorithm works