Unité récurrente fermée

Les unités récurrentes fermées (GRU) sont un système de porte dans les réseaux de neurones récurrents, introduit en 2014 par Kyunghyun Cho et al. Le GRU est comme une longue mémoire à court terme (LSTM) avec une porte d'oubli, mais a moins de paramètres que LSTM, car il n'a pas de porte de sortie. Les performances de GRU sur certaines tâches de modélisation de musique polyphonique, de modélisation de signaux vocaux et de traitement du langage naturel se sont avérées similaires à celles de LSTMModèle:,. Les GRU ont montré que le déclenchement est en effet utile en général et l'équipe de Bengio a conclu qu'aucune conclusion concrète sur laquelle des deux unités de déclenchement était la meilleure.

Architecture

Il existe plusieurs variantes de l'unité récurrente fermée dans lesquels l'unité est activé en utilisant diverses combinaisons de l'état caché et du biais précédent, ainsi une forme simplifiée appelée unité fermée minimale.

Unité entièrement fermée

Unité récurrente fermée, version entièrement fermée

Au départ, pour $t=0$, le vecteur de sortie est $h_0=0$ .

$\begin{array}{cc}{z}_t& ={\sigma }_g(W_z{x}_t+U_z{h}_{t-1}+b_z)\\ r_t& ={\sigma }_g(W_r{x}_t+U_r{h}_{t-1}+b_r)\\ {\hat{h}}_t& ={\varphi }_h(W_h{x}_t+U_h(r_t\odot h_{t-1})+b_h)\\ h_t& =(1-z_t)\odot h_{t-1}+z_t\odot {\hat{h}}_t\end{array}$

variables

• $x_t$ : vecteur d'entrée
• $h_t$ : vecteur de sortie
• ${\hat{h}}_t$ : vecteur d'activation candidat
• $z_t$ : mise à jour du vecteur de porte
• $r_t$ : réinitialiser le vecteur de porte
• $W$, $U$ et $b$ : matrices de paramètres et vecteur

Fonctions d'activation

• ${\sigma }_g$ : L'original est une fonction sigmoïde.
• ${\varphi }_h$ : L'original est une tangente hyperbolique.

Des fonctions d'activation alternatives sont possibles, à condition que ${\sigma }_g(x)\in [0,1]$ .

Type 1

Type 2

Type 3

Des formes alternatives peuvent être créés en modifiant $z_t$ et $r_t$

• Type 1, chaque porte ne dépend que de l'état caché précédent et du biais.

  $\begin{array}{cc}{z}_t& ={\sigma }_g(U_z{h}_{t-1}+b_z)\\ r_t& ={\sigma }_g(U_r{h}_{t-1}+b_r)\\ \end{array}$

• Type 2, chaque porte ne dépend que de l'état caché précédent.

  $\begin{array}{cc}{z}_t& ={\sigma }_g(U_z{h}_{t-1})\\ r_t& ={\sigma }_g(U_r{h}_{t-1})\\ \end{array}$

• Type 3, chaque porte est calculée en utilisant uniquement le biais.

  $\begin{array}{cc}{z}_t& ={\sigma }_g(b_z)\\ r_t& ={\sigma }_g(b_r)\\ \end{array}$

Unité fermée minimale

L'unité fermée minimale est similaire à l'unité entièrement fermée, mais le vecteur d’activation de la porte de mise à jour et de la réinitialisation sont fusionné dans une porte d'oublie. Cela implique également que l'équation du vecteur de sortie doit être modifiée :

$\begin{array}{cc}{f}_t& ={\sigma }_g(W_f{x}_t+U_f{h}_{t-1}+b_f)\\ {\hat{h}}_t& ={\varphi }_h(W_h{x}_t+U_h(f_t\odot h_{t-1})+b_h)\\ h_t& =(1-f_t)\odot h_{t-1}+f_t\odot {\hat{h}}_t\end{array}$

variables

• $x_t$ : vecteur d'entrée
• $h_t$ : vecteur de sortie
• ${\hat{h}}_t$ : vecteur d'activation candidat
• $f_t$ : oublier le vecteur
• $W$, $U$ et $b$ : matrices de paramètres et vecteur

Cadre de recommandation d'algorithme d'apprentissage

Un cadre de recommandation d'algorithme d'apprentissage peut aider à guider la sélection de l'algorithme d'apprentissage et de la discipline scientifique (par exemple RNN, GAN, RL, CNN,. . . ). Le cadre a l'avantage d'avoir été généré à partir d'une analyse approfondie de la littérature et dédié aux réseaux de neurones récurrents et à leurs variations.