Apprentissage en ligne de systèmes dynamiques et grammaires

Une autre grande classe de signaux spatio-temporels repose sur des processus génératifs. Dans ce cadre, les signaux spatio-temporels mis en entrée du système ne sont plus nécessairement périodiques. Le but est d'obtenir un système qui reproduise au mieux les caractéristiques du processus présenté.

• Systèmes dynamiques : le signal mis en entrée du réseau correspond à une ou plusieurs trajectoires issues d'un système dynamique déterministe connu (en général un système non-linéaire, afin d'avoir des trajectoires périodiques ou chaotiques). Il est fréquent dans ce cadre d'utiliser un réseau récurrent dont le nombre de neurones est de l'ordre du nombre de variables d'état du système (C'est à dire que l'on a une connaissance a priori sur les caractéristiques du signal à apprendre). L'algorithme d'apprentissage le plus fréquent dans ce cadre est la règle de backpropagation through time (BPTT) (rétropropagation à travers le temps) [58,65].
• Grammaires génératives : une grammaire générative est un processus stochastique qui produit une suite de symboles conformément à un ensemble de règles de grammaire conditionnant la disposition de ces symboles. Un tel processus produit une suite apériodique de symboles, qui possèdent néanmoins une certaine structure. Tani [66] , en effectuant un apprentissage à l'aide d'un BPTT dans un réseau récurrent déterministe, montre que l'apprentissage tend à produire un régime dynamique chaotique dans le réseau, comme la meilleure approximation du processus stochastique en entrée par un système déterministe.