Titre : Approximation les réseaux de tenseurs
Les réseaux de tenseurs (TN) sont des classes de modèles importantes pour l’approximation de fonctions en grande dimension en informatique et sciences de données. Les TN basés sur les arbres, également appelés formats de tenseurs basés sur les arbres, peuvent être considérés comme des réseaux de neurones « feed-forward » particuliers.
Après une introduction aux outils d’approximation basés sur les TN arborescents, nous présentons leurs classes d’approximation et quelques résultats récents sur leurs propriétés.
En particulier, nous montrons que les espaces de lissage classiques (Besov) s’injectent continuement dans les classes d’approximation des TN. Pour ces espaces, les TNs atteignent un taux (quasi) optimal qui est généralement atteint par les outils d’approximation classiques, mais sans nécessiter d’adapter l’outil à la régularité de la fonction. L’utilisation de réseaux profonds avec une profondeur libre s’avère essentielle pour obtenir cette propriété. Il est également démontré que l’exploitation de la faible densité des tenseurs permet d’obtenir des taux optimaux obtenus par les outils d’approximation non linéaire classiques, ou de mieux exploiter la régularité de structure (anisotrope ou mixte) pour l’approximation multivariée.
Nous montrons également que les classes d’approximation des réseaux de tenseurs ne sont contenues dans aucun espace de Besov, à moins que l’on ne restreigne la profondeur du réseau de tenseurs. Cela révèle à nouveau l’importance de la profondeur et le potentiel des réseaux tenseurs pour réaliser des tâches d’approximation ou d’apprentissage pour des fonctions au-delà des classes de régularité standard.
Références :
[1] M. Ali and A. Nouy. Approximation with Tensor Networks. Part I: Approximation Spaces. arXiv:2007.00118
[2] M. Ali and A. Nouy. Approximation with Tensor Networks. Part II: Approximation Rates for Smoothness Classes. arXiv:2007.00128
[3] M. Ali and A. Nouy. Approximation with Tensor Networks. Part III: Multivariate approximation. arXiv:2101.11932
[4] B. Michel and A. Nouy. Learning with tree tensor networks: complexity estimates and model selection. arXiv:2007.01165.
