Au-delà de Tikhonov : apprentissage plus rapide avec des pertes autoconcordantes via une régularisation itérative.

Résumé La théorie du filtrage spectral est un outil remarquable pour comprendre les propriétés statistiques de l'apprentissage avec des noyaux. Pour les moindres carrés, elle permet de dériver divers schémas de régularisation qui donnent des taux de convergence de l'excès de risque plus rapides qu'avec la régularisation de Tikhonov. On y parvient généralement en s'appuyant sur des hypothèses classiques appelées conditions de source et de capacité, qui caractérisent la difficulté de la tâche d'apprentissage. Afin de comprendre les estimateurs dérivés d'autres fonctions de perte, Marteau-Ferey et al. ont étendu la théorie de la régularisation de Tikhonov aux fonctions de perte autoconcordantes généralisées (GSC), qui contiennent, par exemple, la perte logistique. Dans cet article, nous allons plus loin et montrons que des taux rapides et optimaux peuvent être atteints pour les GSC en utilisant le schéma de régularisation de Tikhonov itéré, qui est intrinsèquement lié à la méthode du point proximal en optimisation, et qui surmonte les limitations de la régularisation de Tikhonov classique.