Apprentissage par bandits à plusieurs bras dans les réseaux IoT : L'apprentissage aide même dans les situations non stationnaires.

Résumé La mise en place des futurs réseaux de l'Internet des objets (IoT) nécessitera de supporter de plus en plus de dispositifs communicants. Nous prouvons que les dispositifs intelligents dans les bandes sans licence peuvent utiliser des algorithmes d'apprentissage MAB (Multi-Armed Bandit) pour améliorer l'exploitation des ressources. Nous évaluons la performance de deux algorithmes d'apprentissage MAB classiques, UCB1 et Thompson Sampling, pour gérer la prise de décision décentralisée de l'accès au spectre, appliquée aux réseaux IoT. ainsi que la performance d'apprentissage avec un nombre croissant de dispositifs finaux intelligents. Nous montrons que l'utilisation d'algorithmes d'apprentissage permet d'intégrer davantage de dispositifs dans ces réseaux, même lorsque tous les dispositifs finaux sont intelligents et changent dynamiquement de canal. Dans le scénario étudié, l'apprentissage stochastique MAB fournit un gain allant jusqu'à 16% en termes de probabilités de transmission réussie, et a des performances quasi optimales même dans des configurations non-stationnaires et non-i.i.d. avec une majorité de dispositifs intelligents.