- FR
- EN
Titre : Contrôle par Limite Diffusive et Apprentissage par Renforcement
Résumé :
On considère la limite diffusive d'un problème de contrôle Markovien à sauts purs quelconque lorsque l'intensité de son processus de Poisson tend vers l'infini. On quantifie la vitesse de convergence en fonction de l'exposant de H"older de la Hessienne du problème limite. On montre ensuite comment construire des termes de correction pour cette approximation, selon deux méthodologies différentes. Notre analyse couvre le problème à horizon fini, escompté et ergodique. Dans le cas ergodique, on quantifie l'erreur induite par l'utilisation de la politique de contrôle Markovienne construite à partir du schéma numérique de différences finies associé au problème diffusif limite. Cette approche permet une réduction très significative du coût de résolution numérique des problèmes de contrôle à sauts purs lorsque l'intensité des sauts est grande. On s'attache ensuite au problème de l'incertitude dans les systèmes de contrôle, et on étend notre étude au contexte de l'apprentissage par renforcement en ligne. Dans le paradigme de l'optimisme devant l'incertain, on exploite le carcan de la dimension d'éluder pour gérer l'apprentissage et la limite diffusive pour résoudre approximativement le sous-problème de planification. Notre algorithme étend la théorie existante des problèmes discrets aux problèmes avec états et actions continus. L'utilisation d'outils issus de la théorie des processus stochastiques à temps continu nous permet également d'étudier une classe de coefficients plus générique que les travaux précédents. Notre étude des systèmes à limite diffusive est motivée et illustrée par le problème d'enchérir dans une enchère séquentielle à haute fréquence contre un vendeur qui maximise son revenu sous contrainte d'utiliser une règle de mise à jour en temps réel.
