Computational learning noise in human decision-making
Institution:
Sorbonne universitéDisciplines:
Directors:
Abstract EN:
In uncertain and changing environments, making sequential decisions requires analyzing and weighting the past and present information. To model human behavior in such environments, computational approaches to learning have been developed based on reinforcement learning or Bayesian inference. To further account for behavioral variability, these computational approaches assume action selection noise, usually modeled with a softmax function. In the first part of my work, I argue that action selection noise is insufficient to explain behavioral variability and show the presence of learning noise reflecting computational imprecisions. To this end, I introduced computational noise in the standard reinforcement learning algorithm through random deviations in the noise-free update rule. Adding this noise led to a better account of human behavioral performances in reward-guided tasks (Findling C., Skvortsova V., et al., 2018a, in prep). The presence of learning noise led me to investigate whether this noise could have a functional role. In the second part of my work, I argue that this learning noise actually has virtuous adaptive properties in learning processes elicited in changing (volatile) environments. Using the Bayesian modeling framework, I demonstrate that a simple learning model assuming stable external contingencies with learning noise performs virtually as well as the optimal Bayesian adaptive process based on inferring the volatility of the environment. Furthermore, I establish that this learning noise model better explains human behavioral performances in changing environments (Findling C. at al., 2018b, in prep).
Abstract FR:
Dans des environnements incertains et changeants, prendre des décisions nécessite l’analyse et la pondération des informations passées et présentes. Pour modéliser le comportement humain dans de tels environnements, des approches computationnelles de l’apprentissage ont été développées basées sur l’apprentissage par renforcement ou de l’inférence bayésienne. Afin de mieux prendre en compte la variabilité comportementale, ces approches supposent un bruit dans la sélection de l’action. Dans la première partie de mon travail, j’argumente que le bruit dans la sélection de l’action est insuffisant pour expliquer la variabilité comportementale et je montre la présence de bruit d'apprentissage reflétant des imprécisions de calcul. À cette fin, j’introduis du bruit dans l'algorithme d'apprentissage en donnant la possibilité d'écarts aléatoires de la règle de mise à jour sans bruit. L'ajout de ce bruit permet de mieux expliquer les performances comportementales humaines (Findling C., Skvortsova V., et al., 2018a, en préparation). Dans la deuxième partie de mon travail, je montre que ce bruit possède des propriétés adaptatives vertueuses dans les processus d’apprentissage suscités dans des environnements changeants (volatiles). En utilisant le cadre de modélisation Bayésien, je démontre qu’un modèle d’apprentissage simple, faisant l’hypothèse de contingences externes stables, mais avec du bruit dans l’apprentissage, est aussi performant que le modèle Bayésien optimal qui infèrent la volatilité de l’environnement. En outre, j’établis que ce modèle de bruit explique mieux le comportement humain dans des environnements changeants (Findling C. et al., 2018b, en préparation).