Quién es Andrew Barto
Andrew G. Barto estudia cómo aprender a actuar a partir de las consecuencias, conectando informática, control, psicología y neurociencia.[4]
Formación en matemáticas e informática
Obtuvo el grado en Matemáticas en Michigan en 1970 y el doctorado en Informática en la misma universidad en 1975. [1]
Su tesis se tituló Cellular Automata as Models of Natural Systems. Ese trabajo inicial sitúa la modelización de sistemas naturales entre sus intereses anteriores al aprendizaje por refuerzo. [17]
Investigación con Richard Sutton
Llegó a Massachusetts Amherst en 1977 como investigador posdoctoral en un laboratorio de redes neuronales. Allí empezó a trabajar con Richard Sutton, entonces doctorando, explorando modelos de aprendizaje inspirados en las ideas de Harry Klopf. La colaboración buscaba trasladar preguntas sobre adaptación y conducta a sistemas artificiales que mejoraran con la experiencia. [2]
Fue profesor asociado desde 1982 y catedrático desde 1991. Dirigió el departamento entre 2007 y 2011 y se jubiló en 2012. [1]
El experimento de control de 1983
Con Sutton y Charles Anderson publicó en 1983 un sistema que aprendía a equilibrar una barra sobre un carro móvil sin recibir sus ecuaciones de movimiento. Combinaba un elemento que elegía acciones y otro que aprendía a evaluarlas. La señal disponible indicaba el fracaso del intento; el crítico construía una evaluación más informativa para orientar el aprendizaje. [7]
Aprender a actuar y planificar
Con Steven Bradtke y Satinder Singh presentó en 1995 la programación dinámica en tiempo real, RTDP. El método combina decisiones y actualizaciones durante la interacción, concentrando el cálculo en situaciones que el agente encuentra. El artículo relacionó aprendizaje y planificación bajo incertidumbre y estableció resultados matemáticos para determinadas clases de problemas, articulando una conexión con el control óptimo. [8]
Un caso de investigación: coordinar ascensores
En 1998, Robert Crites y Barto estudiaron el control de un grupo de ascensores mediante varios agentes, cada uno responsable de una cabina. Todos recibían una recompensa común y debían aprender con información incompleta y demanda cambiante. Los resultados comparativos se obtuvieron en simulación; el interés del caso era coordinar decisiones locales para mejorar el comportamiento del conjunto. [9]
Jerarquías, habilidades y objetivos intermedios
Con Sridhar Mahadevan examinó en 2003 cómo organizar el aprendizaje por refuerzo mediante actividades que abarcan varios pasos. La abstracción temporal reduce la necesidad de decidir todo desde acciones elementales. Su revisión comparó marcos jerárquicos y analizó problemas pendientes de coordinación, actividades simultáneas y observación parcial, ayudando a ordenar una línea de investigación más amplia que un algoritmo concreto. [18]
Con Amy McGovern desarrolló en 2001 un método para descubrir objetivos intermedios a partir de puntos comunes de trayectorias exitosas. Los experimentos se realizaron en entornos de cuadrícula. La idea era que aprender a alcanzar esos puntos pudiera acelerar una tarea y proporcionar habilidades reutilizables en otras relacionadas, evitando definir manualmente todos los pasos intermedios. [10]
En 2005, con Özgür Şimşek y Alicia Wolfe, investigó otra forma de descubrir subobjetivos: dividir grafos locales de transiciones observadas. El método buscaba estados de paso entre regiones muy conectadas del entorno. Así, la estructura de la experiencia reciente servía para proponer habilidades útiles, sin tener que construir primero un mapa completo de todas las situaciones posibles. [11]
Motivación intrínseca y exploración
Con Satinder Singh y Nuttapong Chentanez estudió en 2004 cómo un agente puede adquirir habilidades durante actividades que no persiguen una tarea externa inmediata. El trabajo presentó resultados computacionales iniciales sobre motivación intrínseca y jerarquías de habilidades reutilizables. Esta pregunta amplía el aprendizaje por refuerzo hacia la exploración que prepara al sistema para problemas futuros. [12]
En 2010, con Singh, Richard Lewis y Jonathan Sorg, abordó el diseño de recompensas desde una perspectiva evolutiva. Sus experimentos distinguían la señal que guía el aprendizaje del criterio utilizado para valorar el éxito del agente. El estudio examinaba cómo pueden surgir conductas intrínseca y extrínsecamente motivadas, en lugar de presuponer una frontera computacional rígida entre ambas. [13]
Con Marco Mirolli y Gianluca Baldassarre publicó Novelty or Surprise? en 2013. El artículo diferencia encontrar algo no experimentado antes de observar algo que contradice una expectativa. La distinción importa al interpretar exploración, atención y aprendizaje: un estímulo conocido también puede resultar inesperado. Es una aportación conceptual para precisar qué señales activan o modifican el comportamiento. [14]
Robots que aprenden de demostraciones
Con George Konidaris, Scott Kuindersma y Roderic Grupen publicó en 2012 un método que divide demostraciones en habilidades y las organiza en árboles. Cada componente tiene un objetivo y puede mejorarse mediante aprendizaje. El trabajo incluyó experimentos con el manipulador móvil uBot-5, conectando demostración humana, representación de tareas y reutilización de conductas dentro de una plataforma robótica. [15]
Vínculos con la neurociencia del aprendizaje
Fue coautor de un estudio de Neuron de 2011 sobre aprendizaje jerárquico y actividad cerebral. En tres experimentos de neuroimagen, el equipo observó respuestas compatibles con errores de predicción relativos a subobjetivos. Los resultados apoyaban estudiar las secuencias de conducta mediante modelos jerárquicos; la aportación era una correspondencia experimental concreta, no una explicación completa del funcionamiento cerebral. [16]
Libros y organización de la disciplina
Publicó con Sutton Reinforcement Learning: An Introduction en 1998. [17]
La segunda edición apareció en 2018.[3]
También coeditó el Handbook of Learning and Approximate Dynamic Programming de 2004, con Jennie Si, Warren Powell y Donald Wunsch. [17]
Laboratorio y formación de investigadores
Su trayectoria docente se refleja en investigadores como Richard Sutton, Satinder Singh, Amy McGovern, George Konidaris y Philip Thomas, incluidos en su relación de doctorandos. En su presentación personal, Barto sitúa el aprendizaje de máquinas y animales como un interés compartido. Esa combinación explica la convivencia de aplicaciones de ingeniería y preguntas sobre conducta en su investigación. [6]
Premio Turing y otros reconocimientos
Compartió con Richard Sutton el Premio Turing de 2024, anunciado en marzo de 2025. [4]
Recibió el Pioneer Award de la IEEE Neural Networks Society en 2004. [1]
En 2017 obtuvo el premio IJCAI a la Excelencia Investigadora. [19]
Recompensas y ergonomía en robots colaborativos
Barto y Richard Sutton sistematizaron el aprendizaje por refuerzo: un agente aprende a actuar a partir de recompensas y de sus consecuencias futuras. En prevención, esta distinción obliga a preguntar qué objetivo se está premiando antes de valorar que un sistema lo optimice. [3]
Un experimento ergonómico de Xie y colaboradores cita su manual y ajusta un robot mediante aprendizaje por refuerzo para mejorar posturas de trabajo. [5]
La productividad no es una medida de protección
La conexión no consiste en afirmar que Barto diseñó una solución de SST. Sus métodos forman parte de la base científica que otros equipos utilizan para estudiar una intervención concreta: modificar la posición del robot en función de la postura humana.
La lectura preventiva es comprobar qué queda fuera de la recompensa. Un movimiento que reduce una postura incómoda puede exigir revisar el alcance, la repetición y la interacción con otras personas. Por eso, un indicador ergonómico favorable no acredita por sí solo la seguridad completa del puesto, ni demuestra que se hayan reducido lesiones.
