Qui és Andrew Barto
Andrew G. Barto estudia com aprendre a actuar a partir de les conseqüències, connectant informàtica, control, psicologia i neurociència.[4]
Formació en matemàtiques i informàtica
Va obtenir el grau en Matemàtiques a Michigan el 1970 i el doctorat en Informàtica a la mateixa universitat el 1975. [1]
La seva tesi es titulava Cellular Automata as Models of Natural Systems. Aquest treball inicial situa la modelització de sistemes naturals entre els seus interessos anteriors a l’aprenentatge per reforç. [17]
Investigació amb Richard Sutton
Va arribar a Massachusetts Amherst el 1977 com a investigador postdoctoral en un laboratori de xarxes neuronals. Hi va començar a treballar amb Richard Sutton, aleshores doctorand, explorant models d’aprenentatge inspirats en les idees de Harry Klopf. La col·laboració buscava traslladar preguntes sobre adaptació i conducta a sistemes artificials que milloressin amb l’experiència. [2]
Va ser professor associat des de 1982 i catedràtic des de 1991. Va dirigir el departament entre 2007 i 2011 i es va jubilar el 2012. [1]
L’experiment de control de 1983
Amb Sutton i Charles Anderson va publicar el 1983 un sistema que aprenia a equilibrar una barra sobre un carro mòbil sense rebre’n les equacions del moviment. Combinava un element que triava accions i un altre que aprenia a avaluar-les. El senyal disponible indicava el fracàs de l’intent; el crític construïa una avaluació més informativa per orientar l’aprenentatge. [7]
Aprendre a actuar i planificar
Amb Steven Bradtke i Satinder Singh va presentar el 1995 la programació dinàmica en temps real, RTDP. El mètode combina decisions i actualitzacions durant la interacció, concentrant el càlcul en situacions que l’agent troba. L’article va relacionar aprenentatge i planificació sota incertesa i va establir resultats matemàtics per a determinades classes de problemes, articulant una connexió amb el control òptim. [8]
Un cas de recerca: coordinar ascensors
El 1998, Robert Crites i Barto van estudiar el control d’un grup d’ascensors mitjançant diversos agents, cadascun responsable d’una cabina. Tots rebien una recompensa comuna i havien d’aprendre amb informació incompleta i demanda canviant. Els resultats comparatius es van obtenir en simulació; l’interès del cas era coordinar decisions locals per millorar el comportament del conjunt. [9]
Jerarquies, habilitats i objectius intermedis
Amb Sridhar Mahadevan va examinar el 2003 com organitzar l’aprenentatge per reforç mitjançant activitats que abasten diversos passos. L’abstracció temporal redueix la necessitat de decidir-ho tot des d’accions elementals. La seva revisió va comparar marcs jeràrquics i va analitzar problemes pendents de coordinació, activitats simultànies i observació parcial, ajudant a ordenar una línia de recerca més àmplia que un algoritme concret. [18]
Amb Amy McGovern va desenvolupar el 2001 un mètode per descobrir objectius intermedis a partir de punts comuns de trajectòries reeixides. Els experiments es van fer en entorns de quadrícula. La idea era que aprendre a assolir aquests punts pogués accelerar una tasca i proporcionar habilitats reutilitzables en altres de relacionades, evitant definir manualment tots els passos intermedis. [10]
El 2005, amb Özgür Şimşek i Alicia Wolfe, va investigar una altra manera de descobrir subobjectius: dividir grafs locals de transicions observades. El mètode buscava estats de pas entre regions molt connectades de l’entorn. Així, l’estructura de l’experiència recent servia per proposar habilitats útils, sense haver de construir primer un mapa complet de totes les situacions possibles. [11]
Motivació intrínseca i exploració
Amb Satinder Singh i Nuttapong Chentanez va estudiar el 2004 com un agent pot adquirir habilitats durant activitats que no persegueixen una tasca externa immediata. El treball va presentar resultats computacionals inicials sobre motivació intrínseca i jerarquies d’habilitats reutilitzables. Aquesta pregunta amplia l’aprenentatge per reforç cap a l’exploració que prepara el sistema per a problemes futurs. [12]
El 2010, amb Singh, Richard Lewis i Jonathan Sorg, va abordar el disseny de recompenses des d’una perspectiva evolutiva. Els seus experiments distingien el senyal que guia l’aprenentatge del criteri utilitzat per valorar l’èxit de l’agent. L’estudi examinava com poden sorgir conductes intrínsecament i extrínsecament motivades, en lloc de pressuposar una frontera computacional rígida entre totes dues. [13]
Amb Marco Mirolli i Gianluca Baldassarre va publicar Novelty or Surprise? el 2013. L’article diferencia trobar una cosa no experimentada abans d’observar una cosa que contradiu una expectativa. La distinció importa en interpretar exploració, atenció i aprenentatge: un estímul conegut també pot resultar inesperat. És una aportació conceptual per precisar quins senyals activen o modifiquen el comportament. [14]
Robots que aprenen de demostracions
Amb George Konidaris, Scott Kuindersma i Roderic Grupen va publicar el 2012 un mètode que divideix demostracions en habilitats i les organitza en arbres. Cada component té un objectiu i es pot millorar mitjançant aprenentatge. El treball va incloure experiments amb el manipulador mòbil uBot-5, connectant demostració humana, representació de tasques i reutilització de conductes dins d’una plataforma robòtica. [15]
Vincles amb la neurociència de l’aprenentatge
Va ser coautor d’un estudi de Neuron de 2011 sobre aprenentatge jeràrquic i activitat cerebral. En tres experiments de neuroimatge, l’equip va observar respostes compatibles amb errors de predicció relatius a subobjectius. Els resultats donaven suport a estudiar les seqüències de conducta mitjançant models jeràrquics; l’aportació era una correspondència experimental concreta, no una explicació completa del funcionament cerebral. [16]
Llibres i organització de la disciplina
Va publicar amb Sutton Reinforcement Learning: An Introduction el 1998. [17]
La segona edició aparegué el 2018.[3]
També va coeditar el Handbook of Learning and Approximate Dynamic Programming de 2004, amb Jennie Si, Warren Powell i Donald Wunsch. [17]
Laboratori i formació d’investigadors
La seva trajectòria docent es reflecteix en investigadors com Richard Sutton, Satinder Singh, Amy McGovern, George Konidaris i Philip Thomas, inclosos en la seva relació de doctorands. En la presentació personal, Barto situa l’aprenentatge de màquines i animals com un interès compartit. Aquesta combinació explica la convivència d’aplicacions d’enginyeria i preguntes sobre conducta en la seva recerca. [6]
Premi Turing i altres reconeixements
Va compartir amb Richard Sutton el Premi Turing de 2024, anunciat el març de 2025. [4]
Va rebre el Pioneer Award de la IEEE Neural Networks Society el 2004. [1]
El 2017 va obtenir el premi IJCAI a l’Excel·lència Investigadora. [19]
Recompenses i ergonomia en robots col·laboratius
Barto i Richard Sutton van sistematitzar l’aprenentatge per reforç: un agent aprèn a actuar a partir de recompenses i de les seves conseqüències futures. En prevenció, aquesta distinció obliga a preguntar quin objectiu s’està premiant abans de valorar que un sistema l’optimitzi. [3]
Un experiment ergonòmic de Xie i col·laboradors cita el seu manual i ajusta un robot mitjançant aprenentatge per reforç per millorar postures de treball. [5]
La productivitat no és una mesura de protecció
La connexió no consisteix a afirmar que Barto va dissenyar una solució de SST. Els seus mètodes formen part de la base científica que altres equips utilitzen per estudiar una intervenció concreta: modificar la posició del robot segons la postura humana.
La lectura preventiva és comprovar què queda fora de la recompensa. Un moviment que redueix una postura incòmoda pot exigir revisar l’abast, la repetició i la interacció amb altres persones. Per això, un indicador ergonòmic favorable no acredita per si sol la seguretat completa del lloc, ni demostra que s’hagin reduït lesions.
