Qui és Richard Sutton
Richard S. Sutton és professor de Ciències de la Computació a la Universitat d’Alberta i assessor científic principal d’Amii. Investiga com un agent aprèn en actuar i observar les conseqüències.[7]
De la psicologia a la informàtica
Es va graduar en Psicologia a Stanford el 1978 i va obtenir el màster i el doctorat en Informàtica a Massachusetts el 1980 i el 1984. Posteriorment va treballar a GTE Laboratories i va tornar a Massachusetts com a investigador. El 1998 es va incorporar a AT&T Shannon Labs. La seva trajectòria combina l’estudi de l’aprenentatge amb la construcció de sistemes computacionals. [1]
La comunitat de recerca a Alberta
Va arribar a la Universitat d’Alberta i a Amii el 2003. Hi va contribuir a desenvolupar una comunitat dedicada a l’aprenentatge per reforç, connectant investigació i formació. El 2021 va ser elegit membre de la Royal Society per les seves aportacions a aquest camp, una distinció que reconeixia una trajectòria anterior a l’expansió pública de la IA generativa. [8]
El juliol de 2017, DeepMind va anunciar el seu laboratori d’Edmonton, el primer de l’empresa fora del Regne Unit. Sutton figurava entre els responsables científics amb Michael Bowling i Patrick Pilarski. Tots tres mantindrien les places universitàries, de manera que la col·laboració integrava recerca empresarial, docència i treball acadèmic a Alberta. [9]
Aprenentatge per diferències temporals
El seu article de 1988 sobre diferències temporals va explicar com actualitzar una predicció a partir d’una altra predicció posterior, sense esperar sempre el desenllaç final. El mètode permet aprendre mentre arriba experiència nova. El treball va establir propietats matemàtiques per a casos concrets; la seva importància no equival a una garantia de convergència per a qualsevol xarxa, tasca o configuració. [10]
Dyna: aprendre, planificar i actuar
Dyna, presentada el 1991, integra aprenentatge, planificació i execució reactiva. L’agent aprèn un model dels efectes de les seves accions i l’utilitza per planificar, a més d’aprendre directament de la interacció. L’arquitectura permet combinar experiència real i experiència calculada amb aquest model, el caràcter aproximat del qual forma part del problema que ha de resoldre el sistema. [11]
Accions que duren més d’un pas
Amb Doina Precup i Satinder Singh va desenvolupar el 1999 el marc de les opcions. Una opció representa una conducta que pot prolongar-se durant diversos passos i respondre al que passa mentre s’executa. Aquesta abstracció permet raonar sobre tasques completes dins de l’aprenentatge per reforç, en lloc de treballar únicament amb accions elementals de durada fixa. [12]
Gradients de política i estabilitat
En un altre treball de 1999, amb David McAllester, Satinder Singh i Yishay Mansour, va estudiar com ajustar directament una política: la regla que selecciona accions. El resultat relacionava la seva millora amb gradients estimables a partir de l’experiència i aproximacions de valor. Les garanties es referien a condicions matemàtiques i òptims locals, no a una solució universal de qualsevol decisió. [13]
Amb A. Rupam Mahmood i Martha White va investigar després mètodes emfàtics de diferències temporals. L’article, publicat a JMLR el 2016, modifica el pes de les actualitzacions per estabilitzar l’aprenentatge quan les dades provenen d’una política diferent de l’avaluada. El seu resultat central tracta l’estabilitat de l’actualització esperada amb aproximació lineal. [15]
Prediccions simultànies en robòtica
El treball amb Joseph Modayil i Adam White sobre nexting va portar aquestes idees a un robot que aprenia moltes prediccions simultànies dels seus senyals sensorials. La versió de 2012 examinava horitzons entre una dècima i vuit segons. L’experiment mostrava aprenentatge en temps real en aquella plataforma, acostant la representació de l’entorn a expectatives contrastables amb observacions posteriors. [14]
El llibre amb Andrew Barto
Sutton i Andrew Barto van publicar Reinforcement Learning: An Introduction el 1998. La seva col·laboració va ajudar a reunir les idees i els mètodes d’un camp que connecta aprenentatge, control i presa de decisions. El llibre forma part d’una tasca més àmplia de formació d’investigadors i construcció d’una comunitat científica dedicada a aprendre de l’experiència. [3]
MIT Press publicà la segona edició el 2018.[22]
The Bitter Lesson i el paper de la computació
A l’assaig The Bitter Lesson, de 2019, va sostenir que els mètodes generals capaços d’aprofitar més computació han superat a llarg termini nombroses solucions basades en coneixement específic introduït manualment. Va presentar aquesta idea com una lectura històrica de la IA i una orientació per investigar, no com un teorema que determini el millor mètode per a cada aplicació. [17]
La hipòtesi de la recompensa i el seu debat
A Reward is enough, publicat el 2021 amb David Silver, Satinder Singh i Doina Precup, va proposar que maximitzar recompenses podria explicar l’aparició de moltes capacitats intel·ligents. L’article formula una hipòtesi sobre intel·ligència i aprenentatge. No demostra que qualsevol funció de recompensa produeixi raonament general ni que tots els objectius rellevants es puguin dissenyar fàcilment. [18]
La proposta va rebre una resposta científica de Peter Vamplew i altres investigadors. La seva objecció s’adreça a representar objectius mitjançant una única recompensa escalar i defensa considerar explícitament diversos objectius. Aquest intercanvi mostra que el marc conceptual de l’aprenentatge per reforç inclou debats sobre què s’optimitza, a més de preguntes sobre com fer-ho. [24]
The Alberta Plan for AI Research
Amb Michael Bowling i Patrick Pilarski va presentar The Alberta Plan for AI Research, difós des de 2022 i revisat el 2023. L’agenda proposa agents que aprenguin contínuament, percebin, actuïn i planifiquin amb recursos limitats. Organitza problemes de representació, predicció i control en un full de recerca; descriu feina pendent, no una intel·ligència general ja assolida. [4]
Conservar la capacitat de continuar aprenent
Va ser coautor d’un estudi de Nature de 2024 sobre pèrdua de plasticitat: xarxes que, després d’entrenar-se durant molt de temps, aprenen pitjor d’exemples nous. L’equip va investigar una variant de retropropagació que reinicialitza unitats poc utilitzades. Els experiments van aportar evidència sobre com mantenir l’adaptació en els escenaris examinats i van distingir aquest problema de l’oblit de coneixements anteriors. [16]
El 2025, David Silver i Sutton publicaren Welcome to the Era of Experience. Proposaren agents que generen experiència mitjançant les seves interaccions, en lloc de dependre principalment de dades humanes recopilades. És una perspectiva de recerca sobre futures capacitats i fonts d’aprenentatge.[19]
Keen Technologies i Oak Lab
El 2023 va començar una col·laboració amb John Carmack a Keen Technologies per investigar intel·ligència artificial general. [7]
El juliol de 2026 va anunciar que ell i Khurram Javed havien deixat Keen per crear Oak Lab. Va presentar el canvi com una nova via per investigar intel·ligència basada en experiència i revisar els mètodes d’aprenentatge. L’anunci permet distingir aquesta etapa dels seus anteriors llocs empresarials, sense confondre una nova organització amb un resultat científic. [20]
Oak Lab defineix la seva missió al voltant d’agents que aprenguin de fluxos d’experiència i puguin planificar en temps real amb més eficiència. Les seves metes descriuen una direcció de desenvolupament. La relació amb la trajectòria de Sutton rau en la continuïtat de l’aprenentatge i en la selecció d’informació útil, qüestions presents en els seus treballs anteriors. [21]
Premi Turing i reconeixements
Va compartir amb Andrew Barto el Premi Turing de 2024, anunciat el 2025. [3]
Va rebre també el premi IJCAI a l’Excel·lència Investigadora de 2021. [23]
Aprenentatge per reforç aplicat a postures de treball
Sutton va coescriure amb Thomas Degris i Patrick Pilarski una recerca sobre aprenentatge per reforç amb accions contínues. Aquesta línia estudia com ajustar gradualment el comportament d’un sistema mitjançant la informació que rep, en lloc de triar només entre accions discretes. [5]
Un estudi posterior de Xie i col·laboradors utilitza aprenentatge per reforç per ajustar la posició i l’orientació d’un robot col·laboratiu i millorar la puntuació de postures forçades dels participants. Cita el treball de Sutton. [6]
Què significa el resultat per a l’ergonomia
La connexió preventiva és concreta: adaptar on presenta el robot una peça pot canviar la postura que adopta la persona. L’objectiu de l’aprenentatge ha de representar l’exposició postural que es vol reduir; optimitzar únicament el temps de cicle no respon a aquesta pregunta.
Sutton no és autor de l’experiment ergonòmic. A més, una millora durant una tasca controlada no demostra menys lesions a llarg termini. Per traslladar el mètode a un lloc de treball caldria comprovar les variacions de talla, abast, fatiga i tasca, juntament amb les condicions d’interacció segura del robot.
