Quién es Richard Sutton
Richard S. Sutton es profesor de Ciencias de la Computación en la Universidad de Alberta y asesor científico principal de Amii. Investiga cómo un agente aprende al actuar y observar las consecuencias.[7]
De la psicología a la informática
Se graduó en Psicología en Stanford en 1978 y obtuvo el máster y el doctorado en Informática en Massachusetts en 1980 y 1984. Posteriormente trabajó en GTE Laboratories y regresó a Massachusetts como investigador. En 1998 se incorporó a AT&T Shannon Labs. Su trayectoria combina el estudio del aprendizaje con la construcción de sistemas computacionales. [1]
La comunidad de investigación en Alberta
Llegó a la Universidad de Alberta y a Amii en 2003. Allí contribuyó a desarrollar una comunidad dedicada al aprendizaje por refuerzo, conectando investigación y formación. En 2021 fue elegido miembro de la Royal Society por sus aportaciones a este campo, una distinción que reconocía una trayectoria anterior a la expansión pública de la IA generativa. [8]
En julio de 2017, DeepMind anunció su laboratorio de Edmonton, el primero de la empresa fuera del Reino Unido. Sutton figuraba entre sus responsables científicos junto con Michael Bowling y Patrick Pilarski. Los tres mantendrían sus puestos universitarios, de modo que la colaboración integraba investigación empresarial, docencia y trabajo académico en Alberta. [9]
Aprendizaje por diferencias temporales
Su artículo de 1988 sobre diferencias temporales explicó cómo actualizar una predicción a partir de otra predicción posterior, sin esperar siempre al desenlace final. El método permite aprender mientras llega experiencia nueva. El trabajo estableció propiedades matemáticas para casos concretos; su importancia no equivale a una garantía de convergencia para cualquier red, tarea o configuración. [10]
Dyna: aprender, planificar y actuar
Dyna, presentada en 1991, integra aprendizaje, planificación y ejecución reactiva. El agente aprende un modelo de los efectos de sus acciones y lo utiliza para planificar, además de aprender directamente de la interacción. La arquitectura permite combinar experiencia real y experiencia calculada con ese modelo, cuyo carácter aproximado forma parte del problema que debe resolver el sistema. [11]
Acciones que duran más de un paso
Con Doina Precup y Satinder Singh desarrolló en 1999 el marco de las opciones. Una opción representa una conducta que puede prolongarse durante varios pasos y responder a lo que sucede mientras se ejecuta. Esta abstracción permite razonar sobre tareas completas dentro del aprendizaje por refuerzo, en lugar de trabajar únicamente con acciones elementales de duración fija. [12]
Gradientes de política y estabilidad
En otro trabajo de 1999, con David McAllester, Satinder Singh y Yishay Mansour, estudió cómo ajustar directamente una política: la regla que selecciona acciones. El resultado relacionaba su mejora con gradientes estimables a partir de la experiencia y aproximaciones de valor. Las garantías se referían a condiciones matemáticas y óptimos locales, no a una solución universal de cualquier decisión. [13]
Con A. Rupam Mahmood y Martha White investigó después métodos enfáticos de diferencias temporales. El artículo, publicado en JMLR en 2016, modifica el peso de las actualizaciones para estabilizar el aprendizaje cuando los datos proceden de una política distinta de la evaluada. Su resultado central trata la estabilidad de la actualización esperada con aproximación lineal. [15]
Predicciones simultáneas en robótica
El trabajo con Joseph Modayil y Adam White sobre nexting llevó estas ideas a un robot que aprendía muchas predicciones simultáneas de sus señales sensoriales. La versión de 2012 examinaba horizontes entre una décima y ocho segundos. El experimento mostraba aprendizaje en tiempo real en esa plataforma, acercando la representación del entorno a expectativas que podían contrastarse con observaciones posteriores. [14]
El libro con Andrew Barto
Sutton y Andrew Barto publicaron Reinforcement Learning: An Introduction en 1998. Su colaboración ayudó a reunir las ideas y métodos de un campo que conecta aprendizaje, control y toma de decisiones. El libro forma parte de una labor más amplia de formación de investigadores y construcción de una comunidad científica dedicada a aprender de la experiencia. [3]
MIT Press publicó la segunda edición en 2018.[22]
The Bitter Lesson y el papel de la computación
En el ensayo The Bitter Lesson, de 2019, sostuvo que los métodos generales capaces de aprovechar más computación han superado a largo plazo a numerosas soluciones basadas en conocimiento específico introducido manualmente. Presentó esta idea como una lectura histórica de la IA y una orientación para investigar, no como un teorema que determine el mejor método para cada aplicación. [17]
La hipótesis de la recompensa y su debate
En Reward is enough, publicado en 2021 con David Silver, Satinder Singh y Doina Precup, propuso que maximizar recompensas podría explicar la aparición de muchas capacidades inteligentes. El artículo formula una hipótesis sobre inteligencia y aprendizaje. No demuestra que cualquier función de recompensa produzca razonamiento general ni que todos los objetivos relevantes puedan diseñarse fácilmente. [18]
La propuesta recibió una respuesta científica de Peter Vamplew y otros investigadores. Su objeción se dirige a representar objetivos mediante una única recompensa escalar y defiende considerar explícitamente varios objetivos. Este intercambio muestra que el marco conceptual del aprendizaje por refuerzo incluye debates sobre qué se optimiza, además de preguntas sobre cómo hacerlo. [24]
The Alberta Plan for AI Research
Con Michael Bowling y Patrick Pilarski presentó The Alberta Plan for AI Research, difundido desde 2022 y revisado en 2023. La agenda propone agentes que aprenden continuamente, perciben, actúan y planifican con recursos limitados. Organiza problemas de representación, predicción y control en una hoja de investigación; describe trabajo pendiente, no una inteligencia general ya conseguida. [4]
Conservar la capacidad de seguir aprendiendo
Fue coautor de un estudio de Nature de 2024 sobre pérdida de plasticidad: redes que, tras entrenarse durante mucho tiempo, aprenden peor de ejemplos nuevos. El equipo investigó una variante de retropropagación que reinicializa unidades poco utilizadas. Los experimentos aportaron evidencia sobre cómo mantener adaptación en los escenarios examinados y distinguieron este problema del olvido de conocimientos anteriores. [16]
En 2025, David Silver y Sutton publicaron Welcome to the Era of Experience. Propusieron agentes que generan experiencia mediante sus interacciones, en lugar de depender principalmente de datos humanos recopilados. Es una perspectiva de investigación sobre futuras capacidades y fuentes de aprendizaje.[19]
Keen Technologies y Oak Lab
En 2023 comenzó una colaboración con John Carmack en Keen Technologies para investigar inteligencia artificial general. [7]
En julio de 2026 anunció que él y Khurram Javed habían dejado Keen para crear Oak Lab. Presentó el cambio como una nueva vía para investigar inteligencia basada en experiencia y revisar los métodos de aprendizaje. El anuncio permite distinguir esta etapa de sus anteriores puestos empresariales, sin confundir una nueva organización con un resultado científico. [20]
Oak Lab define su misión en torno a agentes que aprendan de flujos de experiencia y puedan planificar en tiempo real con mayor eficiencia. Sus metas describen una dirección de desarrollo. La relación con la trayectoria de Sutton está en la continuidad del aprendizaje y en la selección de información útil, cuestiones presentes en sus trabajos previos. [21]
Premio Turing y reconocimientos
Compartió con Andrew Barto el Premio Turing de 2024, anunciado en 2025. [3]
Recibió además el premio IJCAI a la Excelencia Investigadora de 2021. [23]
Aprendizaje por refuerzo aplicado a posturas de trabajo
Sutton coescribió con Thomas Degris y Patrick Pilarski una investigación sobre aprendizaje por refuerzo con acciones continuas. Esa línea estudia cómo ajustar gradualmente el comportamiento de un sistema mediante la información que recibe, en lugar de elegir solo entre acciones discretas. [5]
Un estudio posterior de Xie y colaboradores utiliza aprendizaje por refuerzo para ajustar la posición y orientación de un robot colaborativo y mejorar la puntuación de posturas forzadas de los participantes. Cita el trabajo de Sutton. [6]
Qué significa el resultado para la ergonomía
La conexión preventiva es concreta: adaptar dónde presenta el robot una pieza puede cambiar la postura que adopta la persona. El objetivo del aprendizaje debe representar la exposición postural que se quiere reducir; optimizar únicamente el tiempo de ciclo no responde a esa pregunta.
Sutton no es autor del experimento ergonómico. Además, una mejora durante una tarea controlada no demuestra menos lesiones a largo plazo. Al trasladar el método a un puesto habría que comprobar las variaciones de talla, alcance, fatiga y tarea, junto con las condiciones de interacción segura del robot.
