¿Claude por Claude?

Vamos a recordar en esta entrada a un investigador excepcional, Claude Elwood Shannon (1916-2001), quién nos enseñó a medir la información.

Claude Shannon se graduó en 1932 en el instituto de Gaylord, Michigan, donde su madre era la directora, y ya entonces mostraba la mezcla de rigor matemático y espíritu de inventor que lo acompañaría toda la vida. En la Universidad de Míchigan, Shannon se licenció en Ingeniería Eléctrica y Matemáticas, en 1936. Al año siguiente, defendió su tesis de máster en Ingeniería Eléctrica del MIT, titulada «Un análisis simbólico de los circuitos de relés y conmutación», en la que demostraba que las aplicaciones eléctricas del álgebra booleana podían construir cualquier relación numérica lógica, sentando así las bases teóricas de la informática digital y los circuitos digitales.

Se doctoró en Matemáticas por el MIT en 1940, con una tesis sobre genética, idea que le sugirió Vannevar Bush, su mentor en el MIT, que tenía vínculos con la investigación genética de la Carnegie Institution. De hecho, Shannon pasó un tiempo en Cold Spring Harbor, Nueva York, aprendiendo genética.En su tesis, propone un álgebra simbólica para describir la herencia mendeliana. Representa genes, cromosomas y cruces mediante símbolos y operaciones algebraicas, de modo que predecir las combinaciones genéticas de una descendencia se convierte en manipular expresiones.

Su gran obra llegó en 1948, cuando trabajaba en los Laboratorios Bell, con su artículo A Mathematical Theory of Communication. Shannon convirtió la información en una magnitud medible: introdujo el bit como unidad, definió la entropía de una fuente como medida de su incertidumbre y estableció la capacidad de un canal como el límite máximo de información que puede transmitirse de forma fiable en presencia de ruido. Su teorema de codificación de canal dejaba claro algo sorprendente: con los códigos adecuados, el error puede hacerse tan pequeño como se quiera siempre que no se supere esa capacidad.  Ese artículo se hadenominado frecuentemente como «un plan de acción para la era digital». De hecho, internet, la telefonía móvil, la compresión de datos y las comunicaciones espaciales se apoyan en estos resultados.

Su contribución a la inteligencia artificial es menos conocida, pero también decisiva. En su artículo de 1948 ya generaba textos artificiales en inglés con modelos estadísticos que predecían cada letra o palabra a partir de las anteriores, que es en definitiva la base para los grandes modelos de lenguaje actuales. En 1951 estimó la entropía del inglés escrito pidiendo a personas que adivinaran la letra siguiente de un texto. En 1950 escribió Programming a Computer for Playing Chess, un texto pionero sobre la búsqueda en árboles de jugadas y las funciones de evaluación. Ese mismo año construyó Teseo, un ratón mecánico que aprendía a salir de un laberinto almacenando y utilizando información en cientos de relés situados bajo él. En 1956 fue uno de los organizadores, junto a John McCarthy, Marvin Minsky y Nathaniel Rochester, del taller de Dartmouth, el encuentro fundacional de la inteligencia artificial como disciplina.

Shannon fue también un personaje que no dejaba a nadie indiferente. Si Feynman tocaba los bongós (otro día hablaremos de este tema), Shannon hacía malabares, montaba en monociclo por los pasillos de la compañía Bell y construía máquinas lúdicas, como la famosa «máquina inútil», cuya única función era apagarse a sí misma.

Sobre la relevancia de Shannon, basta recordar lo que dejo de él James Gleick:  «Einstein ocupa un lugar destacado, y con razón. Pero no vivimos en la era de la relatividad, sino en la era de la información. Es Shannon quien ha dejado su huella en cada dispositivo electrónico que poseemos, en cada pantalla de ordenador que miramos, en cada medio de comunicación digital. Es una de esas personas que transforman el mundo de tal manera que, tras la transformación, el mundo antiguo queda en el olvido».

¿Y por qué Claude se llama Claude? Le he preguntado precisamente a Claude. Y esta ha sido su respuesta:

Anthropic nunca ha explicado oficialmente su elección con detalle, pero, según el New York Times, la compañía dio a su modelo el nombre de Claude en honor a Claude Shannon. Otras fuentes añaden una segunda razón: se habría elegido también como nombre masculino, en contraste con los nombres femeninos de asistentes como Alexa, Siri o Cortana. El homenaje tiene mucho sentido. Un modelo de lenguaje es, en el fondo, una máquina que gestiona incertidumbre y predice símbolos, justo lo que Shannon enseñó a medir. Cada respuesta de Claude se apoya, de algún modo, en aquella intuición de 1948: la información puede cuantificarse, transmitirse y, finalmente, aprenderse. Shannon murió en 2001 sin ver la revolución de los modelos de lenguaje, pero su nombre sigue vivo, literalmente, en una de ellas.