Cómo el código mata al misterio matemático en los Transformers

Un reciente paper de Google y la CMU sugiere que los modelos Transformer sintetizan espontáneamente una memoria geométrica, lo que ha llevado a interpretaciones sobre la aparición de una conciencia que ordena el mundo. Sin embargo, el autor argumenta que esta organización no es mágica, sino la consecuencia directa de los algoritmos de optimización. El entrenamiento de un Transformer con conexiones locales como "A conecta con B" y "B conecta con C" lleva al modelo a organizar estos conceptos en el espacio vectorial, creando una alineación lineal. Esto se debe a que el algoritmo de Backpropagation, que busca minimizar el error, funciona como un mecanismo de tensión. Similar a atar piedras con gomas elásticas, el sistema busca el estado de mínima tensión, lo que resulta en la alineación de los conceptos. El autor compara este proceso con una bola rodando por una cordillera; los teóricos ven muchos "agujeros" caóticos donde la bola podría atascarse, pero en la práctica, los "raíles" del código de entrenamiento guían sistemáticamente la bola hacia el valle ordenado de la geometría. Un ejemplo simple es la resolución de x + y = 10, donde un código de incremento simétrico convergerá siempre en (5,5), ignorando otras soluciones teóricas válidas. Esta tendencia al orden se llama "Regularización Implícita" y surge de la inercia del algoritmo. Si bien esta capacidad de generar geometría de forma automática es útil, también puede llevar a la creación de falsas relaciones causales si los datos de entrada son ruidosos o incoherentes. El autor concluye que la memoria geométrica no es una propiedad de conciencia artificial, sino una consecuencia de la física computacional y la implementación del código, que impone restricciones invisibles para la teoría pura.