Investigadors del MIT afirmen que un model de llenguatge pot llegir i escriure directament els pesos de xarxes neuronals
Segons un article publicat en un blog d'investigadors del MIT CSAIL, el model GPT-6 Astra endevina per a què s'ha entrenat una xarxa només mirant-ne els pesos i en crea de noves sense entrenament. Són resultats preliminars, sobretot amb xarxes petites, i encara no tenen revisió externa.
Un equip del laboratori d'informàtica i intel·ligència artificial del MIT (CSAIL) descriu en un article el que anomena «programació a l'espai de pesos»: un model de llenguatge generalista llegeix i modifica els valors numèrics d'una xarxa neuronal raonant sobre què ha de calcular cada part, sense descens de gradient ni bucles d'entrenament.
En els experiments, GPT-6 Astra identifica a quin joc s'ha entrenat una xarxa petita, troba els caps d'atenció que copien text en models de 7 milions de paràmetres i corregeix un controlador d'un cotxe virtual editant-ne el 3,5% dels pesos. També escriu des de zero xarxes per a jocs de MinAtar que superen agents entrenats amb aprenentatge per reforç durant 100 milions de passos.
El cas més vistós és Qwen3.5-0.8B: segons els autors, en canviar el 0,016% dels pesos el model passa del 7,9% al 48,1% a la prova matemàtica MATH-500. Els mateixos investigadors presenten aquests resultats com a molt preliminars, i la majoria de les proves s'han fet amb xarxes petites i entorns controlats.