Thinking Machines allibera Inkling 2 Mini, un model d'IA amb pesos oberts que funciona en un portàtil

El model repeteix tres vegades les capes centrals per cada token, de manera que raona més sense allargar el text que genera. Ocupa uns 20 GB i, segons els seus creadors, supera els models oberts de mida similar en programació agèntica. Les xifres, de moment, només les signa la mateixa empresa.

El laboratori d'IA Thinking Machines ha publicat Inkling 2 Mini, un model amb pesos oberts de tipus Mixture-of-Experts, amb 26.400 milions de paràmetres en total i 3.400 milions d'actius. És un «looped transformer»: executa tres vegades les capes centrals per cada token, cosa que li permet raonar més amb menys text. La majoria dels pesos s'han entrenat directament en el format de baixa precisió NVFP4, i el model ocupa uns 20 GB. Això permet executar-lo en local, per exemple en un MacBook Pro sense connexió.

L'empresa afirma que lidera els models oberts de menys de 100.000 milions de paràmetres en proves de programació com DeepSWE v1.1 (48,2%), tot i que reconeix que les condicions d'avaluació varien segons el model. Admet també que repetir capes no li dona més coneixement: en proves de dades factuals rendeix com els models de la seva mida, i ho compensa amb cerca i eines.

Amb el model també publica una variant de recerca amb un nombre variable de repeticions. Amb aquesta variant ha comprovat que la cadena de raonament es fa més curta però continua sent llegible, un aspecte rellevant per poder supervisar què fa el model.