Un model de llenguatge que cap en un disquet funciona en un 486 amb MS-DOS i, segons l'autor, l'ha programat Claude
Tiny 2.1 té 367.000 paràmetres, ocupa 380 KB i respon preguntes senzilles en ordinadors amb un 486DX o un Pentium. Utilitza la mateixa arquitectura de base que ChatGPT, però a escala minúscula: fora del que ha après, s'inventa les respostes amb tota la seguretat del món.
Un usuari de Reddit ha publicat Tiny 2.1, un model de llenguatge que s'executa sota MS-DOS i cap en un disquet d'1,44 MB. Segons el seu creador, el codi l'ha escrit Claude, l'assistent d'IA d'Anthropic, i també ha estat Claude qui ha entrenat el model. El programa està escrit en Turbo C 2.0, un compilador de finals dels anys vuitanta, i el codi complet es pot descarregar de GitHub.
El model té 367.000 paràmetres repartits en quatre capes de 96 unitats d'amplada. Genera el text lletra a lletra i desa els pesos en 8 bits, de manera que el conjunt ocupa 380 KB i necessita uns 540 KB de memoria convencional lliure. Es va entrenar amb unes 3.500 parelles de preguntes i respostes, cadascuna formulada de diverses maneres.
No és cap assistent útil. Segons Xataka, que l'ha provat en un emulador de MS-DOS en línia, quan les preguntes són llargues o complexes les respostes no tenen cap sentit. L'interès del projecte és demostrar fins on pot arribar un model de tipus transformador en un maquinari tan limitat.