Una empresa de disseny de xips amb IA publica Ripple-65B, un model de pesos oberts per programar amb agents
Ricursive Intelligence, que fa servir IA per dissenyar xips, ha alliberat els pesos de Ripple-65B Preview, un model dens de 65.000 milions de paràmetres. L'empresa afirma que supera models nord-americans de pesos oberts molt més grans en tasques de programació amb agents i que l'ha entrenat amb 32 milions de dòlars. Les xifres, de moment, són pròpies.
Ripple-65B Preview és una versió generalista del model propietari que Ricursive Intelligence fa servir a la seva plataforma de disseny de xips. Segons l'empresa, s'ha preentrenat des de zero amb 12 bilions de tokens, admet contextos d'un milió de tokens i obté 80,52 punts a TerminalBench 2.1, una prova de tasques en terminal. Aquesta puntuació superaria models de pesos oberts nord-americans de fins a 975.000 milions de paràmetres. Els pesos es poden descarregar de Hugging Face i el model també és accessible des de diversos serveis al núvol.
A diferència d'altres laboratoris, que fan servir arquitectures de barreja d'experts (MoE), Ricursive ha triat un Transformer dens. Diu que així ha simplificat l'entrenament i que el model pot funcionar en equips locals com el DGX Spark de NVIDIA. L'empresa xifra en 32 milions de dòlars tot el cost de recerca i desenvolupament, una desena part del que estima que va costar el model capdavanter anterior, i reconeix que ha partit de treballs oberts com l'Olmo 3 de l'Allen Institute for AI. Les comparacions i els costos no s'han verificat de manera independent, i l'anunci no detalla la llicència dels pesos.