Moonshot AI publica els pesos de Kimi K3.1 Pro, un model d'IA de 2,8 bilions de paràmetres
El model, multimodal i pensat per a tasques d'agent, fa servir una arquitectura de mescla d'experts que activa 104.000 milions de paràmetres per token i admet un context d'un milió de tokens. Es distribueix amb una llicència pròpia de l'empresa, no pas amb una llicència lliure estàndard.
Moonshot AI, l'empresa que desenvolupa els models Kimi, ha publicat a Hugging Face els pesos de Kimi K3.1 Pro, el primer model de la sèrie K3.1. És un model multimodal, de text i imatge, entrenat a partir de Kimi K3 amb aprenentatge per reforç en centenars de dominis. Segons l'empresa, millora en programació, creació 3D, recerca financera i precisió factual.
L'arquitectura és de mescla d'experts: de 2,8 bilions de paràmetres totals, només n'activa 104.000 milions per token. Substitueix l'atenció completa de K3 per una atenció dispersa per gestionar millor contextos llargs, fins a un milió de tokens, i s'ha entrenat tenint en compte la quantització a MXFP4. Es pot executar amb vLLM o SGLang, tot i que la mida el fa inassequible per a la majoria de màquines.
Les comparatives que publica l'empresa combinen proves públiques i internes, i hi apareix per sobre dels models propietaris en algunes i per sota en d'altres, com les de ciberseguretat. La llicència és pròpia, de manera que «pesos oberts» no vol dir programari lliure.