Els models d'IA oberts no tenen un fons comú de dades per al postentrenament, com sí que en van tenir per al preentrenament
David Hall, d'Open Athena, un laboratori de models de llenguatge oberts, argumenta que el postentrenament necessita tasques reproduïbles i no documents. Fins i tot el programari lliure, el cas més fàcil, obliga a descartar la majoria de tasques candidates. Si ningú no construeix aquest fons comú deliberadament, quedarà en mans d'unes poques empreses.
El preentrenament dels grans models de llenguatge es va alimentar d'un patrimoni digital que ja existia: Viquipèdia, Stack Exchange, arXiv, el projecte Gutenberg i els 10 petabytes de Common Crawl, d'on prové prop del 60% de les dades de GPT-3. En un article al blog d'Open Athena, David Hall sosté que el postentrenament amb aprenentatge per reforç no té cap equivalent. Necessita tasques amb un entorn, una intenció, unes eines i un avaluador, i la feina humana gairebé mai no queda registrada d'aquesta manera.
El programari és l'excepció parcial, però tampoc és fàcil. Dels més de 90.000 pull requests que es van recollir per crear SWE-bench, només en van quedar 2.294 tasques, i la versió revisada per OpenAI es va reduir a 500, algunes de les quals encara eren defectuoses. Una auditoria de Vals va detectar que dos terços dels entorns publicats per Xiaomi contenien la solució recuperable des de Git.
Per a la resta de l'economia, els grans laboratoris paguen professionals perquè converteixin la seva feina en tasques. Hall adverteix que, sense un fons comú obert, universitats, entitats i investigadors independents perdran capacitat d'influir en com es desenvolupa la IA.