Het Franse AI-bedrijf Mistral heeft op donderdag 29 oktober de gewichten van zijn grootste model, Mistral Large 4, via Hugging Face openbaar gemaakt. Het model, dat begin oktober alleen als preview via de API beschikbaar was, kan nu worden gedownload en door bedrijven en overheden op hun eigen servers worden gedraaid.
Wat is er gebeurd?
Volgens de gegevens van VentureBeat heeft het model in totaal 1,05 biljoen parameters, maar is het aantal actieve parameters 52 miljard: bij elke stap draait het model maar een klein deel van het totaal. Het contextvenster is 1 miljoen tokens. Het kan tekst en beeld lezen en produceert tekst. Voor de training zijn ongeveer 3.800 Nvidia Grace Blackwell-GPU's gebruikt.
Mistral positioneert het model vooral voor cyberbeveiliging en codeeragents: dreigingen in code en IT-infrastructuur opsporen, analyseren en erop reageren. In de index van het onafhankelijke beoordelaar Artificial Analysis kreeg het model de hoogste score onder open-gewichtenmodellen die buiten China zijn ontwikkeld. Toch blijft het achter bij Chinese open modellen als DeepSeek en GLM. De licentie is niet helemaal vrij: een aangepaste MIT-licentie vraagt een aparte commerciële licentie van bedrijven die het model als dienst verkopen.
Waarom is het belangrijk?
De meeste krachtige modellen zijn tegenwoordig alleen via internet te gebruiken, voor zover het bedrijf dat toestaat. Open gewichten betekenen dat de toegang achteraf niet meer kan worden afgesneden. Pierre Stock, vicepresident wetenschap bij Mistral, zei tegen Reuters dat het onmogelijk is de toegang te beperken zodra een model is vrijgegeven. Dat is een groot voordeel voor organisaties die hun eigen gegevens niet naar buiten willen brengen, maar het betekent ook dat het model in handen van kwaadwillenden kan komen. Voor de Europese discussie over "soevereiniteit in AI" is het bovendien een concrete stap.
Een link met het verleden
Programma's die zelfstandig door een netwerk zwerven, en het idee om ze te stoppen, zijn niet nieuw. Reaper, in 1971 geschreven om Creeper te vangen, die door ARPANET rondzwierf, geldt als het eerste antivirusprogramma. Dat verhaal vertelden we in ons artikel De eerste computer"virus" Creeper wiste niets. Tegenwoordig worden voor cyberverdediging modellen van een biljoen parameters geschreven.