フランスのAI企業Mistralは、10月29日木曜日、最大のモデルであるMistral Large 4の重みをHugging Face上で公開しました。10月初めにはAPI経由のプレビューしか提供されていなかったこのモデルは、ダウンロードして、企業や政府が自分たちのサーバーで動かせるようになりました。
何が起きた?
VentureBeatが伝えたところによると、モデルの総パラメータ数は1.05兆ですが、アクティブなパラメータ数は520億です。モデルは各ステップで、全体のごく一部だけを動かします。コンテキストウィンドウは100万トークン。テキストと画像を読み取り、テキストを生成します。学習には約3,800基のNvidia Grace Blackwell GPUが使われました。
Mistralは、このモデルを特にサイバーセキュリティとコーディングエージェント向けに位置づけています。コードやIT基盤の脅威を見つけ、分析し、対応するためのものです。独立した評価機関Artificial Analysisの指標では、中国国外で開発されたオープンウェイトモデルのなかで最高のスコアを獲得しました。それでも、DeepSeekやGLMといった中国のオープンモデルには及びません。ライセンスは完全に自由ではありません。修正版のMITライセンスで、モデルをサービスとして販売する企業には別途商用ライセンスを求めます。
なぜ重要?
現在、最も強力なモデルの多くは、企業が許す範囲でしかインターネット経由で使えません。オープンウェイトとは、アクセスを後から断てないということです。Reutersの取材に答えたMistralのサイエンス担当副社長Pierre Stockさんは、モデルがいったん公開されれば、アクセスを制限することは不可能だと述べました。これは、自社のデータを外に出したくない組織にとって大きな利点ですが、同時に、悪意のある人の手にモデルが渡りうることも意味します。ヨーロッパの「AIにおける主権」をめぐる議論にとっても、具体的な一歩です。
歴史とのつながり
ネットワーク上を自力で動き回るプログラムと、それを止めるという発想は、新しいものではありません。1971年にARPANETを動き回っていたCreeperを捕まえるために書かれたReaperは、最初のアンチウイルスとされています。その物語は、記事最初のコンピューター「ウイルス」Creeperは何も消さなかったで紹介しました。いまはサイバー防衛のために、1兆パラメータのモデルが作られています。