AI（人工知能）の開発競争が始まった当初は「大型化」が全てだった。山のようなデータで訓練された巨大モデルが、人間レベルの知能を模倣しようとした。
今、ハイテク大手や新興企業が検討しているのは「小型化」である。AIソフトウエアをスリム化し、価格の抑制・高速化・専門領域への特化を実現するというものだ。
このカテゴリーのAIソフトウエアは小規模言語モデル（SLM）あるいは中規模言語モデル（MLM）と呼ばれ、訓練に使用されるデータ量が相対的に少なく、特定のタスク向けに設計されていることが多い。
米新興企業オープンAIの「GPT-4」などの大規模言語モデル（LLM）は、開発に1億ドル（約161億円）以上かかり、使用されるパラメーター数が1兆個を超える。小規模言語モデルは、より狭いデータセット（例えば、法律問題）で訓練されることが多い。学習コストは1000万ドル未満で、使用されるパラメーター数は100億個を下回る。また、各クエリに対応するために必要な計算能力も小さく、その分コストも抑えられる。
米マイクロソフトは小規模言語モデル「Phi（ファイ）」シリーズを大々的に宣伝しており、同社のサティア・ナデラ最高経営責任者（CEO）は、オープンAIの対話型AI「チャットGPT」を支える無料モデルの100分の1サイズでありながら、多くのタスクをほぼ同等に実行すると述べた。
マイクロソフトのユスフ・メフディ最高商務責任者（CCO）は「さまざまなモデルが存在する世界になるとの確信が強まっているように思う」と語った。
マイクロソフトは生成AIに早い段階から数十億ドルを投じた大手ハイテク企業の一つだ。メフディ氏によると、同社はすぐに、当初の想定よりも運用コストが高くなっていることに気付いた。
マイクロソフトは最近、検索や画像生成に数十のAIモデルを使用するAIノートパソコンも発表した。これらのモデルは必要なデータが非常に少ないため、端末上で実行でき、チャットGPTのように大規模なクラウドベースのスーパーコンピューターにアクセスする必要がない。
グーグルに加え、AI新興企業の仏ミストラルAI、米アンソロピック、加コーヒアの3社も今年、小規模言語モデルを発表している。米アップルは6月、独自のAIロードマップ（行程表）を発表し、小規模モデルを使用することで、ソフトウエアを全て携帯電話上で実行し、高速化・安全性向上を図る計画を明らかにした。
大規模言語モデルブームの先駆けであるオープンAIも最近、旗艦モデル「GPT-4」をアップデートし、運用コストを抑えた「GPT-4o」を発表した。今後は小規模モデルのリリースも視野に入れていると、広報担当者は述べた。
文書の要約や画像の生成など多くのタスクにおいて、大規模モデルはオーバースペックになることがある。戦車に乗って買い物に行くようなものだ。
「2＋2を計算するのに何千兆回もの演算が必要なはずはない」。グーグルが2017年に発表し、今の生成AIブームの基礎を築いた論文の共著者、イリア・ポロスキン氏はそう話す。同氏は現在、ブロックチェーン技術に携わっている。
企業と消費者も、生成AIをベースとした技術の恩恵がまだ明確でない中、それをより安価に運用する方法を求めてきた。
イスラエルのAI企業「AI21ラボ」の共同創設者であるヨアブ・ショハム氏によれば、小規模モデルに必要な計算能力は小さいため、多くの場合、大規模言語モデルの6分の1のコストで質問に答えられる。「何十万、何百万もの回答をするのであれば（大規模モデルを使うのは）経済効率が悪い」と言う。
重要なのは、こうした小規模モデルを社内連絡・法的文書・販売数などのデータセットに集中させ、電子メールの作成といった特定のタスクを実行させることである。この作業は「ファインチューニング（微調整）」と呼ばれる。これにより、小規模モデルでも、数分の一のコストで大規模モデルと同等のタスクをこなせるようになる。
現在のAIの最先端領域は「このような退屈だが重要な分野で、より小規模で専門的なモデルを機能させること」だ。企業によるAIモデルのカスタマイズを支援する新興企業「スノーケルAI」の共同創設者、アレックス・ラトナー氏はそう語る。
信用情報会社の英エクスペリアンは、財務アドバイスや顧客サービスに使用しているAIチャットボットのモデルを、大規模モデルから小規模モデルに変更した。
同社のアリ・カーン最高データ責任者（CDO）は、社内データで学習させたところ、小規模モデルでも大規模モデルと同等の性能を発揮し、コストも数分の一で済んだと話す。
このモデルは「フラン（カスタードプリン）のレシピを私に教えるのではなく、明確に定義された問題領域と一連のタスクについて学習している」と同氏は言う。
米顧客情報管理（CRM）ソフトウエア大手セールスフォースのAI部門責任者であるクララ・シー氏は、小規模モデルの方がスピードも速いと話す。
大規模モデルでは「結局、過剰な支払いや（回答が返ってくるまでの）待ち時間の問題が発生する」と同氏は言う。「オーバースペックだ」
小規模モデルに移行する動きが見られるのは、一般に公開されている大規模モデルの進化が鈍っていることが背景にある。オープンAIが昨年発表したGPT-4は、前モデルのGPT-3.5から機能を大幅に向上させた。ただその後は、それに匹敵する進化を遂げた新モデルが発表されていない。その原因として、訓練用の新たな高品質データが不足していることなどが挙げられている。
このような流れから、より小規模なモデルに注目が集まっている。
マイクロソフトの幹部で、Phiモデル・プロジェクトを率いるセバスチャン・ブベック氏は「（大規模言語モデルは）誰もが待たされる小休止の時間がある」と話す。「『それなら、これを実際にもっと効率的にできないか』という方向に関心が向かうのは当然だ」
この小休止が一時的なものなのか、あるいは、より広範な技術的問題なのかはまだ分からない。だが、小規模モデルへの注目の高まりは、「SF」のようなデモンストレーションから、それをビジネスにするという、あまりエキサイティングではない「現実」へのAIの進化を物語っている。
もっとも、企業が大規模モデルを見限ったわけではない。アップルは、音声アシスタント機能「Siri（シリ）」にチャットGPTを組み込み、メール作成など、より高度なタスクを実行させると発表した。マイクロソフトは、ウィンドウズ最新バージョンにオープンAIの最新モデルを統合すると発表している。
ただ、アップルとマイクロソフトのいずれも、オープンAIの統合は各社のAIパッケージ全体のごく一部に過ぎない。アップルが2時間近いプレゼンテーションでそれに言及したのは、わずか2分だった。
Copyright (c) 2024 Dow Jones & Co. Inc. All Rights Reserved.
いちのりのつぶやき
生成ＡＩはまだ触ったことないので、すごさを実感していないがきっと凄いんでしょうね～、ただ各社がなんでも御座れの神みたいなＡＩ競争に没頭しているが、実際使用している現場としては安くて早いという牛丼みたいなＡＩを求めている。記事内にある２＋２の計算に何百万回、何千万回も演算する必要がないというのは的を得た言葉だなと思ってて、各企業がそれぞれ必要なところについてはめちゃくちゃ優秀なＡＩってのがあれば神のような知識を持つ必要はないんだなと言われると「はっ！」と気づかされた感じです。今後普段使いでＡＩを活用する未来はきっとやってくるんだとは思いますがそれが何年後になるか・・・？案外早いのかもしれませんね さぁ～半導体＆ハイテク銘柄を買うんだ！！！
<ｽﾎﾟﾝｻｰﾘﾝｸ>
