要約：
2023年、生成AIに関連するアプリケーションが雨後の筍のように登場し、人工知能の新たな章を開きました。これにより、産業界と一般市民に前例のない創造力と知恵をもたらしました。
本文：
一、はじめに
2023年、生成AIに関連するアプリケーションが雨後の筍のように登場し、人工知能の新たな章を開きました。これにより、産業界と一般市民に前例のない創造力と知恵をもたらしました。また、IoTやスマートデバイスの普及により、エッジへの計算能力の移行傾向が顕著になり、エッジ小規模言語モデル（Small Language Models, SLM）も次第に注目を集めるようになりました。SLMはオフライン状態でリアルタイムのインテリジェントサービスを提供できるだけでなく、限られた計算リソースで効果的に新しいコンテンツやアイデアを生成することができます。例えば、テキスト、対話、画像、動画、音楽などです。生成AIの能力と組み合わせることで、エッジSLMはスマートデバイスの性能と効率を向上させるだけでなく、スマートシティからヘルスケア、産業自動化から個人用モバイルスマートデバイスまで、様々な場面で大きな可能性を示すでしょう。したがって、生成AIの出現はエッジSLMに新たな展望を開き、私たちが高い関心を持って深く探求する価値があります。
二、グローバル小規模言語モデル市場規模と発展傾向
(一)グローバル小規模言語モデルの市場規模
SLMとLLMの違いは、規模と能力だけでなく、その応用シーンと性能の表現にもあります。LLMは膨大なパラメータ数と広範なデータ学習能力を持ち、より複雑な言語構造を処理し、より正確な予測を生成できます。一方、SLMは規模は小さいものの、実行速度が速く、メモリと計算リソースの使用が少ないという利点があります。実際の応用では、異なるタスクの要件とリソースの制限に応じて適切な言語モデルを選択することが、AI応用の性能とコストに重要な役割を果たします。そのため、規模と性能のバランスを十分に考慮し、最適な応用効果を実現する必要があります。したがって、SLMとLLMの主な違いは、(1)規模と範囲、(2)トレーニング時間と計算リソース、(3)ドメイン専門知識、(4)多機能性にあります。
現在、多くの企業がSLMに注目しています。その計算効率、適応性、アクセス性の特徴から、エッジデバイスやクラウド環境への展開に非常に適しているためです。Valuates Reportsのレポートによると、2022年のグローバル小規模言語モデル市場規模は51.8億ドルで、2029年には171.8億ドルに成長し、2023年から2029年の年間複合成長率（CAGR）は17.8％になると予測されています。一般的な応用分野は、自然言語処理（NLP）タスク、情報抽出と要約、言語生成（コンテンツ生成、コード生成など）、多言語翻訳、インテリジェントアシスタントと対話システムなどです。
(二)主要な参入企業
SLM市場に参入している主要な国際企業は以下の通りです：
(1)Meta
Llama 2 – 7B：2023年7月、Metaは第二世代の大規模言語モデルLlama 2を発表し、7B、13B、70Bの3つのバージョンのパラメータを含んでいます。すべてのバージョンがLlama 1を上回り、モデルの性能、効率、アクセス性を明らかに強化し、広範なNLPタスクにより適合するようになりました。現在、7Bパラメータモデルは主に研究目的で使用されています。
Alpaca - 7B：Alpaca 7BはLlama-7Bの微調整版で、スタンフォード大学の研究者がLlama-7BとOpenAIのtext-davinci-003モデルを使用して生成したものです。トレーニングコストは600ドル未満でしたが、性能は良好で、Eメール作成、ソーシャルメディア、生産性ツールのタスクなどで、より大規模な言語モデルと比較できます。現在は主に学術目的で使用されています。
(2)Stability AI
Stable Beluga – 7B：Llamaモデルをベースに、Orcaスタイルのデータセットで微調整を行い、テキスト生成、翻訳、質疑応答、コード生成など、様々なNLPタスクで優れた性能を発揮します。Stability AIは、性能の向上、採用と統合の増加、専用バージョンの開発、オープンソースコミュニティへの貢献を表明しています。
Stable LM 2：2024年初めに発表された1.6Bパラメータの超小型言語モデルで、2兆のトークンでトレーニングされています。目的は使用のハードルを下げ、より多くの開発者が英語、スペイン語、ドイツ語、イタリア語、フランス語、ポルトガル語、オランダ語の7言語のデータを含むGen AIを使用できるようにすることです。性能は一般的に2B未満のパラメータを持つ他のモデルよりも優れています。
(3)Google
2023年12月、Googleはマルチモーダルモデルのgeminiを発表しました。Ultra、Pro、Nanoの3つのバージョンがあり、Ultraモデルが最大で機能も最も強力です。高度に複雑なタスク（カスタマイズされた専用コラボレーションパートナーなど）に使用され、企業や開発者に提供される予定で、2024年にはGoogle Bardに展開される見込みです。Proモデルは、ChatGPTに似ており、推論や計画能力を持ち、現在Bardで使用できますが、英語版のみです。Nanoモデルが最小で、Nano-1 1.8BとNano-2 3.25Bの2つのバージョンがあり、Androidスマートフォンでオフラインで実行できます。Nano-1は低メモリデバイス向け、Nano-2は高メモリデバイス向けで、現在Pixel 8シリーズとサムスンS24フラッグシップシリーズに統合されています。
(4)Microsoft
Phi-2 – 2.7B：2023年12月に発表され、トレーニングデータには科学、日常活動、心理学、高品質のウェブコンテンツが含まれています。同時に、マイクロソフトはPhi-2のパラメータ数を元の1.3から2.7Bに拡大し、モデルの性能と表現力を向上させました。Phi-2はエッジデバイスとクラウド向けに設計され、テキスト生成、言語翻訳、情報質問応答の面で優れた性能を示しています。
Orca 2：2023年11月に発表され、Orca 2には7Bと13Bの2つのバージョンがあり、いずれもLlama 2をベースモデルとし、大量の合成データをカスタムトレーニングで組み合わせたものです。マイクロソフトはLLMに関する知識を活用してSLMの能力を向上させることを目指しています。例えば、GPT-4の結果を段階的に説明する能力、段階的な思考プロセス、その他の複雑な指示への反応能力を学習し、ChatGPTを助教として指導を支援します。現在、これら2つのバージョンはHugging Faceで研究用に提供されています。
(5)Salesforce
XGenはSalesforce AIが発表した7BパラメータのSLMで、Llamaの7Bモデルに似ていますが、主な違いは上下文ウィンドウのシーケンス長をLlamaの2Kから8Kに増加させたことです。そのため、XGenの特徴は長文テキストや要約タスク、コンテンツ作成、ソフトウェア開発、言語学習などの処理に適していることです。
(6)アリババ
2024年初め、アリババはQwen 1.5シリーズの言語モデルを発表しました。Qwen 1.5はQwen AIの強化版で、0.5B、1.8B、4B、7B、14B、72Bなど、さまざまなサイズのパラメータモデルを提供し、異なる計算ニーズやアプリケーションを満たします。テキスト生成、翻訳、質疑応答、視覚、言語タスク、音声処理など、さまざまな応用に対応します。特にチャット機能が強化され、より一貫性のある文脈に関連した対話が実現されています。
(7)Mosaic ML
MPTはスタートアップ企業Mosaic MLが発表した7BパラメータのSLMです。その強みは、最大8千トークンの長文コンテンツを処理でき、長文の要点抽出と質疑応答において優れた性能を発揮することです。MPTの設計理念は生産性の向上にあり、その特長には正確なコードスニペットの生成、タスクの自動化、さまざまな創造的なテキスト形式による芸術表現の促進が含まれます。潜在的な応用範囲は、ソフトウェア開発、クリエイティブライティング、コンテンツ作成、教育、アクセシビリティツールなど、多岐にわたります。
(8)Technology Innovation Institute (TII) from the UAE
Falcon 7Bは、アラブ首長国連邦の技術革新研究所（TII）が発表したもので、チャットや質疑応答などの単純なタスクの効率を向上させることを目的としています。約1兆のトークンを含む膨大なテキストデータコーパスを処理するように設計されています。Falcon 7Bの発表により、ユーザーにより迅速で正確な処理能力が提供され、さまざまなテキスト関連アプリケーションに顕著な改善をもたらすでしょう。
(9)Hugging Face
ZephyrはHugging Faceが発表した7BパラメータのSLMです。ZephyrはMistral-7Bの微調整版で最適化処理が行われており、対話的なインタラクションの特性に焦点を当てているため、チャットボット、仮想アシスタント、その他のインタラクティブアプリケーションの最適な選択肢の1つとなっています。Zephyrは計算効率を確保できるため、さまざまなプラットフォームに容易に展開できます。
三、SLMのモバイルデバイス応用事例
前述のSLMモデルの集計から、現在のSLMモデルのパラメータは約7B前後で、少なくとも14GB以上のメモリが必要であり、一般的な消費者向けグラフィックカードでは実行できません。そのため、現在はリソース使用量を減らす方法や、チップ側からアプローチして計算性能を向上させる方法など、多くの研究が行われています。例えば、Apple M3、Intel Core Ultra、AMD Ryzen 8084シリーズはすべてAIアプリケーションを加速するために設計されており、AI PC市場に先行して布石を打っています。
MWC 2024展示会の観察から、Qualcommは狭帯域非地上ネットワーク（NB-NTN）衛星通信を統合した最初の5Gベースバンドチップ、Snapdragon X80 5Gチップを発表しました。ミリ波ネットワークに接続すると、伝送効率を60％向上させ、消費電力を10％削減し、特定の期間内で遅延を20％削減できるため、接続速度が速くなります。このシリーズは、AIスマートフォン、XRデバイス、PC、車両、産業用IoTデバイスなどに使用できます。QualcommはAndroidスマートフォンで7B以上のパラメータモデルを実行することを実証しました。例えば、テキスト、画像などの様々なタイプのデータ入力を受け付け、AIアシスタントを通じてテキスト生成や文章から画像生成などのアプリケーションを行うことができます。
Armは3つのCortex-A700シリーズCPUを通じて、AndroidスマートフォンでLlama2-7Bモデルを実行し、スマートフォンアプリケーションソフトウェアの仮想アシスタントの応答性が高く、迅速に返答でき、毎秒9.6トークンのテキスト生成速度を達成できます。また、MediaTekもこの展示会でDimensity 9300と8300の2つのプロセッサを展示し、Google Gemini Nano向けに設計されたことを強調しました。
中国のスマートフォンブランドTECNOは、GoogleやMediaTekと戦略的に協力し、TECNO AIOSを発表しました。主にGen AIをノートパソコンとスマートフォンに統合しています。例えば、Megabook T1 15.6ノートパソコンはIntel Core Ultraを採用し、オフラインで文章から画像を生成するのにわずか2-3秒しかかかりません。将来的には画像から画像、文章から表などのアプリケーションも展開予定です。Phantom V FoldとV Flipの2つの折りたたみスマートフォンはDimensity 9000+を搭載し、Google Gemini (nano)、Duet AI、Gmail AIなどのGoogle AIスイートを統合しています。これにより、ニーズに応じてメールの内容を生成し、内容の最適化、拡張、簡略化を行い、多言語翻訳もサポートしています。下半期にはDimensity 9300またはより先進的なDimensity 8300を採用した端末デバイスの発売が予定されています。
大手スマートフォンメーカーのサムスンが展示したGalaxy S24フラッグシップシリーズは、Google Pixel 8シリーズに続いて、2番目にGoogle Gemini Nanoを統合したスマートフォンです。サムスンは「モバイルAIの新時代を開く」と宣言し、生成AIが長期的な製品戦略に不可欠な要素になると指摘しています。Galaxy S24 UltraはTSMCの4nmプロセスを採用したQualcomm Snapdragon 8 Gen 3を主に使用し、8つの主要なAI機能を発表しました。これには通話中のリアルタイム翻訳、チャット翻訳、ライティングアシスタント、トランスクリプションアシスタント、ノートアシスタント、ブラウジングアシスタント、フォトアシスタント、サーチサークルなど、日常生活の様々なシーンが含まれ、ユーザーの対人コミュニケーションと創造性を向上させることを目的としています。
四、結論
SLMはトレーニングと推論の時間を短縮し、遅延を大幅に削減できるため、エッジデバイスや資源の限られた中小企業など、リソースが制限された環境に非常に適しています。国際的な大手企業もこれをビジネスチャンスと捉え、AI Phone、AI PC、ロボット、バーチャルヒューマンプラットフォームサービスに積極的に取り組み、多様でインテリジェント、かつ簡便なサービス体験を創造しています。クラウドサービス大手のAWS、Azure、Google CloudもホステッドAPIを通じて、企業の各分野に適用可能な小規模言語モデルサービスを提供しています。そのため、クラウドから端末まで、生成AIはユーザーとサービスの相互作用の方法を徐々に変えつつあります。
上記の分析から、スマートフォンとPCがよりインテリジェントなアップグレードの時期を迎えていることがわかりますが、市場の資金の流れを促進するかどうかはまだ観察が必要です。スマートフォンを例にとると、現在の一般的なスマートフォンの機能にはあまり差がなく、新しいAI Phoneの登場により、Gen AIアプリケーションサービスの多くは試験的なものであり、キラーアプリケーションはまだ登場していません。コストと価格設定がまだ高めの段階では、必ずしも買い替えを促すとは限りません。ユーザーのスマートフォンブランドへの愛着、製品のサービスの流暢さ、コストパフォーマンスなどが、スマートフォンを買い替えるかどうかを決定する主な要因です。AI PCに関しては、グローバルPC市場の需要は徐々に顕在化していますが、サプライチェーンの部材不足の状況はまだ解決されておらず、買い替え需要を引き起こすかどうかについて、台湾の業者は依然として慎重な姿勢を取っています。ただし、2025年にマイクロソフトがWindows 10のシステムアップデートのサポートを終了することで、AI PCの販売量を促進する機会があるかもしれません。
