2025年から2026年にかけて、オープンソースのコンピュータビジョン界隈で最も議論を呼んでいる話題の1つがある。Meta AIが公開したセグメンテーションモデル「SAM 3（Segment Anything Model 3）」だ。2025年11月にSAM 3が、2026年3月に改良版のSAM 3.1が公開され、画像・動画のオブジェクト検出・セグメンテーション・追跡を統合したモデルとして、急速にコミュニティの注目を集めている。
このモデルがなぜこれほど注目されているのか。その背景には、従来は専門機関しか扱えなかった高度なビジョンAIを、誰でも自由に使えるオープンソースとして公開している点にある。RoboflowのOpen-source LeadであるSkalskiP氏（@skalskip92）が「罠はありません；SAM3はオープンソースで、本当に優れています。おそらく私が今までで一番好きなコンピュータービジョンモデルです」と称賛する投稿が世界中で大きな注目と反響を集め、のも頷ける。
今回は、SAM 3が何を実現するのか、SAM 3.1で何が改善されたのか、そしてこの技術がオープンソース開発者にどのような意味を持つかを、技術的な深掘りも含めて解説する。
話題となっているのがこちらの投稿です
SAMシリーズの歩み：SAMからSAM 3へ
SAMシリーズのルーツを語るには、まず2023年6月にMetaが公開した最初のSAM（Segment Anything Model）から始めなければならない。これは画像中の任意のオブジェクトを、クリックやテキストなどのプロンプトに基づいてセグメンテーションする「ファウンデーションモデル」として設計され、11億以上のマスクを生成できるデータセット「SA-1B」とともに公開された。SAMの革新的な点は、事前トレーニングされたモデルが、見たことのない新しい画像やカテゴリに対してもゼロショットで動作する汎用性を持っていたことだ。
2024年9月にはSAM 2が公開され、静止画から動画セグメンテーションへと能力が拡大した。これにより、フレーム間をまたいだオブジェクト追跡が可能になり、リアルタイムの動画処理にも対応。しかし、SAM 2はビジュアルプロンプト（どのオブジェクトをセグメントするかを示す例）には対応していたものの、テキストによるプロンプトには対応していなかった。
この制約を打破するために開発されたのが、2025年11月19日に公開されたSAM 3だ。SAM 3の公式呼称は「Segment Anything with Concepts（SA-Co）」で、テキストプロンプトとビジュアルプロンプトの両方に対応した初のSAMシリーズモデルとなった。具体的には、「赤い車」といった自然言語で指示を出したり、画像の中から対象オブジェクトをサンプルとして示すことで、画像中や動画中のすべての該当オブジェクトを検出・セグメンテーション・追跡できるようになった。
SAM 3の核心：Promptable Concept Segmentation（PCS）とは
SAM 3の最大の特徴は、PCS（Promptable Concept Segmentation）という新しいパラダイムを実装している点にある。従来、SAM 1やSAM 2では、画像中のオブジェクトをセグメンテーションするには、ピクセルレベルのクリック（ポイントやボックス）を用いてプロンプトを作成する必要があった。これは正確ではあるが、直感的ではなく、大量のクリック操作が必要な場合もあった。
SAM 3では、テキストプロンプトとビジュアルプロンプトが統合された。テキストプロンプトの場合、「犬」「白い壁に描かれた絵」「青いトラックのタイヤ」といった自然言語で説明するだけで、画像中または動画中の該当するすべてのオブジェクトが自動検出される。ビジュアルプロンプトでは、例えば1枚の画像からあるオブジェクトのサンプルを示すことで、同じ概念を持つ他のオブジェクトも自動的にセグメントされる。これは人間の認知プロセスに近く、直感的で強力なインターフェースを提供している。
Metaの公式によると、SAM 3は既存のシステムに対して画像および動画のPCS性能で2倍の改善を実現している。この性能向上は、SAM 3のバックボーンとして「Meta Perception Encoder」と呼ばれる新しいオープンソースモデルが採用されていることに起因する。Meta Perception Encoderは2025年4月に公開されたもので、画像エンコーダーとテキストエンコーダーの両方を内蔵し、マルチモーダルな理解を可能にしている。
さらにSAM 3は、画像レベルの検出器とメモリベースの動画追跡を組み合わせるアーキテクチャを採用している。これにより、オブジェクトが一時的に画面から消えた後でも、追跡を再開できるロバスト性が実現されている。バスケットボールのような複雑なシーンで複数のプレイヤーを追跡する際、選手が交錯して見えなくなる瞬間があっても、メモリベースの追跡がそれを補完する。
SAM 3.1の革新：オブジェクト多重化とリアルタイム処理
SAM 3の公開から僅か4ヶ月後の2026年3月27日、MetaはSAM 3.1を発表した。このアップデートは、SAM 3の採用が「飛躍的に伸びた」ことへの応答としてのもので、特にビデオ処理の効率向上に重点が置かれている。
SAM 3.1の最も画期的な機能は「オブジェクト多重化（Object Multiplexing）」と呼ばれる技術だ。従来、SAM 3では複数のオブジェクトを追跡する場合、各オブジェクトごとに個別の処理が必要だった。つまり、10個のオブジェクトを追跡するには10回の順方向パス（フォワードパス）を実行する必要があった。これに対し、SAM 3.1では一度のフォワードパスで最大16個のオブジェクトを同時に追跡できる。
このグローバル推論アプローチにより、中程度の数のオブジェクトを含むビデオの処理速度は2倍になり、単一のNVIDIA H100 GPUで毎秒16フレーム（fps）から32fpsへとスループットが向上した。これはつまり、複雑なビデオにおけるリアルタイムオブジェクト追跡が可能になりながら、GPUリソースの総要件を削減できることを意味する。より小型で入手しやすいハードウェア上で高性能なアプリケーションを実行できるのは、実用面で大きな意味を持つ。
複数のオブジェクトをまとめて処理する方法への変更は、単なる速度改善にとどまらない。混雑したシーンでは、従来は個別に処理されていたオブジェクト間の関係性が考慮されるようになり、精度の向上にもつながっている。例えば、歩行者が密集する歩道で、SAM 3.1は個々の人物をより正確に区別できる。
SAM 3Dと実世界への応用
SAM 3の公開と同時に、SAM 3Dというオープンソースモデルスイートも公開されている。これは単一画像からの3Dオブジェクトおよび人間の再構築を目的としており、物理世界での「-grounded- 3D再構築」における新たな基準を設定している。
SAM 3とSAM 3Dの両方が実際にMetaのサービスで活用されている。Facebook Marketplaceの「View in Room」機能では、ユーザーがテーブルやランプなどの家電製品が自室のどの空間に合うかを視覚的に確認できる。Instagramの動画作成アプリ「Edits」では、SAM 3によりクリエイターが動画内の特定の人物やオブジェクトにエフェクトを適用できる機能が間もなく追加される予定だ。また、Meta AIアプリの「Vibes」機能やウェブ版のmeta.aiでもSAM 3が導入されている。
さらに注目すべきは、Conservation X LabsやOsa Conservationとのパートナーシップだ。ケニアでの野生動物モニタリングにSAM 3を用いた初の公開動画データセットがリリースされた。これは、AI技術が conservation（生物多様性の保全）に直接活用される例として、技術と社会の好循環を示している。
なぜ日本ではこの議論が重要なのか
日本のコンピュータビジョンコミュニティにとって、SAM 3の登場は特筆すべき意義を持つ。日本では長らく、AIモデルの多くがクローズドソース化され、研究者や開発者が必要なカスタマイズやファインチューニングを行う手段が限られていた。SAM 3がオープンソース（チェックポイント、コード、データセットを含む）として公開されていることは、日本の大学の研究室、スタートアップ、そして趣味でAIを学んでいる人々にとっても、世界最先端のビジョンモデルを自由に扱える機会を提供している。
特に重要なのは、Roboflow（SAM 3のコードリポジトリを管理しているオープンソースコミュニティ）の活発なエコシステムだ。日本の開発者であれば、SAM 3を自社の業務用ドメインに合わせてファインチューニングし、独自のアプリケーションを構築できる。例えば、製造業の品質検査、農業の病害虫検出、小売りの在庫管理など、業種に特化したカスタムセグメンテーションモデルの構築が、以前よりもはるかに現実的なものになっている。
また、SAM 3.1のリアルタイム処理性能の向上は、日本のロボット産業や自動運転技術の発展にも寄与する可能性がある。H100 GPU 1枚で32fpsを実現できることは、コスト効率の高いロボットビジョンシステムの実装を可能にし、日本の中小企業のAI導入障壁を下げる。
Xの声と私の見解
SAM 3に関するX上の反応をいくつか整理すると、以下のような傾向が読める。
まず称賛の声としては、複雑なシーンでの追跡精度への驚きが目立つ。実際のユーザーからは「リアルタイムのスヌーカー審判を構築しようとしたが、テーブルのボールを2〜3個見逃したり誤解釈したりした。それでも私のワークステーションで完全にオフラインで動作した」といった実践的な報告が上がっている。これは、SAM 3が実環境でどのように機能するかの生きた証拠だ。
懸念の声としては、「real-time」という表現に対する懐疑論がある。SAM 3.1でH100上で32fpsを実現したとはいえ、すべての開発者がH100を所有できるわけではない。より低スペックなGPU（例えばRTX 4070やM1 Mac）でどれだけの実用的なフレームレートが得られるかは、まだ十分には検証されていない。この点については、コミュニティ内のベンチマーク投稿を待ちながら慎重に見守るべきだろう。
また興味深いのは、「sam3の創設者じゃないのに…」という投稿だ。SkalskiP氏がRoboflowのOpen-source Leadであるにもかかわらず、SAM 3を創設者として言及する誤解があることに懸念を示している。これは重要で、AIコミュニティでは著名開発者の名前が誤って使われることがあり、 credit（貢献の適切な評価）の問題につながりかねない。
私の見解を言えば、SAM 3はオープンソースビジョンAIの新たな段階を象徴するモデルだ。テキストプロンプト対応とリアルタイム追跡能力の組み合わせは、従来は不可能だったアプリケーションを実現する。ただし、SAM 3が「全能」であるわけではない。RF-DETRのような専門的なオブジェクト検出モデルが、航空写真や衛星画像のドメインでは依然として優位な場合がある（ある開発者の投稿では、RF-DETR MediumがYOLO26を12 mAP上回った例が紹介されている）。タスクとドメインに応じて、最適なモデルを選択する柔軟な姿勢が求められる。
私が特に期待しているのは、SAM 3の轻巧版（distilled lightweight version）の登場だ。X上で「蒸留された軽量SAMがあればな…」という投稿が上がっているように、推論速度とモデルサイズを大幅に削減しながら、主要な性能を維持する lightweight バージョンが実現すれば、組み込みデバイスやモバイル端末での展開が格段に容易になる。
よくある質問
Q. SAM 3とは何ですか？
SAM 3（Segment Anything Model 3）は、Meta AIが2025年11月に公開したオープンソースのコンピュータビジョンモデルです。テキストプロンプトやビジュアルプロンプトを使って、画像や動画の中の任意のオブジェクトを検出・セグメンテーション・追跡できます。公式名称は「Segment Anything with Concepts（SA-Co）」です。
Q. SAM 3とSAM 2の違いは何ですか？
SAM 2がビジュアルプロンプトには対応していましたが、テキストによるプロンプトには対応していませんでした。SAM 3ではテキストプロンプト（自然言語による指示）とビジュアルプロンプトの両方に対応し、Promptable Concept Segmentation（PCS）という新しい機能を実現しました。また、画像および動画のPCS性能で2倍の改善を達成しています。
Q. SAM 3.1で何が変わりましたか？
SAM 3.1（2026年3月公開）は、オブジェクト多重化という革新的な機能を導入しました。これにより、1回のフォワードパスで最大16個のオブジェクトを同時に追跡でき、H100 GPU上での処理速度は16fpsから32fpsに倍増しました。また、複数のオブジェクトをまとめて処理するグローバル推論により、混雑したシーンでの精度も向上しています。
Q. SAM 3を使うにはどうすればいいですか？
SAM 3はGitHub（github.com/facebookresearch/sam3）でコードとチェックポイントが公開されています。また、Metaは「Segment Anything Playground」というデモプラットフォームを提供しており、ブラウザ上でSAM 3の機能を試すことができます。Meta Perception Encoderのモデルもオープンソースとして入手可能です。
Q. SAM 3は商用利用できますか？
SAM 3のモデルチェックポイント、評価データセット、ファインチューニングコードがオープンソースとして公開されています。ただし、具体的なライセンス条項は公式のGitHubリポジトリや研究論文で確認してください。MetaはSAM 3を広くコミュニティに開放していますが、商用利用の際には各プロジェクトの要件に合わせてライセンスを適切に確認する必要があります。
結論：オープンソースビジョンAIの新時代へ
SAM 3とSAM 3.1は、コンピュータビジョンのオープンソースエコシステムに大きな波紋を投げかけている。テキストプロンプトによるセグメンテーション、リアルタイム動画追跡、3D再構築、そしてこれらの技術を実サービスのなかで活用するMetaの取り組みは、AI技術がどのように社会実装されるべきかのモデルケースと言える。
日本においても、SAM 3のオープンソース化は大きな機会である。日本の開発者がSAM 3を自らのドメインにファインチューニングし、独自のアプリケーションを構築することで、海外のモデルに依存しない、日本発のビジョンAIエコシステムの育成につながると期待している。
今後の注目点は、SAM 3.2やSAM 4のロードマップ、より軽量な推論モデルの公開、そしてコミュニティによるファインチューニングモデルの増加だ。オープンソースAIの進展は速く、次なるアップデートがすでに開発されている可能性も高い。この分野の動向を見守り続けたい。
コメント