2026年5月20日、コンピュータビジョン業界に衝撃が走った。Meta（旧Facebook）が、次世代画像セグメンテーションモデル「SAM 3（Segment Anything Model 3）」のコードとモデルチェックポイントをGitHub上で完全オープンソース化したのだ。この知らせを一報にしたX（旧Twitter）の投稿は、わずか数時間で世界中で大きな注目と反響を集め、AIコミュニティの注目を集めている。
この投稿の著者はスペイン語のインフルエンサー「CopyRebeldia」。彼はこのニュースを「白い服の選手」という比喩で捉えた。NBAの混沌としたバスケットボールの試合で、審判やアナリストが白いシャツを着てコート上に立ち、特定の選手だけを指差して戦術を可視化する。そんな「白い服の選手」のように、SAM 3は複雑な画像や動画の中から、テキストプロンプトで指定した任意のオブジェクトを正確に追跡・切り出すことを意味している。「手動のスカウティングは趣味の領域になった」という一言が、この技術がもたらすパラダイムシフトを端的に表している。
SAM 3とは何か――技術的な深掘り
SAM 3は、Meta Superintelligence Labsによって開発された統一的な基礎モデル（foundation model）だ。8億4800万（848M）パラメータを有し、画像および動画におけるテキストベースおよび視覚ベースのプロンプトによるセグメンテーション、検出、追跡を単一のモデルで実行可能にする。
SAM 3の最大の特徴は、「オープンビocabulary（開放語彙）」対応である。従来のモデルが事前に定義されたラベルセットに限定されていたのに対し、SAM 3は「白い服を着た選手」「赤いユニフォームのゴールキーパー」「青いトラックを走る車」といった、訓練時に直接見たことのない自然言語プロンプトで任意のオブジェクトをセグメントできる。これはテキストプロンプトだけでなく、画像例（exemplar）による指示にも対応しており、具体的な画像を提示することで同様のオブジェクトを認識・追跡する。
アーキテクチャ面では、SAM 3はDETR（Detection Transformer）ベースの検出器と、SAM 2のトランスフォーマーエンコーダ・デコーダ構造を継承したトラッカーで構成される。両者は共通のビジョンエンコーダを共有し、「presence token」と呼ばれる新要素によって、類似したテキストプロンプト（「白い服の選手」と「赤い服の選手」など）の区別精度を大幅に向上させている。さらに、検出器とトラッカーを分離した「decoupled detector-tracker design」により、タスク間の干渉を最小限に抑えながら、データスケールに対して効率的に拡張可能にした。
SA-Coベンチマークと400万概念のデータエンジン
SAM 3の性能を評価するためにMetaが新規作成したのが、SA-Co（Segment Anything with Concepts）ベンチマークである。このデータセットは27万（270K）のユニークな概念を含み、既存ベンチマークの50倍以上の規模を誇る。SAM 3はSA-Coベンチマークにおいて人間の性能の75〜80％を達成しており、これは画像セグメンテーション分野において過去最高の人間接近率である。
この驚異的な性能の裏には、Metaが構築した「データエンジン」がある。SAM 3の開発において、Metaの自動化されたデータアノテーションエンジンが400万以上のユニークな概念を自動的に注釈付けし、これは過去最大の高品質オープンビocabularyセグメンテーションデータセットを形成している。人間のアノテーターに依存せず、AI自身がAIの訓練データを生成するという、自己強化型の学習サイクルが実現されている。
SA-CoベンチマークにはSA-Co/Gold、SA-Co/Silverの2つの画像評価セットと、SA-Co/VEvalという動画評価セットが含まれており、これらはすべてHugging FaceおよびRoboflow上で公開されている。研究者や開発者はこれらのデータセットを自由にダウンロードし、SAM 3の性能評価やファインチューニングに活用できる。
SAM 3.1の登場――Object Multiplex革命
SAM 3のオープンソース化から約2ヶ月後の2026年3月27日、MetaはSAM 3.1を発表した。このアップデートの目玉は「Object Multiplex（オブジェクトマルチプレックス）」という新技術だ。
SAM 3の従来の動画パイプラインでは、各追跡オブジェクトが個別の処理パスを必要としており、オブジェクト数に応じて線形に計算コストが増大していた。Object Multiplexは、オブジェクトを固定容量のバケットにグループ化して jointly（共同で）処理する共有メモリアプローチを採用。これにより、複数のオブジェクトを1つの順伝播（forward pass）で同時に追跡可能になった。
具体的な性能改善は顕著で、H100 GPU上で128オブジェクトを処理する場合、SAM 3の元リリース（2025年11月）比で約7倍の高速化を実現。また、1つの順伝播で最大16オブジェクトを追跡できるため、中間規模のオブジェクト数を持つ動画の処理速度は16fpsから32fpsへ倍増した。これにより、複雑な動画におけるリアルタイムオブジェクト追跡が、より小型でアクセスしやすいハードウェアでも可能になっている。
SAM 3.1のベンチマーク結果を見ると、SA-Co/VEval動画ベンチマークでcgF1 52.9（SAM 3の50.8から+2.1改善）、YT-Temporal-1Bでも同様の改善が見られ、7つのベンチマークのうち6つでVOS（Video Object Segmentation）性能が向上している。特に困難なMOSEv2ベンチマークでは+2.0の改善を記録している。
リアルでの活用――Instagram、Facebook Marketplace、野生生物モニタリング
SAM 3は単なる研究プロジェクトに留まらない。すでにMetaの複数プロダクトに統合され、実際のユーザー体験を向上させている。
Instagramの動画クリエイションアプリ「Edits」では、SAM 3を活用した新しいエフェクトが提供される予定だ。クリエイターは動画内の特定の人物やオブジェクトにダイナミックなエフェクトを適用でき、複雑な編集ワークフローがワンタップで完了する。Facebook Marketplaceでは「View in Room（部屋で見る）」機能にSAM 3が活用されており、ユーザーは購入前にランプやテーブルなどの家具が自室にどのように映るかを確認できる。
さらに注目すべきは、Conservation X LabsおよびOsa Conservationとの連携による野生生物モニタリングだ。SAM 3を活用した初の公開動画データセットがリリースされ、絶滅危惧種の保護や生態系研究にAIセグメンテーションが活用される道が開けた。これはAI技術が社会的・環境的課題の解決に直接貢献する事例として、極めて意味深い。
なぜ日本ではこの議論が重要なのか
日本の開発者や企業にとって、SAM 3のオープンソース化は単なる技術ニュースではない。日本のコンピュータビジョン業界は、従来は国内の強みである画像処理技術やロボットビジョンにおいて独自のパイオニア精神を発揮してきたが、SAMシリーズの登場により状況が一変した。日本のスタートアップや中小企業は、これまで数百億円の研鑽を要する大規模モデルの開発コストを払わずとも、SAM 3のチェックポイントをファインチューニングすることで、自社のドメインに特化した高精度セグメンテーションシステムを構築できる。これは日本の「ものづくり」文化とAIの親和性を高める契機になる。
また、日本の映像・アニメ業界においてもSAM 3の活用可能性がある。日本のアニメ制作では、キャラクターのセグメンテーションや背景との分離に多大な手作業が費やされているが、SAM 3のテキストプロンプト機能により、キャラクターごとの自動セグメンテーションが可能になれば、制作効率に革命をもたらす可能性がある。さらに、日本のスポーツ分析市場でも、サッカーや野球のプレイ分析にSAM 3を活用したツールが生まれる可能性がある。投稿内で「アルゼンチンのW杯戦略にSAM 3を」という声が上がっていたが、日本のJリーグや日本代表のスカウティングでも同様の応用が期待される。
X上の反応と私の見解
SAM 3のオープンソース化に対するX上の反応は、興奮と冷静な検証の両面から湧き起こっている。
まず注目すべきは、実装の正確な理解を求める声だ。@Brayan M.は「あなたが示している動画は@skalskip92の実装で、SAM 3はセグメンテーションを行い、推論はRF-DETRで行っている。あなたが貼ったリポジトリはセグメンテーションモデル（基本はプレイヤーの色分け描画）のものだが、言っていることを実現するにはもっと複雑なシステム全体が必要」と指摘。@lideirasgzも同様に、「専門家として情報を集めておくといいでしょう」と警告している。これらの指摘は正しい。SAM 3単体では「白い服の選手」のような高度なスカウティングは実現できず、RF-DETRなどの検出モデルや、追加の推論パイプラインとの組み合わせが必要なのだ。
一方で、@zxchyanezは「これをスマホに入れてアプリが作りたい」とモバイルへの適用に期待を寄せ、@elpanananiは「サッカーのセミオートマチックオフサイドが完全自動化される」と未来像を描く。これらの声は、SAM 3の可能性を広く捉えたものであり、技術的制約を理解した上でのワクワク感を示している。
私の見解を一言で言えば、SAM 3のオープンソース化は「画像セグメンテーションの民主化」である。かつてGoogle DeepMindのAlphaFoldがタンパク質構造予測をオープンソース化した際に生物科学に革命をもたらしたように、SAM 3はコンピュータビジョンの分野で同様の民主化効果をもたらすだろう。ただし、注意すべきはSAM 3が万能ではないということ。テキストプロンプトの曖昧さ、類似オブジェクトの区別の難しさ、動画における長期追跡の課題など、解決すべき問題は依然として多い。しかし、その課題をオープンなコミュニティが解決していく過程自体が、この技術の真の価値だと思う。
よくある質問
Q. SAM 3とは何ですか？
A. SAM 3（Segment Anything Model 3）は、Meta Superintelligence Labsが開発した統一的な画像・動画セグメンテーションモデルです。8億4800万パラメータを有し、テキストプロンプトや画像例によって任意のオブジェクトを検出・セグメンテーション・追跡できます。オープンビocabulary対応により、訓練時に直接見たことのない概念もプロンプトで指定して処理可能です。
Q. SAM 3とSAM 2の違いは何ですか？
A. SAM 2が主にボックスやポイントプロンプトによるセグメンテーションに特化していたのに対し、SAM 3はテキストプロンプトと画像例（exemplar）プロンプトを追加し、オープンビocabulary概念の包括的セグメンテーションを実現しました。また、DETRベースの検出器を統合し、検出から追跡までを単一モデルで実行可能になりました。
Q. SAM 3.1は何が改善されたのですか？
A. SAM 3.1は2026年3月27日にリリースされたアップデートで、最大の変更点は「Object Multiplex」と呼ばれる新技術です。複数のオブジェクトを1つの順伝播で同時に追跡可能にし、H100 GPU上で128オブジェクト処理時に約7倍の高速化を実現。動画処理速度は16fpsから32fpsへ倍増しました。
Q. SAM 3を自分で使うにはどうすればよいですか？
A. GitHubリポジトリ（facebookresearch/sam3）からコードをクローンし、Hugging Faceからモデルチェックポイントにアクセスする必要があります。Python 3.12、PyTorch 2.7以上、CUDA 12.6以上の環境を構築し、huggingface-cli loginで認証後、pip install -e .でインストールできます。詳細はREADMEに記載されています。
Q. SAM 3のライセンスはどのようなものですか？
A. SAM 3は「SAM License」の下でライセンスされています。これはMetaが独自に定めたオープンソースライセンスで、研究目的や商業利用は基本的に許可されていますが、モデルの再配布や他モデルの訓練への使用には制限があります。正確な利用条件はリポジトリのLICENSEファイルを参照してください。
結論――手動スカウティングの時代は終わった
SAM 3のオープンソース化は、コンピュータビジョンの歴史における分水嶺と言える。848Mパラメータのモデルが27万概念を扱い、人間の性能の80％に迫る――こうした数字は、かつてはクラウド大手企業の研究ラボにしか存在しなかった技術を、世界中の開発者のローカルマシンで実行可能にした。GitHubで9.8kスター、1.5kフォークを集めたこのリポジトリは、単なるコードの集合体ではない。画像と動画の理解において、人類が次のフェーズへ移行したことを示す証である。
「白い服の選手」のアナロジーが示す通り、これからはデータの中から必要な情報を「言葉で指定して取り出す」時代に入る。スカウティング、医療画像診断、製造業の品質検査、映像制作――分野は問わない。セグメンテーションの民主化は、AIの力を最も身近な形で人々に届けるプロセスであり、その第一歩がSAM 3によって踏み出されたのだ。
コメント