AI開発を加速する学習データ選択支援ツール「Active Learning tool」- データの質で勝負する時代へ

マッピングの基本的な見方

• ドットの意味:
  グラフ上の1つ1つの点は、1枚の画像データに対応しています。
• 色の意味:
  数字の種類ごとに色分けされています。同じ数字のデータが近くに集まることで、クラスタと呼ばれる塊が形成されます。
• 距離の意味:
  2次元平面上で近くに位置している点ほど、AIが「形や特徴が似ている」と判断したデータであることを示します。

この図から読み取れるAIの「思考」

• クラスタの分離
  0や1のように、他の色から離れて独立した塊を作っている数字は、AIにとって特徴がはっきりしており、識別しやすいデータです。
• クラスタの重なり
  3と8、あるいは4と9の境界部分では、色が入り混じっている領域が見られます。こうした場所は、AIが「形が似ていて見分けにくい」と感じている領域です。ここが誤認識を招きやすい弱点になります。
• 孤立した点
  大きな塊から離れて存在する点は、書き癖が強い数字や、ノイズを含んだ特殊なデータである可能性があります。

不確実性の特定

物体検出では、モデルが迷っているデータほど、推論を繰り返した際に結果が安定しにくくなる傾向があります。

• マップ上でクラスタが入り混じる境界領域のデータは、不確実性が高くなる傾向があります。
• このようなデータを優先的に抽出して追加学習させることで、最小限のデータ量で効率よく精度を向上させます。

クラスタギャップの補完

学習済みデータの分布と未学習データの分布を重ねて表示すると、既存クラスタの間に「空白地帯」が見えてきます。

この空白を埋めるデータを集中的に学習させることで、モデルの死角を減らし、コーナーケースに強い頑健なAIへと近づけることができます。

t-SNEによる可視化は、ブラックボックスになりやすいAIの特徴量の捉え方を地図のように示すものです。この地図上で、不確実性が高い領域を狙って学習させることが、高精度なモデル開発への近道になります。

解析データの算出（不確実性の定量化）

学習済みモデルに複数の入力データを与えて推論を行い、各データに対して特徴量データと不確実性指標データを算出します。

本ツールの物体検出プロセスでは、モデルの迷いを把握するために、推論結果のばらつきに着目した不確実性指標を用いています。

ここでいう不確実性とは、モデルがその入力に対してどれだけ安定して判断できているかを表す考え方です。たとえば、推論時にDropoutを有効にした状態で複数回推論を行うと、学習済みモデルが十分に理解できている対象では出力が比較的安定しやすくなります。 一方で、学習が不足しているパターンやコーナーケースでは、推論ごとの出力傾向にばらつきが見られる場合があります。

本ツールでは、このような変動を不確実性の把握に活用しています。出力が大きく揺らぐデータは、モデルが十分な確信を持てていない可能性があり、追加学習の候補として有効です。

次元削減によるデータ分布の表示

高次元の特徴量データを、人が理解しやすい2次元や3次元へ圧縮することで、数万件のデータをマップ上の点として俯瞰できるようにします。次元削減の手法としては、t-SNEやUMAPなどを利用できます。

以下の画面も、Active Learning toolの開発中画面の例です。2次元平面上にプロットされた各ドットをクリックすることで、実際の画像と詳細データを確認できます。不確実性指標であるUncや、周辺密度を表すDenも合わせて参照可能です。

戦略的なフィルタリング表示

特定ラベルの強調表示や、不確実性指標が高い順での抽出に対応しており、「AIが苦手な画像だけを集めて重点的に強化する」といった使い方が可能です。

以下も、Active Learning toolの開発中画面の例です。画像カテゴリごとにフィルタをかけ、対象データを強調表示できます

↑carのラベルにフィルタした様子。比較的右上にデータが集まっている分布に見える。

↑personにフィルタした様子。比較的左下にデータが集まっている分布に見える。

↑car_person（車と人が混在している画像）のラベルにフィルタした様子。全体的に均一にデータが集まっている分布に見える。

既学習データとの統合表示

既学習データと未学習データを同時に表示することで、学習済み領域の間に存在する未学習の空白地帯を発見できます。この領域を優先的に補強することで、モデルの死角を減らし、認識精度を効率よく向上させることができます。

以下は、COCOデータを用いてt-SNEによるマッピングを行い、条件ごとに赤色で強調表示した例です。こちらもActive Learning toolの開発中画面です。

• All：全て
• Car_Person：車と人が混在
• Person：人のみ
• Car：車のみ

Allでは、全体の分布傾向を俯瞰できます。
Car_Personでは、分布全体に点が存在しており、車と人が同時に含まれるデータが広い特徴領域にまたがっていることが分かります。さらに、左上には大きなデータ群から少し距離を置いたサブクラスタのような分布も見られます。
Personは右上に多く分布する傾向が見られます。
Carは左下に多く分布する傾向が見られます。

このように分布を確認した上で、たとえばサブクラスタ周辺の画像を重点的に確認し、その領域のデータを新たに追加したり、Augmentationを実施して汎用性を高めたりすることが可能です。

その他機能

• 不確実性指標によるフィルタ機能
• 不確実性指標順での次期学習データ候補抽出機能
• mAP@0.5 / @0.9順での次期学習データ候補抽出機能
• 各データの詳細プレビュー確認、手動抽出機能

以下も、Active Learning toolの開発中画面の例です。