Trustworthy AIコラム【後編】AIの品質を検査するTrustworthy AI技術の実践テクニカルレポート

R&D本部 先進技術開発部（以下、当部）の大田です。本稿の前編となる「なぜ今「信頼できるAI」が必要なのか Trustworthy AIの背景と基本概念」では、AI技術が持つ性質に起因するリスクと、精度だけではAIの品質を保証できないことをお伝えしました。こうした課題に対して当部がどのようなアプローチで取り組んでいるか、具体的な検査技術についてご紹介します。

当部がAIを開発する上で、特に重要視しているのが次の3つのリスクです。AIが特定の対象に不当に不利な判断をする公平性上のリスク、AIの改善／更新や運用環境の変動により安定した性能を保てなくなる頑健性上のリスク、そしてAIの判断根拠となるデータや過程を人が理解／説明できない説明可能性上のリスクです。これらのリスクに対処し、AIの信頼性を多角的に確保する考え方が、前編でご紹介したTrustworthy AIです。ただし、その標準的な定義は2026年現在もまだ確立されていません。

そこで当部では、Trustworthy AIを次のように定義しています。
“さまざまなデータに対して公平で、さまざまな変動に対して頑健で、かつその出力を人が理解できるAI”

この定義に基づき、当部では3つの観点を軸にAIの品質を検査する仕組みを開発しています。ただし、同じ「公平性」や「頑健性」という観点でも、AIが解くタスクが異なればデータ形式や評価指標も変わるため、タスクごとに検査を設計しています。

以下では、公平性／頑健性は表形式データの分類タスクを例に、説明可能性は物体検出タスクを例に検査技術を紹介します。
​なお、表形式データの分類タスクとは、表形式で整理されたデータをもとに、AIが各レコードのカテゴリを予測するタスクです。本稿では、申込者の年収や勤続年数、取引履歴などの情報から融資の可否を判定する「与信判定」を題材にします。

AIの「公平性」とは、データやアルゴリズムに起因する不当な偏りを生じさせないことを指します。
​従来のAI評価では、評価データ全体に対する精度（例えばaccuracy）でAIの性能を判断するのが一般的です。しかし、全体精度が十分でも、特定の属性を持つデータに対してだけ精度が低い場合、その偏りは全体の数値に埋もれて見逃されてしまいます。

そこで当部の表形式データの分類タスク用Trustworthy AI検査では、説明変数（AIが予測を行う際に判断材料として用いるデータ項目）の値や区間ごとに精度を集計し、データセット全体と比較して大きく低下している区間を検出します。

図2では、説明変数”申込者区分”を含む架空の与信判定データの例を示しています。データ全体の精度は0.75ですが、説明変数”申込者区分”でデータを分けて評価した時、グループAは1.00、グループBは0.50となり、グループBの精度が全体の精度よりも低下していることが検出されています。

精度の低い区間が特定できた場合は、該当するレコードを確認し、学習データの件数やラベル分布に偏りがないかを分析します。
​なお、本検査は差別や不当性を直接断定するものではなく、追加確認が必要な偏りの候補を発見することを目的としています。

AIの「頑健性」とは、入力データにわずかな変動がある場合も、安定した性能を維持できる性質です。実運用では学習時と同じ条件のデータだけが入力されるとは限らないため、微小な値の変化で精度が低下するAIは不安定な判断を行うリスクがあります。

同検査では、評価データの説明変数に微小なノイズを付与し、精度がどの程度変化するかを調査します（図3）。全変数にまとめて付与する方法と1変数ずつ付与する方法があり、どの変数が予測に影響しやすいかも確認できます。図3の例ではノイズ付与後も精度低下は小さく、一定のノイズ耐性があると判断されています。

続いて、説明可能性は、ネットワークカメラで撮影したイチゴ圃場の画像データセットを用いたイチゴの花／果実の物体検出タスクの例で紹介します。
​なお、物体検出とは、画像中の対象物の位置と種類（クラス）を認識するタスクです。学習データには、各対象物の矩形とクラスがセットになる正解ラベルが付与されています。

AIの「説明可能性」とは、AIの判断の根拠を人が理解できる状態にあることです。画像を扱うAIの判断根拠を解釈する手法としては、例えばGrad-CAMのようにAIが注目した領域をヒートマップで可視化する方法が知られています。しかし、このようなヒートマップが示すのはAIがどこに注目したかであり、図4の通り、なぜそのクラスと判断したかまでは明らかにできず、誤判定の原因は説明できないままです。

そこで当部では、AIの誤判定の原因を学習データ側から説明するアプローチとして、クラスラベル付け間違い検出の検査に取り組んでいます。

学習データの正解ラベルの誤りはAIの品質を根本から損なう要因ですが、図5のような正解ラベル情報を数千～数万枚の画像を目視で再確認するのは現実的ではありません。

そこでクラスラベル付け間違い検出では、AIの予測結果と正解クラスラベルの不整合度を統計的に算出し、クラスラベル誤りの候補を自動提示します。
​図6に検査結果例を示しています。成熟度1のイチゴ（fruit_1クラス）とラベルされた矩形が実際はイチゴの花（flowerクラス）ではないかと、そのクラスの画像例とともに提示しています。

AI開発エンジニアは提示された候補を確認し、AIの誤判定の要因を学習データから説明可能な状態にするとともに、クラスラベルの修正によるデータ品質の改善を行います。

本稿では、公平性／頑健性／説明可能性の3つの観点から、当部のAI品質を検査する具体的な技術を紹介しました。
​Trustworthy AIを実現するには、こうした検査技術を継続的に発展させ、開発プロセスに根づかせていくことが重要です。当部では今後、適用範囲をセマンティックセグメンテーション（領域分割）タスクや良品学習（異常検知）タスクへと拡大するとともに、品質判断を属人的な経験に依存させず改善を回せる仕組みを整え、信頼性の高いAIの開発を推進してまいります。