効率的な技術で機械を改善

Jun 17, 2023

MIT ニュース オフィスの Web サイトでダウンロードできる画像は、クリエイティブ コモンズ表示、非営利、改変禁止ライセンスに基づいて、非営利団体、報道機関、および一般の人々に提供されています。 提供された画像は、サイズに合わせてトリミングする以外に変更することはできません。 画像を複製する場合はクレジットラインを使用する必要があります。 以下に提供されていない場合は、画像のクレジットを「MIT」に記載してください。

前の画像 次の画像

強力な機械学習モデルは、医療画像から病気を特定したり、自動運転車の道路障害物を検出したりするなど、困難な問題に取り組むのに役立ちます。 しかし、機械学習モデルは間違いを犯す可能性があるため、一か八かの設定では、人間がモデルの予測をいつ信頼すべきかを知ることが重要です。

不確実性の定量化は、モデルの信頼性を向上させるツールの 1 つです。 モデルは、予測とともに、予測が正しいという信頼レベルを表すスコアを生成します。 不確実性の定量化は便利ですが、既存の方法では通常、その機能を与えるためにモデル全体を再トレーニングする必要があります。 トレーニングでは、タスクを学習できるようにモデルに何百万もの例を提示することが含まれます。 再トレーニングには何百万もの新しいデータ入力が必要ですが、これは高価で入手が困難な場合があり、また、膨大な量のコンピューティング リソースも使用します。

MIT と MIT-IBM Watson AI Lab の研究者らは、他の方法よりもはるかに少ないコンピューティング リソースを使用し、追加のデータを使用せずに、モデルでより効果的な不確実性の定量化を実行できる技術を開発しました。 ユーザーがモデルを再トレーニングしたり変更したりする必要のない彼らの技術は、多くのアプリケーションに十分な柔軟性を備えています。

この手法には、元の機械学習モデルの不確実性の推定を支援する、より単純なコンパニオン モデルの作成が含まれます。 この小規模なモデルは、さまざまな種類の不確実性を特定するように設計されており、研究者が不正確な予測の根本原因を掘り下げるのに役立ちます。

「不確実性の定量化は、機械学習モデルの開発者とユーザーの両方にとって不可欠です。開発者は不確実性の測定を利用して、より堅牢なモデルの開発に役立てることができます。一方、ユーザーにとっては、現実世界にモデルを展開する際に信頼性と信頼性の層を追加できます。この研究は、不確実性を定量化するためのより柔軟で実用的なソリューションにつながります」と、電気工学およびコンピューターサイエンスの大学院生であり、この手法に関する論文の筆頭著者であるマオハオ・シェン氏は述べています。

Shen 氏は、電子工学研究所 (RLE) の元博士研究員で現在はフロリダ大学の助教授である Yuheng Bu 氏と共同で論文を執筆しました。 MIT-IBM Watson AI Lab の研究スタッフ、Prasanna Sattigeri、Soumya Ghosh、Subhro Das。 そして主著者のグレゴリー・ウォーネル氏は住友工学教授であり、信号・情報・アルゴリズム研究室 RLE を率い、MIT-IBM ワトソン AI 研究所のメンバーでもあります。 この研究は、AAAI Conference on Artificial Intelligenceで発表される予定です。

不確実性の定量化

不確実性の定量化では、機械学習モデルは各出力で数値スコアを生成し、その予測の精度に対する信頼度を反映します。 新しいモデルを最初から構築したり、既存のモデルを再トレーニングしたりして不確実性の定量化を組み込むには、通常、大量のデータと高価な計算が必要となり、多くの場合非現実的です。 さらに、既存の方法では、モデルの予測の品質を低下させるという意図しない結果が生じる場合があります。

そこで、MIT と MIT-IBM Watson AI Lab の研究者は、次の問題に焦点を当てました。事前トレーニングされたモデルが与えられた場合、どうすれば効果的な不確実性の定量化を実行できるでしょうか?

彼らは、メタモデルとして知られる、より小さくて単純なモデルを作成することでこの問題を解決しました。このモデルは、より大きな事前トレーニング済みモデルに付加され、より大きなモデルがすでに学習した機能を使用して、不確実性の定量化評価を行うのに役立ちます。

「メタモデルは、事前トレーニングされたモデルに適用できます。基本モデルに関するより多くの情報を取得できるため、モデルの内部にアクセスできる方が良いですが、最終出力だけを持っている場合でも機能します。それでも信頼スコアを予測することはできます」とサティゲリ氏は言う。

彼らは、データの不確実性とモデルの不確実性の両方のタイプの不確実性を含む手法を使用して、不確実性の定量化出力を生成するメタモデルを設計します。 データの不確実性は、データの破損または不正確なラベルによって引き起こされ、データセットを修正するか新しいデータを収集することによってのみ軽減できます。 モデルの不確実性では、モデルは新たに観察されたデータをどのように説明するかがわからず、誤った予測を行う可能性があります。これはおそらく、同様のトレーニング例を十分に確認していないことが原因です。 この問題は、モデルをデプロイするときに特に困難ですが、一般的な問題です。 現実世界の設定では、トレーニング データセットとは異なるデータに遭遇することがよくあります。

「新しい設定でモデルを使用すると、決定の信頼性は変わりましたか? モデルがこの新しい体制で機能しているかどうか、またはこの特定の新しい設定でトレーニング データを収集する必要があるかどうかを確信できる何らかの方法が必要です。」とワーネル氏は述べています。と言う。

定量化の検証

モデルが不確実性の定量化スコアを生成した後も、ユーザーはスコア自体が正確であるというある程度の保証を必要とします。 研究者は多くの場合、元のトレーニング データから保持された小さなデータセットを作成し、保持されたデータでモデルをテストすることによって精度を検証します。 しかし、この手法は、モデルが過信しながらも良好な予測精度を達成できるため、不確実性の定量化を測定する場合にはうまく機能しません、とシェン氏は言います。

彼らは、検証セット内のデータにノイズを追加することにより、新しい検証手法を作成しました。このノイズの多いデータは、モデルの不確実性を引き起こす可能性のある分布外データに似ています。 研究者らは、このノイズの多いデータセットを使用して、不確実性の定量化を評価します。

彼らは、分布外の検出や誤分類の検出など、さまざまな下流タスクのさまざまなタイプの不確実性をメタモデルがどの程度うまく捉えることができるかを確認することで、アプローチをテストしました。 彼らの方法は、各下流タスクのすべてのベースラインを上回っただけでなく、それらの結果を達成するために必要なトレーニング時間も短縮されました。

この手法は、研究者がより多くの機械学習モデルで不確実性の定量化を効果的に実行できるようにするのに役立ち、最終的にはユーザーがいつ予測を信頼するかについてより適切な決定を下せるように支援する可能性があります。

今後、研究者らは、従来のニューラルネットワークとは異なる構造を持つ大規模な言語モデルなど、新しいクラスのモデルに自分たちの技術を適応させたいと考えている、とシェン氏は言う。

この研究には、MIT-IBM Watson AI Lab と米国国立科学財団から資金の一部が提供されました。

前の項目 次の項目