機械への信頼を強化

Jan 15, 2024

前の画像 次の画像

確率的機械学習手法は、データ分析におけるますます強力なツールとなり、選挙結果の予測から貧困対策への少額融資の影響の予測に至るまで、分野や用途を超えたさまざまな重要な決定に情報を提供します。

このクラスのメソッドは、確率論の洗練された概念を使用して、意思決定における不確実性を処理します。 しかし、数学は、その精度と有効性を判断する上でのパズルの 1 ピースにすぎません。 典型的なデータ分析では、研究者は多くの主観的な選択を行ったり、潜在的に人為的エラーが発生したりする可能性があり、これらの方法に基づく意思決定の質に対するユーザーの信頼を育むためには、それらも評価する必要があります。

この問題に対処するために、MIT のコンピュータ科学者タマラ ブロデリック氏、電気工学およびコンピュータ サイエンス学科 (EECS) 准教授、情報意思決定システム研究所 (LIDS) のメンバーと研究者チームが分類システムを開発しました。 — 「信頼の分類法」 — データ分析において信頼が崩れる可能性がある場所を定義し、各ステップで信頼を強化する戦略を特定します。 このプロジェクトの他の研究者は、ケンタッキー大学のアンナ・スミス教授、コロンビア大学のティアン・ジェン教授とアンドリュー・ゲルマン教授、ロンドン・スクール・オブ・エコノミクスのレイチェル・ミーガー教授です。 チームの希望は、すでに十分に研究されている懸念事項と、さらに注意が必要な懸念事項を明らかにすることです。

Science Advances 誌に 2 月に掲載された論文の中で、研究者らはまず、信頼が崩れる可能性があるデータ分析プロセスの手順を詳しく説明しています。分析者は、どのデータを収集するか、どのモデルまたは数学的表現が実際のデータを最もよく反映しているかを選択します。 -人生の問題、または答えようとしている質問。 モデルに適合するアルゴリズムを選択し、コードを使用してそれらのアルゴリズムを実行します。 これらの各ステップでは、信頼の構築に関して独自の課題が生じます。 一部のコンポーネントは、測定可能な方法で精度をチェックできます。 たとえば、「コードにバグはありますか?」という質問は、客観的な基準に照らしてテストできる質問です。 また、問題がより主観的であり、明確な答えがない場合もあります。 アナリストは、データを収集し、モデルが現実世界を反映しているかどうかを判断するための数多くの戦略に直面しています。

「この分類法を作って良いと思うのは、人々がどこに注目しているのかを本当に強調できることです。多くの研究は当然、このレベルの「私のアルゴリズムは特定の数学的問題を解決しているか?」に焦点を当てていると思います。 たとえそれが難しい問題であっても、それが非常に客観的だからという理由もある」とブロデリック氏は言う。

「『重要な応用問題を特定の方法で数学化するのは合理的か?』に答えるのは非常に難しいと思います。 それはどういうわけかより難しい領域に入りつつあるため、もはや単なる数学の問題ではありません。」

現実の生活をモデルに取り込む

信頼が崩壊する場所を分類する研究者の研究は、抽象的に見えるかもしれませんが、現実世界の応用に根ざしています。

この論文の共著者であるミージャー氏は、マイクロファイナンスが地域社会にプラスの効果をもたらすことができるかどうかを分析した。 このプロジェクトは、信頼が崩れる可能性がある場所と、そのリスクを軽減する方法についてのケーススタディとなりました。

一見すると、マイクロファイナンスの影響を測定することは簡単な取り組みのように思えるかもしれません。 しかし、他の分析と同様に、研究者はプロセスの各段階で、結果に対する信頼に影響を与える可能性のある課題に直面します。 マイクロファイナンス（個人や中小企業が従来の銀行業務の代わりに少額融資やその他の金融サービスを受けるサービス）は、プログラムに応じてさまざまなサービスを提供できます。 分析のためにミーガー氏は、メキシコ、モンゴル、ボスニア、フィリピンなど、世界中の国々のマイクロファイナンス プログラムからデータセットを収集しました。

この場合、複数の国、異なる文化や地域にまたがる、顕著に異なるデータセットを組み合わせる場合、研究者は、特定のケーススタディがより広範な傾向を反映できるかどうかを評価する必要があります。 手持ちのデータをコンテキスト化することも重要です。 たとえば、メキシコの田舎ではヤギの飼育が投資としてみなされる場合があります。

「個人の生活の質を測るのは難しい。人々は『中小企業の事業利益はいくらか』といったものを測る。 または、「世帯の消費レベルはどれくらいですか?」 最終的に本当に重視しているものと、測定しているものの間には不一致が生じる可能性があります」とブロデリック氏は言います。 「数学的なレベルに到達する前に、どのようなデータとどのような仮定に基づいているのでしょうか?」

アナリストはデータを入手して、答えたい現実世界の質問を定義する必要があります。 マイクロファイナンスのメリットを評価する場合、アナリストは何がプラスの結果と考えるかを定義する必要があります。 たとえば、マイクロファイナンス プログラムが導入されている地域社会において、企業ごとの平均経済的利益を測定することは経済学の標準です。 しかし、平均値を報告すると、たとえコミュニティ全体ではなく、少数 (または 1 人) だけが恩恵を受けたとしても、正味のプラスの効果が示唆される可能性があります。

「あなたが本当に望んでいたのは、多くの人が恩恵を受けられるということでした」とブロデリック氏は言う。 「簡単なことのように聞こえます。なぜ、私たちが関心を持っていたものを測定しなかったのでしょうか? しかし、多くの理由から、実践者が標準の機械学習ツールを使用するのは非常に一般的だと思います。そして、これらのツールは、必ずしもそうではないプロキシを報告する可能性があります。ご興味の数量に同意します。」

アナリストは、特に多くの時間をかけて徹底的に学習した後は、意識的または無意識的に、使い慣れたモデルを好む場合があります。 「非標準的な手法を正しく使用できるかどうか確信が持てないため、非標準的な手法を試すことをためらう人もいるかもしれません。あるいは、たとえ研究者が非標準的な手法を使いたいとしても、ピアレビューでは特定の使い慣れた手法が好まれるかもしれません」とブロデリック氏は言う。 「社会学的には多くの理由があります。しかし、これは信頼に対する懸念となる可能性があります。」

最後のステップ、コードのチェック

現実の問題をモデルに抽出することは大局的で不定形な問題になる可能性がある一方で、アルゴリズムを実行するコードのチェックは「平凡」に感じられる場合があるとブロデリック氏は言います。 しかし、これも信頼を強化できる、見落とされがちな領域です。

場合によっては、特に標準のソフトウェア パッケージを使用するオプションがある場合、アルゴリズムを実行するコーディング パイプラインのチェックはアナリストの業務範囲外とみなされることがあります。

バグを発見する 1 つの方法は、コードが再現可能かどうかをテストすることです。 ただし、分野によっては、公開された作品と一緒にコードを共有することが必ずしも要件または標準であるとは限りません。 時間の経過とともにモデルが複雑になるにつれて、コードを最初から再作成することが難しくなります。 モデルを再現することは困難になるか、不可能になります。

「すべてのジャーナルがコードの公開を要求するところから始めましょう。完全な二重チェックが行われていない可能性もあり、すべてが完全に完璧というわけではありませんが、そこから始めましょう」とブロデリック氏は、信頼を築くための 1 つのステップとして言います。

論文の共著者であるゲルマン氏は、州および全国の世論調査をリアルタイムで使用して 2020 年の米国大統領選挙を予測する分析に取り組みました。 チームはエコノミスト誌に毎日の最新情報を掲載すると同時に、誰でもダウンロードして自分で実行できるようにコードをオンラインで公開しました。 シーズンを通して部外者がモデルのバグと概念的な問題の両方を指摘し、最終的にはより強力な分析に貢献しました。

研究者らは、完璧なモデルを作成する唯一の解決策はないものの、アナリストや科学者にはほぼあらゆる場面で信頼を強化する機会があることを認めています。

ブロデリック氏は、「これらのことのどれもが完璧であるとは期待していないと思います。しかし、より良いもの、あるいは可能な限り良好なものであることは期待できると思います。」と述べています。

前の項目 次の項目