大規模な言語モデルが高等教育の未来に挑戦する

Jan 15, 2024

Nature Machine Intelligence volume 5、pages 333–334 (2023)この記事を引用する

5221 アクセス

1 引用

20 オルトメトリック

メトリクスの詳細

ChatGPT は、対話形式でテキストを生成する大規模言語モデル (LLM) に基づいたチャットボットです。 これは 2022 年 12 月に OpenAI によって一般公開され、エッセイや課題を書くのに使用できる、洗練された自信に満ちた響きのテキストを作成する機能が高等教育分野に衝撃を与えました。 現時点では、合格点を達成するのに十分な能力のみの解答1を生成できますが、有名なライセンス試験の合格サンプル問題を含む、いくつかの主題分野にわたる多肢選択式の質問に正しく答えることができます。 このようなアプリケーションの進歩の速さは、ChatGPT の大幅に改良された後継版が間もなくリリースされることを想像するのに難しくありません。

そこで生じる問題の 1 つは、高等教育が対応すべきかどうか、またどのように対応すべきかということです。 大学はその使用を禁止すべきでしょうか? それとも、学者は代わりに、言語モデルが専門的なツールキットに不可欠になることを受け入れ、それを私たちの教育と評価の実践に組み込むべきでしょうか?

実用的なレベルでは、LLM ベースのツールの使用を許可すると、評価の構造に影響を与える可能性があります。 そして、職業上の行為のレベルでは、LLM によって作成されたテキストの使用は盗作と同等であるという感情を多くの人が共有しています。 大学はすでに他の手段による盗作を制裁する厳しい罰則を設けているため、LLMにもそれを拡大するのは自然なことのように思われる。 ただし、このアプローチの問題は、強制するのが難しいことです。 コピーアンドペーストや言い換えとは異なり、LLM は単一のソースを追跡できない新しいテキストを生成します。LLM を利用した不正行為の可能性をチェックするソフトウェアがリリースされていますが (参考文献 2)、その信頼性は低いようです。今。 さらに、急速に進化する LLM に直面すると、検出ソフトウェアをアップグレードしようとしても失敗する可能性が高くなります3。

一部の大学の別の反応は、主要な評価方法として昔ながらの紙とペンによる監視なしの試験に（少なくとも一時的に）戻ることです。 このソリューションは、短期的には LLM 関連の不正行為を大幅に削減しますが、持続可能であったり、広く適用できるものである可能性は低いです。 このアプローチは、学生が物理的に存在する従来の教育機関でのみ使用でき、新型コロナウイルス感染症の世界的なパンデミックによって引き起こされた高等教育4の提供と評価におけるデジタル変革に関しては逆行的な動きです。 筆記による評価を口頭試験に変えることは、デジタル環境により適している可能性がありますが、これには信頼性、妥当性、拡張性の懸念が伴います。

LLM に対する 3 番目のタイプの反応であり、おそらく唯一持続可能なものは、本誌の最近の社説 5 で想定されており、資格に関する国際バカロレアの最近の発表 6 と一致するように、LLM に適応して受け入れることです。 生徒を指導したり評価したりする際に、ChatGPT を使って実験したり創造性を発揮したりできる可能性は数多くあります。 しかし、ChatGPT (または同様の私有アプリケーション) を標準的な慣行の一部として採用すると、大学の運営上、財務上、教育上および倫理上にマイナスの影響を与える重大なリスクが生じます。 特に、OpenAI には、そのモデルのメンテナンスとアクセスに関して教育機関のニーズに応える義務がないため、これが評価の一部となる場合には基本的な運用上の問題が発生します。

LLM を学習ツールとして受け入れることの長期的な教育学的影響も考慮する必要があります。 アカデミックライティングの練習は、論理的議論と批判的思考7 (皮肉なことに、LLM の成果を評価するために必要なスキルです) を教え、評価する一般的な方法です。 外国語を話す生徒や教育的に不利な立場にある生徒が最も影響を受ける可能性が高く、教育者はよく書かれ論じられた文章を作成する方法を学ぶことにはあまり重点を置いていない。 これは、学生が卒業してLLMが利用できない、または役に立たない労働環境に放り込まれると、社会的な分断を強化し、社会的流動性を低下させることになる可能性があります。

もう 1 つの課題は、教育者がモデル、つまりモデルがどのようにトレーニングされ、どのデータに基づいて信頼できるかということです。 LLM によって生成されるテキストは、トレーニング データのパターン 8 を反映しています。 教育での使用は、文書化して是正することが気づかぬうちに困難な方法で、表現上の危害をさらに定着させる可能性があります9。 OpenAI は、事実に基づくプロンプトに対する ChatGPT の精度の向上と、有害なコンテンツの緩和においてある程度の進歩を遂げました。 しかし、このエンジニアリングの限界をテストすることは不可能であり、有害なコンテンツを閲覧してラベルを付ける業務を請け負っているデータ ワーカーの労働を搾取するという代償を払っていることが明らかになりました 10。 ChatGPT を教育に採用する教育者は、これらの有害で搾取的な行為を暗黙のうちに検証することになります。

最後に、特に何百もの大学のネットゼロと低炭素への取り組みを考慮すると、LLM の運営に必要なリソースについて懸念する必要があります。 最近の記事では、ChatGPT の 1 日あたりの二酸化炭素排出量は約 23 kg CO2e と推定されており、これはユーロスターでのロンドンからパリへの 1 回の往復とほぼ同じですが、これにはモデルのトレーニングのコストは含まれていません。 これは比較的小さいように見えるかもしれませんが、テクノロジーが普及するにつれて急速に増加します。 したがって、教育機関は、その使用から得られる価値が明らかに環境コストを超えない限り、その運用が気候危機に積極的に寄与しているモデルを使用するよう生徒に求めるよう留意すべきである。

こうした課題を踏まえて、学者は何ができるでしょうか? 1 つのステップとして、BigScience プロジェクトのようなオープンで利害関係者主導の取り組みと協力して、公的資金による LLM を創設することが考えられます。 このようなモデルは教育現場向けに特別に開発され、人的コストと環境コストに関して監査可能で透明性を確保できます。 これには、将来を見据えたビジョン、多額​​の投資、教育機関とその資金提供者の積極的な関与とロビー活動が必要となります。 ChatGPT やその他の LLM ツールに対する興奮は、AI 時代の教育の基準を誰が所有し、設定するのかという大きな政治的問題を予感させます。

チョイ、JH、ヒックマン、KE、モナハン、A.、シュワルツ、D. SSRN https://doi.org/10.2139/ssrn.4335905 (2023)。

記事 Google Scholar

Heikkilä, M. AI が生成したテキストを見つける方法。 MIT テクノロジー レビュー https://www.technologyreview.com/2022/12/19/1065596/how-to-spot-ai-generated-text/ (2022)。

ネイチャー 613、612–612 (2023)。

ガルシア＝モラレス、VJ、ガリド＝モレノ、A.、マルティン＝ロハス、R.フロント。 サイコ。 12、(2021)。

ナット。 マッハ。 インテル。 5、1 (2023)。

ヒル、C. & ロートン、WJ 高。 教育する。 政策管理者 40、598–610 (2018)。

記事 Google Scholar

リュー、F. & ステープルトン、P. 評価。 書き込み。 38、10–20 (2018)。

記事 Google Scholar

Bender, EM、Gebru, T.、McMillan-Major, A. & Shmitchell, S.、「公平性、説明責任、透明性に関する 2021 ACM 会議議事録」610-623 (ACM、2021)。

ヴァイディンガー、L.ら。 arXiv http://arxiv.org/abs/2112.04359 (2021) でプレプリント。

時間。 独占記事: ChatGPT をより安全にした時給 2 ドルの労働者。 時間 https://time.com/6247678/openai-chatgpt-kenya-workers/ (2023 年 1 月 18 日)。

リファレンスをダウンロードする

エクセター生命科学研究センター (Egenis)、エクセター大学、エクセター、英国

シルビア・ミラノ & サビーナ・レオネッリ

メルボルン大学教育大学院メルボルン、メルボルン、ビクトリア州、オーストラリア

ジョシュア・A・マクグレン

PubMed Google Scholar でこの著者を検索することもできます

PubMed Google Scholar でこの著者を検索することもできます

PubMed Google Scholar でこの著者を検索することもできます

シルビア・ミラノへの通信。

著者らは競合する利害関係を宣言していません。

Nature Machine Intelligence は、この研究の査読に貢献してくれた匿名の査読者に感謝します。

転載と許可

Milano, S.、McGrane, JA & Leonelli, S. 大規模な言語モデルが高等教育の将来に挑戦します。 Night March Intell 5、333–334 (2023)。 https://doi.org/10.1038/s42256-023-00644-2

引用をダウンロード

発行日: 2023 年 3 月 31 日

発行日：2023年4月

DOI: https://doi.org/10.1038/s42256-023-00644-2

次のリンクを共有すると、誰でもこのコンテンツを読むことができます。

申し訳ございませんが、現在この記事の共有リンクは利用できません。

Springer Nature SharedIt コンテンツ共有イニシアチブによって提供