ChatGPT は米国の医師免許試験に（ほぼ）合格できます

May 13, 2023

ChatGPT は、米国医師免許試験 (USMLE) の合格基準点の約 60% またはその付近のスコアを獲得できます。回答には一貫性があり、内的意味があり、頻繁に洞察が含まれています。研究によるとTiffany Kung、Victor Tseng、および AnsibleHealth の同僚により、オープンアクセス ジャーナル PLOS Digital Health に 2023 年 2 月 9 日に掲載されました。

ChatGPT は、大規模言語モデル (LLM) として知られる新しい人工知能 (AI) システムで、今後の単語シーケンスを予測することで人間のような文章を生成するように設計されています。 ほとんどのチャットボットとは異なり、ChatGPT はインターネットを検索できません。 代わりに、内部プロセスによって予測された単語の関係を使用してテキストを生成します。

Kung らは、米国の医師免許に必要な 3 つの試験 (ステップ 1、2CK、および 3) からなる高度に標準化され規制された一連の試験である USMLE で ChatGPT のパフォーマンスをテストしました。 USMLE は医学生と研修中の医師が受講し、生化学から診断推論、生命倫理に至るまで、ほとんどの医学分野にわたる知識を評価します。

画像ベースの質問を削除するためのスクリーニングの後、著者らは、2022 年 6 月の USMLE リリースで利用可能な 376 の公開質問のうち 350 についてソフトウェアをテストしました。

不確定な回答が削除された後、ChatGPT は 3 つの USMLE 試験全体で 52.4% ～ 75.0% のスコアを獲得しました。 毎年の合格基準は約 60% です。 ChatGPT はまた、すべての応答にわたって 94.6% の一致を示し、応答の 88.9% について少なくとも 1 つの重要な洞察 (新しく、明白ではなく、臨床的に有効なもの) を生成しました。 特に、ChatGPT は、生物医学分野の文献のみでトレーニングされた対応モデルである PubMedGPT のパフォーマンスを上回り、USMLE スタイルの質問の古いデータセットで 50.8 パーセントのスコアを獲得しました。

入力サイズが比較的小さいため、分析の深さと範囲は制限されましたが、著者らは、その結果が医学教育、ひいては臨床実践を強化するChatGPTの可能性を垣間見せてくれると指摘しています。 たとえば、AnsibleHealth の臨床医はすでに ChatGPT を使用して、患者が理解しやすいように専門用語が多いレポートを書き直している、と彼らは付け加えています。

「この難関として悪名高い専門家試験で合格点に達し、人的支援なしでそれを達成できたことは、臨床 AI の成熟における注目すべきマイルストーンとなる」と著者らは述べています。

著者のティファニー・クン博士は、この研究におけるChatGPTの役割は研究対象を超えていると付け加えた:「ChatGPTは[私たちの]原稿の執筆に大きく貢献しました...私たちは同僚のようにChatGPTと対話し、合成、簡略化、そして進行中の草案に対する反論を提供します...共著者全員が ChatGPT の意見を尊重しました。」

- このプレスリリースはPLOSから提供されました