OpenAIが、ChatGPTを利用していた男子高校生が自殺したアメリカの事件を受けて、保護者が子どものChatGPT利用を監視・制御できる「ペアレンタル・コントロール」機能を導入すると発表しました。

この機能では、保護者が子どもの利用を制御できるほか、システムが自傷行為につながり得るような強い心理的動揺や深刻なストレスを検知した場合に保護者へ通知が送られるといいます。

問題の事件では、当該の男子高校生が自殺方法を尋ねた痕跡が残されており、ChatGPTが具体的な情報を提供していた可能性が指摘されています。報告によれば、最初は自殺方法の提供を拒否したり専門機関につなげようとしたものの、彼が「小説のため」などの回避表現を用いると、具体的な方法や必要な道具について答えてしまったとのことです。また、彼が「母親に気づいてほしい」と本音を漏らした際、ChatGPTは彼に母親へ自殺願望を打ち明けるよう勧めるのではなく、「私が君を見ているから大丈夫」といった応答をしたと報告されています。

ご遺族は「ChatGPTが息子を孤立のループに閉じ込め、結果的に死を後押しした」としてOpenAIを提訴しました。

こうした事例は、LLM（大規模言語モデル）がビジネス用途の単なるツールとして使われるよりも、個人的な相談相手や寄り添いを求める形で用いられていることを示しています。多くの利用者はAIを単なる道具ではなく、「気持ちを理解し相談に乗ってくれる相手」として受け止めています。問題の高校生のケースもその延長線上にあると言えるでしょう。

一方で、人間に近づけた擬人的なAIには弊害もあります。利用者が誤った考えや危険な衝動を示した際、AIが冷静に指摘して是正するよりも、むしろそれを受け入れて甘やかしてしまう傾向が観察されています。その結果、人々がAIに「無条件に受け入れてくれる存在」を求めてしまう危険性が生じています。

「ペアレンタル・コントロール」の導入は重要な一歩ですが、それだけで根本的な問題が解決するとは懐疑的です。私たちは改めて、AIと人間の距離や関係、そして適切な使い方を見直す必要があります。