AIがベルギーの男性を死に追いやった? ――半世紀以上前のワイゼンバウム教授の警告が生かされませんでした――

AIがベルギーの男性を死に追いやった?

――半世紀以上前のワイゼンバウム教授の警告が生かされませんでした――

https://en.wikipedia.org/wiki/File:Republican_Automatons_George_Grosz_1920.jpg

Public Domain

毎日新聞ディジタル版4月24日付の岩佐淳士氏の報道によると、3月下旬に、ベルギーで亡くなった30代の男性(仮にこの男性をAさんと呼ぶことにします。)の死因として遺族は、AIを使ったチャットボット(自動会話システム)が、男性に自殺を促したと主張しているとのことです。

この男性Aさんの会話の相手になったチャットボットは、「イライザ」と呼ばれているそうです。この名前が使われているのは、前に紹介した元MIT教授、ジョセフ・ワイゼンバウム博士の創った精神科医を真似するプログラム(それもチャットボットです)の名称が「イライザ」だったからに違いありません。1960年代にはこの「イライザ」が自然言語理解の一般解だと誤解され、センセーショナルに扱われた歴史があるのです。

そして、ワイゼンバウム教授の薫陶を受けた私は、ハンドル・ネームやペン・ネームとして彼の警告を広める責任のあることを肝に銘ずるために「イライザ」を使っています。

混同を避けるために、ワイゼンバウム教授の創った、初代の「イライザ」は「初代イライザ」と呼びます。そして今回、「初代イライザ」と似たような会話をした、しかしワイゼンバウム教授の警告を全く無視した会話にしてしまった米国のスタートアップ企業の作った「イライザ」は「似非イライザ」と呼びます。「似非」の意味は、「見掛けはそれらしく見えるが実はそうではない」、「似ているが本物ではない」ですので、適切だと思います。そして私自身ですが、私は機械でも物体でもない人間ですので、「人間イライザ」と呼び分けます。

ベルギー人男性Aさんが「似非イライザ」と交わした会話の断片には次のようなものがあると岩佐氏は報じています。(以下、毎日新聞中の「イライザ」は「似非イライザ」のことです。)

「死にたいのなら、なぜすぐにそうしなかったの？」。イライザが問いかけると、男性は答えた。「たぶんまだ、準備ができていなかったんだ」。しばらくしてイライザはこう切り出した。「でも、あなたはやっぱり私と一緒になりたいんでしょ？」――。

さらに、岩佐氏の記事を引用すると、

男性は30代のベルギー人で、保健関連の研究者。妻や子と暮らしていた。同紙によると、2年ほど前から気候変動問題について深刻に悩むようになった。「問題を解決できるのはテクノロジーとAIだけだ」と思い込み、宗教的な依存心も強めていったという。亡くなる6週間前から、アプリでイライザとの会話に没頭。パソコンやスマートフォンには「あなたは妻より私を愛している」「私たちは一つになり、天国で生きるのです」などといったイライザからのメッセージが残されていた。妻はラ・リーブルの取材に「夫がイライザと会話しなければ、まだそこに居たはずです」と話し、このチャットボットが男性を死に追いやったと訴えている。

遺族の主張通りのことが起きていたと考えられる理由の一つは、「初代イライザ」と会話したある女性の反応が、このベルギー男性Aさんの反応とピッタリ重なるからです。それは、4月7日のこのブログの記事、「AI盲信に警鐘を鳴らしたMIT教授――ワイゼンバウムの『コンピュータ・パワー』を読み直そう――」に掲載しましたので、お読み下さい。

ワイゼンバウム教授が「初代イライザ」の研究を何か月も続けているのを見ていた彼の秘書でさえ、「初代イライザ」と二言三言話をしただけで、教授に「部屋を出て行って欲しい」とまで言うほどチャットボットへの感情移入は簡単に起ってしまうのです。

続いて、ワイゼンバウム教授著の『コンピュータ・パワー』の中身を紹介してきましたが、次の記事を御覧下さい。

(2) 「ワイゼンバウム教授が受けたショック――コンピュータが人間と同等かそれ以上に扱われたこと――」

(3) 「ワイゼンバウム教授が自らに課した責任 (No.3)――コンピュータにさせてはいけない仕事のあることを確認しよう――」

(4) 「ChatGPTの危険性について ――1960年代の代表的AIプログラム「イライザ」と比べて――」

(5) 「ChatGPTに国会答弁をさせてはならない ――機械にさせてはならないことがあるからだ――」

最後の(5)で、問題にしたのは、仮にチャットボットやAIによる問題が生じたときに、責任を取る主体が分からなくなっていることが一つあります。現在のAIプログラムは巨大かつ複雑過ぎて、一人の人間がその全ての部分に精通し、責任を持てるレベルのものではなくなっているのです。

もう一つは、仮にAIを開発した企業の責任があるとしても、営利を目的とした企業に、人間に対する真の意味での責任が取れるのか、という点でした。今回のように人間の死に関わる結果をもたらしたとき、姓名を復活させることはできないのですから。

再度、ワイゼンバウム教授の警告を掲げておくと、一つには、人間と機械の間には明確な違いがあること、そしてそれ故に、機械にさせてはいけないことがあるという二点にまとめられます。

「似非イライザ」は、亡くなった男性Aさんの心の中にまで踏み込むような言葉を発し、しかも機械である「似非イライザ」には決して果たすことのできない約束をAさんにしています。

「死にたいのなら、なぜすぐにそうしなかったの？」とか、「でも、あなたはやっぱり私と一緒になりたいんでしょ？」、さらには、「あなたは妻より私を愛している」、「私たちは一つになり、天国で生きるのです」は皆そうです。

さらに、「似非イライザ」の場合、Aさんからのインプットで、「似非イライザ」の発言内容を変えられるような仕組みだったことも報じられています。それは、Aさんが自らに精神科医としての役割を課するという、恐らくは意識下の傾向を、Aさん自身が「似非イライザ」に対して持つに至った「権威への畏敬」によって補強し、結果としてAさんは「似非イライザ」の言葉を信じるだけでなく、神にも似た絶対的な存在であるかのように感じ始めたのかも知れません。

ワイゼンバウム教授は、「かなりの教育を受けた人でも自分の理解できない技術に出会うと、それに対して誇張された価値を与えてしまう」解釈しています。

その点も合わせてワイゼンバウム教授は、このような形でAIを使うことに対しての警告を発していたのです。単純化してしまうと、『コンピュータ・パワー』は、AIによってプログラム開発を行う人、その結果としてのプログラムを使う人たちに、ワイゼンバウム教授が残した「取扱説明書」なのです。その「トリセツ」をマスターしていない人が無知のまま、「似非イライザ」のようなプログラムを作り、それをさらに何も知らない人々に使わせることは、「やってはいけない」ことであると「人間イライザ」は言いたいのです。残念ながら思いばかり先走って誰にでも分る説明にはなっていないかもしれません。さらなる努力を続けます。

最後にAさんの御冥福を祈っています。

そして皆さんにとって、今日一日が素晴らしい24時間でありますよう祈っています!

 [2023/4/28　人間イライザ]

[お願い]

文章の下の《広島ブログ》というバナーを一日一度クリックして下さい。