"ガンダム"でチェック!? 『 AIの実力判定法 』 とは

近年、AIによる検索や要約を日常的に使う人が増えています。ほんの1年半前は「こんなの使って安全性は大丈夫か」と恐る恐るだったのに、今では「パートナーよりAIの方が自分を理解してくれている」と言って、AIとプライベートな会話を楽しむ人も増えていると聞きます。

学習の場にもAI検索は有用で、特に理科や社会におけるワーク外のイレギュラーな質問には「ちょっと先生も調べないといい加減なこと言えないから待っててね汗」と、インターネットで調べて裏取りをしてから回答するのに一定の時間を要したものを、一瞬で分かりやすくまとめて答えてくれるので、「調べる」作業を代行してくれることほどありがたい肩代わりはありません。

しかし、ここで気をつけたいのが「ハルシネーション」と呼ばれる現象です。これはAIが、“それっぽく見えるけれど事実ではない情報（虚偽や勘違いの知識）”をいかにも本当のように出力してしまう現象です。

私自身、複数の有名AIを業務や趣味で使ってきた体感として、特に有名な３つのAIのうち、1つは調べてくれた内容の20％程度は本当かどうか定かでない場合が多いです。もう1つは10％程度事実とは異なる内容を含ませてくることが多いです。最後の1つは0％で、圧倒的な精度を誇ります。正確無比であることの理由をまたAIに尋ねると、他の2つの大手AIとは違う方式で検索して情報をまとめているからだと答えてくれました。（※いずれも課金しない無料版での調べ）

このように、現状はまだAI利用にも結局リテラシーが必要な状態でしかなく、理科や社会の細かい質問の回答については、生徒に誤情報を与えかねないものも多いのです。実際、生徒たち自身が使い始めているSNS連動型の学習用AIは、いい加減な回答を頻繁に出力しているので気をつけなければいけません。

さてそこで「本当に正確か？」を自分で簡単に試せる検証法があるので、それをお伝えします。まだ実行されていない方は、ぜひお試しください。

私はガンダムが好きなので、機動戦士ガンダムというアニメに登場する好きなキャラクターについてまとめるようにAIに指示し、そのキャラクターの生い立ちや性格、所属部隊や搭乗機の変遷、戦績などについての詳細を確認します。このように、自分が詳しく細かいところまで熟知している内容について回答させると、その精度がうかがい知れます。

特にガンダムとなると、複数のアニメシリーズにまたがって登場する人物がいたり、映画版とテレビ版、小説版、マンガ版で内容が異なるものや、外伝やゲームだけのオリジナルシナリオや設定など、多岐に渡る情報がネット上に溢れかえっているため、AIが情報を精査してまとめる能力を試験するのにうってつけです。

ハルシネーション（誤情報の含有）の問題は専門家の間でもひとつの解決課題となっていて、各企業のAIも日々アップデートされています。そのため、定期的にこのチェックを行ってみるのですが、2つの大手AIについてはいまだに1～2割の誤情報を含んでいます。難しい法律の解釈についての質問に答えさせ、その回答を法科大学院で法律を学ぶ教え子に「この回答は80点ってところですね。こっちは90点。」とその回答精度をチェックしてもらった１年半前とあまりかわっていないようだというのが私の感想です。

これに対し、「調べ方が違う」というAI（ハルシネーションを起こさないAI）の回答は、数多あるコンテンツの中からしっかり「正史のもの」「オフィシャルのもの」だけを抽出し、一切の誤情報を含まずにまとめてくれます。（情報ソースもしっかり提示してくれます。）このあとに「外伝、小説版、マンガ版、映画版、ゲームなどにおける独自の設定やストーリーだけをまとめてください。」とオーダーすると、ここでもハルシネーションが一切起きていないことが確認できました。（情報の不足はありましたが。）

ここまで徹底して誤情報の提示を防止できるAIならば、理科や社会の調べもの学習にも安心して使えます。

もしこのチェック方法をまだ試されていない方がいらっしゃいましたら、ぜひご自身の好きな分野でお気に入りのAIを試してみてください。

10代の頃や、また生まれた時からこのようなツールが存在する世代の学習方法は、私たち大人が経験してきたものと比べれば、何もかもが違っていきそうですね。

（※AIの進化は日進月歩で、各サービスの精度や方針も変化します。本記事では特定のサービス名を記載していませんが、どなたでも自分の得意分野で同じ方法が使えますので、ぜひお試しください。「気になる」という方はお気軽にご連絡いただければ情報交換させていただきます。）