難しさは、経験した人にしか見えない — AIが安くしたのは「作る」で、「難しさを測る」は据え置きだった

先日、ある案件の懇親会で、ITにはあまり詳しくないという担当者の方と話していました。その方が、こんなことを言ったんです。

「業務の中で困りごとが出てくると、こういうシステムがあればいいのに、って思いつくんですよ。AIも進んでるし、自分のアイデアで簡単に作れそうな気もするんですけど…、実際は、そんな簡単じゃないんですよね」

最後の語尾が、少し濁っていました。僕は、この濁り方がずっと心に残っています。

なぜかというと、事実として「そんな簡単じゃない」は、その通りだからです。だからこそSEやプログラマという専門職がある。でも同時に、この方はとても正直で、鋭いとも思ったんです。「簡単そう」と感じながら、「でも簡単じゃなさそう」と踏みとどまれている。この踏みとどまりは、実はそれ自体がひとつの階段を登った状態なんじゃないか。今日は、その「簡単そう」の正体と、その裏に張りついているものについて書いてみます。

「作る」は、本当に安くなった

先に、はっきり言っておきたいことがあります。「AIで簡単に作れそう」という感覚は、幻想ではありません。実際に、作るは安くなりました。

僕の知人に、AIを使いはじめてから、自分の手でどんどん形にするようになった人がいます。エンジニアではありません。それでも、自分のホームページを立ち上げ、事業の説明資料を作り、発信の中身を整えていく。少し前なら、どれも「専門家に頼む」か「何ヶ月も勉強する」しかなかったものです。それを、AIを相棒にして、自分で回している。

これは、素直にすごいことだと思います。「作る」という行為の表面は、本当に平らになった。誰でもスタートラインに立てるようになった。だから、冒頭の担当者の方が「自分でも作れそう」と感じるのは、正しいんです。感覚が間違っているわけじゃない。

問題は、平らになったのが「作る」の表面だけだった、というところにあります。地面が全部平らになったわけではなかった。

それでも「簡単そう」には、正体がある

人が「これは簡単そうだ」と感じるとき、その感覚には、ちゃんと認知科学の名前がついています。説明深度の錯覚（Illusion of Explanatory Depth） と呼ばれるものです。

2002年、認知科学者のレオニード・ローゼンブリットとフランク・カイルが、面白い実験をしています（Rozenblit & Keil, 2002, Cognitive Science）。人に、ファスナーや水洗トイレの仕組みを「どれくらい理解しているか」を自己採点してもらう。多くの人が「まあ、わかっている」と答えます。ところが、「では、その仕組みを順を追って説明してください」と書かせると、途中で詰まる。そこで初めて、自分の理解が思っていたより浅かったことに気づくんです。

面白いのは、この錯覚が「手順」や「事実」の知識より、「仕組み」の知識で強く出ることでした。トイレは毎日見ている。レバーを押せば流れる。だから「わかっている」と感じる。でも、なぜ流れるかを説明できるかは、別の話だった。

「AIで簡単に作れそう」も、これと同じ構造だと思うんです。画面の向こうで、AIがコードを書き、それらしいものが動く。動くところは見えている。だから「わかる、作れる」と感じる。でも、その裏で何が起きていないか（あるいは起きてしまっているか）は、説明を書かされるまで見えない。

しかも厄介なことに、AIはこの錯覚を、増幅する方向に働きます。

スタンフォードの研究者たちが、こんな実験をしています（Perry ほか, 2023, ACM CCS）。AIアシスタントを使ってコードを書く人と、使わずに書く人を比べたんです。結果、AIを使った人のほうが、安全性の低いコードを書いていました。ここまでは、まあわかる。問題はその次です。AIを使った人ほど、「自分は安全なコードを書けた」と信じる傾向が強かった。

出来の悪さと、出来たという自信が、逆向きに開いていく。これは、今回の話のど真ん中にある現象です。AIは「できた」という手ざわりを、実際の中身よりも先に、しかも強く与えてしまう。だから「簡単そう」は、AI時代にむしろ濃くなっている。冒頭の担当者の方が語尾を濁せたのは、この濃い霧の中で踏みとどまれていた、ということなんです。

難しさは、経験した人にしか見えない

では、その「見えていないレイヤー」は、誰になら見えるのか。経験した人にだけです。

具体的な話をします。少し前に、ある方に頼まれて、動画を作る小さなツールのプロトタイプを渡しました。渡したあと、その方から「これって、みんなで画像とか共有される感じですか」と聞かれたんです。僕は、ほとんど反射で答えました。「いや、これは誰でも開けるURLなので、保存や共有の機能はあえて付けていないんです。知らない第三者に取られてしまう危険があるので」と。

この「危険がある」は、僕にとっては考えて出したものではなくて、反射でした。相手には見えていなかったレイヤーが、僕にはパッと見えた。（このあたりの、何を守るべきかという話は、以前守るべきはコードじゃなかったに書いたので、仕組みはそちらに譲ります）

なぜ、僕には反射で見えたのか。単純に、経験したことがあるからです。何千時間もかけて身につけたものは、直観に圧縮されて、考えるより先に出てくるようになる。

ただ、この圧縮には副作用があります。知識の呪いです。これは以前、教えるのが上手い人は何が違うのかや、「自分で調べろ」の心理学で、たっぷり書きました。知識が直観に畳まれると、途中のステップが自分でも見えなくなる。だから、それを持たない人の状態を、正確に想像できなくなるんです。

さっきの話にも、その影が出ています。よく考えると僕は、共有機能を付けなかった理由を、聞かれるまで一度も説明していませんでした。自分の中では「危ないから付けない」が当たり前すぎて、わざわざ言うことだと思っていなかった。相手からは、ただ機能が足りないツールに見えていたかもしれません。反射で見えることと、見えていない人にそれを渡せることは、別の話だったわけです。

教育の文脈では、これは専門家の盲点（Expert Blind Spot） という、もう少し限定された名前でも研究されています（Nathan & Petrosino, 2003）。ある分野を深く学んだ人ほど、初学者が実際につまずく場所を、逆に読み違えやすい。塾講師を4年やっていたので、この感覚は身体でわかります。「ここは当然わかるだろう」と飛ばした場所が、生徒にとっての崖だった、ということが何度もありました。

ここで大事なのは、これが優劣の話ではないということです。相手に見えていないのは、頭が悪いからではない。ただ、その難しさを経験する場所を、まだ通っていないだけ。僕に公開URLの危険が見えるのも、僕が偉いからではなくて、たまたまその崖で以前に転んだことがあるからにすぎません。

じゃあ、僕は「見える側」なのか

と、ここまで書くと、なんだか自分を「見える側」に置いているように読めます。そこに、正直にブレーキをかけておきたい。

僕は、まったく「見える側」の人間ではないと認知しています。自分の通っていない分野に行けば、あっさり「見えない側」に落ちます。

ひとつ、間の抜けた話をすると、実は僕、ひげの脱毛に通っていて、最近再開したんです。その少し前、通っていない期間に、伸びてきたひげが気になって、ピンセットで自分で抜いていた時期がありました。「まあ、多少はいいだろう」くらいの軽い気持ちで。そうしたら、再開したときに、施術してくれる方に、こう言われたんです。「これ、自分で抜きましたね。毛が埋もれちゃってますよ」。ちょっと、怒られました。

同じ「毛を抜く」でも、適切な処理をしないと、かえって悪化する。埋没毛というやつです。僕にはそれが、まったく見えていなかった。「抜けた」という結果だけが見えていて、その裏で何が起きるかは、経験した人にしか見えなかったわけです。

面白いのは、このとき僕を叱ってくれた方が、さっき「こちらが危険を見抜いた側」として書いた相手と、同じ方だということです。制作物のやりとりでは、僕が相手に見えないレイヤーを見て、施術の場では、その方が僕に見えないレイヤーを見た。ひとつの関係の中で、見える側と見えない側が、きれいに入れ替わっていた。

ここで、自分に厳しい問いを向けておきます。「作る」と「毛を抜く」を、同じ話として並べるのは、乱暴じゃないか。AIが安くしたのは前者だけで、脱毛は関係ないだろう、と。

でも、僕は同じ構造だと思っています。変わったのは、「できた」が見えるまでの速さなんです。AIは「作れた」という結果を一瞬で見せて、避けそこねた地雷のほうは見せてくれない。ピンセットも、「抜けた」を一瞬で見せて、埋没するリスクは見せてくれなかった。成功だけが可視化されて、回避すべきものは不可視のまま。この構造は、動詞が「作る」でも「抜く」でも、まったく同じでした。

立場は、いつでも入れ替わる

以前、始めるとやめるの対称性について書きました。今日の話も、もうひとつの対称性についてでした。

AIが安くしたのは、「作る」という表面です。「難しさを測る」「危険を先に察する」という地面のほうは、据え置きのまま残っている。そして、その地面の段差は、経験した人にしか見えない。平らに見えるぶんだけ、段差はかえって見えにくくなった。

ここで、冒頭の担当者の方に戻ります。あの方は、経験していないのに「そんな簡単じゃない」と踏みとどまれていました。書いてきたことと矛盾するようですが、たぶん、見えていたものが違うんだと思います。難しさが「ある」ことの察知と、難しさの「中身」を測ることは、別の能力なんじゃないか。前者は、霧が濃いと気づければ届く。後者は、その崖で実際に転んだ人にしか届かない。あの語尾の濁りは、前者に届いていた音でした。

これを、「だからエンジニアは偉い」という話にしてしまうと、いちばん大事なところを取りこぼします。僕は、あの担当者の方の業界の難しさを、何ひとつ測れません。あの方はその現場で、たくさんの困りごとにぶつかり、経験を積んで、僕には測れないことを的確にさばいている。脱毛の方も同じで、僕の見えないところが、あの方には反射で見えている。ただ、経験してきた場所が違うだけなんです。優劣ではなく、地図の違い。

そう考えると、「難しさは経験した人にしか見えない」という事実は、誰かを見下すための道具ではありません。むしろ逆で、お互いに見えていないものがある、と認めるための入口です。相手の「簡単そう」を鼻で笑わない。自分の「簡単そう」も疑ってみる。そのうえで、自分に見えている段差を、相手にわかる言葉に翻訳してあげる。翻訳してもらう。

以前、プログラミングを学ぶ意味を書いたとき、AI時代に価値が上がるのは「書ける」より「読めて判断できる」ほうだ、と書きました。今日の話は、その「判断」を、もう少しだけ人間くさいところまで下ろしたものだと思っています。難しさを測る目は、たしかにこれから効きます。でもそれは、相手を選別するためじゃなくて、見えているものが違う人どうしが、うまくやっていくために効くんじゃないか。

ピンセットで怒られた僕が言うんだから、たぶん、そういうことなんだと思います。

FAQ

「AIで簡単に作れそう」と感じるのは、間違った感覚なんですか？

間違いではありません。AIによって「作る」という行為の表面は本当に安くなりました。ただ、平らになったのは「作る」の表面だけで、「難しさや危険を測る」ほうは据え置きのまま残っています。「作れる」と「安全に成立させられる」は別のレイヤーだ、というのがこの記事の見立てです。

説明深度の錯覚と、知識の呪いは、どう違うんですか？

向きが逆です。説明深度の錯覚は「自分の理解を、実際より深いと思い込む」現象で、”作れそう”と感じる側の錯覚です。知識の呪いは「知っている自分が、知らない相手の状態を想像できなくなる」現象で、”なぜこれがわからないのか”と感じる側のバイアスです。この記事では、前者を非エンジニア側、後者を専門家側に当てて整理しています。

結局、非エンジニアはAIで開発すべきではない、という話ですか？

いいえ、逆です。作れるようになったこと自体は素晴らしいと思っています。この記事が言いたいのは「やめておけ」ではなく、「作れた表面の裏に、経験者にしか見えないレイヤーがある。そこは謙虚に、見える人に翻訳してもらおう」ということです。優劣ではなく、経験した場所の違いの話です。

「難しさは経験した人にしか見えない」なら、結局どうすればいいんですか？

見えない段差を、見える人に言葉にしてもらうこと。そして自分が見える側のときは、相手にわかる言葉に翻訳してあげることです。「知識の呪い」は自覚だけでは消えないとされているので、相手に手順を説明してもらう、当たり前だと思ったことほど一度確認する、といった仕組みで補うのが現実的です。

参考ソース

– The misunderstood limits of folk science: an illusion of explanatory depth（Rozenblit & Keil, 2002, Cognitive Science）
– Do Users Write More Insecure Code with AI Assistants?（Perry ほか, 2023, ACM CCS）
– Expert Blind Spot Among Preservice Teachers（Nathan & Petrosino, 2003, American Educational Research Journal）