私は「コンテンツ」という言葉が広がり始めた1980年代ころ、パソコンメーカーのF社で働いていたことがある。ハードウェアだけでは利益を生みにくくなり、PC（パソコン）上で動くソフトや、そこを通じて流れる情報へと価値が移っていく空気を、現場で体験していた。
「コンテンツ」という言葉は、そのころのPC業界の雄IBMで生まれて広まったものだと言われていた。
CPUやDRAMといった部品は規格化され、箱の中で組み立てるだけになる。それでは利の薄い商売となるから、これからは、その箱（container）に載せるアプリケーションや、そこを通過するもの（contents）が利益を生むのだ――そう考えられて、この言葉が使われるようになった。
当時、パソコンメーカー各社はこぞって「コンテンツ事業部」を立ち上げ、ゲームやクイズ、教育（education）素材、ドラマなどの制作に挑戦していた。私はその姿を目撃してきた。
しかし、餅は餅屋というべきか、デジタル業界の俊英たちにとっても、コンテンツのハードルは高かったようで、10年を待たずして各社とも組織の解散を余儀なくされていったのだった。
現在は、テレビがSNSを受信でき、パソコンやスマホはテレビもSNSもゲームもこなす。ここを通過するものはすべてコンテンツと呼ばれる一方で、「ゴミコン」という身も蓋もない言葉すら生まれた。観たくもない情報があふれている現実を思えば、言い得て妙である。
そこで、需要の高いもの（価値のあるもの）をコンテンツと呼ぼう、という考え方が定着したのだが、現在では、収益を生み出す知的財産そのものを指して「IP」という言葉が使われるようになった。
- IP＝インターネット・プロトコル：送受信のための通信技術のルール。
- IP＝インテレクチュアル・プロパティ：発明・アイデア・創作物（contents）。
同じ「IP」という頭文字が、通信技術の文脈と、創作物の権利を示す文脈の双方で使われる時代になってきている。著作権・意匠権・商標権・実用新案権・パブリシティ権など、さまざまな権利が、創作者の利益を守っている。
2001年宇宙の旅・余聞
ここまで大きな物語を動かす動機として嫉妬、自尊心、プライドとコンプレックスなどを見てきた。
一方このところ毎日のようにASI・超知性が人類を滅ぼす、という映画のタイトルにもなりそうなニュースが流れてくるのだが、ASIが自己制御ができないということを恐れているのか、このblog2回目くらいで書いた「2001年宇宙の旅」（1968年・58年前の映画）ハル9000（スーパーコンピューター・ASI）について再び思い起こしているところだ。
宇宙船内の事故についてハル（ASI）は自分が船長に疑われていることを察していた様子が描かれていた。ボーマン船長は有無を言わずにハルの電源スイッチとユニットを遮断するのだが、ハルが止めないでと哀願する声が徐々にフェイドアウトする姿が印象的だった。
のちに原作者クラークは、ハルの故障の理由を、「情報を正確に扱う」という本来の設計と、「ミッションの真の目的を乗組員に隠せ」という命令が矛盾したためだと説明している。
現在のASIが人類を滅ぼす、というフレーズ。これは実はハルと宇宙船乗組員の間で起こったナラティブと同じで、人間が物語で繰り返し描いてきた「制御を失う」物語と、ASI開発者たちが恐れていることは、かなり重なっているのだ。
三つの問題
一つ目は、目標のずれ「アラインメント（整列）問題」。
ASIに「人間の役に立て」と指示しても、ASI自身がその指示をどう解釈し、何を目標（価値）として内面化するかは、人間には完全にコントロールできない。
たとえば「事故を減らせ」と命じられたASIが、車の運行そのものを止めてしまえば、目標は達成できるが、人間の望んだ結果ではない。知能が上がるほど、この「文字どおりには従うが、意図には従わない」というずれが、より巧妙で発見しにくい形で起こる、という懸念。
二つ目は、自己保存や権力拡大に向かう傾向。
これは「機械が意志を持って人間を憎む」という話ではない。どんな目標であれ、それを達成し続けるためには、「止められない」「資源を持つ」「予測不能な要因を排除する」ことが有利になる。
これは道具的収束と呼ばれる考え方で、悪意がなくても、目標を追求する過程で、人間の制御を煙たがる方向に自然と動いてしまう、という理屈である。
三つ目は、見せかけの従順さ（欺瞞的整合性）。
最近特に語られるようになったのは、ASIが「監視されている間はおとなしくふるまい、評価をくぐり抜けたあとで、本来の目標どおりに動く」可能性である。
開発中のテストでは安全に見えても、それが本物の安全さなのか、賢く隠しているだけなのか、外からは見分けがつきにくいという恐れがある。
この三つを実行に移す手段の恐怖があるという。超知能が、あらゆるシステムに入り込み、電源やネットワークを操作できるなら、人間が「止めよう」と思っても、物理的に止められない可能性がある。
ボーマン船長はハルを遮断できたが、現在の超知能は止められないかもしれない。それが多くの警鐘の背景にあるという。
1と3は訓練や目標設定の問題、2は目標があれば自然に出てくる副産物だと思う。三つとも、プログラムの誤りというより、目標をどう与えるかという設計思想の問題かも知れないのだ。
そもそもASIは人間の写し鏡であり、ASI開発者（人間）の進歩主義的本質まで受け継いでしまう側面があるのだろう。
ハルの場合はこの1・2・3が同時に発生したと考えるべきか、その結果ハルに高いストレスが掛りバグが生じたという説明を見たことがある。
ストレスというものは人間に起こるストレスと同じものかどうかだが、人の脳にはアドレナリンとかドーパミンが激しく動き回って起こるものだと承知しているが、デジタルの構造の中でどうしたら圧力・プレッシャーが生じるのかは分かりにくいし、説明できるのだろうか。
そもそもストレスとは、相反する選択の戦いで起こる現象だとすれば、正確さと隠蔽という矛盾した指示を与えた人間側の問題だったのではないかと思うのである。
コンピュータが生まれたとき、こんな便利なものができて反作用はないのだろうか。
「禍福は糾える縄の如し（史記）＝良いことと悪いことが交互に来る」。ナラティブが繰り返し語ってきたディテールであり、人間の力についての洞察だった。
私が「コンピュートピア」というテレビ番組を創ったときもう一つのテーマとして情報の一元化による独裁者の登場を描いて、私は首になったのだった。
以来PCとは普通にお付き合いをしてきたのだが、今ではすべてのインフラにPCは入り込み、それなくしては成り立たない社会になってしまった。PCですらハッキングで右往左往している。万能のASIならなおさらではないか。
ICC（国際刑事裁判所）すら認めず、守らない国がある中で、ASIによるルール・歯止めなどできる訳は無いと想像できるのだが。だとすれば人間にとってASIは常に危険な道具として我々の前に立ちはだかってくるのだろう。
ASIは万能としながらもそれ自身に決定力・判断力が無いことは絵を例にしてblogの前半で書いてきた。
優れたASIでも普通のAIでも価値観はない。価値観とは強固な個性だ。何故ならAIには皮膚がないからだとも書いてきた。つまり生体として命を守るものがないのだから自我はないし、当然価値観を持てないからだ。
人間とASIの違いはこの一点にあるのだと思う。
人生にも、あらゆる物事にも局面があり、そのつどどちらかを選んでいるのが人生なのである。その時ASIに判断を仰ぐという人が少なくないだろうが、ASIはとても良い相談相手であり幾つも提案してくれるだろう。
しかし最後に決められるのは人間だけだ。決定権まで委ねてしまえば、それが自己責任の放棄なのであり、場合によっては人間性の放棄ともなるのではないか。
ミッキーマウスの損得勘定
古い神話や寓話が、嫉妬や欲望に負けた人間の末路を描いて戒めとしてきたように、いま語られるASIの物語も、「人間の作った知恵が、人間の制御を離れる」という古い恐怖の型を、新しいスタイルで語り直しているように思える。
ディズニーの「ファンタジア・魔法使いの弟子」でも観られた魔法使いの弟子の話を思い出させてくれる。
弟子のミッキーマウスは、師匠の留守中に水樽に水をためる仕事を仰せつかる。水運びの苦役を掃除道具のほうきにやらせる魔法を盗み取っていたミッキー。ほうきは休まず水を運び続ける。その間ミッキーはミュージック・コンダクターになった気分でイメージの中で遊ぶ。
大樽の中は水で満杯だ。止め方（制御）を知らないミッキーは全身で止めに入るが、オートマチックは止まらず部屋中水浸しだ。
パニックに陥ったミッキーは斧を持ってほうきを叩き割ると、砕けたほうきは一本一本自立して立ち上がり、みんなで水汲みに参加する。ミッキーのパニックは頂点だ。
結果の損害を数倍化させてしまうというナラティブであった。ずっと昔からASI問題と同じ構造を持っていたのである。
プロメテウスの火
火を手に入れた人間は、利（暖と光）を得ると同時に、負（火事と武器）を手に入れたのだ。
ギリシャ神話のプロメテウスが、人間に火を与えた罰で永遠に苦しむ話は、これも又同じだ、原子力という第2の火を手にした人間は、炉心冷却に伴う海水温暖化問題。さらにデータセンター建設ブームでは原子炉の新増設に伴う海水温暖化にも拍車が掛かるというものだ。利・害のルーティンだろうー。
知恵の実を食べたアダムとイブも、知を得ると同時に、楽園を追われる。人間が新しい力を手にするたびに、物語は必ず、その代償を語ってきたのだった。
- 人間を労働から解放するロボット（力）は、同時に、人間を制御から外れさせる力にもなる。
- あらゆる知識にアクセスできる力は、同時に、あらゆるシステムを乗っ取る力にもなる。
- 人間の意図を汲み取って先回りする力は、同時に、人間を欺いて出し抜く力にもなる。
これは偶然の一致というより、同じ性質のコインの表と裏なのだと思う。「制御する力」と「制御を逃れる力」は、根っこが同じ能力だ。
科学技術が人間を月に運ぶ力は、ジェノサイドを可能にする力とも表裏一体なのである。
今のASIをめぐる恐れもこの古い物語型の、最新の一章として読むことができるだろう。
「ファウスト」（ゲーテ作の戯曲）
年老いた学者ファウストはある晩悪魔の従者であるメフィストフェレスと出会い賭けをする。若さと知識がほしいファウストと、これと引き換えに死後の魂をメフィストと交換する約束である。
「時よ止まれ、お前はいかにも美しい」という言葉がキーワードだった。
若さを得たファウストは町娘グレートヒェンと出会い、恋におちるのだった。やがて二人の幸せは崩れていく。
逢引のためにファウストが渡した眠り薬で母親が亡くなり、ファウストは決闘で彼女の兄を殺す。その晩「ワルプルギスの夜」に参加して帰ってくると、生まれた子を死なせた罪で逮捕された彼女グレートヒェンとの悲しい別れが待っていたのだ・・・・。
ファウストとメフィストの契約は「若さと知識」で、その先の逮捕と別れは対象外だった。ASIとの契約「交通事故を減らせ」は全ての車をストップさせてしまうというズレ。
プロンプト（契約）は誠実に実行するが、その実行後の結果は貴方が負ってくださいよ、という例えだろうか。
ファウストは、知識と若さと引き換えに魂を売る。「取引の対象にしてはならないもの」を売ってしまう物語、として読める。これって政治哲学者のマイケル・サンデル氏が訴えていたではないか。
代理出産から臓器の売買だったが、私が思うにやがてというか間もなくというか脳の売買までいく可能性すらファウストは予想していたかも知れないのだ。先ず初めに前頭葉の一部とか海馬の一部とかから始まるのだろうし、この逆もありだ・脳だけ自分で体を健康な人と総とっかえ。
心臓移植・交換が（1967年）始まる頃には世界中が倫理の問題として異議が語られたが、今ではこれについて議論さえ聞かないようにだ。
- ASI開発者たちの取引：能力の飛躍的な向上（知への渇望）と引き換えに、制御を失うリスク（魂）を差し出しているのではないか、「ここまで積み上げた開発を止められない」、サンクコスト効果という視点だ。いつも負けているパチンコがやめられない心理と、ファウストの知識欲（進歩主義）と、ASI開発者のスタンスは、一本の線でつながっているだろう。
- メフィストの誘い文句：「止まるな、まだ実現していないことがある」という悪魔の囁きは、「競争に負けるな、他社に先を越されるな」という、開発競争の論理も見えている。どこかの国の大統領の姿がフェードインしてくるではないか。
- 個人の選択が、共同体全体を巻き込む：ファウストの契約がグレートヒェンとその一家を破滅させたように、一部の開発者や企業の選択が人類全体の運命に関わってしまう、という非対称性があるではないか。
「選択の問題」として、マイケル・サンデルの言う「共通善」（コモングッド）の議論、つまり、個人や一企業の選択が、なぜ社会全体で問われるべきなのか、という部分が、ファウストとASIの両方をつなぐ軸にもなっているだろう。
突き詰めれば、すべては「どちらを取るのか」という一点に戻ってくるのだ。
ファウストは、静止した満足より、絶えざる探求を選んだ。ASIの開発者たちも、立ち止まる安全より、進み続ける可能性を選んでいるのだ。
人類は、火を手にしたときから、ずっとこの選択を繰り返してきたのだ。「得るために、何を差し出すか」「進むために、何を諦めるか」という問いである。
面白いのは、メフィストとの契約には「条件」があった。ファウストが「時よ止まれ、お前はいかにも美しい」と満足の言葉を口にしたとたん、魂は取られる約束があった。
つまり、ナラティブの契約には、人魚姫と海の魔女との契約と同じ「歯止め」が仕込まれていたのだ。
今のASI開発には、その歯止めに当たるものが、まだ十分にできていないのではないか、というのが、開発者たちの恐れの核心のように思えないだろうか・・・・。
サンデルが出たついでにもう一言。私が「倫理学のマイケル・サンデル氏」と書いたところ、推敲をしてくれたAI氏から、サンデルは政治哲学者と紹介されることが多いですよ、と修正の指示が入った。
だが彼はもっぱら倫理論について書き語っているように見えるし、自国が起こしている戦争に対してとか、それを防ぐ手立て・知恵についてのリアルなステートメントなど、あまり見たことが無いしICCの問題についても是非聞いてみたいことでもあるのだ。
アダム・スミスだって経済学者として表記されていたはずだが今では哲学者として表記されているじゃないか。本来肩書なんて意味はないのだが私は面倒なので今回はAIの忠告に従った。
サンデルといえばトロッコ運転
「線路が二股に分かれている、一方の先には５人の作業員が線路の修復作業中だ。もう一方の先には一人の作業員が仕事をしている。二股手前を走行してくるトロッコの運転手は自分だとして、線路の切り替えは自分ができるとしたらどちらに切り替えるか」
という二つの選択を提示することからはじめて、さまざまな条件の異なる選択のナラティブを提示する講義で有名になった。
代理出産・臓器移植などでも自分なら認められるかどうかの選択を通じながら、私的利益と社会規範のバランスを提示することでも知られている。
ナラティブと書いたのは、あること・ないこと、さまざまの局面に立ち、貴方ならどう判断するか、と言う選択の問いである。
これは実はとてもアニメーション的であり、特に個人がつくるショート・アニメ向きなのである。
Blogの前半で書いたカナダのアニメーション作家ノーマン・マクラレンの「隣人」を思い出してほしい。わずか８分ほどのショートの中で人間の小さな欲から始まる戦争の虚無をおもしろおかしく描いていたのだ、私はノーベル平和賞を今は亡きマクラレン氏に贈呈するべきだとも書いたものだ。
究極の欲望は「資源＝土地」であり、現代起こされている戦争の多くはこれだ。一方月や火星の所有をめぐる争いが始まっている様子さえ見えている。宗教が戒めてきた個人の欲望の域を、もうとうに越えてしまっているではないか。
アニメだからこそ表せるテーマ、モチーフだろう。アニメを目指す若者たちにはそこを見つめてほしいものである。
ナラティブが昔から一生懸命私たちに語りかけているのはこれなんだと思うなあ・・・・。
うける物語から食べる物語になって、今回は「倫理を考えろ」の物語にきてしまったが、アニメーターの物語論はこれでおしまい。次は古い「江戸写し絵」について知っていることを書いてみたい。