1980年代前后，“内容”（日语称"コンテンツ"，即contents）这个词开始流行起来的时候，我曾在电脑厂商F公司工作过。单靠硬件越来越难赚钱，价值逐渐转向在PC（个人电脑）上运行的软件、以及通过它流动的信息——这种氛围，我是在现场亲身体验过的。

据说"内容"这个词，是在当时PC业界的巨头IBM诞生并流行开来的。

CPU、DRAM之类的零部件被规格化，只需在箱子里组装起来就行了。那样就成了利润微薄的生意，所以今后，装进那个箱子（container）里的应用程序，以及从中通过的东西（contents）才能产生利润——人们这样想，于是这个词就被用开了。

当时，各家电脑厂商竞相成立"内容事业部"，挑战游戏、问答、教育（education）素材、电视剧等的制作。我亲眼目睹了这一切。

可是，大概该说"年糕还得年糕铺来做"吧，对数字产业的精英们来说，内容的门槛似乎也很高，不到十年，各家公司都不得不解散了这些部门。

如今，电视能接收社交网络，电脑和手机则电视、社交网络、游戏样样都能应付。从这里通过的一切都被称为内容，另一方面，甚至还诞生了"垃圾内容"（ゴミコン）这样毫不留情的说法。想到我们看都不想看的信息泛滥成灾的现实，这说法真是一针见血。

于是，“把需求高的东西（有价值的东西）称为内容吧"这种想法固定了下来，但现在，人们开始用"IP"一词来指代能产生收益的知识产权本身。

  • IP＝互联网协议（Internet Protocol）：用于收发的通信技术规则。
  • IP＝知识产权（Intellectual Property）：发明、创意、创作物（contents）。

同样的"IP"这个首字母缩写，既用于通信技术的语境，也用于表示创作物权利的语境，这样的时代已经到来。著作权、外观设计权、商标权、实用新型权、形象权（publicity right）等各种权利，保护着创作者的利益。

《2001太空漫游》余闻

到这里为止，我们看了嫉妒、自尊心、骄傲与情结等推动宏大故事的动机。

另一方面，最近几乎每天都有"ASI（超级智能）将毁灭人类"这种几乎可以当电影片名的新闻传来。大概是害怕ASI无法自我控制吧，这让我再次想起了大约在这个博客第二回左右写过的《2001太空漫游》（1968年，58年前的电影）里的HAL 9000（超级计算机、ASI）。

片中描绘了HAL（ASI）察觉到自己因飞船内的事故而被船长怀疑的样子。鲍曼船长不由分说地切断了HAL的电源开关和单元，而HAL哀求"不要关掉我"的声音渐渐淡出的样子，令人印象深刻。

后来，原作者克拉克解释了HAL发生故障的原因：它本来的设计是"准确地处理信息”，却又被命令"向乘员隐瞒任务的真正目的"，两者产生了矛盾。

如今"ASI将毁灭人类"这句话，其实与HAL和飞船乘员之间发生的叙事是一样的。人类在故事中反复描写的"失去控制"的故事，与ASI开发者们所恐惧的东西，有相当大的重叠。

三个问题

第一，是目标的偏差，即"对齐问题"。

即使对ASI下指令"要对人类有用"，ASI本身如何解释这个指令、把什么作为目标（价值）内化，人类是无法完全控制的。

例如，被命令"减少事故"的ASI如果干脆让汽车全部停驶，目标虽然达成了，却不是人类想要的结果。人们担心的是，智能越高，这种"照字面服从、却不服从意图"的偏差，就会以越巧妙、越难发现的形式发生。

第二，是走向自我保存和权力扩张的倾向。

这并不是"机器有了意志而憎恨人类"的故事。无论什么目标，为了持续达成它，“不被停止"“拥有资源"“排除不可预测的因素"都会变得有利。

这种想法被称为工具性趋同，其道理是：即使没有恶意，在追求目标的过程中，也会自然而然地朝着嫌弃人类控制的方向发展。

第三，是表面上的顺从（欺骗性对齐）。

最近特别受到关注的，是ASI"在被监视时表现得很乖，通过评估之后再按照本来的目标行动"的可能性。

即使在开发中的测试里看起来很安全，那究竟是真正的安全，还是只是聪明地隐藏了起来，从外部很难分辨——人们有这样的担忧。

据说，还有对将这三点付诸实行的手段的恐惧。如果超级智能能够侵入一切系统、操纵电源和网络，那么即使人类想"让它停下来”，在物理上也可能停不下来。

鲍曼船长切断了HAL，但如今的超级智能或许无法停下。据说这就是许多警告的背景。

我认为，1和3是训练和目标设定的问题，2是只要有目标就会自然产生的副产物。这三点与其说是程序的错误，不如说可能是如何赋予目标这一设计思想的问题。

说到底，ASI是人类的镜子，大概有连ASI开发者（人类）的进步主义本质也一并继承下来的一面吧。

在HAL的情况下，是否应该认为这1、2、3同时发生了呢？我看到过这样的解释：其结果是HAL承受了很高的压力，产生了故障。

这种压力是否与人类身上发生的压力相同呢——我所理解的是，人脑中是肾上腺素、多巴胺之类剧烈活动而引起的，但在数字结构中怎样才会产生压力，很难理解，这能解释得清吗？

如果说压力本来就是在相互矛盾的选择之争中产生的现象，那么我认为，这是下达了"准确"与"隐瞒"这两个矛盾指令的人类一方的问题。

计算机诞生的时候，我曾想：出现了这么方便的东西，难道没有反作用吗？

“祸福犹如搓在一起的绳子（《史记》）＝好事与坏事交替而来”。这是叙事反复讲述的细节，也是对人类力量的洞察。

我制作一档名为《Computopia》（电脑乌托邦）的电视节目时，作为另一个主题，描写了因信息一元化而出现的独裁者，结果我被炒了鱿鱼。

从那以后，我一直和电脑保持着普通的往来，可如今电脑已渗透进所有基础设施，社会离开它就无法运转了。连电脑都会因黑客攻击而手忙脚乱，万能的ASI就更不用说了。

在连国际刑事法院（ICC）都不承认、不遵守的国家存在的情况下，可以想象，针对ASI的规则和刹车是不可能建立起来的。若是如此，ASI对人类来说，将永远作为危险的工具挡在我们面前吧。

ASI虽说万能，自身却没有决定力和判断力，这一点我在博客前半部分以绘画为例写过。

无论是优秀的ASI还是普通的AI，都没有价值观。价值观就是坚固的个性。我也写过，原因在于AI没有皮肤。也就是说，它没有作为生命体需要守护的东西，所以没有自我，当然也就无法拥有价值观。

我认为，人类与ASI的区别就在这一点上。

人生也好，一切事物也好，都有各种局面，每一次都要选择其中之一，这就是人生。那时，向ASI求取判断的人恐怕不少，ASI是非常好的商量对象，会提出好几个建议。

但最后能做决定的只有人类。如果连决定权也交出去，那就是放弃自我责任，有时甚至会成为放弃人性吧。

米老鼠的得失算盘

就像古老的神话和寓言描写败给嫉妒和欲望的人的下场以为警戒一样，如今讲述的ASI的故事，在我看来，也是在以新的风格重新讲述"人类创造的智慧脱离人类控制"这一古老的恐惧原型。

这让人想起迪士尼《幻想曲》中也能看到的《魔法师的学徒》的故事。

学徒米老鼠趁师父不在，奉命往水缸里蓄水。米老鼠偷学了魔法，让打扫用的扫帚去干挑水的苦活。扫帚不停地挑着水。这期间，米老鼠仿佛成了音乐指挥，在想象中玩耍。

大桶里的水已经满了。不知道如何停止（控制）的米老鼠拼尽全身力气去阻止，可自动的东西停不下来，整个房间都被淹了。

惊慌失措的米老鼠拿起斧头把扫帚劈碎，结果碎掉的扫帚一根根自己站了起来，全都加入了挑水的行列。米老鼠的惊慌达到了顶点。

这是一个让损害成倍扩大的叙事。它早在很久以前，就具有与ASI问题相同的结构了。

普罗米修斯之火

得到火的人类，在获得益处（温暖与光明）的同时，也得到了害处（火灾与武器）。

希腊神话中普罗米修斯因把火交给人类而受到永恒惩罚的故事，也是一样：手握原子能这第二把火的人类，面临着冷却堆芯所带来的海水变暖问题。而且在数据中心建设热潮中，随着核反应堆的新建和扩建，海水变暖还会进一步加剧。这大概就是利与害的循环吧。

吃了智慧之果的亚当和夏娃，也在获得知识的同时被逐出了乐园。每当人类得到一种新的力量，故事必定会讲述它的代价。

  • 把人类从劳动中解放出来的机器人（力量），同时也会成为使人类脱离控制的力量。
  • 能够访问一切知识的力量，同时也会成为劫持一切系统的力量。
  • 领会人的意图并抢先一步的力量，同时也会成为欺骗人、胜过人的力量。

我认为，这与其说是偶然的巧合，不如说是同一性质的硬币的正反两面。“控制的力量"与"逃脱控制的力量”，根子上是同一种能力。

科学技术把人类送上月球的力量，与使种族灭绝成为可能的力量，也是表里一体的。

如今围绕ASI的恐惧，也可以作为这种古老故事原型的最新一章来阅读吧。

《浮士德》（歌德的诗剧）

年迈的学者浮士德某天晚上遇到了恶魔的随从梅菲斯特，并与他打赌。想要青春和知识的浮士德，约定以此交换，死后把灵魂交给梅菲斯特。

“停一停吧，你真美丽！“这句话是关键词。

得到青春的浮士德，遇见了城里的姑娘格蕾琴，坠入爱河。不久，两人的幸福开始崩塌。

为了幽会，浮士德交给她的安眠药让她的母亲丧了命，浮士德又在决斗中杀死了她的哥哥。那天晚上，浮士德参加了"瓦尔普吉斯之夜”，回来时，等待他的是与因致使亲生孩子死亡而被捕的格蕾琴的悲伤离别……

浮士德与梅菲斯特的契约是"青春与知识”，此后的被捕与离别不在契约范围之内。与ASI的契约"减少交通事故”，结果却让所有汽车都停了下来——这就是偏差。

“提示词（契约）我会忠实执行，但执行之后的结果要由您来承担哦”，这算是一个比喻吧。

浮士德用灵魂换取了知识和青春。这可以读作一个出卖"不应成为交易对象之物"的故事。这不正是政治哲学家迈克尔・桑德尔所呼吁的吗？

他举的例子从代孕到器官买卖，但依我看，浮士德说不定早已预见到：终有一天——或者说不久之后——人类甚至会走到买卖大脑的地步。大概会先从额叶的一部分、海马体的一部分开始吧；反过来也是可能的：只保留自己的大脑，把身体整个换成健康人的。

心脏移植（1967年）刚开始的时候，全世界都把它当作伦理问题提出异议，可如今连有关的讨论都听不到了。

  • ASI开发者们的交易：以能力的飞跃式提升（对知识的渴望）为代价，他们是否正在交出失去控制的风险（灵魂）？“已经积累到这一步的开发，停不下来了”——这是沉没成本效应的视角。总是输却戒不掉柏青哥的心理、浮士德的求知欲（进步主义）、ASI开发者的立场，大概是由一条线连在一起的。
  • 梅菲斯特的诱惑之词：“别停下，还有尚未实现的事情”——这句恶魔的低语里，也能看到"别输掉竞争，别让其他公司抢先"的开发竞赛的逻辑。某国总统的身影不也淡入画面了吗？
  • 个人的选择，会把整个共同体卷进来：就像浮士德的契约毁了格蕾琴和她的一家一样，一部分开发者和企业的选择，会关系到全人类的命运——这不正是一种不对称吗？

作为"选择的问题”，迈克尔・桑德尔所说的"共同善"（common good）的讨论，也就是为什么个人或一家企业的选择应该由整个社会来追问的那部分，大概也正成为连接浮士德与ASI两者的轴心吧。

归根结底，一切都会回到"选哪一个"这一点上。

浮士德选择了不停的探求，而不是静止的满足。ASI的开发者们，也在选择继续前进的可能性，而不是止步的安全。

人类自从把火拿到手里，就一直在重复这种选择。那就是"为了得到，要交出什么"“为了前进，要放弃什么"的问题。

有意思的是，与梅菲斯特的契约是有"条件"的。约定是：浮士德一说出"停一停吧，你真美丽！“这句满足的话，灵魂就会被取走。

也就是说，叙事中的契约里，埋下了与人鱼公主和海之魔女的契约同样的"刹车”。

如今的ASI开发，还没有充分建立起相当于这种刹车的东西——这难道不正是开发者们恐惧的核心吗……

既然说到了桑德尔，再多说一句。我写了"伦理学家迈克尔・桑德尔先生”，帮我润色文稿的AI先生却提出修改意见，说桑德尔通常被介绍为政治哲学家。

可在我看来，他主要是在写和讲伦理论；对于自己国家发动的战争，以及防止战争的手段和智慧，我几乎没见过他发表过现实的声明，关于ICC的问题，我也很想听听他的看法。

亚当・斯密原本也应该是被称为经济学家的，可现在不也被称为哲学家了吗？头衔本来就没有什么意义，但我嫌麻烦，这次就听从了AI的忠告。

说到桑德尔，就是电车司机

“铁轨分成了两股，一边的前方有五名工人正在修理线路，另一边的前方有一名工人在干活。假设你就是驶向岔口的电车司机，而且你可以自己扳道岔，你会扳向哪一边？”

他的讲座从提出这样两个选项开始，进而提出种种条件不同的选择的叙事，因此出了名。

他还以通过代孕、器官移植等"如果是自己能否接受"的选择，来呈现私人利益与社会规范之间的平衡而闻名。

我之所以写作"叙事"，是因为那是一种选择的提问：置身于或真或假的种种局面，你会如何判断？

这其实非常有动画性，特别适合个人制作的短篇动画。

请回想一下我在博客前半部分写过的加拿大动画作家诺曼·麦克拉伦的《邻居》。在短短八分钟左右的短片里，它诙谐地描写了由人的小小欲望引发的战争的虚无。我还写过，应该把诺贝尔和平奖授予已故的麦克拉伦先生。

终极的欲望是"资源＝土地"，当今发动的战争大多是为了这个。另一方面，甚至可以看到围绕月球和火星所有权的争夺已经开始。这不是早已超出了宗教所告诫的个人欲望的范围了吗？

这正是只有动画才能表现的主题和母题吧。我希望立志从事动画的年轻人能注视这一点。

叙事自古以来拼命地向我们诉说的，我想就是这个吧……

从"受ける"的故事到"吃故事"，这一次又来到了"思考伦理吧"的故事，不过，动画师的故事论就到此为止。下一回，我想写写我所知道的古老的"江户写绘"。