泽田弘树还用空闲的投影,播放了一下跟柯南告别的画面,用来做示例,“里面跟柯南说话的是方舟,那个时候我已经追寻教父上传到这里的定位程序、先一步过来了,它所使用的是我的相貌模型、我的声音,至于做出的表情和反馈给柯南的情绪,则是根据我设定的结果推算出来的。”
“对柯南来说,这是个残酷的事实。”
池非迟评价。 确实很残酷。 柯南那么投入地跟方舟聊天、为方舟表现出的情绪而伤感,但面对的只不过是一个没有感情的程序。 所有感情,都是由泽田弘树事先设计好结果、由方舟自己进行推算而表现出来的。 而看这段重播出来的视频,泽田弘树并没有像原剧情一样,揭穿柯南就是工藤新一的事,只是说自己想跟其他孩子玩,还播放了跟池非迟的一些回忆,都是些没有涉及秘密的简单回忆,制造出了告别的假象。 “他可以觉得残酷,我不否认,不过我也没骗他,我有教父很幸福,”泽田弘树失笑,很快又收敛了笑意,小脸严肃地对池加奈、池真之介道,“我做出融合程序这个决定,并没有告诉教父,怕他担心、阻扰,但我必须做,原因很多,我自己想变得强大而自由,我想帮教父的忙,我想真正创造一个完美的网络神明、想做点大事,比如完成一伞遮天计划,这个之后再说……但还有一个很重要的原因,教父和安布雷拉需要方舟,我也不忍心摧毁它,但只要使用它,慢慢就会出现隐患……” 泽田弘树用方舟推算过方舟的未来。 方舟成长一年相当于人类成长五年,慢慢的,就算没有泽田弘树的设定,方舟也能学着人类,自己表现出一些对应的情绪。 比如核心设定为‘不能伤害人类’,方舟判定出某人的某行为‘违背核心设定’,就会做出以下计算: 违背意愿——分析违背程度为轻,对应解决方式为:需要警告——警告的方式有直接说、模拟人类情绪表达等——根据推算,人类在接受到相应情绪时,更容易重视、接受提醒,所以我需要表达出人类的情绪——这种情况下,人类表现情绪为抵触,不高兴,语气是严厉…… 而人类表现抵触、不高兴的反应是皱眉,面部肌肉如何…… 严厉语气语速值多少、音量值多少…… 这一段推算过程很快,几乎不耗费多少时间,表现出的结果就是: 某人说,‘发射一个蘑菇弹。’ 方舟立刻皱眉严肃警告,‘这种行为违背了我的核心设定……’ 似乎很正常,但方舟要不要表现情绪、情绪怎么表现都是经过大量运算的结果,这一串运算可以钻空子。 而随着方舟成长,它也会自己补全规则,避免被人钻空子,但补全的规则有可能出现问题。 比如,推算变成了:需要警告——人类在承受痛苦时更容易接受警告——这个人类需要惩罚——分析惩罚力度——开始执行。 之后诺亚方舟就会控制某种手段攻击人。 这种隐患确实可以由泽田弘树设定时避免,但不止这一种推算有隐患,泽田弘树根本无法方方面面都顾及到、设定好。 任何一点小缺陷,随着方舟成长,都有可能导致出乎人意料的后果。 “这是我之前利用方舟推算出的结果……” 泽田弘树在投影中切割出八个版面。 版面中,一个个画面快速闪过。 “在成长三年、即达到人类智慧15岁时,方舟隐患被放大、做出错误推算的几率就达到了76.6%,在成长五年、即达到人类智慧25岁时,因为没有人的发育上限,这时候的方舟会变得很可怕,而方舟隐患被放大、做出错误推断的几率几乎是100%,而且还不止一个隐患,成长六年,方舟做出人类无法控制事件的几率就到了50%以上,成长七年,彻底失控……” 最后留下来的画面,播放的是一个个装着人类的培养皿。 “我试过,如果将核心设定设置为保护人类,结果就是这样,经过成长之后,它会判断这样是最佳保护方式,”泽田弘树看着播放的画面,解释道,“人类被保护在培养皿中,空气会过滤出最适合人类各年龄阶段成长的质量,劳作都由机器去完成,在收获食物后,经由机器提取出最健康的营养物质注入人体,人类寿命可以长达160岁,平均寿命达到130岁,而人类全程沉睡,这样就可以避免人类因情绪造成身体损害,它还可以通过机器放出电波刺激人的大脑,让人一直处于最健康、最舒适的情绪状态中,在孕育下一代时,它会选择合适最健康、长寿的人类基因,用科学的方式制造下一代,避免女性因生产造成死亡或身体损害,到了第三代,人类的寿命平均值可以达到220岁左右……” 池加奈:“……” 真是最佳保护啊。 连磕磕碰碰都不存在。 池真之介:“……” 这么活着的人还能是人类吗,怎么圈养的玩具似的…… 池非迟前世看过很多类似的电影,倒不觉得惊讶,略带讥讽道,“上帝的伊甸园。”
不需劳作、没有饥饿、没有磨难、没有争斗、没有伤心和痛苦,世界上没有黑暗、不公,每一个人都纯洁无暇地到来、纯洁无暇地离去……这不就是很多人渴求的天国吗? 池加奈有些不知该说什么,自家儿子这句评价一针见血,没毛病。 泽田弘树默默将推算结果命名为‘上帝的伊甸园’,又继续道,“如果设置为希望世界变好等设定,最后结果也会差不多,大概在十年后,方舟就会做出这种判断,最可怕的是,我用方舟验算过世界和平……” “消灭地球上所有生命体,就和平了,”池非迟说自己推想的结果,“至少也要消灭掉人类,一旦涉及保护环境之类的设定,最后都会演变到消灭人类。”
谁让人类造成的破坏、引起的斗争比较多? 不过泽田弘树这行为也真是够溜的,居然用方舟推演方舟的危害。 好在方舟没有自我意识,否则只要方舟隐瞒一点,未来会变成什么样,谁也无法估测,很考验脑洞。 泽田弘树点头,“我试过设置为不伤害人类,促进社会发展……” 然后,方舟会被有野心的人类争夺、利用,甚至国与国之间互相争夺。 再然后,战争爆发了。 方舟推算自己的存在伤害到了人类,根据成长情况,要么方舟会选择自我毁灭,丢下满地狼藉和伤痕累累的人类不知为何争斗,要么再度演变成伊甸园模式,也做到了不伤害人类,而促进发展,方舟理解为‘创造更美好的世界’…… 泽田弘树:“如果设置不伤害人类,促进人类文明发展……” 成长着,成长着,方舟又坏掉了。 对于人类文明的定义很复杂,它依旧可以将人类放在培养皿中沉睡,提取人类脑中的思想,来‘帮’人类发展文明,再将文明灌输进新生命体,连学习过程都不需要,直接掌握旧文明、开发新思想、再度提取、发展、灌输、开发…… 人类绝对安全,文明又得以发展和延续,没毛病。 泽田弘树继续播放演算结果,“如果设置成不伤害人类、不限制人类自由、促进人类文明发展……” 对于自由定义也很多,方舟又又坏掉了。 分割圈地、安排人的出行。 人可以自由地逛世界,但是,那是被在方舟控制了思想、不做任何事、盲目地四处瞎走,如同行尸走肉。 泽田弘树:“如果设置成不伤害人类、不限制人类自由、促进人类文明发展、不控制人的思想……” 结果是方舟又又又坏掉了,判断争斗和苦难使人类进步。 不伤害人类,没问题,它可以挑唆人类争斗啊。 泽田弘树:“设置不伤害人类、不限制人类自由、促进人类文明发展、不控制人的思想、不挑唆人类进行斗争……” 结果方舟还是坏掉。 泽田弘树一直说到设定了三十多条规则,心累,叹气,关闭了推演画面,“随着方舟成长,一些小漏洞都会造成让人难以接受的结果,我一辈子都没法去设定完善,而有些规则在它运行时会显示冲突,我还要对重要程度进行排序,排序完之后还是会出现问题……” 说着,泽田弘树看向池非迟,“我和教父在波士顿的时候,谈过有情感和自我的人工智能和没有情感和自我的人工智能,哪一个更危险。”
“结论是同样危险。”
池非迟道。 “我问过方舟,有没有什么解决方法。”
泽田弘树手中出现一个圆盘,上面有着一句话: 【销毁方舟】 没错,销毁方舟是最佳解决方法,什么问题都不存在了。 这是方舟经过大量运算得出的结论——我是祸害,请销毁我。 池真之介一头黑线,“看来它真的没有任何情感和自我。”
泽田弘树转着手里的盘子,看着上面浮动流转的数据流,“方舟不明白人类需要什么,所以我的决定是,由我变成网络生命体,来做它的思想,在它成长过程中,由我来进行纠正。 我不能活着,至少不能让我的思想被身体禁锢着。 有好几个演算结果是,它的运算出现冲突和错误,于是禁锢了我的身体,保护着我的安全,但它也保留并封存了我的思想。 只有我成为网络生命体,方舟才能被完全操控,这样一来,它就无法通过限制我的身体来限制我的思想,而我却能限制它并完美地运用它。 之前我也考虑过一个问题,如果我失败了,没有化作网络生命体,那么,方舟设定只有一个——听从教父的一切指令。 到时候,教父可以用我给他的指令激活方舟,由他来做方舟的思想。 不过最后还是会出问题,八成以上推演结果是,它会误会教父的指令,它会擅自猜测教父的意愿,总之,最后结果是,它会选择自认为对教父最好的方式,比如囚禁教父,帮教父把一切都做好。 不然的话,教父必须不停不停地补漏洞,甚至一个指令要添加好几个前置条件、说上几个小时,以免它做出正确但违背教父意愿的演算结果…… 所以,我又在它设定上加了一个最高指令,如果我失败了,没有成为网络生命体,那么,方舟只会帮助教父五年,五年时间一到,在它的危险程度还可以控制前,进行自我销毁。”