而人类表现抵触、不高兴的反应是皱眉,面部肌肉如何……
严厉语气语速值多少、音量值多少……
这一段推算过程很快,几乎不耗费多少时间,表现出的结果就是:
某人说,‘发射一个蘑菇弹。’
方舟立刻皱眉严肃警告,‘这种行为违背了我的核心设定……’
似乎很正常,但方舟要不要表现情绪、情绪怎么表现都是经过大量运算的结果,这一串运算可以钻空子。
而随着方舟成长,它也会自己补全规则,避免被人钻空子,但补全的规则有可能出现问题。
比如,推算变成了:需要警告——人类在承受痛苦时更容易接受警告——这个人类需要惩罚——分析惩罚力度——开始执行。
之后诺亚方舟就会控制某种手段攻击人。
这种隐患确实可以由泽田弘树设定时避免,但不止这一种推算有隐患,泽田弘树根本无法方方面面都顾及到、设定好。
任何一点小缺陷,随着方舟成长,都有可能导致出乎人意料的后果。
内容未完,下一页继续阅读