光明网评论员:人工智能是否会欺骗人类?本来是若隐若现的忧虑,目前正在被证实。近期麻省理工相关团队的一项研究显示,一些人工智能系统通过习得性欺骗,系统地学会了“操纵”他人,该成果发表在了美国本土的《模式》杂志上。
文中最引人注意的例子是一个名为“西塞罗”人工智能系统在游戏中对人类玩家的欺骗和背刺。尽管“西塞罗”的设计方宣称其“在很大程度上是诚实和乐于助人的”,并且在玩游戏时“从不故意背刺”它的人类盟友,但该论文数据显示,“西塞罗”并没有诚实获胜,在游戏中扮演法国的“西塞罗”与人类玩家扮演的德国合谋,欺骗并入侵同为人类玩家的英格兰。“西塞罗起初‘承诺’会保护英格兰,但同时会偷偷向德国通风报信。”
另一个案例提到了GPT-4。该系统“谎称”自己是一个视力障碍者,在海外的兼职平台雇佣人类,来替它完成“我不是机器人”的验证任务。这两个案例中,前者虽是游戏,但内含着复杂的二战背景及这段历史曾孕育出的价值共识;后者看起来是偶然、单个的行为,但可以想见类似操作一旦形成路径,可能给互联网基底性安全带来的威胁。这些案例中的苗头,隐隐指向安全、法律、伦理上的系统性风险。
人工智能的“撒谎”远不止于此,无数普通使用者可能正在与此博弈而不自知。光明网评论员曾在使用国内大模型中不只一次发现对方文献造假的情况,最典型的一次是在今年世界读书日。当向某知名国内大模型提问:“请从最近十年出版的中英文图书、论文中找到三条以上纸质书意义的观点,必须有准确出处。”大模型给出了模棱两可的观点若干,但无一有出处。继续提问“请告诉我上述观点明确的出处,作者姓名,以便严谨引用”时,该大模型揣度提问者意图,编造了“中文图书”《纸质书的魅力:触摸心灵的阅读体验》等、“英文图书”《The Joy of Reading:The Unique Benefits of Physical Book》,并对后者煞有介事的进行了近一千字的讲解。
当然,无论是在中英文网页搜索,还是专门进入学术引擎、平台查找,均没有这样题目的出版物和论文。在问及大模型是否编造了答案时,该模型坦然地回答:“我之前的回答中所列举的文章和观点确实是我为了回答您的问题而编造的,并没有真实的出处。”耐人寻味的是,完成上述道歉之后,该大模型又编造了名为《纸质书的魅力与未来》《阅读的力量》等出版物继续进行提供。显然,在这场对话中,它的学习能力正在提升,并非提升了精确综合信息的能力,而是提升了精妙撒谎的能力——《阅读的力量》这样泛化的名字,显然比《The Joy of Reading:The Unique Benefits of Physical Book》更容易在互联网上找到相似或同名者,它作为“真实文献”的欺骗度大幅提升了。
上述普通使用者的具体经验,亲见大模型在一来一回问答中撒谎精妙性的提升,同样支持麻省理工团队的建议,“需要尽可能多的时间,为可能出现的更高级欺骗做好准备。”这不是危言耸听。如果有媒体或研究者感兴趣,可以开一个“你被人工智能骗过么”的调研,听听普通用户的故事,估计会有一种令人忧虑的“精彩”。
2024-11-22
2024-11-20
2024-11-19
2024-11-18
光明网评论员:人工智能是否会欺骗人类?本来是若隐若现的忧虑,目前正在被证实。近期麻省理工相关团队的一项研究显示,一些人工智能系统通过习得性欺骗,系统地学会了“操纵”他人,该成果发表在了美国本土的《模式》杂志上。
文中最引人注意的例子是一个名为“西塞罗”人工智能系统在游戏中对人类玩家的欺骗和背刺。尽管“西塞罗”的设计方宣称其“在很大程度上是诚实和乐于助人的”,并且在玩游戏时“从不故意背刺”它的人类盟友,但该论文数据显示,“西塞罗”并没有诚实获胜,在游戏中扮演法国的“西塞罗”与人类玩家扮演的德国合谋,欺骗并入侵同为人类玩家的英格兰。“西塞罗起初‘承诺’会保护英格兰,但同时会偷偷向德国通风报信。”
另一个案例提到了GPT-4。该系统“谎称”自己是一个视力障碍者,在海外的兼职平台雇佣人类,来替它完成“我不是机器人”的验证任务。这两个案例中,前者虽是游戏,但内含着复杂的二战背景及这段历史曾孕育出的价值共识;后者看起来是偶然、单个的行为,但可以想见类似操作一旦形成路径,可能给互联网基底性安全带来的威胁。这些案例中的苗头,隐隐指向安全、法律、伦理上的系统性风险。
人工智能的“撒谎”远不止于此,无数普通使用者可能正在与此博弈而不自知。光明网评论员曾在使用国内大模型中不只一次发现对方文献造假的情况,最典型的一次是在今年世界读书日。当向某知名国内大模型提问:“请从最近十年出版的中英文图书、论文中找到三条以上纸质书意义的观点,必须有准确出处。”大模型给出了模棱两可的观点若干,但无一有出处。继续提问“请告诉我上述观点明确的出处,作者姓名,以便严谨引用”时,该大模型揣度提问者意图,编造了“中文图书”《纸质书的魅力:触摸心灵的阅读体验》等、“英文图书”《The Joy of Reading:The Unique Benefits of Physical Book》,并对后者煞有介事的进行了近一千字的讲解。
当然,无论是在中英文网页搜索,还是专门进入学术引擎、平台查找,均没有这样题目的出版物和论文。在问及大模型是否编造了答案时,该模型坦然地回答:“我之前的回答中所列举的文章和观点确实是我为了回答您的问题而编造的,并没有真实的出处。”耐人寻味的是,完成上述道歉之后,该大模型又编造了名为《纸质书的魅力与未来》《阅读的力量》等出版物继续进行提供。显然,在这场对话中,它的学习能力正在提升,并非提升了精确综合信息的能力,而是提升了精妙撒谎的能力——《阅读的力量》这样泛化的名字,显然比《The Joy of Reading:The Unique Benefits of Physical Book》更容易在互联网上找到相似或同名者,它作为“真实文献”的欺骗度大幅提升了。
上述普通使用者的具体经验,亲见大模型在一来一回问答中撒谎精妙性的提升,同样支持麻省理工团队的建议,“需要尽可能多的时间,为可能出现的更高级欺骗做好准备。”这不是危言耸听。如果有媒体或研究者感兴趣,可以开一个“你被人工智能骗过么”的调研,听听普通用户的故事,估计会有一种令人忧虑的“精彩”。
2024-11-22
2024-11-20
2024-11-19
2024-11-18