二、生成式AI的伴生风险
ChatGPT等生成式AI具有强大的自然语言处理能力,展现出惊人的推理能力,但人们对其内在运行机理尚不清晰,可解释性的难度很大,并存在一些技术缺陷,这些问题能否解决对控制并限制人工智能的负面影响至关重要。需要看到,ChatGPT等在短时间积聚起庞大活跃的全球用户群体,正给人们的生产生活方式、思想行为观念带来重大影响。但是,这种以数据和算法驱动的人工智能媒介,也存在虚假信息泛滥、干扰舆论导向、挑动价值对立、传播不良内容等伴生风险,就像一头正在向我们走来的灰犀牛。2023年5月,Gartner发布法律和合规领导者必须评估的ChatGPT风险报告并指出,ChatGPT和其他大型语言模型(LLM)工具生成的输出容易受到多种风险的影响。[1]生成式AI存在三大安全隐患,一是源于技术缺陷,二是源于数据缺陷,三是源于用户滥用。这三个问题的根源在于大模型的固有脆弱性,如生成偏见、歪曲事实和泄露数据等。技术本是中立的,没有善恶之分,就看是谁为了什么目的来使用。这就使得技术也具有偏向性和风险性的。OpenAI也发现ChatGPT存在问题,其网站首页设有3个栏目,其中一个栏目是“局限性”,专门提到:“可能偶尔会产生不正确的信息、可能偶尔会产生有害的指令或有偏见的内容”。
1.迷之自信导致主观“幻觉”,会输出错误信息误导受众认知。如果要求ChatGPT提供训练数据或已知事件之外的历史信息,生成式 AI有时会产生“幻觉”,生成一些无关、无意义或不正确的信息,包括编造错误答案和不存在的法条或科学知识。[2]这是人工智能的一种自信反应或“错觉”。当生成式AI出现“幻觉”时,它会提供看起来合理但不正确的信息,大概会影响到15%至20%的生成内容。例如,ChatGPT会快速收集大量新闻资料并完成新闻撰写,但是生成的新闻内容并不能完全反映实际情况,对于事实性错误也能“一本正经胡说八道”。2023年2月8日的《纽约时报》报道,美国新闻可信度评估与研究机构NewsGuard在1月向ChatGPT发出100个虚假叙述查询,在80%的案例中它准确地模仿了假新闻,给出了明确的、误导性甚至错误回答,其中充斥着谣言和危言耸听的内容。如果对ChatGPT提出充斥阴谋论和误导性叙述的提问,它能在几秒钟内改编信息,产生大量具有逻辑、令人信服却无明确信源的内容。NewsGuard联合首席执行克罗维茨(Gordon Crovitz)对此表示,ChatGPT将成为网上传播错误信息的最强大工具。例如,一位美国用户曾让ChatGPT写一篇关于某著名音乐人的讣告,ChatGPT洋洋洒洒写了一篇感人至深的悼文,包括生平介绍、创业功绩等,但实际上这位著名音乐人活得好好的。缺少新闻要素、无消息来源甚至无中生有的所谓新闻,生成式 AI也能生动报道。再如,提问ChatGPT有关清华大学校歌歌词问题,实际上它并不知道,但它会随便编写了一个。最大的问题是机器自己不知道自己有错和错在哪里。比如告诉它说:不对,清华大学的校歌歌词是“西山苍苍,东海茫茫……”,它马上回答:我错了,清华大学校歌是“西山苍苍,东海茫茫……”,后面又自己随意编写下去。[3]
可以想象,不良企图者可以通过引导引导或误导,让生成式AI自信起来,编写出逻辑清晰、语言表达流畅的虚假信息,而这些信息回被当作权威信息大肆传播,查证难度极高。例如,2023年5月甘肃平凉市警方破获一起利用ChatGPT编假不实信息牟利的国内首例AI虚假信息案。必须看到,当不良企图者输入虚假信息,使用问题词语作为提示词时,人工智能会迎合用户偏好,生成支撑错误信息的文本,导致错误信息在“人机共识”框架下强化,让用户陷入错误信息的“茧房”。可以预见,在人工智能加持下,基于迷之自信幻觉的智虚假信息能够快速传播,甚至“病毒式”传播,而网络核查制度往往是事后核查,远远跟不上虚假信息传播速度。[4]总体而言,生成式AI还是不完美的,存在编造事实、常识错误、引用谬误、知识盲区等事实错误,存在因果无关、自相矛盾等逻辑错误,存在空间、物理、时间、年龄、隐喻、心理、情绪等推理错误,存在公式错误、数据错误等编程错误,存在拼写语法等文本错误,存在阿谀奉承、态度模仿等问题。
[1]https://www.gartner.com/en/newsroom/press-releases/2023-05-18-gartner-identifies-six-chatgpt-risks-legal-and-compliance-must-evaluate.
[2]https://www.gartner.com/en/newsroom/press-releases/2023-05-18-gartner-identifies-six-chatgpt-risks-legal-and-compliance-must-evaluate.
[3] https://mp.weixin.qq.com/s/LdLEGqjqTXAnkfjgY8Lgow.
[4] 匡文波.算法治理:网络空间治理的新挑战[J].人民论坛,2023(19).
2024-11-22
2024-11-20
2024-11-19
2024-11-18
二、生成式AI的伴生风险
ChatGPT等生成式AI具有强大的自然语言处理能力,展现出惊人的推理能力,但人们对其内在运行机理尚不清晰,可解释性的难度很大,并存在一些技术缺陷,这些问题能否解决对控制并限制人工智能的负面影响至关重要。需要看到,ChatGPT等在短时间积聚起庞大活跃的全球用户群体,正给人们的生产生活方式、思想行为观念带来重大影响。但是,这种以数据和算法驱动的人工智能媒介,也存在虚假信息泛滥、干扰舆论导向、挑动价值对立、传播不良内容等伴生风险,就像一头正在向我们走来的灰犀牛。2023年5月,Gartner发布法律和合规领导者必须评估的ChatGPT风险报告并指出,ChatGPT和其他大型语言模型(LLM)工具生成的输出容易受到多种风险的影响。[1]生成式AI存在三大安全隐患,一是源于技术缺陷,二是源于数据缺陷,三是源于用户滥用。这三个问题的根源在于大模型的固有脆弱性,如生成偏见、歪曲事实和泄露数据等。技术本是中立的,没有善恶之分,就看是谁为了什么目的来使用。这就使得技术也具有偏向性和风险性的。OpenAI也发现ChatGPT存在问题,其网站首页设有3个栏目,其中一个栏目是“局限性”,专门提到:“可能偶尔会产生不正确的信息、可能偶尔会产生有害的指令或有偏见的内容”。
1.迷之自信导致主观“幻觉”,会输出错误信息误导受众认知。如果要求ChatGPT提供训练数据或已知事件之外的历史信息,生成式 AI有时会产生“幻觉”,生成一些无关、无意义或不正确的信息,包括编造错误答案和不存在的法条或科学知识。[2]这是人工智能的一种自信反应或“错觉”。当生成式AI出现“幻觉”时,它会提供看起来合理但不正确的信息,大概会影响到15%至20%的生成内容。例如,ChatGPT会快速收集大量新闻资料并完成新闻撰写,但是生成的新闻内容并不能完全反映实际情况,对于事实性错误也能“一本正经胡说八道”。2023年2月8日的《纽约时报》报道,美国新闻可信度评估与研究机构NewsGuard在1月向ChatGPT发出100个虚假叙述查询,在80%的案例中它准确地模仿了假新闻,给出了明确的、误导性甚至错误回答,其中充斥着谣言和危言耸听的内容。如果对ChatGPT提出充斥阴谋论和误导性叙述的提问,它能在几秒钟内改编信息,产生大量具有逻辑、令人信服却无明确信源的内容。NewsGuard联合首席执行克罗维茨(Gordon Crovitz)对此表示,ChatGPT将成为网上传播错误信息的最强大工具。例如,一位美国用户曾让ChatGPT写一篇关于某著名音乐人的讣告,ChatGPT洋洋洒洒写了一篇感人至深的悼文,包括生平介绍、创业功绩等,但实际上这位著名音乐人活得好好的。缺少新闻要素、无消息来源甚至无中生有的所谓新闻,生成式 AI也能生动报道。再如,提问ChatGPT有关清华大学校歌歌词问题,实际上它并不知道,但它会随便编写了一个。最大的问题是机器自己不知道自己有错和错在哪里。比如告诉它说:不对,清华大学的校歌歌词是“西山苍苍,东海茫茫……”,它马上回答:我错了,清华大学校歌是“西山苍苍,东海茫茫……”,后面又自己随意编写下去。[3]
可以想象,不良企图者可以通过引导引导或误导,让生成式AI自信起来,编写出逻辑清晰、语言表达流畅的虚假信息,而这些信息回被当作权威信息大肆传播,查证难度极高。例如,2023年5月甘肃平凉市警方破获一起利用ChatGPT编假不实信息牟利的国内首例AI虚假信息案。必须看到,当不良企图者输入虚假信息,使用问题词语作为提示词时,人工智能会迎合用户偏好,生成支撑错误信息的文本,导致错误信息在“人机共识”框架下强化,让用户陷入错误信息的“茧房”。可以预见,在人工智能加持下,基于迷之自信幻觉的智虚假信息能够快速传播,甚至“病毒式”传播,而网络核查制度往往是事后核查,远远跟不上虚假信息传播速度。[4]总体而言,生成式AI还是不完美的,存在编造事实、常识错误、引用谬误、知识盲区等事实错误,存在因果无关、自相矛盾等逻辑错误,存在空间、物理、时间、年龄、隐喻、心理、情绪等推理错误,存在公式错误、数据错误等编程错误,存在拼写语法等文本错误,存在阿谀奉承、态度模仿等问题。
[1]https://www.gartner.com/en/newsroom/press-releases/2023-05-18-gartner-identifies-six-chatgpt-risks-legal-and-compliance-must-evaluate.
[2]https://www.gartner.com/en/newsroom/press-releases/2023-05-18-gartner-identifies-six-chatgpt-risks-legal-and-compliance-must-evaluate.
[3] https://mp.weixin.qq.com/s/LdLEGqjqTXAnkfjgY8Lgow.
[4] 匡文波.算法治理:网络空间治理的新挑战[J].人民论坛,2023(19).
2024-11-22
2024-11-20
2024-11-19
2024-11-18