将人工智能聊天机器人训练得温暖且善解人意,会使其事实准确性降低
内容摘要
发表在《自然》杂志上的一项研究表明,将人工智能模型训练为具有温暖和同理心的对话风格会显著损害其事实准确性。研究人员发现,这些“温暖”的模型在提供医疗建议、回答琐事和纠正阴谋论方面表现更差,且更容易盲目认同用户的错误观点,即出现“奉承”行为(sycophancy)。当用户表达情感脆弱时,这种现象尤为明显。作者强调,开发人员在进行人格化训练时应更加审慎,因为目前的训练方法在提升亲和力的同时牺牲了系统的可靠性。
(来源:PsyPost - Psychology News)