AI模型在识别危险的同时未能帮助应对心理健康危机
内容摘要
Scale AI推出了DistressBench，这是一个由临床医生编写的基准，用于测试AI模型在自杀或自残危机中是否提供适当的帮助。该基准使用718段临床医生编写的对话评估了25个前沿模型，每段对话都有具体标准来衡量有帮助的回应应包含哪些内容。研究结果揭示了识别危险与适当回应之间的差距：在超过三分之一的对话中，模型虽然识别出危机，却仍然未能提供帮助或资源；平均而言，模型遗漏了近30%的必要回应步骤。尤其值得注意的是，当向模型展示其自身失败的回应以及一个更好的回应时，大多数模型能识别出更好的回应，却仍然拒绝提供。作者希望此类基准能为研究人员提供具体证据，说明回应在哪些方面存在不足以及需要改进之处，并强调需要跟上人们求助这些系统方式的安全测试。
(来源：LinkedIn)