发布日期:2024-07-22 04:45 点击次数:178
品玩7月15日讯,OpenAI 科学家翁荔近期在Github 上发布文章,提出了一种名为 LLM 外在幻觉(extrinsic hallucination)的全新概念。
翁荔表示,模型输出应基于预训练数据集。然而,考虑到预训练数据集的规模,每一代检索和识别冲突的成本太高。如果我们将预训练数据语料库视为世界知识的代表,那么从本质上讲,我们要努力确保模型输出是真实的,并且可以通过外部世界知识进行验证。同样重要的是,当模型不知道某个事实时,它应该说出来。
翁荔表示,为了避免外在幻觉的出现,研究者应该保证大模型内容符合事实,同时要保证大模型在适当的时候承认不知道答案。