Guide Labs 推出了新型可解释性LLM

由首席执行官Julius Adebayo和首席科学官Aya Abdelsalam Ismail创立的Guide Labs，发布了其开源的80亿参数大型语言模型（LLM）Steerling-8B。该模型采用了新的架构设计，旨在实现高度可解释性，使得模型产生的每一个token都可以追溯到其在训练数据中的来源。Adebayo指出，这种方法是从根本上设计模型，而不是事后进行“模型神经科学”分析。虽然这种方法需要更多的前期数据标注，但模型仍能展现出“发现的概念”，如量子计算等涌现行为。Adebayo认为，这种可解释性架构对消费者LLM（用于屏蔽版权材料或控制敏感输出）和受监管行业（如金融业，确保评估中不考虑种族等因素）至关重要。Guide Labs声称，Steerling-8B的性能可达到前沿模型的90%，且由于其新颖的架构，训练所需数据更少。公司下一步计划是构建更大的模型并提供API和代理访问。

(来源：TechCrunch)