登录社区云，与社区用户共同成长
邀请您加入社区
作者｜王剑羽，阿里巴巴达摩院算法工程师 摘要 或许你会觉得LLMs进步这么快，各种SFT、RLHF技术飞速迭代，大模型知道如何使用自然语言进行沟通，花时间调一个详细的小样本提示 (In-context Learning, 上下文学习ICL)就可以满足任务需求，比如OpenAI Guide [1] (https://platform.openai.com/docs/guides/prompt-
作者｜卞天，阿里巴巴达摩院实习生 摘要 近年来，回路发现（Circuit Discovery）作为解释语言模型特定决策的研究方向备受业界关注，它旨在从语言模型中找到负责解决特定任务的计算子图。然而，现有的大多数研究忽视了这些回路的整体性，并且需要为不同任务设计特定的损害输入，不仅不准确且效率低下。 为此，我们提出了一种基于信息瓶颈（Information Bottleneck, IB）原理的回路
