TRAE cue月度大更新来袭，模型能力和时延竟然双双升级！

TRAE cue大升级，体验更流畅！

资料来源：火山引擎-开发者社区

本文作者：江波，TRAE技术专家
TRAE cue迎来了一个月内最大的更新，模型能力和延迟都有了显著提升：

• 更强大的TRAE cue模型和上下文工程，让开发意图推断和代码编辑更加精准；
• 端到端延迟P50从1秒优化到700毫秒，减少了300毫秒的时间。

引言
自从6月12日TRAE cue上线以来，我们收到了许多用户的积极反馈，大家特别喜欢它更智能的代码块编辑和光标跳转功能。相比之前的基础补全，这次的体验不仅丰富了很多，感觉也聪明多了。当然，也有不少改进建议涌现出来，比如：

• 延迟太高
• 上下文感知能力有限
• 缺少自动导入和跨文件跳转

在过去一个月里，我们不断迭代Tab-cue的功能，带来了延迟和模型推荐质量等方面的重大改进，力求给用户提供更极致的体验。这次更新主要有以下亮点：

• 更快更好的cue-fusion模型
• 更精准的上下文感知，新增符号、用户编辑保持时序及浏览内容
• 端到端延迟减少300毫秒
• 支持Python/TypeScript/Golang语言的自动导入和跨文件智能跳转

主要更新
全新的cue-fusion模型
Tab-cue的场景对延迟要求非常高，我们需要在有限的上下文中推断用户的开发意图，并给出目标代码片段的修改。通过分析真实用户的开发场景，我们设计了新的模型优化方案，并采用了更加高效的模型结构。

• 我们使用了更贴合用户开发场景的SFT数据，比如在连续编辑的情况下，前后逻辑关系紧密，因此在数据清洗时，我们有针对性地筛选出强逻辑相关的数据，这样模型在推荐时的灵敏度和内容质量都有了提升；
• 将MHA替换为GQA，实验显示GQA的网络结构能有效降低推理成本，同时保持相同的模型效果。

大幅降低端到端延迟300毫秒
之前我写过一篇博客，聊过延迟对Tab-cue体验的重要性，如果端到端的延迟超过1秒，推荐的内容往往来不及展示就被取消了，用户对Tab-cue的信任度自然下降。在6月12日cue上线后，由于GPU资源紧缺和不成熟的工程链路，P50的延迟接近1秒，这也是用户反馈延迟高的主要原因。通过设计更高效的推理部署方案和严格控制前后处理的耗时，我们成功地将端到端延迟降低到了700毫秒。以下是我们在降低延迟上的主要措施：

• 采用高性能的模型结构和部署架构，GQA的模型结构在同等参数量下，延迟比MHA低100毫秒到120毫秒；通过更智能的模型服务调度算法，实现多集群负载均衡；
• 高效的前后处理，针对上下文采集和提示拼接设计了更高性能的算法，并结合客户端渲染性能的优化，累积降低了80毫秒到100毫秒；
• 去除无效的解码token，cue-Fusion模型融合了代码续写和代码块编辑的能力，输出的token中包含一些无需修改的代码行。通过引入自适应策略，更精准地圈选待编辑代码块，成功去除了无效的解码token，累计降低了大约80毫秒。

端到端延迟的优化不仅仅依赖于模型推理，链路的其他部分也可能隐藏着问题。更细致的链路埋点帮助我们快速分析性能瓶颈。
更准确的上下文
Tab-cue通过定义基于用户编辑历史来推断当前代码片段的编辑方式，实现了代码续写和代码片段改写这两大功能。在真实的开发场景下，开发者接下来的编辑意图与过去5分钟的行为关系密切。然而，之前的上下文主要依赖于用户的编辑历史和光标附近的上下文，这里存在两个主要问题：

• 编辑历史信息碎片化，围绕用户的历史编辑点为锚点圈选完整代码片段以确保语义完整；
• 缺少用户浏览历史和语言服务器（LSP）信息的引入；

这些问题导致用户的编辑意图推断变得困难，容易出现误推荐，比如推荐不存在的方法或API。通过保留用户的编辑历史和浏览历史的时序信息，并引入LSP提供的符号信息，可以显著降低误推荐的情况，提高推荐内容的质量。
自动导入和智能重命名
在实际的补全或编辑过程中，当需要引入额外的API或库时，传统开发模式下用户为了避免打断“心流”，会先完成代码编写，然后再根据Linter Error提示去完成依赖包的导入。这次更新中，Tab-cue在Python、TypeScript和Golang语言中优先支持自动导入功能，当推荐内容中需要新导入的包时，会自动推荐并完成导入，消除相应的Linter Error。
此外，结合LSP的深入整合，Tab-cue在代码重构场景中支持对实体重命名的能力，比如变量名、函数名或类名，能够自动识别待修改的位置并推荐修改内容，包括跨文件的跳转，极大提升用户在重复编辑过程中的编码效率。
需要注意的是，由于自动导入和实体重命名的智能改写、跳转功能依赖于用户安装的对应语言标准LSP，一旦LSP缺失或进程异常，这两个功能将无法使用。未来，Tab-cue将引入基于模型的跳转方案，以提高大范围跳转预测的稳定性和智能感。

结语
cue功能的前身是代码补全Tab，主要为用户推荐光标后内容的续写，曾为内部用户和TRAE用户带来了显著的研发效率提升，内部采纳率达到了30%以上。随着基础模型能力的提升，Vibe Coding的开发模式使得95%以上的代码由Code Agent生成，但真正带来高杠杆收益的5%仍然依赖人类程序员的投入。作为TRAE产品的核心功能之一，TRAE团队将继续投入资源，持续优化cue的产品体验及支持更多功能，提升专业开发者的编码效率。