Mellum by JetBrains

你正在写一段关键逻辑，光标停在函数名后面，等着 AI 给你补全下一行。你按下 Tab，然后……等。一秒，两秒，三秒。补全出来了，但你的思路已经断了。你不得不重新读一遍上下文，确认它给的代码对不对。这种打断每天发生几十次，每次几秒钟，累积下来就是十几分钟的注意力碎片。更糟的是，如果你在跑一个自动化测试脚本，或者在做代码审查时让 AI 总结 diff，响应慢一点，整个流程就卡住了。你开始怀疑：到底是 AI 在帮你，还是在拖你后腿？

Mellum 就是冲着这个场景来的。它是 JetBrains 做的一个 LLM 推理服务，核心就一句话：快。不是“比别的模型快一点”，而是快到你几乎感觉不到它在后台运行。你用它的时候，输入的是你 IDE 里的代码上下文、光标位置、或者一段待总结的 diff。系统拿到这些后，直接丢给一个专门优化过推理速度的模型——可能是量化过的、蒸馏过的，或者用了更激进的缓存策略——然后几乎瞬间吐出补全、解释或总结。输出直接喂回你的编辑器插件、CI 流水线或者命令行工具。上下游接的是 JetBrains 全家桶（IntelliJ、PyCharm 等）的插件生态，也可能通过标准 API 对接其他工具。

你可以把它想象成一辆赛车的引擎。普通 LLM 推理服务像家用轿车的发动机，平稳、省油，但踩油门到动力输出之间有明显的延迟。Mellum 的引擎则把油门响应调到了极致——牺牲一点燃油经济性（也就是模型参数量或推理精度），换来的是你踩下去的瞬间车就窜出去。在开发场景里，这种“瞬间”就是你能不能保持心流的关键。

跟它直接对标的竞品是 Groq。Groq 走的是硬件路线，用自研 LPU 芯片把推理延迟压到毫秒级。Mellum 走的是软件和模型优化路线——JetBrains 没有自己的芯片，但他们有大量的 IDE 使用数据，知道开发者真正需要什么样的补全、什么样的响应速度。Groq 的强项是通用场景下的极低延迟，但它的模型选择有限，而且你没法在本地跑。Mellum 的优势是深度集成到 JetBrains 的编辑器里，并且可能是开源的——从 Product Hunt 的话题标签看，它属于 Open Source 类别。这意味着你可以自己部署、自己调优，甚至针对你的代码库做微调。在需要完全离线或者数据不出内网的企业环境里，这个差异就很重要了。

当然，Mellum 的代价也很清楚。它追求的是速度，所以它不适合那些需要深度推理、长上下文、或者高准确率的任务。比如你要让 AI 分析整个项目的架构设计，或者写一份复杂的重构方案，Mellum 可能给不出足够好的答案。它的战场是那些“看一眼就能回答”的问题：补全下一行代码、解释一段函数、快速格式化注释、在 CI 里做简单的代码审查。如果你需要的是 GPT-4 级别的思考能力，Mellum 不是你的选择。另外，因为它是 JetBrains 的产品，如果你不用他们的 IDE，集成体验可能会打折扣。

想象一下你正在用 IntelliJ 写一个 Spring Boot 的 Controller。你刚打完 `@GetMapping("/users/{id}")`，光标停在方法体里。Mellum 的插件已经在后台把你的方法签名、类名、导入的依赖都打包成 prompt 发了出去。你还没想好怎么写，补全就弹出来了：`return userService.findById(id).orElseThrow(() -> new UserNotFoundException(id));`。你按一下 Tab，继续写下一行。整个过程不到 200 毫秒，你的思路根本没断。这就是 Mellum 想给你的日常。