aleclindz/seo-skill-bench

seo-skill-bench是一个为Claude Code这类编码智能体设计的SEO技能基准测试工具。它通过让智能体在预设了“陷阱”和“缺陷”的模拟网站上真实执行任务，来客观评估其SEO建议的准确性和可靠性。对于开发、使用或依赖AI编码助手进行网站优化工作的开发者来说，它提供了一个衡量工具“真实能力”而非“宣传效果”的标尺。

今天，如果一个开发者想评估哪个Claude Code的SEO技能插件更靠谱，他通常会去GitHub上搜索“claude-code-seo”之类的仓库，然后比较它们的star数、阅读README中的功能介绍，或者亲自安装几个进行简单的手动测试。更严谨的开发者可能会自己搭建一个测试网站，用不同的插件跑一遍，然后人工对比输出结果。这个过程的核心卡点在于，GitHub的star数反映的是流行度而非正确性；README描述的是作者的期望而非实际表现；而手动测试则难以规模化、标准化，并且容易受到测试者主观判断的影响。开发者最终往往是在“凭感觉”选择工具，无法确知其在一个真实、复杂的网站环境中，面对既有问题又有“正常”部分的情况时，会如何表现。

seo-skill-bench精准地切入了AI工具链的**质量评估层**。它不生产新的SEO能力，而是为评估现有能力建立了一套可重复、可比较的机制。旧的评估方案，无论是依赖GitHub指标、README描述还是人工测试，之所以不够好，是因为它们都无法提供“真实执行”下的“确定性评分”。这个项目通过构建包含已知缺陷的“夹具网站”、预设“答案密钥”，将大部分评分（如缺陷识别精度、幻觉事件）转化为客观计算，从而绕开了模糊的“LLM感觉评判”。

这个项目能在今天成立，直接源于**Claude Code这类具备代码执行能力的AI Agent开始普及**。当AI从单纯的聊天对话转向能够执行具体任务（如分析代码仓库、提出修改建议）时，对其输出质量的评估需求就从“对话是否流畅”变成了“建议是否准确、可执行”。同时，围绕Claude Code的“技能”生态开始出现，各种SEO技能插件涌现，使得横向比较成为了一个真实且急迫的问题。旧的、基于人工或简单规则的评估方法无法应对这种由AI Agent执行带来的复杂性和规模性。

它透露出一个清晰的变化：随着执行型AI Agent及其插件生态的成熟，**对AI工具的质量评估正在从主观定性走向客观定量，从营销指标转向工程化基准**。AI能力的“可度量性”成为了生态健康发展的基础设施。

对于Builder而言，今天可以直接使用这个框架来测试自己开发或感兴趣的Claude Code SEO技能，获得比README更可信的能力报告。最值得学习的，是其“用确定性陷阱对抗概率性幻觉”的核心设计思想——通过预先在测试环境中埋设已知的正确与错误答案，将原本需要主观判断的AI输出质量，转化为可客观计分的“命中”与“误报”。这种构建“地面真相”来校准AI行为的思路，远比单纯增加测试用例更聪明。这种工程化的基准测试方法论，完全可以迁移到评估其他类型的AI编码技能上，例如代码重构建议、安全漏洞检测、性能优化提示等任何需要AI给出具体、可验证建议的领域。当AI开始动手干活时，衡量它活干得好不好的尺子，也必须跟着进化。