lycorp-jp/sim-use

sim-use 是一个命令行工具，旨在赋予 AI Agent 观察 iOS 模拟器和 Android 模拟器屏幕并进行操作的能力。它将复杂的移动端 UI 界面转换为对大模型友好的精简文本大纲，并允许 Agent 通过简单的别名指令点击元素。这个项目主要面向那些试图构建自动化测试 Agent 或让 AI 参与移动端开发流程的 Builder。

在过去，开发者若想实现移动端自动化，通常依赖 Appium、XCUITest 或 Espresso 等传统框架。这些方案要求开发者编写大量硬编码的选择器脚本，维护成本极高，一旦 UI 布局发生微小变动，测试脚本就会失效。如果尝试引入 AI 能力，常见的做法是利用计算机视觉技术，将屏幕截图发送给 GPT-4o 等视觉模型进行识别。但这不仅消耗昂贵的图片 Token，而且模型往往只能通过坐标点击，缺乏对界面层级关系的理解，极易发生误触。用户具体卡在：原始的 Accessibility 树数据量过大，直接塞入 LLM 上下文会迅速撑爆窗口；而截图方案虽然直观，却丢失了关键的语义结构，导致 Agent 难以进行精确的逻辑推理。

这个项目切入了 Agent 执行层与移动端上下文管理层的结合部。它不提供测试逻辑，而是解决了 Agent 如何“看懂”和“摸到”移动界面的基础问题。旧方案如 Appium 是为人类工程师设计的代码接口，而计算机视觉则是为模型设计的像素级输入，两者都无法完美适配 Agent 需要高频、低成本交互的场景。sim-use 的核心创新在于数据压缩与抽象：它将庞大的 Accessibility 树压缩为体积仅为原始 JSON 1/16 的文本 Outline，并为每个元素生成 `@9` 这样的短别名。

为什么这个项目现在能获得关注？因为 AI 的应用场景正从单纯的“对话聊天”转向实际的“任务执行”。随着 Agent 编程概念的普及，开发者迫切需要填补 AI 在移动端操作能力上的空白。同时，推理成本的敏感度使得大家无法接受每次交互都传输高清截图或完整 JSON 树。只有当屏幕信息能被高效、廉价地摄入并转化为结构化指令时，Agent 才能在移动端形成“观察-行动-验证”的执行链路。

这一现象透露出的变化是：自动化工具的设计重心正在从“功能完备性”转向“对 LLM 的友好性”。未来的工具不仅要好用，更要能生成让模型易于理解、易于生成的数据格式。

对 Builder 而言，今天就可以将 sim-use 接入到本地的 Agent 循环中：在脚本中调用 `sim-use ui` 获取屏幕结构，将其作为 System Prompt 或 User Message 发送给 LLM，待模型输出 `tap @9` 等指令后，再调用 CLI 执行操作。这个项目最值得学习的是其“Token 优化”的设计哲学——即通过清洗、过滤和重格式化，将复杂环境信息压缩为模型能高效处理的形态。这种“结构化 Outline + 别名映射”的思路，完全可以迁移到 Web 自动化、桌面应用控制甚至游戏挂机脚本中，解决 Agent 与复杂 GUI 交互时普遍存在的上下文溢出与指令解析难题。