字节开源，让 AI 给你写 UI 自动化测试，更愉悦的 UI 自动化体验

字节开源，让 AI 给你写 UI 自动化测试，更愉悦的 UI 自动化体验

Midscene.js 是一个由 AI 驱动的浏览器自动化 SDK，旨在通过 Chrome 扩展、JavaScript 和 YAML 脚本实现自动化操作。这个项目的目标是简化用户界面控制、数据提取和断言操作，使开发者能够以自然语言描述操作步骤，从而实现自动化。

项目简介

Midscene.js 提供了一种全新的自动化体验。通过自然语言交互，用户可以描述所需的操作步骤，Midscene.js 会自动规划并控制用户界面。它能够理解用户界面，并以 JSO 格式返回预期的响应。此外，Midscene.js 还支持直观的断言，用户可以使用自然语言进行断言操作，所有这些都基于 AI 的理解能力。

项目特点

1. 自然语言交互：用户只需描述操作步骤，Midscene.js 会自动规划并控制用户界面。
2. 理解用户界面，返回 JSO：提供关于所需数据格式的提示，并以 JSO 格式返回预期的响应。
3. 直观的断言：用户可以使用自然语言进行断言操作，所有这些都基于 AI 的理解能力。
4. 通过 Chrome 扩展体验：用户可以立即开始使用 Chrome 扩展，无需编写代码即可探索。
5. 可视化报告：通过可视化报告文件，用户可以轻松理解和调试整个过程。
6. 开箱即用的 LLM：支持使用公共多模态 LLM，如 GPT-4，无需进行任何自定义训练。
7. 完全开源：体验全新的自动化开发世界，尽情享受！

快速开始

要快速开始使用 Midscene.js，可以按照以下步骤操作：

1. 安装 Chrome 扩展：首先，安装 Midscene.js 的 Chrome 扩展。这样可以立即开始使用，无需编写代码。
2. 描述操作步骤：使用自然语言描述你想要执行的操作步骤。Midscene.js 会自动规划并控制用户界面。
3. 查看 JSO 响应：Midscene.js 会根据你的提示，以 JSO 格式返回预期的响应。
4. 进行断言：使用自然语言进行断言操作，确保操作结果符合预期。
5. 查看可视化报告：通过可视化报告文件，轻松理解和调试整个过程。

结论

Midscene.js 通过 AI 驱动的自动化技术，简化了用户界面控制、数据提取和断言操作。它的自然语言交互、直观的断言和可视化报告等特点，使得开发者能够更高效地进行自动化操作。无论是初学者还是经验丰富的开发者，都可以通过 Midscene.js 体验到全新的自动化开发世界。

地址：github/web-infra-dev/midscene