跳转到主要内容

如何在ConsoleX上使用Computer Use功能?

给AI配备了一台自己的电脑,可以帮助你完成更加复杂的任务。

Quentin avatar
作者:Quentin
超过 4 个月前更新

ConsoleX AI提供了Computer Use功能,用户可以在与AI对话过程中,赋予AI调用本地计算机来进行屏幕截图、鼠标和键盘操作、文件和终端操作的能力。相当于给AI配备了一台自己的电脑,可以帮助你完成更加复杂的任务。

以下视频是一个关于使用Computer use功能让AI扮演购物助理角色的演示:

如何使用Computer Use工具?

  1. 准备工具:部署Computer Use的桌面环境和API 在使用Computer Use工具之前,需要先部署Computer Use的桌面环境和API。最简单的方式是通过ConsoleY来实现,当然你也可以自己实现电脑操作的API功能接口。

  2. 在ConsoleX AI中启用Computer Use功能 在模型下拉列表中选中Claude 3.5 Sonnet模型之后,点击右上角的侧边栏图标,然后将"启用Computer Use"的开关切换至打开状态。首次使用需要输入Computer Use的Base URL,然后点击"保存"按钮。

  3. 在对话中使用Computer Use工具 当你在对话中输入的指令需要使用Computer Use工具时,大模型会自动调用Computer Use工具来完成回答。

例如,你可以试试以下指令:

  • 描述一下你看到的电脑桌面

  • 打开浏览器,并打开ConsoleX.ai

注意事项:

  • Computer Use功能目前仅限于配合claude 3.5 Sonnet最新的模型使用,选择其他模型时不会出现Computer Use的选项。

  • 使用Computer Use的过程中会产生多次与模型的交互对话,因此会消耗更多的Tokens,建议开启"自动启动缓存"功能,以节省成本。

这是否解答了您的问题?