跳到主要内容
应用

07 · ACT

AI 桌面自动操作

Desktop Operator

让 AI 在明确授权和可审计边界内理解屏幕、调用浏览器与桌面工具,执行跨应用任务。

01概述

这是什么

很多业务系统没有 API,工作只能在界面上完成。这是一个实验室课题:在什么条件下,把界面操作交给 AI 是安全且值得的?边界、授权与停止机制是这个课题的主体,而不是附加条款。

02问题

它想解决什么

在没有接口的系统上,自动化只能依赖界面操作,而界面操作天然缺少参数校验与权限约束。如果不加边界,一个误判就可能造成不可逆的后果。

03能力

核心能力

  • 01

    明确的授权范围

    预先声明可操作的应用与窗口,超出范围的操作被拒绝。

  • 02

    人工确认

    提交、支付、删除等不可逆动作必须由人确认。

  • 03

    完整操作日志

    每一次点击与输入均记录,可事后审计。

  • 04

    随时停止

    提供始终可用的停止入口,立即中断执行。

  • 05

    受限的凭据处理

    密码、支付信息与身份证件号码在永不代输清单上;这类字段一旦出现,操作即交还给人。

04流程

工作方式

  1. 01

    授权

    用户声明可操作范围与禁止动作。

  2. 02

    理解

    识别当前界面结构与可交互元素。

  3. 03

    规划

    拆解任务为可验证的操作步骤。

  4. 04

    确认

    不可逆步骤停下来等待人工确认。

  5. 05

    执行

    在授权范围内操作,全程记录。

05位置

它在能力域中的位置

输入结果
  1. 01 · SENSE感知与交互同时涉及
  2. 02 · UNDERSTAND知识与决策不直接涉及
  3. 03 · CREATE内容与生成不直接涉及
  4. 04 · ACT自动化与执行主能力域
  5. 05 · ORCHESTRATE企业系统编排不直接涉及
主能力域决定这个应用的核心职责;同时涉及的能力域说明它必须与哪些环节协同。这张图只描述位置,不代表交付范围。
06场景

使用场景

  1. 01

    无接口系统的数据搬运

    在缺少接口的旧系统之间转录信息。

  2. 02

    重复性界面操作

    批量执行结构固定、判断简单的界面任务。

  3. 03

    流程验证

    在受控环境中验证流程是否可自动化。

07连接

企业系统连接

  • 浏览器
  • 桌面办公软件
  • 无接口的旧业务系统
  • 工作流引擎
08治理

数据、权限与部署

这不是一个拥有无限权限的系统。可操作范围必须预先声明,不可逆动作强制人工确认,停止入口始终可用,全部操作留存日志。系统不代为输入密码、支付信息或身份证件号码。仅在受控环境中运行。

09开放

当前开放范围

实验项目,不开放公开使用。当前工作集中在边界定义、失败模式与审计机制上——是否走向产品,取决于这些问题的答案。

实验项目

申请体验

想知道它在你的场景里能做到什么?

告诉我们业务场景与现有系统,我们会先判断这件事是否值得做,再谈怎么做。

实验室课题,用于验证边界与风险,不承诺产品化时间。