这项由哈尔滨工业大学（深圳）与深圳湾区研究院联合开展的研究，以预印本形式发布于2026年7月，论文编号为arXiv:2607.12625，感兴趣的读者可通过该编号查阅完整原文。
手机里装了几十个App，但每次要办一件稍微复杂点的事，还是得自己一个一个打开、一步一步操作，AI助手明明挂着嘴边，真正能帮上忙的时候却少得可怜。哈工深的研究团队就是奔着这个现实痛点去的。他们造出了一个叫做KnowAct-GUIClaw的系统，核心思路可以用一句话概括：**一个真正懂你的AI助手，应该像一个经验丰富的老秘书——不仅知道你要什么，还记得上次怎么做、哪里踩过坑，下次直接走捷径。**
这篇研究诞生的背景，是当前AI智能体领域一个尚未解决的尴尬：市面上已有OpenClaw这类优秀的AI智能体框架，能帮人自动分解任务、调用工具、完成复杂目标。但这些框架有两个硬伤——第一，它们不擅长操作手机和电脑屏幕上的图形界面，遇到需要"点开App、找到按钮、填写内容"这类操作就力不从心；第二，它们没有学习记忆机制，每次执行任务都像第一次，完全不会从过去的经历中积累经验。KnowAct-GUIClaw就是为了同时解决这两个问题而生的。
---
一、老秘书的工作哲学：懂得深，才能做得好
所谓"老秘书"，从不是接到一个任务就埋头干活的人。在动手之前，他会先翻翻手头的记录——上次帮你订机票走的哪个App、某个平台的设置在哪个角落、你的偏好是什么。这正是KnowAct-GUIClaw系统的核心设计哲学，研究团队将其概括为"Know Deeply, Act Perfectly"（深度理解，精准执行）。
这套系统的整体架构由两个角色分工协作。一个是"主控智能体"，相当于那位老秘书本人，负责理解用户意图、分解任务、调配资源、监督全局；另一个是"GUI执行器"，相当于一双擅长操作屏幕的手，专门负责在具体的App界面上完成一系列点击、滑动、输入等操作。这两个角色之间有明确的边界：主控智能体管"做什么"，GUI执行器管"怎么在屏幕上做"。
两者之间的分工为什么重要？因为AI操作图形界面，本质上是一个"盲人摸象"式的困境。每次截图只能看到屏幕当前显示的内容，看不到后台状态，也不知道用户是否已经登录、权限是否已经授予、某个按钮点下去会触发什么。研究团队用一个专业词汇描述这种困境：部分可观测的马尔可夫决策过程（POMDP）——简单说就是，智能体在不完整的信息下需要连续做决策，还得能从错误中恢复。把这个复杂的"屏幕操作问题"单独交给一个专门的执行器处理，主控智能体就能集中精力在更高层的任务规划上，整体效率和准确性都大幅提升。
---
二、从任务到行动的四步流水线：知、路、行、思
KnowAct-GUIClaw的整个执行过程分为四个环节，研究团队称之为Know-Route-Act-Reflect（知-路-行-思），这四步首尾相连、循环迭代，构成一个不断进化的闭环。
第一步"知"，是动手之前的准备功课。系统会主动去翻阅自己积累的历史记录和知识库，把与这次任务相关的信息都调出来备用——比如这类任务通常用哪个App、上次有没有遇到过类似情况、有没有现成的操作捷径可以复用。这些记忆不会强制覆盖当前指令，而是作为参考建议提供给后续环节。当用户的指令比较模糊时，系统还会结合历史中记录的用户偏好，自动补全合理的默认假设，并向用户明确说明，等待确认或修改。
第二步"路"，是任务分解和路径规划。面对一个可能横跨多个App的复杂任务，系统会把它切分成若干个子任务，每个子任务对应一个具体的App，并明确规定这个子任务需要哪些输入信息、完成后要输出哪些信息。这些中间信息不是靠模型"脑补"传递，而是写进一块公共的"黑板"上，下游子任务直接从黑板上取数据。如果某块数据取不到，任务就直接中止，而不是让系统胡乱猜一个继续跑——这种"缺数据就停"的设计，有效防止了AI凭空捏造信息导致连锁错误的问题。
第三步"行"，是具体的屏幕操作执行阶段。GUI执行器在这一步登场，它拥有一套完整的操作工具箱：点击、滑动、输入文字、返回主界面、等待加载……除了这些基础动作，它还能调用系统预先验证过的"快捷方式"，比如Android深度链接（直接跳转到某个App的特定页面）和系统意图（通过系统级命令触发特定功能）。这些快捷方式能绕过大量繁琐的导航步骤，但只有在系统确认目标页面确实存在且参数正确之后才会使用，避免了因盲目走捷径而跑偏的风险。
第四步"思"，是任务结束后的复盘和沉淀。系统会把这次任务的执行轨迹梳理成简洁的经验笔记，成功的路径提炼成可复用的技能模板，失败的经历提炼成警示教训。下次遇到类似任务，这些沉淀的经验就会在"知"这一步被调取出来，让整个执行过程走得更快更稳。
---
三、记忆系统：AI版的"工作日志"
KnowAct-GUIClaw的记忆系统分为两种形态，各司其职，相辅相成。
第一种是"经验记忆"，存储的是文字形式的经验教训。每次任务跑完，系统会把执行过程浓缩成一段简洁的描述，分成成功笔记和失败笔记两类分别写入。成功笔记记录"这类任务这样走效率最高、这个App的目标功能在这个入口"；失败笔记记录"这条路走不通、这个界面设置不在手机App里而在网页管理后台"。这些记忆不会被无限堆积，系统会过滤掉重复的内容，每种任务最多保留几条最有价值的经验，保持知识库的精炼和有效。
论文里有一个非常生动的案例：用Mastodon这个社交平台创建邀请链接。没有记忆系统的情况下，AI老老实实打开Mastodon的手机App，在设置里翻来翻去，最终走到死路——因为带高级选项的邀请链接功能根本不在手机App里，只在网页管理后台。有了记忆系统之后，系统在"知"这一步就调出了一条经验笔记："Mastodon邀请链接需要通过网页管理后台操作，手机App不支持。"于是直接打开浏览器，登录管理后台，找到邀请设置，任务顺利完成。从走错路到精准导航，差别就在于那一条几行字的经验记录。
第二种是"技能库"，存储的是可以直接复用的操作程序。技能库里的每一项技能都是一段标准化的操作流程，比如"在拼多多搜索商品：打开App → 点击搜索栏 → 输入关键词 → 点击搜索按钮"。这段流程里，固定不变的内容（按钮位置、界面元素）直接写死，会随任务变化的内容（搜索关键词）用占位符表示，执行时动态填入。
技能不是一成不变的。当系统在执行中发现某个技能失效了（比如App更新后界面布局变了），它不会直接丢掉这个技能另起炉灶，而是触发"技能进化"机制：记录失败的步骤、截图证据和错误原因，然后针对这个技能做定向修复——也许是更新按钮坐标，也许是加一个处理弹窗的可选步骤，也许是收窄技能的适用范围。修复优先于重建，保证了技能库的稳定积累。
---
四、跨App信息传递：黑板机制杜绝"信息丢失"
处理横跨多个App的复杂任务，最容易出的问题不是某个单步操作失误，而是"信息在传递过程中丢失或变形"。
设想这样一个场景：用户让AI助手"去我的邮件里找今晚派对的时间，然后提前一小时给我设一个闹钟"。这其实是两个子任务——先从邮件App读取时间，再去时钟App设定闹钟。如果这两步之间没有可靠的信息交接机制，AI很可能读完邮件就忘了时间，或者把"7:00 PM"误记成"7:00 AM"。
KnowAct-GUIClaw的"黑板"机制专门解决这个问题。每个子任务开始前，系统会在黑板上声明"我需要哪些数据""我会产出哪些数据"，执行完成后严格按照声明把结果写回黑板，下一个子任务只从黑板上读取前面子任务明确写入的数据，不做任何自由发挥的推断。论文展示的派对-闹钟案例中，邮件子任务把"派对时间=晚上7点"写进黑板，主控智能体在黑板上做了减法（7点减去1小时等于6点），然后把"设置时间=晚上6点"传给时钟子任务，闹钟准确设定。整个过程透明、可追溯，数据不会在模糊的自然语言摘要中悄悄跑偏。
还有一个更复杂的案例：用户让AI助手"检查邮件找到我参加的会议酒店地址，发短信告诉Tom，再用地图查一下从MIT步行过去要多久"。邮件子任务找到了"Harvard Square Hotel"这个名字，但没有完整地址。主控智能体发现这个信息不够用，直接调用网络搜索工具补全了地址，然后把完整地址"Harvard Square Hotel, 110 Mount Auburn St, Cambridge, MA 02138"分别传给短信子任务和地图子任务。地图最终报告步行需要13分钟。当GUI操作获取的信息不足时，主控智能体可以主动用非GUI的工具（比如搜索）补全，而不是让整个任务卡死，这种灵活的救场能力是系统设计的一大亮点。
---
五、混合操作模式：能走捷径就不绕弯路
操作手机屏幕，不是什么功能都需要从桌面一步一步点进去。Android系统本身提供了"深度链接"和"意图"两种机制，允许直接跳转到某个App内的特定页面，甚至直接触发某个功能。KnowAct-GUIClaw把这些系统级捷径集成进了操作工具箱。
论文里的跨App比价案例把这个优势展示得非常直观：用户让AI比较同款SSD在京东和淘宝的价格。京东那边，系统触发了一个预先验证过的搜索意图，直接跳转到了包含该商品搜索结果的页面；淘宝那边，系统没有可用的已验证捷径，于是老老实实走了5步普通GUI操作——打开App、关掉促销弹窗、点击搜索框、输入商品名、点击搜索。京东1步，淘宝5步，差距清晰可见。两边的价格都通过黑板机制汇总到主控智能体手里，主控智能体综合比较后给出购买建议。
捷径的使用有严格的前置验证——系统不会看到一个深度链接就直接用，而是先在设备上实际测试这个链接能不能打开正确的页面、参数有没有被正确传递，通过验证的才会被收录进捷径库，未通过的只作为候选记录保留。这种"先验证后使用"的原则，避免了因为捷径无效而导致任务出错的风险。
---
六、在真实测试中的表现：开源模型打败闭源巨头
研究团队在两个主要的基准测试上评估了KnowAct-GUIClaw的性能。
第一个是MobileWorld基准测试，包含117个长流程手机任务，覆盖20个真实App，难度较高。这是研究团队的主战场，也是本文最核心的实验数据来源。在这个测试中，单独使用Qwen3.5-35B这个参数量较小的开源模型作为GUI执行器，成功率只有24.8%——约莫四分之一任务能完成。把它接入KnowAct-GUIClaw框架、加上主控智能体和经验记忆之后，成功率跳升到34.5%；再开启技能库，成功率进一步升至37.9%。
更令人关注的是一组跨模型迁移实验：用Kimi-K2.6这个较强的模型跑过任务之后，把它积累下来的经验记忆和技能库"移植"给Qwen3.5-35B来用，后者的成功率一路升至41.0%，比它单独跑的24.8%整整高出16.2个百分点。这说明系统积累的知识财富具有真正的可迁移性——不是和某个特定模型绑定的私有财产，而是任何接入系统的模型都能受益的共享资产。
当使用Kimi-K2.6同时担任主控智能体和GUI执行器时，系统达到了64.1%的成功率，超过了榜单上所有其他参与者，包括Seed-2.0-Pro（63.2%）和GPT-5.5（62.4%）这两个强力闭源商业模型。这是一个完全由开源模型驱动的系统，在长流程手机任务上的表现超越了当时最先进的闭源AI，意义相当显著。
从效率角度看，技能库的价值不只体现在成功率上，还体现在操作步数的减少上。在那些实际用上了技能的任务中，使用技能库让每个任务平均减少了3.3个GUI操作步骤，总体界面截图和操作的计算量也减少了约6%——也就是说，任务做对了，花的力气还更少了。
第二个测试是AndroidDaily基准，包含235个任务，需要真实操作iOS设备（测试了跨平台能力），部分任务还要求不只是完成操作、还要给出具体答案。在194个可用任务上，KnowAct-GUIClaw的成功率达到78.61%，大幅领先于专门为GUI任务设计的对比系统（UI-TARS-1.5的56.64%）。系统在需要跨App分析和给出明确答案的复杂任务上优势尤为突出，正是因为黑板信息传递和经验记忆两个机制在这类任务上发挥了最关键的作用。
---
七、跨平台验证：安卓之外，HarmonyOS和Windows同样能用
研究团队没有把系统限定在安卓平台上做测试，还在HarmonyOS（华为鸿蒙）和Windows上进行了验证。
鸿蒙测试选取了63个任务，包括跨App的日历管理、地图规划、社交软件操作等，最终完成了48个，成功率76.2%。Windows测试设计了30个桌面任务，覆盖浏览器操作、文件管理、Office文档、终端命令、系统控制等场景，完成了21个，成功率70.0%。
两个平台都暴露出了各自独特的难题，研究团队对此做了坦诚的分析。鸿蒙上的失败案例之一是设置一个8:25的闹钟——问题出在分钟的选择界面上，采用了一种惯性滚轮式选择器，AI反复在附近区域滑动，就是无法精准停在25这个位置，最终步骤耗尽任务失败。另一个失败案例是在淘宝下单后移交控制权，AI在订单确认页面就停下来了，误以为那就是支付页面，其实支付页面要再点一下"立即付款"才会出现——这是对App界面流程语义的误判。Windows上的失败案例则揭示了另一层困难：让AI从内置表情面板里找到"大笑"表情并发送，AI能找到表情面板，但选错了表情——因为面板里的表情图标没有文字标签，只有图形，AI需要把"大笑"这个语言描述映射到一个视觉符号，这种"语言-图形"的对应是当前AI模型的一个普遍短板。
这些失败案例并非被轻描淡写地带过，而是被研究团队当作开放性挑战列出，为后续研究指明了方向：精细的几何控制、短暂出现的界面元素（如通知弹窗）的实时响应、以及自然语言到视觉符号的语义对应，都还有大量工作可以深入。
---
说到底，KnowAct-GUIClaw干的这件事，是在尝试让AI助手真正"用过就不白用"。现有的很多AI系统，每次执行任务都像新手上路，路上踩过的坑下次还会再踩；而KnowAct-GUIClaw设计了一套系统性的记忆和学习机制，让每一次成功和失败都能转化为下一次任务的财富。
这项研究对普通用户意味着什么？从理论上说，如果这类系统真的落地到日常使用的手机助手里，用户委托AI完成跨App复杂任务的可靠性会大幅提升，不再需要自己一个一个App地切换操作。经过一段时间的使用积累，助手会越来越熟悉你的手机环境和操作习惯，常用的路径会越走越快，踩过的坑不会重复踩。
当然，研究团队自己也坦承，当前的系统在精细手势控制、实时弹窗响应、复杂图形界面语义理解上还存在明显局限，距离能稳定服务所有用户的实用级产品还有一段路要走。未来他们计划把知识检索、外部工具调用和GUI操作三件事合并到一个统一的决策周期里，而不是现在这种分阶段的流水线结构，从而进一步减少主控智能体和执行器之间的来回通信开销。
读到这里，你可能会好奇：如果AI助手真的能记住我的操作习惯，那隐私怎么办？记忆存在哪里、谁能看到、怎么删除？这些工程落地层面的问题，是这类系统真正走进千家万户之前必须回答的现实挑战，也是学界和产业界共同需要持续关注的议题。对这项研究感兴趣的读者，可以通过arXiv:2607.12625查阅完整论文和实验日志，实验日志还公开在GitHub上，地址在论文中有明确标注。
---
Q&A
Q1：KnowAct-GUIClaw的记忆系统和普通AI聊天记录有什么不同？
A：普通AI聊天记录只是保存对话文本，下次对话不一定会参考。KnowAct-GUIClaw的记忆系统是主动提炼的经验库，分为"经验记忆"（文字版操作教训）和"技能库"（可直接复用的操作流程）两类，会在每次新任务开始前主动检索相关内容来指导执行，而且这些知识可以跨不同AI模型共享使用，不绑定某个特定模型。
Q2：KnowAct-GUIClaw能操作iPhone上的App吗？
A：可以部分支持。论文中的AndroidDaily基准测试就是在iOS设备上进行的，系统成功率达到78.61%。不过系统目前的技能库和快捷方式机制主要针对Android平台设计（如深度链接和系统意图），iOS上只能依赖基础的屏幕操作动作，深度集成程度相对有限。
Q3：开源模型用KnowAct-GUIClaw框架后为什么能超过闭源大模型？
A：闭源大模型（如GPT-5.5、Seed-2.0-Pro）在MobileWorld测试中直接操作屏幕，靠模型本身的能力硬扛复杂任务。KnowAct-GUIClaw给开源模型加上了经验记忆和技能库，相当于让模型站在了此前积累的所有经验肩膀上——知道哪个App哪个功能在哪里、哪条路走不通、有哪些捷径可用。这种"知识加持"弥补了模型规模上的差距，让较小的开源模型在长流程任务中表现反超了更大的闭源模型。
杭州股票配资提示：文章来自网络，不代表本站观点。
