字节跳动于2025年1月22日开源了一种原生图形用户界面（GUI）代理模型：UI-TARS，欧博UI-TARS的名字来源于电影《星际穿越》中的TARS机器人，专为自动化图形界面交互设计，预示着它具备高度的智能和自主思考能力。

UI-TARS 是什么？

UI-TARS能够像人类一样通过屏幕截图观察界面，皇冠并执行键盘、鼠标等操作，模拟人类操作手机和电脑并完成任务并具备高级的感知、推理和交互能力。

UI-TARS目标是通过高度智能化的模型来控制和与用户界面进行交互，从而向更自然、高效的人机交互方式的转变。

UI-TARS特征：

由视觉语言模型支持的自然语言控制

截图和视觉识别支持

精确的鼠标和键盘控制

跨平台支持（Windows/MacOS）

实时反馈和状态显示

UI-TARS功能：

自我学习能力：UI-TARS具备自我学习的能力，DG游戏可以通过不断的交互和反馈来优化其操作。

多平台支持：该模型不仅适用于PC和MacOS，还能在手机和网页上运行，具有广泛的适用性。

自然语言处理：UI-TARS能够将屏幕截图和自然语言指令作为输入，欧博注册准确预测出完成指令的下一步操作，帮助用户操作UI界面。

图像识别：UI-TARS能够处理屏幕截图，识别界面元素并进行相应的操作，欧博代理这使得它在UI自动化测试和操作中非常有效。

增强感知：利用大规模的GUI屏幕截图数据集，实现对UI元素的上下文感知理解和精确标注。

统一动作建模：将跨平台的动作标准化为统一空间，并通过大规模的动作轨迹实现精确的定位和交互。

系统-2推理：将深思熟虑的推理纳入多步骤决策，涉及任务分解、反思思维、里程碑识别等多种推理模式。

迭代训练：通过在数百台虚拟机上自动收集、过滤和反思性地精炼新的交互轨迹，解决数据瓶颈。

UI-TARS应用场景

与传统依赖模块化框架或手工提示优化的系统不同，UI-TARS采用端到端架构，依赖纯视觉输入，实现了对复杂任务的全面自动化。UI-TARS不仅仅局限于测试场景，它更侧重于日常用户交互的智能化，通过AI的力量，使得与计算机的交互更加人性化。

UI-TARS项目地址：https://github.com/bytedance/UI-TARS