Evilom
2.5 KiB
2.5 KiB
LqVQwLuFLiQdamkOchPczt7dnVh
Source: https://ocnmca6f1o0p.feishu.cn/wiki/LqVQwLuFLiQdamkOchPczt7dnVh
工作内容概述
1、通过ollama在GUP服务器上gemma-4-E4B 模型 2、通过UI-TARS自动跑游戏
一、UI-TARS：
UI-TARS Desktop 是由字节跳动开源的一款桌面AI智能体应用，它能让用户通过自然语言来直接控制电脑完成各种操作。 ** 核心功能亮点**
- 纯视觉驱动：与传统依赖固定控件ID的自动化工具不同，它像人一样通过视觉识别界面元素，即使界面布局发生改变也能自适应。
- 自然语言交互：无需学习任何代码或脚本，你只需直接说出或输入你的需求，例如“帮我把桌面整理一下”。
- 强大的多模态理解：不仅能识别文字和按钮，还能理解元素间的上下文和空间关系。
- 实时动态交互：能实时监控并响应屏幕的动态变化，例如弹窗的突然出现。
- 本地运行与跨平台：支持在 Windows 和 macOS 上本地执行任务，保障数据隐私，并通过统一的动作空间在不同应用间无缝切换。
- 全面环境整合：除了基本的桌面操作，还能与浏览器、命令行终端和文件系统深度交互。
开源地址：UI-TARS-desktop
😅 本地跑不动带图像识别的模型，先是使用的Qwen的模型API，但是他三四秒才反应一次，UI-TARS的好处是可以直接操作我的电脑，比如模拟键盘WSAD跟鼠标点击事件，这样只要电脑能跑的游戏他就能操作。 他能顺利的跑起来了，但是需要好久才跑进下一关。这样太慢也太烧Token了，再试试通过GPU服务器跑模型。
😅 首先我使用的是Ollama来跑本地模型，但是遇到一个问题，Ollama不支持Gemma 4最新的mmproj（视觉投影），这个要等后面Ollama后期兼容。后面换成那llama-server来跑Gemma模型，能成功跑起来了，反应也比Qwen模型反应快了不少，大概一两秒就有一次反馈了，但我使用的是Gemma 4 7B参数的模型，整体感觉没有使用Qwen那么的聪明，后期看看有没有其他更适用的模型或者通过微调的手段，既能保证速度也能保证质量。