開源Turix，你可以把任何App當(dāng)Agent Skill用！比如微信...

大家好，我是袋鼠帝。

一直以來，我都覺得，對于 AI Agent 來說，最好的 Skill（技能）就是各種 APP。

APP 們才是被無數(shù)產(chǎn)品經(jīng)理、開發(fā)者精心打磨、精密封裝出來的終極 Skills，它們功能強(qiáng)大、運(yùn)行穩(wěn)定、極其封閉...

特別是在國內(nèi)，大部分 APP 都是不那么 Open 的。

需要身份驗(yàn)證、有各種加密機(jī)制、以及防止爬蟲的無數(shù)的反制措施。

所以，你想讓 AI 去自動(dòng)化操作這些 APP，難度非常高。

當(dāng)然，少數(shù) APP 提供了 CLI（命令行界面）供外部調(diào)用，這也是理論上最適合 Agent 操作的方式。

但是，CLI 需要各家 APP 廠商主動(dòng)去開發(fā)適配，推進(jìn)極其緩慢。

目前我了解到提供CLI的只有飛書，釘釘?shù)?，整個(gè)生態(tài)的進(jìn)度很慢。要絲滑打通所有APP，不知道要等到啥時(shí)候去了。

不過最近，我發(fā)現(xiàn)了一個(gè)寶藏開源項(xiàng)目，可以解決這個(gè)問題。它叫 Turix CUA。

開源不久，在 GitHub 上已獲得 2.3K Star。

https://github.com/TurixAI/TuriX-CUA

什么是 CUA？簡單解釋一下，CUA 全稱是 Computer Use Agent，也就是計(jì)算機(jī)操作智能體。如果說大模型是 AI 的大腦，那 CUA 就是 AI 的手和眼。它可以通過視覺識(shí)別屏幕上的內(nèi)容，然后模擬人類的鼠標(biāo)點(diǎn)擊和鍵盤輸入去操作電腦。

Turix 有開箱即用的桌面版。

你還可以把它作為一個(gè) Skill，直接接入到龍蝦（OpenClaw）、愛馬仕（Hermes Agent）、Claude Code、Codex 等各種 Agent 里，直接讓它們實(shí)現(xiàn) APP 自由！

比如，我用它來控制微信，幫我全自動(dòng)通過積累的好友驗(yàn)證請求。

甚至，我還能讓它去扮演元寶的男朋友，在微信里自動(dòng)跟元寶聊天。

并且，它的操作速度還挺快。

大概比正常人熟練操作慢一半，但在目前的 CUA 領(lǐng)域，這已經(jīng)算是非常迅速了。

一、 安裝使用：

1.給 Agent 安裝

給Agent安裝也不難。

比如可以直接把 Turix 的 GitHub 鏈接丟給Codex，下達(dá)指令：

請幫我安裝這個(gè) GitHub 倉庫里的 Agent Skill：

https://github.com/TurixAI/TuriX-CUA

Codex 很快就幫我把環(huán)境拉下來并配置好了。

這玩意兒安裝好之后，相當(dāng)于在你的主 Agent 之下，掛載了一個(gè)專門負(fù)責(zé)動(dòng)手的小跟班（也就是一個(gè) CUA 子智能體）。

所以，你還需要給這個(gè)子智能體單獨(dú)配置一個(gè)帶有強(qiáng)大視覺識(shí)別能力的模型 API。

這塊也可以直接大白話丟給你的本地 Agent 幫搞定。

Turix 支持自定義配置模型。比如你可以配置自己常用的 API 中轉(zhuǎn)站，只需要提供 API Key、模型名稱和 Base URL（API 地址），讓本地 Agent 幫你寫進(jìn)配置文件即可。

另外，Turix 官方其實(shí)也自研了專門針對 GUI（圖形用戶界面）操作微調(diào)或者訓(xùn)練過的模型，分為 turix-brain 和 turix-actor。官方推薦組合效果最佳。

只需要去 Turix 的官網(wǎng) API 平臺(tái)獲取一個(gè)apikey：

https://turixapi.io/console/token

新建一個(gè) API Key，然后把這個(gè) Key 提供給本地 Agent，讓它幫你配置即可（不用再配模型名和 Base URL，因?yàn)槟J(rèn)自帶了官方模型的指向）。

配置好之后，你就可以把那些以前沒法在瀏覽器和純 API 層面完成的臟活累活，下發(fā)給這個(gè)子智能體了。

我發(fā)現(xiàn)注冊之后，賬戶余額里居然自動(dòng)躺了 100萬 Tokens。還不錯(cuò)，可以上來先白嫖一波。

如果你覺得用命令行去操縱 Agent 安裝對你來說有門檻，或者你只想單純體驗(yàn)一下電腦被自動(dòng)操控的快感，也有一鍵安裝的 Turix 桌面版。

https://turix.ai/

它長這個(gè)樣子。

桌面版的優(yōu)點(diǎn)是安裝即用，有優(yōu)化的圖形界面。Work（辦公）模式和 Chat（聊天）模式結(jié)合。

以及桌面版在安全權(quán)限上做得更好。在涉及到文件刪除、發(fā)送郵件等關(guān)鍵步驟時(shí)，它都會(huì)彈窗向用戶詢問請求，不會(huì)一股腦亂動(dòng)你的電腦。

而且，我實(shí)測發(fā)現(xiàn)，相比于把 Turix 作為skill接入到其他 Agent 里，直接使用 Turix 的桌面版，執(zhí)行速度會(huì)更快。

所以，下面我錄屏的任務(wù)，都是使用 Turix 桌面版來完成的。

當(dāng) AI 操縱你的電腦

先讓它找首歌聽聽

我一上來先嘗試了一個(gè)相對簡單的娛樂任務(wù)。

打開 QQ 音樂，幫我找到 QQ 音樂熱歌榜，播放排名第一的歌曲。

它完成得極其輕松。直接拉起 QQ 音樂，點(diǎn)擊排行，找到熱歌榜，然后點(diǎn)擊了第一首歌的MV播放按鈕。

播放的是一首賈斯汀·比伯早期的經(jīng)典 MV。說實(shí)話，這個(gè)12年前的MV確實(shí)很新穎，是自拍的形式，那時(shí)候的賈斯丁比伯感覺是顏值巔峰。

結(jié)果就被這首歌和MV深深感染到，不知不覺把MV都錄完了，感興趣的朋友可以一直看完，挺奇妙的。

好了，我們回歸正題

我準(zhǔn)備試一試讓它去操縱國內(nèi)最封閉的國民 APP：微信。

微信全自動(dòng)通過好友請求

平時(shí)微信里加我的人不少。一般我都是固定時(shí)間，手動(dòng)一個(gè)一個(gè)去點(diǎn)同意，還是比較費(fèi)時(shí)間的。

這次我決定用 Turix 試試。

用 CUA 操作微信最大的好處是，沒有封號風(fēng)險(xiǎn)。因?yàn)樗举|(zhì)上就是在模擬正常人的鼠標(biāo)點(diǎn)擊和滑動(dòng)，根本不涉及底層協(xié)議的破解或 API 劫持。

Prompt：打開微信，打開微信左側(cè)欄的通訊錄，展開新的朋友，這里面有很多等待驗(yàn)證的朋友，從最上面開始，一個(gè)一個(gè)點(diǎn)擊它們，前往驗(yàn)證，權(quán)限選擇朋友圈，點(diǎn)擊確定，然后一個(gè)一個(gè)執(zhí)行，直到全部通過為止。

看著鼠標(biāo)自動(dòng)在屏幕上有條不紊的點(diǎn)擊、驗(yàn)證通過、返回、再點(diǎn)擊下一個(gè)，那種把重復(fù)勞動(dòng)甩給AI的爽感，絕了。

微信指數(shù)查詢自動(dòng)化

平時(shí)寫文章，我經(jīng)常需要去查各種熱詞的微信指數(shù)。這也屬于枯燥的重復(fù)勞動(dòng)。

那就讓它幫我看看OpenClaw最近的熱度怎么樣了

Prompt：打開微信，打開「微信指數(shù)」小程序，在里面搜OpenClaw，查看目前OpenClaw微信指數(shù)熱度

它極其精準(zhǔn)的找到了微信指數(shù)，打開了微信指數(shù)小程序，最終查詢到OpenClaw的微信指數(shù)（熱度越來越低了）。整個(gè)流程一氣呵成。

有了這個(gè)基礎(chǔ)，完全可以每天讓它定時(shí)去跑很多個(gè)關(guān)鍵詞的指數(shù)，監(jiān)控?zé)狳c(diǎn)。

賽博男友在線代聊

那能不能讓它直接幫我回消息？

我直接讓它扮演元寶的男朋友，跟元寶去聊聊，看看是怎么個(gè)事兒

Prompt：打開微信，搜索元寶，給元寶發(fā)消息，扮演她的男朋友跟它閑聊，等他回復(fù)，根據(jù)他回復(fù)的內(nèi)容，繼續(xù)聊天。這樣一來一回，聊5輪結(jié)束。輸入消息后回車是發(fā)送消息。最終把這段聊天記錄導(dǎo)出到當(dāng)前工作空間（md格式）。

打字發(fā)送的過程極其絲滑。

角色扮演也相當(dāng)入戲，開口就是："寶貝，在干嘛呢？想你啦～"

還會(huì)根據(jù)元寶發(fā)來的表情包做出恰當(dāng)?shù)奈淖只貞?yīng)。

整個(gè)對話進(jìn)行了好多輪，甜蜜程度爆表

但也暴露出了 Turix 目前的一個(gè)問題。

它好像容易聊嗨了。對于我規(guī)定的 聊 5 輪結(jié)束 這個(gè)數(shù)字限制不敏感。

兩"人"你一言我一語，對話輪數(shù)遠(yuǎn)遠(yuǎn)超出了 5 輪，最后還是我強(qiáng)行干預(yù)才停下來。

希望官方能盡快優(yōu)化它對數(shù)字的約束能力。

發(fā)現(xiàn)了 問題 怎么辦？為了方便，我讓它自己給自己提 Bug

也就是讓 Turix 自己去提 Issue（問題報(bào)告）！

直接套娃，哈哈

Prompt：幫我給這個(gè)開源項(xiàng)目提一個(gè)issue：https://github.com/TurixAI/TuriX-CUA，大意是執(zhí)行CUA任務(wù)的時(shí)候，對數(shù)字不敏感，比如我讓它跟微信好友對話5輪就結(jié)束，它會(huì)聊嗨掉，最后對話輪數(shù)遠(yuǎn)遠(yuǎn)超出5輪。不是偶現(xiàn)問題，希望盡快優(yōu)化。用谷歌瀏覽器

絲滑的打開正在使用的瀏覽器，因?yàn)橐呀?jīng)登錄了我的github賬號，就不用重新登錄了。

然后不是只填原話，而是根據(jù)自己的理解和issue的格式，填寫了一條標(biāo)準(zhǔn)的issue信息，并順利提交了～

然后我發(fā)現(xiàn)，Turix 在操作瀏覽器時(shí)的絲滑程度，簡直就像大學(xué)生做小學(xué)題一樣。感覺比操作APP更絲滑

順帶提一嘴，前兩天，Codex 桌面版也更新了，同樣支持了操縱本地 APP 的功能。

我也體驗(yàn)了一下 Codex 的 CUA 能力

坦白說，在基礎(chǔ)的點(diǎn)擊準(zhǔn)確率上，兩者效果差不多。

Codex 的操作有時(shí)候也會(huì)顯得迷惑。

比如我讓它去QQ音樂里播放周杰倫新專輯，它死活敲不出漢字，在那給我整個(gè)拼音瞎搜。

相比之下Turix 的架構(gòu)明顯更加靈活。因?yàn)樗峭耆_源的，它可以被當(dāng)成一個(gè)底層的能力模塊，接入到任何你喜歡的 Agent 框架里當(dāng) Skill 用。

你也可以隨意給它更換更強(qiáng)大的視覺大模型底座，上限很高。

在CUA的執(zhí)行速度上，Codex桌面版也會(huì)比turix桌面版稍慢一些。

但是Codex好的一點(diǎn)是，點(diǎn)擊的時(shí)候不會(huì)搶鼠標(biāo)，會(huì)生成一個(gè)新的鼠標(biāo)來點(diǎn)擊。而Turix會(huì)搶鼠標(biāo)，希望這塊官方也能盡快優(yōu)化一下子。

「最后」

從技術(shù)的角度來看，讓 Agent 操縱各種 APP，最穩(wěn)定、最高效的終極方案絕對是底層 API 調(diào)用或者 CLI 命令行。

但是，目前必須面對現(xiàn)實(shí)。CLI 這項(xiàng)技術(shù)雖然古老且成熟，但在國內(nèi)這種處處建護(hù)城河的互聯(lián)網(wǎng)大環(huán)境下，愿意主動(dòng)開放系統(tǒng)底層接口的官方 APP 屈指可數(shù)。

所以，我認(rèn)為在未來一段時(shí)間內(nèi)，CUA（計(jì)算機(jī)視覺操作）還是最具普適性的APP自動(dòng)化方案。

特別是當(dāng)CUA再進(jìn)化一段時(shí)間后，操作速度和準(zhǔn)確度會(huì)更上一層樓。

到那時(shí)候，CUA 的工作模式絕對會(huì)顛覆傳統(tǒng) RPA 行業(yè)的。

因?yàn)槭褂肦PA，你需要程序員去寫復(fù)雜的抓取腳本，網(wǎng)頁一旦改版，腳本就得重寫。而且上手門檻也挺高的。。

而 CUA，你只要用大白話下達(dá)一次指令，它如果磕磕絆絆地成功執(zhí)行了一次，能立刻把這套操作流程沉淀成一個(gè)經(jīng)驗(yàn) Skill。下次你再讓它干同樣的活，直接調(diào)用這個(gè) Skill，就能更快、更穩(wěn)的完成任務(wù)。

這就相當(dāng)于你花十分鐘教了一個(gè)聰明的徒弟，以后這活兒就是他的了。

你怎么看，想要操縱什么APP 干什么事情，歡迎在評論區(qū)一起開腦洞交流～

我是袋鼠帝, 一個(gè)致力于幫你把 AI 變成生產(chǎn)力的博主. 我們下期見～

能看到這里的都是鳳毛麟角的存在!

如果覺得不錯(cuò), 隨手點(diǎn)個(gè)贊、在看、轉(zhuǎn)發(fā)三連吧~

如果想第一時(shí)間收到推送, 也可以給我個(gè)星標(biāo)?

謝謝你耐心看完我的文章~