AI高手vs普通員工：140萬條對話揭示出4個關鍵差異

AI正在迅速改變工作，領導者難以清晰闡述其組織將如何適應，這是可以理解的。這是因為缺乏對"優秀"標準的明確定義。頂尖的AI使用者在與AI工具協作時展現出顯著的敏捷性和靈活性。他們更可能在模型間切換，利用多個AI平臺，并將日益復雜的多步驟任務委派給AI，這反映出一種更成熟的、將AI視為動態協作者而非單一用途工具的心智模型。

企業正迅速將AI工具交到員工手中。然而，盡管投入巨大，許多領導者仍在努力評估其成效。AI是否切實提升了工作質量、速度與雄心？它是否增強了專業判斷力？誰在用AI方面取得了成功，原因何在？成功的應用究竟是何面貌？

由于目前還沒有大規模適用的工具和框架來衡量員工的定性成果，大多數組織缺乏明確的、基于行為的信號來表明人工智能是否產生了積極影響。在缺乏有效信號時，領導者往往退而求其次，選擇最易量化的表層指標：使用頻次、在線時長、提示詞數量、消耗的token量以及員工自評的技能水平，這些便成了衡量AI應用進展的替代性指標。換句話說，他們衡量的是活動量，而非應用水平或實際影響力。

不足為奇，績效提升參差不齊，領導者難以就員工如何利用AI提升績效提供具體指導。沒有更有效的衡量方式，領導者就無法判斷哪些行為需要強化，哪些需要教導，哪些需要摒棄。

為了解常規AI使用與高級人機協作之間的區別，畢馬威與德克薩斯大學奧斯汀分校的研究人員合作。我們共同分析了在八個月期間，由約2500名員工生成的超過140萬條AI提示詞與回復。通過這項分析，我們建立了一個基于提示詞工程的高級使用定義——強調清晰的提示詞加上有意識應用的策略——并發掘了一組低成本、可觀察的指標，例如模型切換和結構化的初始提示詞，這些指標可預測高水平使用。這些洞察正被系統性地融入畢馬威的人才發展、學習體系與績效管理框架中，形成一套可供任何組織借鑒的完整方法論——用于系統性培養并科學評估員工高階AI應用能力。

頂尖AI使用者有何不同？

項目開始時，畢馬威的AI應用已達到相對成熟的階段：近90%的員工定期使用AI，且可用的工具集不斷增長。公司可以衡量使用頻率，但缺乏對有效或高級應用的具體定義及其衡量方法。這是個問題。沒有這種清晰度，就難以推動組織超越基礎應用的階段。我們相信，如果能定義和衡量"優秀"的標準，就能更有意識地鼓勵全公司范圍內的、高影響力的高級AI使用。

我們的研究分析了涵蓋不同職能、角色和經驗水平的多元化專業人士的習慣?；叵胍幌?，在八個月的時間里，我們創建了一個包含2500名員工所有生成提示詞與答案的檔案——總計140萬條。數據集的規模和持續時間使我們能夠超越一時之快，不僅看到員工在某一天如何使用AI，還能觀察到他們在界定問題、引導推理、評估輸出以及將AI應用于不同類型工作的模式，如何隨著時間演變和分化。

為了分析這些數據，我們請OpenAI的"思維模型"之一——ChatGPT模型o1——來評估每次對話（包括提示詞和回復），并判斷某些特征是否存在，包括用例類型、提示詞工程策略以及AI使用的其他行為指標。這項分析消耗了大量計算時間，產生了超過50個變量，隨后我們對其進行了提煉。

掌握了這些信號后，我們提出疑問：這些信號如何提供一個簡化的指南，幫助人們實現更有效的使用？它們能否在不使用我們研究中那樣昂貴計算資源的情況下，幫助我們識別"超級用戶"？以下是我們發現的。

解析高級應用

當我們識別出公司里最高級的用戶時，發現他們在角色和資歷上差異很大，但也出現了明顯的共同點。我們發現高級用戶似乎都具備四種不同的行為模式：

他們在使用AI時抱有雄心。高級的AI應用源于長期積累的復合行為，而不僅僅是使用量。頂級用戶往往與大型語言模型有更長的互動和更多來回對話；撰寫更長、更復雜的初始提示詞；根據任務有意識地在模型或工具間切換；并且使用AI的頻率相對較高。

他們將AI視為推理伙伴。他們并非全盤接受初始輸出，而是主動塑造模型的思考。他們使用諸如角色定義、為LLM提供期望輸出的示例、迭代優化、自我驗證和結構化推理提示等技術。其價值來自長期引導模型，而非提出"更好"的一次性問題。他們讓模型幫助思考問題、檢驗假設、探索替代方案。這種行為體現在堅持解決問題、使用結構化提示詞和采用迭代改進上。

他們以清晰的目標委派復雜任務。高級用戶也更可能將復雜的、多步驟的任務委派給AI。他們會指定約束條件和成功標準，定義期望的回應結構，并闡明清晰的目標。他們的雄心不僅體現在提示詞的長度上，還體現在所委派任務的復雜性上。

他們將AI視為通用認知工具，而非狹隘的"生產力捷徑"。高級應用體現在創意構思、分析、技術指導、知識工作和問題解決等多個方面。高級用戶在廣泛的用例中運用AI，并根據用例在模型間有意識地切換。非正式語言、拼寫錯誤和對話式語氣常伴隨高級使用——這些都是微小但能說明問題的跡象，體現了用戶的自如和流暢。

一幅圖景由此浮現：高級用戶在與AI工具協作時展現出顯著的敏捷性和靈活性。他們更可能在模型間切換，利用多個AI平臺，并將日益復雜的多步驟任務委派給AI，這反映出一種更成熟的、將AI視為動態協作者而非單一用途工具的心智模型。

研究還揭示了一個令人驚訝的趨勢：最佳使用者往往是經理級及以上的員工。這令我們感到意外，因為傳統觀點認為初級員工往往對這些工具感到更自在，使用起來也更自然。但研究結果表明，"自在"與"精通" 之間可能存在重要區別。

我們還注意到其他幾個重要趨勢：

盡管公司內AI應用廣泛（再次強調，約90%），但我們發現僅有約5%的用戶符合我們定義的"高度精通"。這種早期高級使用的集中度表明，大型組織中的AI應用并非自然而然或均勻發生。相反，它強調，推動有意義、創造價值的應用，需要比僅僅向員工提供工具更刻意的干預。

盡管各級員工都使用LLM輔助寫作，但經理及以上級別的員工更可能將LLM用于更多樣化的任務，如技術指導和創意構思。這表明，經驗和角色背景不僅影響AI使用的頻率，也影響其如何融入核心工作。

初級員工比高級員工更可能將公司的LLM用于個人任務。因此，使用頻率可能不是衡量生產力的可靠信號。

經理以下職位的員工在與LLM互動時，更少采用有意識的策略，而經理及以上員工則更可能這樣做。他們也更可能提出清晰的請求。

領導者應如何改變做法

研究結果表明，企業需要將AI工作的重點從推動應用轉向塑造習慣。當人們學會如何清晰界定問題、引導模型推理、批判性評估輸出，并在工作中靈活應用AI時，高級的AI應用便會出現。簡而言之，這更多關乎專業人士如何思考并借助AI做出決策，而更少關乎工具本身。那些產生影響的、可積累的少數行為是可觀察、可教授且可擴展的。

以下是領導者應關注的重點。

制定"AI優先"的最佳實踐

如果你想通過AI獲得不同的結果，就必須讓不同的行為變得可見、可討論、可期待。研究揭示了畢馬威希望鼓勵的具體行為，因此領導者將其轉化為實用的手冊、簡短的說明以及同行主導的"先鋒"網絡，強調高級應用在日常工作中的樣子。其目標是創建一個關于"優秀標準"的共識，并在全公司范圍內強化。

重新思考技能提升

這些發現重塑了畢馬威的發展方式，重點在于幫助員工在完成本職工作的流程中，建立有效使用AI的信心。畢馬威投資于由跨職能團隊開發的、注重實踐的、基于應用的培訓。在各地辦公室和虛擬教室中，基于情景的培訓讓專業人員沉浸在真實的客戶和內部工作中，并高度強調高級協作行為，例如將復雜任務委派給AI、引導模型推理、驗證輸出以及隨時間推移優化方法。

為成長與發展設定清晰期望

這項工作并非要改變人才管理系統或流程，而是要明確在AI賦能的世界中，優秀的工作應是什么樣子。利用這項研究，畢馬威將有效的AI賦能工作的樣貌，轉化為實用的、針對角色和任務級別的期望，認識到高質量的判斷力在不同職能、級別和交付情境中表現各異。例如，審計、稅務、咨詢和業務處理部門在截然不同的環境中運作，面臨不同的風險、法規和交付模式，AI需要支持這些現實。因此，"AI優先"的期望按部門量身定制，無論是審計中的AI輔助風險評估、咨詢中更快的研究和情景規劃，還是稅務中更自動化、更高質量的工作成果。

其意圖是為員工和領導者提供更清晰的信號，表明AI應如何支持日常決策、工作質量和客戶成果。

AI正在迅速改變工作，領導者難以清晰闡述其組織將如何適應，這是可以理解的。通常，這是因為缺乏對"優秀"標準的明確定義。理解為什么一些員工能成功運用AI——以及它如何讓他們做得更好——是幫助所有人學會使用這些工具的第一步。

關鍵詞：

尼克·霍爾曼（Nick Hallman）、扎克·科瓦萊斯基（Zach Kowaleski）、阿努·普瓦亞（Anu Puvvada）、杰米·J·施密特（Jaime J. Schmidt）|文

尼克·霍爾曼是德克薩斯大學奧斯汀分校舒爾金會計系副教授。扎克·科瓦萊斯基是德克薩斯大學奧斯汀分校舒爾金會計系助理教授。阿努·普瓦亞領導畢馬威工作室，她將前瞻性研究與風險投資構建相結合，以識別新興機遇并推出可擴展的服務和科技賦能業務。杰米·J·施密特是德克薩斯大學奧斯汀分校麥庫姆斯商學院舒爾金會計系教授。

周強|編校

聯系方式

投稿、廣告、內容和商務合作

newmedia@hbrchina.org