![]()
年初,OpenClaw在中國市場的火爆,讓所有人看到了Agent的巨大潛力。但隨之而來的,是一道所有云廠商都必須回答的考題:當Agent開始像賽博龍蝦一樣瘋狂繁殖、高頻調用數據時,AI云基礎設施層尤其是數據層,準備好了嗎?
比方說,企業數據團隊在將Agent部署到生產環境時,經常會在數據層面遇到瓶頸。構建向量數據庫、關系數據庫、圖數據庫和湖倉等不同平臺上的Agent,需要同步數據管道以保持上下文信息的時效性。但在真實的生產環境中,這些上下文信息會逐漸過時。
這個問題的緊迫性,源于Agent與人類工程師截然不同的數據消費模式。
“Agent正在一種極其活躍且激進的方式消費數據,它對于數倉或數據湖的調用頻率是驚人的。”
亞馬遜云科技技術副總裁Mai-Lan Tomsen Bukovec近日與筆者交流中指出,Agent是一種通過“并行擇優”的工作模式,即:不是一次一個查詢,而是同時數十、上百個并行,通過比較來尋找最佳路徑。這使得Agent成為比人類激進得多的數據消費者——調用頻率高出幾個數量級,數據吞吐量呈指數級增長。
Mai-Lan進一步指出,“現在客戶非常希望構建Agent基礎設施,成本亦或者說性價比,不再是次要因素,而變成決定性因素。在未來半年到一年,隨著Agent的爆發,底層數據服務的選擇將變得至關重要。”
如今,OpenClaw的狂歡正在消退,留下的正是對云廠商底層存算能力的壓力測試警告。Mai-Lan認為,亞馬遜云科技在這一領域具備天然優勢,Amazon S3(Amazon Simple Storage Service)的規模、Amazon Redshift與Amazon Athena在高并發下的成本效率,正是為這種超大規模、超高頻的Agent數據交互方式而準備。
時值Amazon S3產品誕生20周年,圍繞AI時代客戶對數據處理的訴求,Amazon S3近期也實現了S3 Table(表格式)、S3 Files(文件)、S3 Vector(向量)的三大變革。
如S3 Table對Apache Iceberg的原生支持。Mai-Lan指出,Agent在處理數據時,傾向于直接通過SQL與Iceberg格式的數據交互。其底層邏輯在于,Agent構建于大模型之上,而大模型在訓練過程中已對SQL語法和Iceberg數據格式形成成熟的處理能力。將所有表數據以Iceberg格式存放于S3,使得Agent無需學習多種復雜的訪問API,即可高效處理數據。目前Agent與S3及Iceberg之間展現出高度的契合性。
當Iceberg能力被引入S3時,引發了新一輪創新浪潮,Postgres、Oracle等數據源開始直接寫入Iceberg,Agent系統則可直接與這些表進行交互。而隨著S3 Vectors的推出,越來越多的AI應用開始將向量作為共享記憶載體,從而為AI交互體驗注入“狀態”。
Mai-Lan還指出,向量已被引入作為S3的原生數據類型。向量的應用主要集中于兩個維度:一是通過向量為存儲在S3中的數據構建上下文信息,二是將向量用作共享記憶。S3 Vectors發布后的五個月內,市場反饋符合預期。大量客戶開始使用該功能,通過嵌入模型生成向量以豐富數據的上下文。S3 Vectors作為Agent系統記憶空間的使用率呈爆發式增長。
值得一提的是,S3 Files于幾周前發布,使Agent能夠通過POSIX標準,即文件系統的方式處理S3中的數據。在Agent系統中,大模型高度關注“文件”這一形態,無論是Python庫還是Shell腳本,均為大模型訓練過程中所熟悉的內容,Agent天然傾向于將文件作為數據接口。
為此,S3 Files的設計思路是在S3存儲桶上掛載一個EFS文件系統。通過該機制,用戶可以基于POSIX標準在文件系統中處理S3數據:小文件可通過EFS緩存加速訪問,大文件則直接從S3進行流式傳輸。這使得Agent能夠以熟悉的文件系統語言與S3數據實現原生交互,并將共享文件系統視為來自S3的“共享記憶空間”。
從大模型記憶能力的發展來看,這一進步具有重要意義。當前的AI體驗正逐步引入更深層的對話上下文與個性化互動——無論是在Agent之間、人與Agent之間,還是Agent與數據之間,模型表現均在持續演進。通過文件系統這一自然接口的進一步擴展,Agent系統的記憶能力有望獲得更深層次的提升。
筆者注意到,從2006年以圖像等半結構化數據為主,到后來的分析型數據,從最初的數倉到數據湖的興起,亞馬遜云科技目前正大力推動Amazon S3成為承載AI工作負載的關鍵底座,以適應當下客戶的訴求。Mai-Lan認為,Amazon S3的設計核心是以經濟的方式推動主流數據類型增長,并始終堅守數據的可用性、持久性和韌性等準則。而這也正是客戶在20年間持續將其數據業務托付給S3的原因,也將承載其下一個20年的可能。
(本文作者 | 楊麗,編輯 | 楊林)
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.