在數字化時代，圖形用戶界面（GUI）已成為人機交互的核心。智譜AI最新開源的CogAgent-9B-20241220模型，標志著GUI Agent技術的重大進步。本文將詳細介紹CogAgent-9B的技術架構、優化、應用與性能評估，以及GUI Agent的未來展望。
CogAgent的誕生與發展
1.1 CogAgent-9B-20241220的發布
CogAgent-9B-20241220是基于視覺語言模型（VLM）的開源GUI代理模型，它的獨特之處在于僅依賴于屏幕截圖作為輸入，不需要HTML等文本表征。這一創新使得CogAgent能夠在各種基于GUI交互的場景中應用，如個人電腦、手機、車機設備等。
1.2 CogAgent執行過程
CogAgent-9B-20241220執行用戶指令的過程如下：
- 以GUI截圖為唯一的環境輸入，結合已經完成的動作歷史，計算當前GUI截圖中最合適的動作。
- 根據更新后的歷史動作和截圖，計算后續的操作。
- 重復上述過程，直到CogAgent認為指令執行完畢。
CogAgent-9B的技術架構與優化
2.1 模型基座和結構升級
CogAgent使用更強大的視覺語言模型GLM-4V-9B作為基座模型，大幅提升了模型的基座圖像理解性能。在視覺處理模塊上，CogAgent實現了更高效統一的視覺處理模塊，支持1120×1120原生高分辨率圖像輸入。
2.2 數據集豐富與完善
CogAgent團隊廣泛收集并整合了多種數據集，包括無監督數據和GUI指令微調數據集。這些數據集的豐富性和多樣性為CogAgent提供了更廣泛的訓練和測試基礎，使其能夠更好地適應實際應用場景。
2.3 預訓練與后訓練策略優化
在預訓練階段，CogAgent引入了GUI Grounding預訓練方法，通過屏幕截圖和layout對，構造界面子區域和layout表征的對應關系。在后訓練階段，CogAgent采用了更科學的GUI agent后訓練策略，使模型具備了更強的分析、推理、預測能力。
CogAgent-9B的應用與性能評估
CogAgent-9B-20241220在多個數據集上的測試結果顯示了其卓越的性能。尤其是在Screenspot、OmniAct、CogAgentBench-basic-cn、OSworld等數據集上，CogAgent均取得了領先的成績。模型在多平臺、多類別的GUI agent及GUI grounding benchmarks上取得了當前最優的結果。
CogAgent-9B的主要功能
-
GUI理解和操作: CogAgent-9B能夠理解并操作圖形用戶界面（GUI），執行如點擊按鈕、輸入文本等任務，極大地提升了與GUI交互的自動化能力。
-
屏幕截圖輸入: 模型僅依賴屏幕截圖作為輸入，無需HTML等文本表征，使其在多種設備上應用靈活，簡化了操作流程。
-
高分辨率處理: 支持高達1120×1120像素的高分辨率圖像輸入，CogAgent-9B能夠處理更復雜的視覺信息，提高了操作的精確度。
-
雙語交互:支持中文和英文的屏幕截圖和語言交互，增強了模型的國際化應用能力，滿足全球用戶的需求。
-
預測GUI操作:根據用戶指定的任務和歷史操作，CogAgent-9B能夠預測下一步的GUI操作，實現自動化任務的智能執行。
-
自動化任務執行:CogAgent-9B能模擬用戶操作，自動化執行一系列GUI任務，提高了工作效率和減少了重復勞動。
-
跨平臺應用:適用于個人電腦、手機、車機等多種基于GUI交互的場景，展現了極強的跨平臺、跨系統泛化能力。
- 性能領先:在多個GUI操作數據集上取得了領先成績，顯示了CogAgent-9B卓越的性能。
CogAgent-9B的技術原理
-
視覺語言模型（VLM）:CogAgent-9B構建在強大的視覺語言模型GLM-4V-9B之上，能夠處理視覺數據（如屏幕截圖）和文本信息，實現對GUI元素的理解和操作。
-
雙流注意力機制:采用雙流注意力機制，將視覺元素映射到它們的文本標簽或描述，增強了模型預測用戶意圖和執行相關操作的能力。
-
GUI Grounding預訓練:在預訓練階段，CogAgent-9B引入了GUI Grounding預訓練方法，通過屏幕截圖和layout對，構造界面子區域和layout表征的對應關系，提升模型對視覺輸入和GUI界面的基礎理解能力。
-
數據集豐富與完善:CogAgent-9B團隊廣泛收集并整合了多種數據集，包括無監督數據和GUI指令微調數據集，為模型提供了廣泛的訓練和測試基礎。
-
預訓練與后訓練策略優化:CogAgent-9B在預訓練階段引入了GUI Referring Expression Generation (REG)和GUI Referring Expression Comprehension (REC)任務，以構建界面子區域與布局表征的對應關系。在后訓練階段，采用了更科學的GUI agent后訓練策略，使模型具備了更強的分析、推理、預測能力。
-
模型推理及思維鏈優化:CogAgent-9B將思維鏈分解為Status（當前屏幕狀態）、Plan（全局計劃）、Action（下一步自然語言描述）、Operation（下一步形式語言描述），并通過隨機采樣混合多種模式訓練數據，靈活調整和控制推理過程中的實際輸出。
-
動作空間完善:CogAgent-9B明確了基礎動作空間，并新增了LLM、QUOTE_TEXT、LAUNCH等高級動作，增強了模型的使用工具和交互能力。
CogAgent-9B的項目地址
-
Github倉庫: https://github.com/THUDM/CogAgent
-
HuggingFace模型庫: https://huggingface.co/THUDM/cogagent-9b-20241220
CogAgent-9B的應用場景
-
自動化測試:在軟件開發中，CogAgent-9B可以用于自動化測試，模擬用戶操作來測試應用程序的GUI，提高測試效率和覆蓋率。
-
智能助手:作為智能個人助理，CogAgent-9B可以幫助用戶自動完成日常任務，如日程管理、郵件處理等。
-
客戶服務:在客戶服務領域，CogAgent-9B可以通過自動化操作來輔助客服人員，快速響應客戶需求并執行相關操作。
-
智能家居控制:CogAgent-9B可以集成到智能家居系統中，通過GUI控制家中的各種智能設備。
-
智能座艙:在汽車領域，CogAgent-9B可以用于智能座艙系統，通過GUI與車載信息娛樂系統交互，提供更安全、便捷的駕駛體驗。
GUI Agent的未來展望
隨著CogAgent-9B-20241220的發布，GUI Agent的研究和工程熱又邁入一個新的臺階。智譜表示此版CogAgent模型已被應用于智譜AI的GLM-PC產品，并預計在2025年Q1會開展公測。GUI Agent產品有望在更多的應用領域中得到應用，如智能家居、智能座艙等，為用戶提供更智能、更便捷的交互體驗。
智譜AI開源的CogAgent-9B模型，以其強大的功能、先進的技術原理和廣泛的應用場景，為GUI Agent領域帶來了新的發展機遇。隨著技術的不斷迭代和優化，CogAgent-9B有望在未來的智能體領域中發揮越來越重要的作用，引領AI智能體“看懂”屏幕的新潮流。
相關文章
