多模態AI的定義

• 多模態數據處理能力
  • 多模態AI能夠同時處理多種類型的數據，這些數據類型包括文本、圖像、視頻、音頻以及語音等。例如，Gemini是多模態大模型，可以同時識別和理解文本、圖像、音頻、視頻和代碼五種信息。它通過計算數據點之間的關系來理解和生成數據序列，對于各種類型的數據采用相似的處理邏輯。在處理文本數據時會分析字、詞之間的上下文關系；對于圖像，能夠識別其中的物體、場景等元素；對音頻則會解析像音高、振幅等特征。以一張含有食物的照片為例，如果是多模態AI系統，可以直接基于照片中的食物視覺信息生成對應的食譜，而傳統的單模態AI則往往難以做到這種跨類型數據的任務操作。
  • 在模型構建上，多模態模型通常以轉換器（Transformer）架構為基礎。這種架構使得模型能夠有效地捕捉不同模態內部和不同模態之間的關系與上下文信息。例如，模型在處理“鴨子”這個概念時，不僅能關聯到“鴨子”這個單詞，還能對應其外觀形象以及嘎嘎叫的聲音等多方面的信息，從而從更廣泛的概念層面去理解鴨子。
  • 多模態AI往往需要經過一個將原始數據編碼成數字格式（向量）的嵌入（Embedding）過程，使得系統更容易理解和處理。例如音頻數據經過嵌入過程后，原本復雜的聲音信號被分割并轉化為向量表示，便于和其他模態數據一同進行分析處理。在有些情況下，還有早期融合（EarlyFusion）和后期融合（LateFusion）等數據融合方式，早期融合將來自每種模態的原始數據組合、對齊和處理，使它們具有相同（或相似）的數學表示，但這種方式實現難度較高；后期融合則是在每種類型的數據分別進行分析和編碼之后再合并來自多個模態的信息，這是目前許多多模態系統采用的方式。
• 與單模態AI的對比
  • 單模態AI模型就只能局限于一種類型的數據輸入和特定數據模態的輸出。例如，大型語言模型（LLM）大多數情況下只能處理文本數據，如GPT - 3.5主要支持文本輸入和輸出，屬于典型的單模態模型；而卷積神經網絡（CNN）主要是專門為處理圖像數據而構建。多模態AI模型的能力就更加全面，處理的任務范圍更廣。例如，多模態的聊天機器人就能比純文本的聊天機器人更有效地響應用戶需求，提供更加豐富的信息，用戶可以輸入一張植物生病的照片，多模態聊天機器人能根據照片和用戶輸入的文本，給出植物生病原因和救治建議等綜合性的回答，這是單模態聊天機器人無法做到的。