一、模型概述與性能

1. 參數規模
   擁有 240 億參數，注重推理效能和低時延，支持多任務語言理解（MMLU）。

2. 核心性能

• MMLU 準確率超 81%，優于 Llama 3.3 70B 和 Gemma-2-27B 等同級模型。

• 推理速度達每秒 150 個 tokens，比 Llama 3.3 70B 快 3 倍以上。

• 可在 32GB 內存的蘋果 MacBook 或單顆 RTX 4090 GPU 上運行部署。

二、核心優勢

1. 效率與成本
   在相同硬件條件下性能媲美 700 億參數模型，計算成本大幅降低，支持量化壓縮，適用于資源受限場景。

2. 訓練方法
   未用強化學習和合成數據，遵循 “純天然” 訓練流程，生產流程早期且透明。

三、技術特點

1. 架構優化
   采用迭代訓練技術提升性能，層數少，減少前向傳遞時間，降低時延。

2. 評估標準
   內部基準測試涵蓋代碼、數學、常識推理等領域，部分基于 GPT-4o 模型評估，如 Wildbench。

四、應用場景

1. 行業部署
   適用于金融、醫療、制造業等對低時延和高數據隱私有要求的場景，支持實時口語交互、函數調用、本地推理等任務。

2. 開發者友好
   通過 Apache 2.0 協議開源，允許自由修改和商業使用，已在 Hugging Face、Ollama 等平臺發布，將擴展至 NVIDIA NIM、AWS SageMaker 等平臺。

五、與競品的對比

1. 性能對比
   在數學（MATH-500）和多語言任務中，表現與 DeepSeek-R1 和 GPT4o-mini 相近，推理速度遠超 ChatGPT。

2. 開源生態
   與 Meta Llama、DeepSeek 等相互補充，推動開源推理模型發展。