全新架構與性能突破

IBM 近日正式推出 Granite 4.0 大模型系列，標誌着企業級 AI 技術在效率與性能平衡上實現重大突破。該系列採用創新的 Mamba-2/Transformer 混合架構，並在部分型號中融入混合專家（Mixture-of-Experts, MoE）機制，相比同類模型實現了 70% 以上的內存佔用降低和 2 倍推理速度提升，尤其在多會話處理和長上下文場景中表現突出。

性能測試顯示，Granite 4.0 Small 模型在指令遵循、函數調用等關鍵智能體任務中取得行業領先成績，其架構優勢使其成為檢索增強生成（RAG）、多智能體協作及邊緣部署的理想選擇。作為首個通過 ISO 42001 認證的開源模型家族，Granite 4.0 採用 Apache 2.0 許可協議發佈，並通過加密簽名確保模型完整性。

全譜系模型矩陣

為滿足不同場景需求，Granite 4.0 提供完整的模型矩陣，涵蓋從微型邊緣設備到企業級工作負載的全場景覆蓋：

  • Granite-4.0-H-Small：320 億總參數（激活 90 億）的混合專家模型，定位企業級核心任務主力模型，擅長 RAG 和智能體應用
  • Granite-4.0-H-Tiny：70 億總參數（激活 10 億）的混合專家模型，針對低延遲本地應用優化，特別適合長文本前綴場景
  • Granite-4.0-H-Micro：30 億參數的混合密集型模型，作為智能體工作流中的功能調用模塊，實現快速任務處理
  • Granite-4.0-Micro：30 億參數傳統密集型模型，為尚未優化 Mamba2 支持的環境（如 llama.cpp、PEFT）提供替代方案
  • Granite-4.0-H-1B：15 億參數混合密集型模型，面向邊緣計算、端側部署和延遲敏感型應用
  • Granite-4.0-1B：10 億參數傳統密集型模型，兼容 Mamba2 未優化環境的輕量化選擇
  • Granite-4.0-H-350M：3.5 億參數混合密集型模型，比 1B 模型體積更小，運行成本更低，適用場景相似

核心應用場景實踐指南

基礎推理能力

Granite 4.0 模型在標準推理任務中表現出色，官方推薦將温度參數設置為 0 以獲得最佳效果。以下是使用 Hugging Face Transformers 庫進行基礎推理的示例代碼：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

device = "cuda"  # 若使用 CPU 可移除 device_map 參數
model_path = "ibm-granite/granite-4.0-h-tiny"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, device_map=device)
model.eval（)

# 構建對話內容
chat = [{"role": "user", "content": "地球上面積最大的海洋是什麼？"}]
# 應用聊天模板，添加生成提示
chat = tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)
# tokenize 輸入文本
input_tokens = tokenizer(chat, return_tensors="pt").to(device)
# 生成輸出
output = model.generate(**input_tokens, max_new_tokens=150, temperature=0)
# 解碼並打印結果
print(tokenizer.batch_decode(output)[0])

智能工具調用

Granite 4.0 優化了工具調用能力，支持通過標準化格式實現 AI 與外部系統的無縫集成。模型採用 OpenAI 函數定義 schema，並自動在助手回覆中使用 <tool_call> 標籤包裹工具調用指令，工具返回結果則通過 <tool_response> 標籤整合。

以下示例展示瞭如何實現天氣查詢的工具調用流程：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

device = "cuda"
model_path = "ibm-granite/granite-4.0-micro"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, device_map=device)
model.eval（)

# 定義工具集
tools = [{
  "type": "function",
  "function": {
    "name": "get_current_weather",
    "description": "獲取當前天氣信息",
    "parameters": {
      "type": "object",
      "properties": {
        "location": {"type": "string", "description": "城市和地區，例如：舊金山, CA"}
      },
      "required": ["location"]
    }
  }
}]

# 構建包含工具調用的對話歷史
chat = [
  {"role": "user", "content": "紐約現在天氣怎麼樣？"},
  {"role": "assistant", "content": "", "tool_calls": [{"function": {"name": "get_current_weather", "arguments": {"city": "New York"}}}]}
]
chat = tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True, tools=tools)

# 執行工具調用推理
input_tokens = tokenizer(chat, return_tensors="pt").to(device)
output = model.generate(**input_tokens, max_new_tokens=100, temperature=0)
print(tokenizer.batch_decode(output)[0])

檢索增強生成(RAG)

針對企業知識庫問答場景，Granite 4.0 提供原生 RAG 支持，通過 <documents> 標籤整合外部知識源。模型會自動將文檔內容作為系統提示的一部分，實現基於特定知識的精準回答。

以下是電影信息查詢的 RAG 實現示例：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

device = "cuda"
model_path = "ibm-granite/granite-4.0-h-tiny"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, device_map=device)
model.eval（)

# 準備參考文檔集
documents = [
  {"doc_id": 3, "title": "Bridget Jones's Diary (2001)", 
   "text": "《BJ單身日記》(2001) - 布里奇特是一位三十多歲的英國女性..."}
]

# 構建 RAG 對話
chat = [{"role": "user", "content": "第一部BJ單身日記電影講了什麼？請簡要回答。"}]
chat = tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True, documents=documents)

# 執行 RAG 推理
input_tokens = tokenizer(chat, return_tensors="pt").to(device)
output = model.generate(**input_tokens, max_new_tokens=800, temperature=0)
print(tokenizer.batch_decode(output)[0])

代碼補全與JSON生成

Granite 4.0 還支持代碼填充（FIM）和結構化 JSON 輸出等高級功能。代碼補全使用 <|fim_prefix|>、<|fim_suffix|> 和 <|fim_middle|> 標籤標識代碼上下文；JSON 生成則通過 schema 定義實現嚴格的結構化輸出，特別適合 API 調用、數據處理等企業級場景。

企業級部署與合規保障

作為首個獲得 ISO 42001 人工智能管理體系認證的開源模型，Granite 4.0 在設計階段即融入負責任 AI 理念，提供完整的模型卡片和使用指南。開發者可通過 Ollama、vLLM 容器化部署或 LM Studio 等工具在本地運行模型，也可通過 IBM Cloud 獲得託管服務支持。