一、業務目標 前提假設 業務目標 • 支持 PDF OCR（多頁）和 圖片 OCR • 任務耗時可能較長（幾十秒～幾分鐘） • 要求： • 支持大量併發任務，不會把 FastAPI 頂死 • 支持重試（雲 OCR 抖一下不要直接失敗） •
FROM python:3.10-slim # 設置工作目錄 WORKDIR /app # 配置國內鏡像源加速 RUN sed -i 's|deb.debian.org|mirrors.aliyun.com|g' /etc/apt/sources.list.d/debian.sources 2/dev/null || \ sed -
量化精度的組合方式，A 是激活 (Activation)，W 是權重 (Weight)，後面的數字是“多少 bit”。 A8W8 是什麼？ A8W8 = 激活 8bit，權重 8bit • A8：前向推理時，每一層算完的中間結果（activation）用 8bit 表示 • W8：模型參數（weight）也用 8bit 存儲
