SpringBoot + FFmpeg + Redis：視頻轉碼、截圖、水印異步處理平台搭建詳情 - ide,視頻處理,異步處理,Java,後端開發,私藏項目實操分享我愛哇哈哈博客

引言：視頻處理的那些坑

各位服務端的兄弟們，你們有沒有遇到過這樣的場景：用户上傳了一個大視頻，你直接在當前線程裏處理，結果導致接口響應超時，用户體驗極差？或者視頻處理過程中服務器CPU飆升，影響了其他服務的正常運行？再或者多個視頻同時處理，直接把服務器搞崩了？

視頻處理是典型的CPU密集型任務，如果處理不當，很容易成為系統的性能瓶頸。今天我們就來聊聊如何用SpringBoot + FFmpeg + Redis搭建一個高性能的視頻異步處理平台，讓視頻處理不再成為系統的負擔。

為什麼需要異步處理？

先説説為什麼視頻處理必須異步。

想象一下，你是一家在線教育平台的後端工程師。老師上傳了一個2小時的課程視頻，如果同步處理，用户要等2個小時才能看到處理結果，這顯然是不可接受的。而且，在處理視頻的過程中，服務器資源被大量佔用，其他用户的服務質量也會受到影響。

異步處理的優勢：

用户體驗好：用户提交任務後立即返回，不需要等待
資源利用合理：避免長時間佔用服務器資源
可擴展性強：可以通過增加處理節點來提升處理能力
容錯性好：單個任務失敗不影響其他任務

技術選型：為什麼選擇這些技術？

FFmpeg：視頻處理的瑞士軍刀

FFmpeg是業界最強大的多媒體處理工具，幾乎支持所有主流的音視頻格式。它可以完成：

視頻轉碼（MP4轉AVI、H.264轉H.265等）
視頻截圖
添加水印
視頻剪輯
格式轉換

Redis：任務隊列的完美選擇

Redis的發佈訂閲功能和數據結構非常適合做任務隊列：

高性能：內存操作，速度極快
原子性：保證任務處理的原子性
持久化：防止任務丟失
靈活：支持多種數據結構

SpringBoot：快速開發的利器

SpringBoot提供了：

自動配置：快速集成各種組件
異步支持：內置異步處理能力
監控：豐富的監控指標

系統架構設計

我們的異步處理平台主要包括以下幾個模塊：

任務提交模塊：接收用户上傳的視頻和處理請求
任務隊列模塊：使用Redis存儲待處理任務
任務分發模塊：將任務分發給可用的處理節點
任務處理模塊：使用FFmpeg執行具體的視頻處理任務
狀態查詢模塊：用户可以查詢任務處理進度
結果存儲模塊：處理完成後存儲結果

核心實現思路

1. 任務模型設計

首先定義一個任務模型：

public class VideoProcessTask {
    private String taskId;           // 任務ID
    private String originalUrl;      // 原始視頻URL
    private List<ProcessType> operations; // 處理操作列表
    private String callbackUrl;      // 回調URL
    private String status;           // 任務狀態
    private String resultUrl;        // 處理結果URL
    private long createTime;         // 創建時間
    private long updateTime;         // 更新時間
}

2. 任務隊列實現

使用Redis的List數據結構實現任務隊列：

@Component
public class TaskQueueService {
    
    @Autowired
    private RedisTemplate<String, Object> redisTemplate;
    
    // 添加任務到隊列
    public void addTask(VideoProcessTask task) {
        redisTemplate.opsForList().leftPush("video_process_queue", task);
    }
    
    // 從隊列獲取任務
    public VideoProcessTask getTask() {
        return (VideoProcessTask) redisTemplate.opsForList()
            .rightPop("video_process_queue", 30, TimeUnit.SECONDS);
    }
    
    // 更新任務狀態
    public void updateTaskStatus(String taskId, String status) {
        String key = "task:" + taskId;
        redisTemplate.opsForHash().put(key, "status", status);
        redisTemplate.opsForHash().put(key, "updateTime", System.currentTimeMillis());
    }
}

3. 異步處理任務

使用Spring的@Async註解實現異步處理：

@Service
public class VideoProcessService {
    
    @Async("taskExecutor")
    public CompletableFuture<String> processVideo(VideoProcessTask task) {
        try {
            // 更新任務狀態為處理中
            taskQueueService.updateTaskStatus(task.getTaskId(), "processing");
            
            // 執行FFmpeg命令
            String result = executeFFmpegCommand(task);
            
            // 更新任務狀態為完成
            taskQueueService.updateTaskStatus(task.getTaskId(), "completed");
            taskQueueService.updateTaskStatus(task.getTaskId(), "resultUrl", result);
            
            // 發送回調
            sendCallback(task.getCallbackUrl(), task.getTaskId(), "completed", result);
            
            return CompletableFuture.completedFuture("success");
        } catch (Exception e) {
            // 更新任務狀態為失敗
            taskQueueService.updateTaskStatus(task.getTaskId(), "failed");
            return CompletableFuture.completedFuture("failed");
        }
    }
    
    private String executeFFmpegCommand(VideoProcessTask task) {
        // 構建FFmpeg命令
        List<String> command = new ArrayList<>();
        command.add("ffmpeg");
        command.add("-i");
        command.add(task.getOriginalUrl());
        
        // 根據處理類型添加參數
        for (ProcessType operation : task.getOperations()) {
            switch (operation) {
                case TRANSCODE:
                    command.add("-c:v");
                    command.add("libx264");
                    command.add("-c:a");
                    command.add("aac");
                    break;
                case SCREENSHOT:
                    command.add("-ss");
                    command.add("00:00:10"); // 截取第10秒的畫面
                    command.add("-vframes");
                    command.add("1");
                    break;
                case WATERMARK:
                    command.add("-i");
                    command.add("watermark.png");
                    command.add("-filter_complex");
                    command.add("[1][0]overlay=10:10");
                    break;
            }
        }
        
        // 輸出文件
        String outputPath = generateOutputPath(task.getTaskId());
        command.add(outputPath);
        
        // 執行命令
        ProcessBuilder processBuilder = new ProcessBuilder(command);
        Process process = processBuilder.start();
        
        // 等待處理完成
        int exitCode = process.waitFor();
        
        if (exitCode != 0) {
            throw new RuntimeException("FFmpeg processing failed");
        }
        
        return outputPath;
    }
}

4. 任務調度器

創建一個任務調度器，持續從隊列中取出任務進行處理：

@Component
public class TaskScheduler {
    
    @Autowired
    private TaskQueueService taskQueueService;
    
    @Autowired
    private VideoProcessService videoProcessService;
    
    @Scheduled(fixedRate = 1000) // 每秒檢查一次
    public void scheduleTasks() {
        // 檢查是否有可用的處理線程
        if (isProcessorAvailable()) {
            VideoProcessTask task = taskQueueService.getTask();
            if (task != null) {
                videoProcessService.processVideo(task);
            }
        }
    }
    
    private boolean isProcessorAvailable() {
        // 檢查當前正在處理的任務數量
        // 避免過多併發導致服務器負載過高
        return getCurrentProcessingCount() < MAX_CONCURRENT_TASKS;
    }
}

高級特性實現

1. 任務優先級

可以為不同類型的任務設置不同的優先級：

public enum TaskPriority {
    LOW(1),      // 普通任務
    MEDIUM(2),   // 中等優先級
    HIGH(3);     // 高優先級
    
    private final int value;
    
    TaskPriority(int value) {
        this.value = value;
    }
    
    public int getValue() {
        return value;
    }
}

2. 任務進度跟蹤

通過FFmpeg的進度回調來跟蹤處理進度：

private void executeFFmpegWithProgress(VideoProcessTask task) throws IOException, InterruptedException {
    ProcessBuilder processBuilder = new ProcessBuilder("ffmpeg", "-i", task.getOriginalUrl(), ...);
    
    Process process = processBuilder.start();
    
    // 讀取FFmpeg的進度信息
    BufferedReader reader = new BufferedReader(new InputStreamReader(process.getErrorStream()));
    String line;
    while ((line = reader.readLine()) != null) {
        if (line.contains("frame=")) {
            // 解析進度信息並更新到Redis
            updateProgress(task.getTaskId(), parseProgress(line));
        }
    }
    
    process.waitFor();
}

3. 容錯與重試機制

實現任務失敗後的重試機制：

@Retryable(value = {Exception.class}, maxAttempts = 3, backoff = @Backoff(delay = 1000))
public String processVideoWithRetry(VideoProcessTask task) {
    return executeFFmpegCommand(task);
}

@Recover
public String recover(Exception ex, VideoProcessTask task) {
    // 重試失敗後的處理邏輯
    taskQueueService.updateTaskStatus(task.getTaskId(), "failed_after_retry");
    return "failed";
}

性能優化建議

合理設置併發數：根據服務器CPU核心數和內存大小設置合適的併發處理數
文件存儲優化：使用分佈式文件系統存儲視頻文件
內存管理：及時清理處理完成的臨時文件
監控告警：監控任務隊列長度、處理時間等關鍵指標

最佳實踐

任務拆分：對於複雜的視頻處理任務，可以拆分成多個子任務
資源隔離：為視頻處理任務設置專門的資源池
降級策略：在高負載情況下，可以暫時停止非關鍵的視頻處理任務
安全考慮：對上傳的視頻文件進行安全檢查，防止惡意文件

總結

通過SpringBoot + FFmpeg + Redis的組合，我們可以搭建一個高性能的視頻異步處理平台。關鍵在於：

合理架構：任務隊列、異步處理、狀態管理
性能優化：控制併發、資源管理、監控告警
容錯處理：重試機制、降級策略、異常處理

記住，視頻處理雖然複雜，但通過合理的架構設計和異步處理，完全可以做到高性能、高可用。掌握了這些技巧，你就能輕鬆應對各種視頻處理需求，再也不用擔心視頻處理拖垮服務器了。原文地址

我愛哇哈哈博客

我愛哇哈哈博客

博客 / 詳情