第六十三章 運動偵測實驗

1）實驗平台：正點原子DNESP32S3開發板

2）章節摘自【正點原子】ESP32-S3使用指南—IDF版 V1.6

3）購買鏈接：https://detail.tmall.com/item.htm?&id=768499342659

4）全套實驗源碼+手冊+視頻下載地址：http://www.openedv.com/docs/boards/esp32/ATK-DNESP32S3.html

5）正點原子官方B站：https://space.bilibili.com/394620890

6）正點原子DNESP32S3開發板技術交流羣：132780729

樂鑫AI庫中提供了一種名為運動偵測API接口的功能。該功能的原理非常簡單：只需要獲取兩張圖像數據，然後通過AI計算判斷這兩個圖像是否匹配。如果圖像不匹配，則説明當前處於運動狀態；如果圖像匹配，則説明當前圖像處於相對靜止狀態。本章，我們調用樂鑫AI庫的運動偵測API接口來實現運動偵測功能。
本章分為如下幾個部分：
63.1 硬件設計
63.2 軟件設計
63.3 下載驗證

63.1 硬件設計

1.例程功能

本章實驗功能簡介：使用樂鑫官方的ESP32-WHO AI庫對OV2640和OV5640攝像頭輸出的數據進行運動偵測。

2.硬件資源

1）LED燈
LED-IO1
2）XL9555
IIC_INT-IO0（需在P5連接IO0）
IIC_SDA-IO41
IIC_SCL-IO42
3）SPILCD
CS-IO21
SCK-IO12
SDA-IO11
DC-IO40（在P5端口，使用跳線帽將IO_SET和LCD_DC相連）
PWR- IO1_3（XL9555）
RST- IO1_2（XL9555）
4）CAMERA
OV_SCL-IO38
OV_SDA- IO39
VSYNC- IO47
HREF- IO48
PCLK- IO45
D0- IO4
D1- IO5
D2- IO6
D3- IO7
D4- IO15
D5- IO16
D6- IO17
D7- IO18
RESET-IO0_5（XL9555）
PWDN-IO0_4（XL9555）

3. 原理圖

本章實驗使用的KPU為ESP32-S3的內部資源，因此並沒有相應的連接原理圖。

63.2 軟件設計
63.2.1 程序流程圖
程序流程圖能幫助我們更好的理解一個工程的功能和實現的過程，對學習和設計工程有很好的主導作用。下面看看本實驗的程序流程圖：

圖63.2.1.1 程序流程圖

63.2.2 程序解析
在本章節中，我們將重點關注兩個文件：esp_motion_detection.cpp和esp_motion_detection.hpp。其中，esp_motion_detection.hpp主要聲明瞭esp_motion_detection函數，其內容相對簡單，因此我們暫時不作詳細解釋。本章節的核心關注點是esp_motion_detection.cpp文件中的函數。
接下來，我們將詳細解析esp_motion_detection_ai_strat函數的工作原理。

TaskHandle_t camera_task_handle;
TaskHandle_t ai_task_handle;
QueueHandle_t xQueueFrameO = NULL;
QueueHandle_t xQueueAIFrameO = NULL;


/**
 * @brief       攝像頭圖像數據獲取任務
 * @param       arg：未使用
 * @retval      無
 */
static void esp_camera_process_handler(void *arg)
{
    arg = arg;
    camera_fb_t *camera_frame = NULL;

    while (1)
    {
        /* 獲取攝像頭圖像 */
        camera_frame = esp_camera_fb_get();

        if (camera_frame)
        {
            /* 以隊列的形式發送 */
            xQueueSend(xQueueFrameO, &camera_frame, portMAX_DELAY);
        }
    }
}

/**
 * @brief       攝像頭圖像數據傳入AI處理任務
 * @param       arg：未使用
 * @retval      無
 */
static void esp_ai_process_handler(void *arg)
{
    arg = arg;
    camera_fb_t *face_ai_frameI = NULL;
    camera_fb_t *face_ai_frameI2 = NULL;

    while(1)
    {
        /* 以隊列的形式獲取攝像頭圖像數據 */
        if (xQueueReceive(xQueueFrameO, &face_ai_frameI, portMAX_DELAY))
        {
            if (xQueueReceive(xQueueFrameO, &face_ai_frameI2, portMAX_DELAY))
            {
                /* 判斷圖像是否出現運動 */
                uint32_t moving_point_number = dl::image::
get_moving_point_number(
(uint16_t *)face_ai_frameI->buf,
(uint16_t *)face_ai_frameI2->buf,
face_ai_frameI->height,
face_ai_frameI->width, 8, 15);

                if (moving_point_number > 50)
                {
                    printf("Something moved\r\n");
                    /* 此處是在圖像中繪畫檢測效果 */
                    dl::image::draw_filled_rectangle(
(uint16_t *)face_ai_frameI2->buf, 
face_ai_frameI2->height, 
face_ai_frameI2->width, 0, 0, 40, 40);
                }
                else
                {
                    printf("Something not moved\r\n");
                }
                
                esp_camera_fb_return(face_ai_frameI);
                /* 以隊列的形式發送AI處理的圖像 */
                xQueueSend(xQueueAIFrameO, &face_ai_frameI2, portMAX_DELAY);
            }
        }
    }
}

/**
 * @brief       AI圖像數據開啓
 * @param       無
 * @retval      1：創建任務及隊列失敗；0：創建任務及對了成功
 */
uint8_t esp_motion_detection_ai_strat(void)
{
    /* 創建隊列及任務 */
    xQueueFrameO = xQueueCreate(5, sizeof(camera_fb_t *));
    xQueueAIFrameO = xQueueCreate(5, sizeof(camera_fb_t *));
xTaskCreatePinnedToCore(esp_camera_process_handler,
                       "esp_camera_process_handler", 4 * 1024, NULL, 
5, &camera_task_handle, 1);
xTaskCreatePinnedToCore(esp_ai_process_handler, "esp_ai_process_handler", 
6 * 1024, NULL, 5, &ai_task_handle, 1);

    if (xQueueFrameO != NULL 
        || xQueueAIFrameO != NULL 
        || camera_task_handle != NULL 
        || ai_task_handle != NULL)
    {
        return 0;
    }
    
    return 1;
}

上述原理非常簡單：只需要在ai_task_handle任務下獲取兩張圖像數據，然後通過AI計算判斷這兩個圖像是否匹配。如果圖像不匹配，則説明當前處於運動狀態；如果圖像匹配，則説明當前圖像處於相對靜止狀態，最後，我們使用消息隊列將當前圖像數據傳輸至LCD進行顯示。

63.3 下載驗證
程序下載成功後，當檢測到圖像變化時，圖像左上角有藍色塊閃爍。