博客 / 詳情

返回

創客教育中常見的視覺識別攝像頭介紹

image

近年來,創客教育、人工智能教育在中小學日漸普及。從目前中小學教育的應用層面來説,主要包含了視覺和聽覺等幾個領域的人工智能教學。因此,攝像頭模塊或傳感器,作為視覺領域必不可少的教具,也被應用的越來越多。市面上越來越多的廠家或機構,也開發了許多視覺攝像頭相關的硬件。筆者作為一名創客愛好者以及中小學創客教育從業者,從自己的角度,為大家梳理了一些常用的攝像頭模塊,並做一些簡單的介紹。因筆者水平有限,以及一些主觀因素、難免會有疏漏和錯誤之處,還請大家見諒與批評指正。

注意,本文主要聚焦於介紹創客、愛好者、學生等人羣,以及中小學教育領域可能用到的一些攝像頭模塊,至於一些專業領域的模塊,不在本文介紹的範疇。

OpenMV

openmv

説到視覺攝像頭模塊,首先就不得不説赫赫有名的 OpenMV 了,它應該是開源硬件、創客領域中被用的最多的攝像頭開發板之一了。

OpenMV 攝像頭模塊是一款小巧,低功耗,低成本的開發板,它的目標是希望成為機器視覺屆的 Arduino,可以讓創客或者愛好者輕鬆實現機器視覺(Machine Vision)相關的應用。為了實現這些目標,在硬件方面,最新版的 OpenMV H7 以 STM32H743VI ARM Cortex M7 芯片為核心,擁有 480 MHz 的主頻,性能非常強大;在算法方面,OpenMV 做了各種集成和優化,支持大量的視覺算法;在編程方面,採用 microPython 語言進行編程,大大降低了入門難度;此外還擁有多個 IO 管腳,支持 ADC,DAC,PWM、I2C、串口和 SPI 等接口;在擴展方面,官方也推出了類似於 Arduino 的各種擴展板,讓你可以輕鬆擴展 OpenMV 的功能,如添加 LCD 顯示屏擴展來顯示 OpenMV 所獲取的圖像,添加 WiFi 或藍牙擴展模塊,讓其加入到網絡中。另外,OpenMV 還可與 Arduino,樹莓派等控制器結合使用,這使得 OpenMV 的應用範圍就更加全面了。因此,OpenMV 才能成為開源硬件與創客領域使用最多的機器視覺攝像頭模塊之一。

openmv_shield

OpenMV 支持的算法或應用非常多,主要有:運動檢測、顏色跟蹤、標記跟蹤、人臉檢測、眼動追蹤、光流檢測、二維碼檢測/解碼、數據矩陣檢測/解碼、條形碼碼解碼、AprilTag 標記跟蹤、圖形檢測(直線、圓形、方形)、模板匹配、圖像捕獲、視頻錄製。因為 OpenMV 出現的比較早,應用廣泛,相對比較成熟,所以後面介紹的很多攝像頭模塊,在算法(至少在程序語言上)上很多就是借鑑了 OpenMV 的算法或者直接與之兼容。

有了這些算法的加持,僅需要寫一些簡單的 microPython 代碼,即可輕鬆的完成各種機器視覺相關的任務。比如,可以給自己的機器人提供周邊環境感知能力;給智能車增加視覺巡線功能;給智能玩具增加識別人臉功能,提高產品趣味性等;甚至,可以給工廠產品線增加殘次品篩選功能等。

項目官網:https://openmv.io/

Pixy2

pixy2

Pixy 系列是卡內基-梅隆大學和 Charmed 實驗室共同推出的圖像識別系統,Pixy2 是其最新的第 2 代產品。與 OpenMV 相比,Pixy2 只能作為傳感器使用,而不能作為主控使用。

Pixy2 採用 NXP LPC4330 雙核處理器,主頻為 204 MHz。作為一個傳感器,Pixy2 的算法可以直接將數據處理結果發送給與之連接的微處理器即可,而不必讓處理器處理所有的原始視覺信息,處理後得到的數據更精確有效。因此,你的 Arduino 板或其它微處理器可以騰出許多資源來執行其他事件。而且 Pixy2 處理圖像的速度可以達到 60 Hz,即每秒鐘可以處理 60 幀的圖像,這樣就保證了與 Arduino 等控制器的通信速度,保證了圖像處理等相關任務的實時性。

Pixy2 支持多物體識別,具有強大的多色彩顏色識別及色塊追蹤能力(最高同時支持 7 種顏色的識別),只需按下一個按鈕即可記憶並識別你教授的物體。另外它還支持線路追蹤、線路分支檢測和小型條形碼識別功能,特別適合應用在小型移動機器人場景。

除此以外,Pixy2 還有一個專門的配套軟件 PixyMon,通過 USB 線將 Pixy2 與電腦連接,可以讓你在電腦上直接看到 Pixy2 攝像頭看到的實時場景,同時軟件還支持對 Pixy2 進行配置,調整識別參數,提高識別效果。

項目官網:https://pixycam.com/

HuskyLens

huskylens

HuskyLens(中文名:哈士奇,或二哈),是由 DFRobot 針對中小學、創客和愛好者開發的一款人工智能攝像頭。它採用了新一代的 AI 人工智能專用芯片 Kendryte K210,內置 64 位 400 MHz 雙核 RISC-V 處理器,運行神經網絡算法的速度比 STM32H743(即 OpenMV 攝像頭模塊的處理芯片)快 1000 倍以上。

除了性能強大之外,HuskyLens 還是一款簡單易用的 AI 視覺傳感器,內置 6 種功能:人臉識別、物體追蹤、物體識別、巡線追蹤、顏色識別、標籤(二維碼)識別。HuskyLens 自帶 2.0 寸 IPS 顯示屏(320×240 分辨率),可以將調試過程和識別結果直接顯示在屏幕上,非常方便。撥動功能按鍵,就能切換算法,按下學習按鍵即可完成 AI 訓練,擺脱繁瑣的訓練和複雜的視覺算法,讓你更加專注於項目的構思和實現。

huskeylens_functions

HuskyLens 板載 UART / I2C 接口,可以連接到 Arduino、掌控板、micro:bit、Raspberry Pi 等主流控制器,實現硬件無縫對接。

除此以外,為了方便中小學學生設計人工智能相關項目,HuskyLens 不僅支持 C/C++ 或 Python 等編程語言與之進行通信交互,而且還支持圖形化編程,如 Mind+、MakeCode 等軟件,僅需幾個簡單的圖形編程模塊,就可以完成如圖像識別等複雜的任務。

產品官網:https://www.dfrobot.com.cn/go...

M5StickV & UnitV

m5stickv

M5StickV 由 M5Stack 針對創客和愛好者開發的一款人工智能攝像頭,採用了 Kendryte K210 人工智能芯片作為主控。

M5StickV 攝像頭具備機器視覺能力,配備 OV7740 攝像頭和一塊 1.14 寸的 IPS 顯示屏(135×240 分辨率),可以實時顯示攝像頭和算法識別的圖像結果。除了圖像功能以外,M5StickV 還搭載了麥克風聲音傳感器和喇叭,支持語音識別和語音合成相關的任務。另外,它還搭載 MPU6886 六軸運動傳感器,包括三軸陀螺儀和三軸加速度計,可以輕鬆檢測攝像頭的姿態和運動狀態;M5StickV 還集成了 200 mAh 的鋰電池,支持充放電管理,這使得它可以獨立使用,而不需要額外供電。在如此小的體積(48×24×22mm)之內,搭載如此多的功能,同時性能還非常強大,性價比之高,非常難得。

M5StickV 支持多種視覺識別能力,主要應用場景有:面部識別/檢測、物體檢測/分類、實時獲取目標的大小和座標、實時獲取檢測到的目標類型、形狀識別、視頻/顯示、遊戲模擬器等。

在保持性能和功能的前提下,為了簡化編程難度,M5StickV 支持 microPython 開發環境,這使得你在使用 M5stickV 上進行項目開發時,程序代碼將會更加精簡。因此 M5StickV 會是一個很好的零門檻機器視覺嵌入式解決方案。

另外,M5StickV 其實還有一個“精簡”版本:UnitV。UnitV 只搭載了 M5StickV 的核心模塊:K210 主控和 OV2640 攝像頭,因此在圖像相關領域,與 M5StickV 的功能基本類似。而 M5StickV 擁有的顯示屏、麥克風聲音傳感器、喇叭、六軸傳感器等,在 UnitV 上通通被丟棄了。這樣一來,兩者就形成了一個鮮明的定位差異,M5StickV 適合在前期做開發調試,UnitV 適合在後期做部署,即測試好程序和功能以後,直接用 UnitV 代替 M5StickV,從而減少項目成本。

m5unitv

產品官網:https://m5stack.com/

ROI

koi

KOI 錦鯉人工智能模塊,是小喵科技針對中小學和愛好者開發的一款可圖形化編程的 AIoT(AI+IoT)人工智能模塊,搭載了 Kendryte K210 人工智能專用芯片。

在硬件上,KOI 含有攝像頭、麥克風、喇叭、1.3 寸 IPS 顯示屏(240×240 分辨率)、WiFi 模塊、支持外接 TF 卡等。它的攝像頭還突破性的採用了可調整視角設計,支持 0~180° 旋轉,不管作為前置攝像頭還是後置攝像頭場景,都可輕鬆切換。IPS 顯示屏,可用於顯示攝像頭的實時圖片與一些操作的交互信息。有了這些硬件的加持,KOI 可實現視、聽、説全方位的 AI 功能,比如視覺識別、語音識別、語音合成、物聯網等功能。齊備的功能可以讓中小學學生系統性體驗與學習人工智能。除了集成 USB、UART 等通信接口以為,模塊還集成 WiFi 接口,可以讓你的人工智能作品接入雲端,讓作品更加出色。

在使用上,KOI 支持圖形化編程和代碼編程,無論是新手還是創客均可快速上手,可以説是非常適合中小學入門人工智能的一款攝像頭模塊。

由於主控也是使用了 K210 芯片,因此其他 K20 主控的攝像頭能實現的功能,KOI 基本都能實現,官方也列舉了大量的中小學教學中的人工智能應用場景。

koi功能枚舉

產品官網:https://www.kittenbot.cn/

K210 系列

從前面的介紹可以看出,HuskyLens、M5StickV、UnitV、KOI 等幾個模塊都使用了 Kendryte K210 人工智能芯片。值得一提的是,K210 這款芯片是由中國的公司嘉楠科技自主研發設計的,芯片中包含了一個自研的神經網絡硬件加速器 KPU,可以高性能地進行卷積神經網絡運算,簡單來説,就是非常適合應用於人工智能機器聽覺與機器視覺領域,所以這也是為什麼前面提到的攝像頭模塊都用到了 K210 這款芯片。

基於 K210 芯片的產品,除了前面幾款集成度比較高的產品,可以應用於愛好者或中小學學生教學場景外,其實還有很多相關的開發板模塊,可以應用於專業創客、技術研發場景,比如 Sipeed Maixduino 開發板、Maix Bit 開發板、Maix Dock 開發板、Maix Go 開發板、Widora BIT K210 開發板等,當然還有更多,這裏不能一一列舉。

k210_boards

這些模塊實際上不能稱之為攝像頭模塊,而只是一些開發板。但是這些開發板基本都集成了攝像頭和顯示屏接口,支持直接連接攝像頭傳感器和顯示屏模塊,從而成為一個人工智能攝像頭開發套件,所以我也放在這裏做一些簡單介紹,讓大家稍微瞭解一下。

因為這些模塊更多的是面向專業開發者或者專業創客的,所以在功能上會更加自由。前面幾款基於 K210 芯片的攝像頭基本都有一些定製的算法,集成了相應的功能,不需要用户去開發底層代碼,所以在功能上往往也會受限。但是這些 K210 通用開發板,在算法和實現效果上往往更加自由。雖然官方也提供了一些通用的算法案例,但是為了實現更好的效果或提升性能,往往需要自己去開發底層算法,因此不太適合用在中小學教學場景中,但是對於感興趣的創客老師,也是非常值得嘗試的。

小 MU

mu

小 MU 視覺傳感器是由杭州摩圖科技針對青少年創客教育開發的一款人工智能攝像頭模塊,目前最新版本是第 3 代。它採用 ESP32 雙核處理器作為主控芯片,配有一顆 VGA 85° 無畸變廣角鏡頭,具有速度快,視野廣,體積小,功耗低等特點。由於採用 ESP32 作為主控芯片,所以模塊自身還具有 WiFi 功能,可以實現圖傳和無線通訊,輕鬆實現 AIoT 應用,譬如局域網內監控雲台、遙控監控車等。在硬件接口上,小 MU 採用 UART 串口和 I2C 作為主要通訊方式,可以在任何嵌入式平台上使用。

小 MU 集成了多種視覺算法,而且它的視覺算法全部由摩圖科技自主研發,包括色塊檢測,顏色識別,球體識別,人體檢測,以及形狀、交通、數字卡片識別,通過固件升級還可以獲得更多算法的支持。攝像頭上方具有一顆高度集成的光線傳感器,可以實現環境光強度的檢測,紅外測距,手勢方向識別功能。

在編程方面,小 MU 支持在 Arduino、Mixly、Mind+、MakeCode 等主流編程開發平台上直接使用,官方提供了相應的庫文件和模塊支持,難度適宜,可以廣泛應用於智能玩具、人工智能教具、創客產品等產品或領域。

產品官網:http://morpx.com/

ESP32 系列

除了小 MU 以外,使用 ESP32 作為主控的攝像頭傳感器模塊其實也有很多,比如 ESP32-CAM、ESP-EYE、T-Camera、M5Camera 等。這些模塊基本也都大同小異,由於主控芯片一樣,因此在性能、算法、效果上基本上差不多。另外,ESP32 這款芯片也是完全由我國的公司樂鑫科技自主開發的,在國際上也非常受歡迎。

esp32_camera

相比前面描述的攝像頭模塊,這幾款 ESP32 攝像頭模塊中,除了小 MU 官方開發了各種識別算法外,其他幾款基本缺少官方的算法支持,要實現特定是視覺識別功能,需要用户自己開發算法和程序,使用難度比較高;而且在性能方面,遠不及 K210 芯片支持的幾款攝像頭以及 OpenMV、Pixy2 等。因此,在中小學教育領域中應用不是很多。

樹莓派+普通攝像頭+OpenCV

除了前面提到的集成攝像頭的模塊以外,在中小學教育中,採用樹莓派(或其他類似性能的單板計算機),再加上普通攝像頭和 OpenCV 算法,也是一個很好的選項。

pi_camera

眾所周知,樹莓派是由樹莓派基金會研發的一種只有信用卡大小的單板計算機,目前最新版本是 4B。最初的設計目標是用較為廉價的硬件和開源軟件為兒童提供一個計算機教育平台。但其優秀的擴展性和易於開發的特性,使其不僅僅用於兒童教育,更是成為了極客們的玩具。樹莓派被開發出了千千萬萬種玩法,並且普通人也可以輕鬆實現。

相比前面的攝像頭模塊,它們的主控芯片基本上是 MCU 微處理器,受芯片性能和處理能力的影響,它們上面運行的的視覺算法基本都是為芯片定製的,開發難度相對比較高。但是樹莓派的處理器性能卻是計算機級別的,直接可以運行電腦級別的操作系統,因此,將電腦端運行的通用算法在樹莓派上運行往往是綽綽有餘,比如常見的開源圖像識別算法 OpenCV。再加上也有越來越多的樹莓派圖形化編程軟件涌現出來,中小學生使用樹莓派完成視覺識別任務的難度大大降低,實現各種視覺算法的自由度也更高,所以應用也是越來越廣泛。

幾個方案的對比

對比表

總結

通過前面的介紹,可以發現,國產的人工智能技術越來越強大,以往在攝像頭模塊或傳感器領域,基本被國外技術壟斷,但是現在也越來越多出現了中國技術的身影,比如 K210、ESP32 等芯片基本都是由我國的公司自主研發的,而且在應用上也逐漸在取代國外的技術。雖然還只是停留在一些微處理器領域,但是隨着中小學人工智能教育的普及,越來越多學生能夠接觸到前沿高端的技術,從小埋下科技的種子,相信在不久的將來,我國在許多核心科技領域,一定能實現跨越式發展,趕超一些發達國家的技術。有幸生活在這樣一個時代,既是幸運,也充滿挑戰,希望可以與各位老師與學生共勉!

user avatar
0 位用戶收藏了這個故事!

發佈 評論

Some HTML is okay.