今天的許多成像系統(tǒng)，例如用于安全和監(jiān)控、零售自動化和自動駕駛汽車的成像系統(tǒng)，都部署了帶有基于幀的圖像傳感器的攝像頭。當(dāng)與卷積神經(jīng)網(wǎng)絡(luò)配合使用時，可以部署這些攝像頭來識別和分類物體，包括人、動物、車輛、道路標(biāo)志和各種其他障礙物。
然而，這樣的系統(tǒng)通常成本高昂，并且需要高能耗的CPU或者GPU。另外，利用基于幀的傳感器的攝像頭以預(yù)定的幀率捕獲視覺信息，無論場景中是否存在任何實際的動態(tài)變化，每個幀傳送來自傳感器的所有像素信息，同時對它們進(jìn)行均勻采樣，這增加了圖像處理的數(shù)據(jù)吞吐量要求。
為了尋求一種需要更少功率和更少數(shù)據(jù)的方法，位于美國加州圣地亞哥的初創(chuàng)公司Kelzal開發(fā)了基于事件的傳感器，并將其稱為“感知設(shè)備”，其利用第三代神經(jīng)網(wǎng)絡(luò)進(jìn)行識別和分類應(yīng)用，目前有兩種型號可供選擇。
“設(shè)計這些系統(tǒng)的靈感來自于大腦的工作方式，以及人類和哺乳動物的視覺系統(tǒng)的工作原理?！盞elzal公司首席技術(shù)官、創(chuàng)始人兼臨時首席執(zhí)行官Olivier Coenen說，“我們正在努力想出一種更有效的方法來處理機(jī)器和計算機(jī)的視覺信息。這就是我們開發(fā)這些產(chǎn)品的原因?！?/span>
Kelzal公司的傳感器利用基于事件的成像原理，其中圖像傳感器僅跟蹤場景中的變化，傳感器不會傳輸在攝像頭視場中保持不變的任何事物。它與傳統(tǒng)攝像頭不同，沒有幀，每當(dāng)單個像素中光強(qiáng)發(fā)生變化時，它就會累積。
當(dāng)強(qiáng)度超過某個閾值時，攝像頭系統(tǒng)給出二進(jìn)制數(shù)值的響應(yīng)，用于識別強(qiáng)度變化的正和負(fù)。
根據(jù)Coenen的說法，該公司開發(fā)的“快速”識別系統(tǒng)，即該超快感知設(shè)備，可以在不需要特殊設(shè)備（例如高帶寬硬盤驅(qū)動器）的情況下記錄子彈的軌跡，并且可以在捕獲數(shù)據(jù)時進(jìn)行處理。
“基于事件成像的主要優(yōu)勢是，在檢測和跟蹤應(yīng)用中，這種傳感器能夠以比‘采用基于幀的圖像傳感器的攝像頭’快1000倍的速度捕獲運(yùn)動圖像?！盋oenen說，“對于像自動駕駛汽車這樣的應(yīng)用來說，這是一項既有用而且又非常必要的性能?！?/span>
“快速”識別系統(tǒng)基于100萬像素CMOS圖像傳感器，瞄準(zhǔn)自動駕駛汽車和機(jī)器人應(yīng)用中的物體識別和分類。該超低功耗的感知設(shè)備基于QVGA CMOS圖像傳感器，運(yùn)行時通常只需幾個毫瓦、甚至更低的功率。據(jù)報道，這些系統(tǒng)專為監(jiān)控和零售自動化而設(shè)計，可使用單個CRV3電池運(yùn)行多年。
與這些傳感器組合的是FPGA或神經(jīng)處理器，這是一種設(shè)計用于加速神經(jīng)網(wǎng)絡(luò)相關(guān)算法的處理器，神經(jīng)網(wǎng)絡(luò)軟件在該處理器上運(yùn)行。Kelzal公司開發(fā)了用于神經(jīng)網(wǎng)絡(luò)對象和活動識別的專利算法。
Coenen表示，雖然“快速”識別系統(tǒng)利用現(xiàn)有的高速、基于事件的傳感器，但是該超低功耗設(shè)備基于學(xué)術(shù)界開發(fā)的一種新技術(shù)，專注于降低功耗。
“超低功耗像素的設(shè)計與傳統(tǒng)的基于幀的攝像頭的設(shè)計不同，也不同于基于事件的視覺傳感器?！盋oenen說道，“典型的基于事件的傳感器在每個像素處都有一個放大器，這使得我們可以非常迅速地做出回應(yīng)?！?/span>
“要保持放大器工作，你需要電源，它會占用像素周圍的空間。超低功耗方法不使用連續(xù)放大器。這種方法采用其他技術(shù)，大大降低了功率。最終獲得的像素大小是我們今天所知的最小像素之一?！盋oenen解釋說。
Kelzal公司最近獲得300萬美元的種子融資，由位于美國加州Redwood City 的Motus Ventures公司擔(dān)保并領(lǐng)導(dǎo)，用于攝像頭的商業(yè)化和部署。
作為此項融資的一部分，位于美國加州圣何塞的Avaak公司（現(xiàn)為Arlo公司）的前創(chuàng)始人兼首席執(zhí)行官，當(dāng)前流行的無線、電池供電智能家居攝像頭的發(fā)明者Gioia Messinger，加入Kelzal公司董事會，并將作為執(zhí)行顧問參與公司的日?；顒?。
“通過這些傳感器，我們專注于特定的市場和應(yīng)用，因為我們認(rèn)為它們將在早期產(chǎn)生最大的影響?！盋oenen說，“但是在未來，我認(rèn)為像這樣的基于事件的傳感器甚至可以在很多應(yīng)用中取代許多傳統(tǒng)的基于幀的攝像頭。”
“只要機(jī)器必須具有視覺感知功能，這種基于事件的傳感器都將成為視覺處理的一個不可或缺的組成部分。”Coenen總結(jié)說。