- 實(shí)時(shí)傳感器融合——提取并融合傳感器數(shù)據(jù),并根據(jù)得到的信息實(shí)時(shí)制定決策。
- 離線傳感器融合——這種方案是提取并融合傳感器數(shù)據(jù),但在過(guò)后的某個(gè)時(shí)間制定決策。
嵌入式視覺(jué)系統(tǒng)中的傳感器融合應(yīng)用
發(fā)布時(shí)間:2017-02-25 責(zé)任編輯:wenwei
【導(dǎo)讀】傳感器在我們的世界經(jīng)歷了快速的推廣,事實(shí)上,傳感器現(xiàn)在已經(jīng)非常普遍,以至于我們每個(gè)人日常所使用的手機(jī)里都有好幾種不同類型的傳感器。這些傳感器有的能檢測(cè)壓力、溫度、加速度和重力的簡(jiǎn)單變化,同樣也有更為高級(jí)的傳感器,例如GPS、RADAR、LIDAR和圖像傳感器。
傳感器融合是指從幾種不同的傳感器中提取數(shù)據(jù),以生成靠單個(gè)傳感器無(wú)法提供的信息。隨后,可以對(duì)該信息做進(jìn)一步處理和分析。并根據(jù)最終應(yīng)用,必要時(shí)還可用傳感器來(lái)制定決策。傳感器融合分為兩大類:
就嵌入式視覺(jué)系統(tǒng)和傳感器融合應(yīng)用而言,大部分應(yīng)用適合實(shí)時(shí)傳感器融合。
嵌入式視覺(jué)應(yīng)用
嵌入式視覺(jué)應(yīng)用正在經(jīng)歷迅猛增長(zhǎng),涉及領(lǐng)域廣泛,從機(jī)器人、高級(jí)駕駛員輔助系統(tǒng)(ADAS)到增強(qiáng)現(xiàn)實(shí),不一而足。這些嵌入式視覺(jué)應(yīng)用對(duì)最終應(yīng)用的成功運(yùn)行有很大幫助。將嵌入式視覺(jué)系統(tǒng)提供的信息與來(lái)自不同傳感器或多個(gè)傳感器的信息進(jìn)行融合,有助于更好理解環(huán)境,從而提升所選應(yīng)用的性能。
很多嵌入式視覺(jué)應(yīng)用只使用一個(gè)圖像傳感器來(lái)監(jiān)控一個(gè)方向,例如只監(jiān)測(cè)汽車(chē)的前方。利用這樣的圖像傳感器可以檢測(cè)、分類和跟蹤對(duì)象。然而,由于只使用一個(gè)傳感器,因此就無(wú)法測(cè)量與圖像中對(duì)象的距離。也就是說(shuō),我們可以檢測(cè)和跟蹤到另一個(gè)車(chē)輛或行人,但如果不借助另一個(gè)傳感器,我們就無(wú)法確定是否存在碰撞風(fēng)險(xiǎn)。本例中我們需要另一個(gè)傳感器,例如RADAR或LIDAR,該傳感器能提供與已檢測(cè)到的對(duì)象的距離。由于這種方法能夠?qū)?lái)自多個(gè)不同類型傳感器的信息融合,因此稱為異構(gòu)傳感器融合。
ADAS異構(gòu)傳感器融合實(shí)例
另一種方案是提供第二個(gè)圖像傳感器,以實(shí)現(xiàn)立體視覺(jué)。這種方案是讓兩個(gè)圖像傳感器朝著相同方向,但分開(kāi)一小段距離,就像人的兩個(gè)眼睛那樣,通過(guò)視差確定對(duì)象在視場(chǎng)中的深度。像這樣使用多個(gè)相同類型的圖像傳感器,稱為同構(gòu)傳感器融合。
當(dāng)然,這里需要根據(jù)駕駛條件確定架構(gòu)和傳感器類型的選擇。這包括深度感的范圍、測(cè)量精度、環(huán)境光和天氣條件、實(shí)現(xiàn)成本以及實(shí)現(xiàn)復(fù)雜程度。
嵌入式視覺(jué)不僅可用于對(duì)象檢測(cè)和汽車(chē)防撞,還可以作為導(dǎo)航系統(tǒng)的一部分,用來(lái)收集交通標(biāo)志信息。另外,還可融合醫(yī)用X光、MRI和CT等多種不同圖像,或者融合安防與監(jiān)視設(shè)備中的可見(jiàn)光和紅外圖像。
我們通常認(rèn)為嵌入式視覺(jué)應(yīng)用只使用可見(jiàn)電磁光譜,其實(shí)很多嵌入式視覺(jué)應(yīng)用能融合來(lái)自可見(jiàn)電磁光譜以外的數(shù)據(jù)。
處理要求
如果不進(jìn)行融合,處理圖像時(shí)就需要相當(dāng)大的計(jì)算能力,這是因?yàn)橄到y(tǒng)要執(zhí)行一系列預(yù)處理功能。例如在使用彩色圖像傳感器時(shí),這些處理任務(wù)包括顏色濾波插值、色彩空間轉(zhuǎn)換/重采樣以及圖像校正。除此之外,我們還要執(zhí)行傳感器融合算法本身的處理任務(wù),在之前使用的對(duì)象檢測(cè)實(shí)例中,我們需要執(zhí)行背景減法、閾值和輪廓檢測(cè),以使用最簡(jiǎn)單方案定位對(duì)象,或者可能需要更強(qiáng)的 HoG/SVM 分類器。
隨著幀率和圖像尺寸增加,預(yù)處理圖像和提取信息所需的處理能力也會(huì)隨之增加。
然而,從圖像中提取所需的信息還只是任務(wù)的一部分,如果使用異構(gòu)融合,我們還需對(duì)來(lái)自第二個(gè)傳感器的信息進(jìn)行配置、驅(qū)動(dòng)、接收和提取。如果我們選擇同構(gòu)系統(tǒng),則需要為第二個(gè)圖像傳感器再次執(zhí)行與第一個(gè)傳感器相同的圖像處理流水線。
這樣能提供兩組數(shù)據(jù),必須對(duì)這兩組數(shù)據(jù)進(jìn)行處理以確定與對(duì)象的實(shí)際距離,這才是真正的融合。
All Programmable SoC或FPGA的優(yōu)勢(shì)
在嵌入式視覺(jué)系統(tǒng)中,一般使用All Programmable FPGA或All Programmable SoC來(lái)實(shí)現(xiàn)圖像處理流水線。如果它們能用于傳統(tǒng)嵌入式視覺(jué)應(yīng)用,那么也適用于嵌入式視覺(jué)融合應(yīng)用。
無(wú)論選擇FPGA還是SoC,嵌入式視覺(jué)應(yīng)用通常使用處理器進(jìn)行監(jiān)視、控制和通信。如果選用All Programmable SoC,那么中間有一個(gè)硬核,并有很多支持外設(shè)和接口標(biāo)準(zhǔn)。如果使用All Programmable FPGA,就會(huì)使用一個(gè)軟核,例如 MicroBlazeTM,并采用更加定制化的外設(shè)和接口支持。
對(duì)于嵌入式視覺(jué)傳感器融合應(yīng)用,我們可進(jìn)一步利用處理器為所用的眾多傳感器提供簡(jiǎn)單接口。例如,加速計(jì)、壓力計(jì)、陀螺儀和 GPS 傳感器都配有串行外設(shè)接口(SPI)和內(nèi)部集成電路(I2C)接口,都得到All Programmable Zynq?-7000和MicroBlaze軟核處理器的支持。這使軟件能夠快速、方便地從不同類型的傳感器獲得所需信息,并提供給可擴(kuò)展架構(gòu)。
在可編程邏輯架構(gòu)中可輕松實(shí)現(xiàn)用于從圖像傳感器提取信息的圖像處理流水線,此外,可編程邏輯架構(gòu)還可用來(lái)為其他異構(gòu)傳感器(例如 RADAR 和 LIDAR)或者同構(gòu)系統(tǒng)中的多種情況實(shí)現(xiàn)處理流水線。
當(dāng)使用All Programmable Zynq-7000 或 All Programmable UltraScale+TMMPSoC時(shí),處理器存儲(chǔ)器與可編程邏輯之間緊密耦合的架構(gòu)允許應(yīng)用軟件訪問(wèn)所得到的數(shù)據(jù)集,以便進(jìn)一步處理和制定決策。獨(dú)立傳感器鏈可在可編程邏輯中實(shí)現(xiàn),而且可并行運(yùn)行,這對(duì)于立體視覺(jué)等需要同步操作的情況非常有利。
為了加速在可編程邏輯中實(shí)現(xiàn)的融合應(yīng)用的交付進(jìn)程,我們可利用高層次綜合(HLS)開(kāi)發(fā)可直接在可編程邏輯架構(gòu)中實(shí)現(xiàn)的算法。
實(shí)例架構(gòu)
開(kāi)發(fā)前面介紹的對(duì)象檢測(cè)和距離算法,利用All Programmable SoC演示同構(gòu)和異構(gòu)方案。盡管兩種方案使用的傳感器類型不用,但這兩種架構(gòu)的最終目標(biāo)都是將兩個(gè)數(shù)據(jù)集放在處理系統(tǒng)的DDR內(nèi)存,同時(shí)將可編程邏輯架構(gòu)的性能最大化。
實(shí)現(xiàn)同構(gòu)對(duì)象檢測(cè)系統(tǒng)需要使用相同的傳感器類型,這里是CMOS成像傳感器。這樣做的優(yōu)勢(shì)是只需要開(kāi)發(fā)一條圖像處理鏈,這個(gè)圖像處理鏈可以為兩個(gè)圖像傳感器在可編程邏輯架構(gòu)中實(shí)例化兩次。
同構(gòu)架構(gòu)實(shí)現(xiàn)立體視覺(jué)系統(tǒng)的條件之一是要求兩個(gè)圖像傳感器同步在可編程邏輯架構(gòu)中并行實(shí)現(xiàn)兩個(gè)圖像處理鏈并使用具有適當(dāng)約束的相同時(shí)鐘,這樣有助于滿足這一苛刻的要求。
盡管視差計(jì)算需要進(jìn)行密集處理,但兩次實(shí)現(xiàn)相同的圖像處理鏈的能力可顯著節(jié)省開(kāi)發(fā)成本。
上圖給出了同構(gòu)方案的架構(gòu),其中兩條圖像處理鏈主要基于可用的 IP 模塊。圖像數(shù)據(jù)采用定制的傳感器接口IP 模塊捕獲,并從并行格式轉(zhuǎn)換為AXI流媒體。這樣能實(shí)現(xiàn)輕松可擴(kuò)展的圖像處理鏈;我們可以利用高性能 AXI 互連以及視頻DMA將結(jié)果從圖像處理鏈傳送到PS DDR。
考慮采用不同類型傳感器的異構(gòu)實(shí)例, 我們可將上面介紹的圖像傳感器對(duì)象檢測(cè)架構(gòu)與RADAR 距離檢測(cè)相結(jié)合。對(duì)于RADAR的實(shí)現(xiàn),我們有兩個(gè)選擇:脈沖方案(多普勒)或者連續(xù)波。具體選擇哪種方案取決于最終應(yīng)用要求,不過(guò),這兩種方法大同小異。
RADAR的架構(gòu)可分成兩部分:信號(hào)生成和信號(hào)接收。信號(hào)生成部分負(fù)責(zé)生成連續(xù)波信號(hào)或者待傳輸?shù)拿}沖信號(hào),無(wú)論哪種方案都需要利用信號(hào)生成 IP 模塊與高速數(shù)模轉(zhuǎn)換器進(jìn)行接口連接。
信號(hào)接收部分也需要使用高速模數(shù)轉(zhuǎn)換器來(lái)捕獲接收到的連續(xù)波或脈沖信號(hào)。說(shuō)到信號(hào)處理,這兩種方案都需要使用通過(guò)可編程邏輯架構(gòu)實(shí)現(xiàn)的FFT分析方法;同樣,我們可使用DMA將得到的數(shù)據(jù)集傳送到PS DDR。
無(wú)論選擇哪種實(shí)現(xiàn)架構(gòu),兩個(gè)數(shù)據(jù)集的融合算法都是通過(guò)軟件用PS來(lái)執(zhí)行。另外,這些融合算法對(duì)處理帶寬要求較高,實(shí)現(xiàn)更高性能的一種方法是使用現(xiàn)有工具集功能,尤其是設(shè)計(jì)環(huán)境 SDSoCTM。
SDSoC可利用Vivado HLS和連接框架(二者對(duì)軟件開(kāi)發(fā)人員都是透明的)無(wú)縫地在處理器與SoC可編程邏輯之間傳輸軟件功能。當(dāng)然,我們可利用高層次綜合為同構(gòu)和異構(gòu)實(shí)現(xiàn)方式的處理鏈開(kāi)發(fā)功能。我們還可進(jìn)一步擴(kuò)展,針對(duì)所選的實(shí)現(xiàn)方案創(chuàng)建定制SDSoC平臺(tái),然后借助SDSoC功能,利用未占用的邏輯資源進(jìn)一步加速整個(gè)嵌入式視覺(jué)系統(tǒng)性能的提升。
結(jié)論
傳感器融合已經(jīng)扎根,同時(shí),嵌入式視覺(jué)系統(tǒng)正在迅速增長(zhǎng),傳感器快速推廣和普及。All Programmable FPGA 和 SoC 提供的功能使多種類型的傳感器可并行運(yùn)行并按要求實(shí)現(xiàn)同步;同時(shí),利用 SoC 處理系統(tǒng)或軟核處理器來(lái)執(zhí)行數(shù)據(jù)融合和決策活動(dòng)。
系統(tǒng)和高層次綜合工具(如 SDSoC 和 Vivado HLS),為工程設(shè)計(jì)團(tuán)隊(duì)帶來(lái)了多種優(yōu)勢(shì),可確保如期進(jìn)行應(yīng)用開(kāi)發(fā)。
推薦閱讀:
特別推薦
- 兆易創(chuàng)新GD32F30x STL軟件測(cè)試庫(kù)獲得德國(guó)萊茵TüV IEC 61508功能安全認(rèn)證
- 芯科科技第三代無(wú)線開(kāi)發(fā)平臺(tái)引領(lǐng)物聯(lián)網(wǎng)發(fā)展
- MSO 4B 示波器為工程師帶來(lái)更多臺(tái)式功率分析工具
- 艾為電子推出新一代高線性度GNSS低噪聲放大器——AW15745DNR
- 瑞薩發(fā)布四通道主站IC和傳感器信號(hào)調(diào)節(jié)器, 以推動(dòng)不斷增長(zhǎng)的IO-Link市場(chǎng)
- e絡(luò)盟現(xiàn)貨供應(yīng) Abracon 新推出的 AOTA 系列微型鑄型電感器
- 加賀富儀艾電子推出支持Wi-Fi 6和藍(lán)牙的無(wú)線局域網(wǎng)/藍(lán)牙組合模塊
技術(shù)文章更多>>
- 一文掌握UV LED在空凈消殺領(lǐng)域的主要應(yīng)用
- 聚焦汽車(chē)智能化與電動(dòng)化︱AUTO TECH 2025 華南展11月,已全面啟動(dòng),邀您共精彩!
- 【“源”察秋毫系列】 Keithley在碳納米管森林涂層纖維復(fù)合材料的應(yīng)用
- 數(shù)字驅(qū)動(dòng)工業(yè),智能賦能制造 AMTS & AHTE SOUTH CHINA 2024同期會(huì)議全公開(kāi)!
- 團(tuán)體觀展招募!104CEF開(kāi)啟組團(tuán)觀眾通道,解鎖更多禮遇
技術(shù)白皮書(shū)下載更多>>
- 車(chē)規(guī)與基于V2X的車(chē)輛協(xié)同主動(dòng)避撞技術(shù)展望
- 數(shù)字隔離助力新能源汽車(chē)安全隔離的新挑戰(zhàn)
- 汽車(chē)模塊拋負(fù)載的解決方案
- 車(chē)用連接器的安全創(chuàng)新應(yīng)用
- Melexis Actuators Business Unit
- Position / Current Sensors - Triaxis Hall
熱門(mén)搜索
鑒頻器
江蘇商絡(luò)
交流電機(jī)
腳踏開(kāi)關(guān)
接觸器接線
接近開(kāi)關(guān)
接口IC
介質(zhì)電容
介質(zhì)諧振器
金屬膜電阻
晶體濾波器
晶體諧振器
晶體振蕩器
晶閘管
精密電阻
精密工具
景佑能源
聚合物電容
君耀電子
開(kāi)發(fā)工具
開(kāi)關(guān)
開(kāi)關(guān)電源
開(kāi)關(guān)電源電路
開(kāi)關(guān)二極管
開(kāi)關(guān)三極管
科通
可變電容
可調(diào)電感
可控硅
空心線圈