香蕉久久久_国产综合首页_99视频超级精品_日本色妞_麻豆91在线观看_久草热视频在线观看

感知作為自動(dòng)駕駛系統(tǒng)的信息輸入模塊，決定著整個(gè)自動(dòng)駕駛系統(tǒng)的下限。無(wú)論是自動(dòng)駕駛感知還是機(jī)器人感知目標(biāo)都是不斷的通過(guò)數(shù)字化的方法逼近真實(shí)的物理世界，而這個(gè)真實(shí)的物理世界只是僅限于人類可感知的范圍，例如，車道線、交通燈、行駛障礙物等等。這個(gè)過(guò)程的大前提是人類已經(jīng)知道了物理世界的分類或者屬性，只是讓機(jī)器和系統(tǒng)復(fù)制人類的反應(yīng)。不管是純視覺(jué)路線還是多源融合路線，本質(zhì)是感知系統(tǒng)方案的區(qū)別，一個(gè)側(cè)重縱向一個(gè)側(cè)重橫向。

以特斯拉為代表的純視覺(jué)方案還是以Waymo為代表的多源傳感融合檔案，其實(shí)自動(dòng)駕駛系統(tǒng)感知模塊通常會(huì)有多個(gè)傳感器，通過(guò)多維度達(dá)到信息的冗余和信息的互補(bǔ)，但是不同的傳感器之間的信息存在沖突的可能性。例如，雷達(dá)識(shí)別到障礙物，而攝像頭顯示可以通行，這種情況下就需要多源傳感器的信息交互和融合。任何傳感器在感知物理世界方面都存在一定的優(yōu)劣勢(shì)，每一個(gè)傳感器都有獨(dú)立的感知算法，所以需要以系統(tǒng)的角度設(shè)計(jì)整個(gè)自動(dòng)駕駛的感知方案。

從硬件層面感知主要包括攝像頭、雷達(dá)、高精度地圖、IMU等等，在軟件算法層面可以粗略的劃分為數(shù)據(jù)獲取、體征提取和完成感知任務(wù)三個(gè)環(huán)節(jié)，按照信息的發(fā)生前后，多源感知融合又可以劃分為前融合、特征融合和后融合，可以說(shuō)感知融合的方法變化也是驅(qū)動(dòng)自動(dòng)駕駛行業(yè)的內(nèi)因，也是自動(dòng)駕駛技術(shù)發(fā)展的三個(gè)不同的階段。

第一階段感知數(shù)據(jù)后融合。后融合也叫目標(biāo)級(jí)融合，是指單個(gè)傳感器分別完成原始數(shù)據(jù)的采集，獨(dú)立進(jìn)行特征提取和目標(biāo)檢測(cè)，完成感知任務(wù)后再進(jìn)行預(yù)測(cè)結(jié)果融合。其優(yōu)勢(shì)有幾點(diǎn)：第一點(diǎn)、后融合比較容易實(shí)現(xiàn)自動(dòng)駕駛功能，對(duì)車端的算力和帶寬需求也較低，2021年mobileye量產(chǎn)的EyeQ5芯片算力達(dá)到25TOPS、英偉達(dá)的Xavier單芯片算力30TOPS、特斯拉的FSD3.0芯片可達(dá)144 TOPS也就是說(shuō)在感知后融合時(shí)期，芯片的算力不是******的瓶頸，相比現(xiàn)在動(dòng)輒上千TOPS的算力，后融合100TOPS就可以實(shí)現(xiàn)輔助駕駛功能，其次后融合策略只需要傳輸識(shí)別結(jié)果而非原始數(shù)據(jù)，對(duì)感知通信帶寬的要求也大大降低；

第二點(diǎn)、每種傳感器識(shí)別的結(jié)果輸入到感知融合模塊，該模塊對(duì)各種傳感器在不同場(chǎng)景下的識(shí)別結(jié)果設(shè)置不同的置信度，最終根據(jù)融合策略進(jìn)行決策，這樣可以實(shí)現(xiàn)快速產(chǎn)品化。例如在特斯拉早期的白色開(kāi)車事故中，毫末波雷達(dá)已經(jīng)識(shí)別到障礙物，攝像頭沒(méi)有反應(yīng)，在攝像頭的高置信度下就是可通行。在特斯拉自動(dòng)駕駛的感知網(wǎng)絡(luò)中，對(duì)于視覺(jué)信號(hào)來(lái)說(shuō)雷達(dá)信號(hào)就是噪聲，去掉感知融合這對(duì)于視覺(jué)技術(shù)的挑戰(zhàn)是巨大的。自動(dòng)駕駛視覺(jué)零部件巨頭Mobileye經(jīng)過(guò)十年的研發(fā)從后裝輔助駕駛走向前裝量產(chǎn)，為客戶提供單目一體化解決方案，將感知識(shí)別結(jié)果進(jìn)行封裝輸出，可以向識(shí)別結(jié)果的決策權(quán)交給客戶進(jìn)行決策，而不直接參與下游的控制。在前裝市場(chǎng)提供芯片和算法可以迅速幫助車企進(jìn)行自動(dòng)駕駛功能的升級(jí)，后裝市場(chǎng)提供成形的輔助駕駛產(chǎn)品擴(kuò)展汽車存量市場(chǎng)。憑借這套產(chǎn)品組合，Mobileye在2016年底拿下全球汽車安全駕駛系統(tǒng)70%以上的市場(chǎng)份額；

第三點(diǎn)，感知算法的解耦性較好，不同的感知算法之間理論上可以互為備份冗余。在自動(dòng)駕駛行業(yè)發(fā)展的初期，對(duì)自動(dòng)駕駛的功能定義處于粗放式的狀態(tài)，對(duì)感知精度要求不高，因此后融合方案憑借優(yōu)勢(shì)成為自動(dòng)駕駛的主流，即使強(qiáng)如特斯拉，也在2020年之前采用后融合感知方案。隨著自動(dòng)駕駛技術(shù)的發(fā)展，對(duì)產(chǎn)品定義更加細(xì)化，感知精度的需求也在提高，至于精確到什么程度，這就是自動(dòng)駕駛技術(shù)邊界的定義。第二階段感知數(shù)據(jù)的前融合后融合需要根據(jù)先驗(yàn)知識(shí)對(duì)傳感器進(jìn)行置信度的設(shè)置，本質(zhì)上是一種基于規(guī)則的方法，并且在感知信息后融合的過(guò)程中，低置信度的數(shù)據(jù)信息會(huì)被過(guò)濾，這樣會(huì)產(chǎn)生傳感器原始數(shù)據(jù)的丟失，并且隨著時(shí)間序列誤差會(huì)累積。進(jìn)入到2020年，科技行業(yè)以數(shù)據(jù)驅(qū)動(dòng)的范式席卷所有的行業(yè)，自動(dòng)駕駛也從基于規(guī)則的方法轉(zhuǎn)向基于知識(shí)學(xué)習(xí)，再加上車端大算力芯片開(kāi)始“卷”起來(lái)，也為自動(dòng)駕駛感知前融合創(chuàng)造了硬件基礎(chǔ)。

前融合是將空間和時(shí)間對(duì)齊直接融合不同模態(tài)的原始傳感器數(shù)據(jù)再?gòu)娜诤虾蟮木C合數(shù)據(jù)中提取特征向量進(jìn)行識(shí)別。這種方法從數(shù)據(jù)的獲取量方面解決了原始數(shù)據(jù)的丟失問(wèn)題，提高了感知算法的精度，與此同時(shí)還可以省去原先在傳感器中的處理芯片。例如特斯拉在九頭蛇感知網(wǎng)絡(luò)架構(gòu)中，直接將攝像頭的原始光子計(jì)數(shù)作為輸入，擴(kuò)大了視覺(jué)感知的范圍。

然而，特斯拉能做出來(lái)的，其他人真不一定能搞定。前融合雖然符合數(shù)據(jù)驅(qū)動(dòng)的范式，但是也面臨著幾個(gè)關(guān)鍵問(wèn)題：其一、攝像頭的原始數(shù)據(jù)是多維且特征復(fù)雜數(shù)據(jù)，在low vision的處理就是將數(shù)據(jù)降維輸出。將原始數(shù)據(jù)作為感知網(wǎng)絡(luò)的輸入，需要較高的算法設(shè)計(jì)能力，并且這個(gè)能力的培養(yǎng)需要大量的測(cè)試數(shù)據(jù)成本；其二、將原始數(shù)據(jù)在空間和時(shí)間序列上的對(duì)齊融合提取特征向量，需要車端大算力芯片的支撐，這個(gè)過(guò)程是云端訓(xùn)練也無(wú)法取代。第三階段感知數(shù)據(jù)特征級(jí)的融合。在自然語(yǔ)言處理領(lǐng)域大殺四方的Transformer模型架構(gòu)引入到視覺(jué)感知領(lǐng)域后，自動(dòng)駕駛感知在BEV空間中進(jìn)行跨模態(tài)特征融合的網(wǎng)絡(luò)架構(gòu)效果有了一個(gè)質(zhì)的提升，這也是眾多廠商相仿特斯拉的純視覺(jué)路線的根基所在。

特征級(jí)融合是先從傳感器的原始數(shù)據(jù)中提取代表性的特征，再把這些特征融合成單一的特征向量進(jìn)行識(shí)別，相比于前融合需要的算力和算法需求幕后融合數(shù)據(jù)的丟失問(wèn)題，特征級(jí)融合可以降低數(shù)據(jù)的維度從而降低感知網(wǎng)絡(luò)對(duì)算力的需求。傳統(tǒng)的BEV空間轉(zhuǎn)換方法主要是基于規(guī)則的逆透視變換，正如人類的眼睛一樣相機(jī)所采集的圖像是2D的，因透視關(guān)系的存在會(huì)出現(xiàn)近大遠(yuǎn)小的情況。

逆透視變換就是將成像過(guò)程進(jìn)行抽象和簡(jiǎn)化從而得到證實(shí)世界坐標(biāo)系和圖像坐標(biāo)系之間的映射關(guān)系。可以看出這種規(guī)則的方法對(duì)于遠(yuǎn)距離的區(qū)域中將2D圖像投影到BEV空間的精度會(huì)失真。這一點(diǎn)在特斯拉AI day上有詳細(xì)講解。2020年英偉達(dá)在ECCV 2020上發(fā)布關(guān)于LSS算法的論文，核心是通過(guò)顯式估計(jì)圖像的深度信息，對(duì)采集到的環(huán)視圖像進(jìn)行特征提取、并根據(jù)估計(jì)出來(lái)的離散深度信息，實(shí)現(xiàn)圖像特征向BEV空間特征的轉(zhuǎn)換。自此BEV空間轉(zhuǎn)換從規(guī)則到學(xué)習(xí)型轉(zhuǎn)變，在BEV空間中基于深度學(xué)習(xí)的方法實(shí)現(xiàn)感知的特征級(jí)融合。

以深度學(xué)習(xí)為代表的自回歸的方法實(shí)現(xiàn)自動(dòng)駕駛感知技術(shù)是當(dāng)前主流的趨勢(shì)，隨即帶動(dòng)整個(gè)自動(dòng)駕駛產(chǎn)業(yè)鏈的變化。每一次自動(dòng)駕駛感知技術(shù)的變化也是自動(dòng)駕駛開(kāi)發(fā)方式的調(diào)整和供應(yīng)鏈的重構(gòu)。在Transformer+BEV的大模型感知架構(gòu)下，主要會(huì)體現(xiàn)在幾個(gè)方面：第一是數(shù)據(jù)和算力成為關(guān)鍵因素。參照了自然語(yǔ)言處理領(lǐng)域的經(jīng)驗(yàn)，理論上在數(shù)據(jù)和算力足夠充足的前提下，自動(dòng)駕駛視覺(jué)可以實(shí)現(xiàn)從感知到認(rèn)知的躍遷，但不是最終的解決方案，感知神經(jīng)網(wǎng)絡(luò)可以收斂的前提下，隨著網(wǎng)絡(luò)深度增加，網(wǎng)絡(luò)的表現(xiàn)先是逐漸增加至飽和，然后迅速下降，針對(duì)這個(gè)問(wèn)題AI大神何凱明等人提出了殘差連接解決網(wǎng)絡(luò)退化的問(wèn)題，增加了網(wǎng)絡(luò)的復(fù)雜性和不可解釋性。從數(shù)學(xué)層面講自動(dòng)駕駛系統(tǒng)就是一個(gè)多項(xiàng)式非線性方程局部空間的求解，通俗一點(diǎn)就是最經(jīng)典的例子就是大家最熟悉的俄羅斯方塊；第二是自動(dòng)駕駛產(chǎn)品的完備性無(wú)法準(zhǔn)確定義，這也會(huì)導(dǎo)致原本汽車行業(yè)的一些規(guī)則面臨巨大的改變，而算法的完備性主要體現(xiàn)在數(shù)據(jù)集上的理論效果和部署在應(yīng)用產(chǎn)品中的實(shí)際效果，這就必然會(huì)產(chǎn)生一個(gè)效果差距，并且這個(gè)差距是一直存在。所以，為了彌補(bǔ)這個(gè)差距，自動(dòng)駕駛技術(shù)發(fā)展一定是以數(shù)據(jù)+物理世界機(jī)理的融合方式存在，跳出先驗(yàn)知識(shí)的框架才能創(chuàng)造新的價(jià)值，而自動(dòng)駕駛感知數(shù)據(jù)的融合方法的變化也是逐漸弱化先驗(yàn)方式的過(guò)程。所以，自動(dòng)駕駛的感知很重要，因?yàn)檫@是人類認(rèn)知世界的一種方式，也是因?yàn)檎J(rèn)知世界的方式驅(qū)動(dòng)整個(gè)行業(yè)的前進(jìn)。 十字甫 汽車觀察者聯(lián)盟