• 關于自動駕駛的綜述(關于自動駕駛技術的思考)

    自動駕駛 942
    今天給各位分享關于自動駕駛的綜述的知識,其中也會對關于自動駕駛技術的思考進行解釋,如果能碰巧解決你現在面臨的問題,別忘了關注本站,現在開始吧!本文目錄一覽: 1、漫談自動駕駛之三:關于V2X,自動駕駛是否需要車聯萬物?

    今天給各位分享關于自動駕駛的綜述的知識,其中也會對關于自動駕駛技術的思考進行解釋,如果能碰巧解決你現在面臨的問題,別忘了關注本站,現在開始吧!

    本文目錄一覽:

    漫談自動駕駛之三:關于V2X,自動駕駛是否需要車聯萬物?

    所謂V2X,X即Everything,意為Vehicle to everything,是指車對外界的信息交換,即車聯網。

    中國信通院在2020年1月2日發布的《2017-2019年中國信通院車聯網白皮書合集》中對V2X作出了定義:車用無線通信技術(V2X)是將車輛與一切事物相連接的新一代信息通信技術,其中V代表車輛,X代表任何與車交互信息的對象。

    V2X交互的信息模式包括:V2V(車與車之間)、V2P(車與人之間)、V2I(車與路之間)以及V2N(車與網絡之間)。

    汽車通過V2X與整個交通系統互聯互通,為自動駕駛提供了智能的大環境。

    圖源中國信通院白皮書

    通俗的解釋一下V2X的應用,汽車可以連接附近的其他車輛、攝像頭、紅綠燈等等一切裝了V2X的載體。紅綠燈可直接對汽車下達指令,攝像頭也可將檢測到的數據反饋給汽車,讓汽車在不需要人類操控的情況下自動繞行。

    大數據將徹底掌握人們的出行路途,人們從“主導者”變成“參與者”。

    從理論來看,V2X技術的發展能夠有效預防交通事故、提高交通效率。它能夠帶動發展車路協同控制、車車協同編隊、遠程操作等高級/完全自動駕駛業務,最終支撐實現完全自動駕駛。

    圍繞V2X還將形成一個巨大的產業鏈。這種“源創新”,將會構建出一整套生態系統。

    圖源中國信通院白皮書

    圖源中國信通院白皮書,目前我國V2X產業發展情況

    目前我國主要的發展方向是C-V2X,C-V2X中的C是指蜂窩(Cellular),它是基于3G/4G/5G等蜂窩網通信技術演進形成的車用無線通信技術。

    C-V2X的發展將帶來大量的工作崗位,其輻射產業甚至可擴散到修路工人。

    盡管好處良多,但V2X的發展也一路伴隨著質疑與爭議。

    關于皮鞋的起源,有這樣的一個小故事。有一位國王到某個偏遠鄉村旅行,因為路面坎坷不平,有很多碎石,刺的國王的腳十分疼痛。于是國王下了一道命令,要將道路都鋪上一層牛皮。

    國王自認為這項政令可方便自己也可造福人民,但國境之內哪有那么多??晒貧伮??一位聰明的仆從向國王提議,為何不直接在腳上包上牛皮呢。國王恍然大悟,于是逐漸演變成了皮鞋。

    故事的真實性暫且不談,但國王之前的想法,無疑非常勞民傷財且進度緩慢。

    有人認為,V2X的推行,就好像要給全國各地的路都“鋪上牛皮”。而專注于發展智能汽車,才是“穿上皮鞋”。

    普林斯頓大學的機器人研究教授阿蘭·肯豪森(Alain Kornhauser)寫了一封關于自動駕駛的郵件,表示了他對V2X技術的不贊同。

    在郵件中他指出:如果交通運輸部固持己見,要求所有新車安裝V2X,問題并不會有多大改善。V2X需依賴大多數車才能起作用。也就是說,V2X的傳感器只能在其他車輛也匹配了V2X的發射器情況下,才能有效工作。只有當道路上的車輛超過一半安裝了合適的軟件,“在新車上安裝V2X系統”的規定才能真正受益。

    假如道路上僅有10%的車輛安裝了V2X,那么只有1%對(10%×10%)車輛能夠實現信息交互。

    這種質疑并不是空穴來風,在V2X普及率沒有大規模擴散之前,最基礎的V2V實現也極為困難,畢竟路上行駛的不止是裝載了最新技術V2X的汽車,大量的其他汽車也會成為智能交通系統發展的干擾源。

    要想實現V2I(車與路之間通信)則更加困難,它需要對現有的高速公路進行大量的修建重造,這無疑需要耗費大量的國民稅收,且最后收效無人知曉。

    但現有的傳感器探測范圍約為幾百米,在實際的行車過程中,起到的探測作用并不足以應對突發交通事故。就算未來傳感器技術更加發達,也很難突破視覺盲區或跨越遮擋物。V2X的發展是必行之路,以上那些顧慮就好像先有雞還有先有蛋,如果畏畏縮縮不進行變革,智能交通系統就永遠不會到來。

    頂著重重壓力的V2X依然在茁壯發展,而它的生長,遠遠不止我們認識到它的這幾年。

    早在20世紀80年代,美國就已經有過類似嘗試。1986年,加州交通局聯手加州大學共同開始探索信息通信技術在汽車與高速公路上的應用。經過團體的不斷壯大與四處游說,在20世紀90年代初,美國交通運輸局成立了正式的聯邦項目辦公室。

    這個后來更名為智能交通系統(intelligent transportation system,ITS)的IVHS項目涵蓋了所有自動交通模式:自動交通管理系統、駕駛員信息系統、商務用車和公共交通。同年,國會通過了一項重要交通法案——《綜合地面交通效率法案》(Intermodal Surface Transportation Efficiency Act),并批準了6.6億美元的資金用于未來六年間自動高速公路建模的研究、開發與操作測試。

    但這樣一個對科技要求極高的項目并不適合在聯邦政府機構手下生存,且當時的自動駕駛技術也較為基礎,這個項目以失敗告終。

    當下的V2X項目與當年美國聯邦的嘗試有很多相同之處。不同的是,現在的智能汽車自動駕駛技術已經發展到了接近高度自動駕駛的程度,人們對于自動駕駛技術的接受度也遠比以前要高。

    V2X真正能夠走下去的土壤已經存在,我國C-V2X的發展也有了政策的支持。

    工業和信息化部、公安部、?國家標準化管理委員會三部門在2020年4月24日印發了《國家車聯網產業標準體系建設指南(車輛智能管理)》(以下簡稱《建設指南》)的通知,主要針對車聯網環境下的車輛智能管理工作需求,指導智能網聯汽車登記管理、身份認證與安全、道路運行管理及車路協同管控與服務等領域標準化工作,推動公安交通管理領域車聯網技術應用與發展,提升我國智能網聯汽車與智慧交通水平,并逐步與《建設指南》其它部分共同形成統一、 協調的國家車聯網產業標準體系架構。

    《建設指南》中還提到:落實好全國道路交通管理標準化技術委員會、全國汽車標準化技術委員會、全國智能運輸系統標準化技術委員會和全國通信標準化技術委員會聯合簽署的《關于加強汽車、智能交通、通信及交通管理C-V2X標準合作的框架協議》,建立高效順暢的溝通交流機制,相互支持和參與標準研究制定,共同推動C-V2X等新一代信息通信技術在汽車、智能交通以及交通管理中的應用。

    我們大可放心期待V2X普及開來的那一天。

    本文來源于汽車之家車家號作者,不代表汽車之家的觀點立場。

    自動駕駛汽車的行駛模式如何?

    美國交通部的國家公路交通安全管理局(NHTSA)最近發布了一份關于自動駕駛技術現狀的概述報告。

    根據該報告,自動化車輛技術仍處于研發階段。下面給出的地圖描繪了美國的受控測試站點,其中自動駕駛汽車組件和系統使用建模,模擬和在路上。

    自動駕駛汽車的自主水平

    據SAE International稱,自動駕駛汽車有五個級別的自主權:

    級別1:這是一個低級自動化系統,系統和人類駕駛員共享控制權。例如,自適應巡航控制功能控制發動機和制動功率,以便在駕駛員控制轉向時進行速度變化和維護。1級系統可隨時保證完全人為控制。

    等級2 :在此級別,當加速,制動和轉向等車輛操作受系統控制時,駕駛員需要對自動系統進行持續監控。許多2級車輛要求駕駛員握住方向盤以使自動系統連續運轉。

    等級3 :屬于此類別的自主車輛允許駕駛員執行其他任務(如發短信或觀看電影),同時系統控制大多數車輛操作。然而,對于車輛制造商規定的某些操作,系統需要在有限時間內對駕駛員進行干預。

    級別4 :此級別支持自動駕駛,只需最少的駕駛員干預,但僅在選定的映射位置(稱為地理圍欄區域)中執行此操作。

    5級:無需人為干預。

    雖然5級自治是許多自動駕駛汽車公司的共同夢想,但它們各自達到5級自治的路徑卻截然不同。一些公司認為3級和4級自治是太危險的,因為從機器到人的交接可能是不可預測和危險的(從發短信或看電影到轉向遠離事故可能是不切實際的期望)。

    自駕車如何與周圍環境相互作用

    根據美國交通部的數據,連接和自動駕駛車輛以三種方式相互通信及與周圍環境相通:

    車輛到車輛(V2V)的相互作用

    自動駕駛汽車之間的V2V互動允許在路線擁堵,障礙物和危險方面進行信息交換。

    例如,如果自動駕駛汽車遇到事故或高容量但行駛緩慢的車輛,它就能夠將信息轉發給其他自動駕駛汽車,然后可以根據收到的數據調整航線,并可能避免事故和交通。

    車輛到基礎設施(V2I)交互

    自動駕駛汽車可以與基礎設施組件(如智能停車系統)進行通信,以便在行程之前規劃路線和預留停車位。

    當自動駕駛汽車必須決定在到達目的地時如何停車時,此信息特別有用:平行,垂直或有角度。此外,其他無人駕駛汽車將事先“知道”特定停車位是否已經預訂或是否已經開放。

    車輛到行人(V2P)的互動

    該V2P相互作用主要是進行自駕車和行人的智能手機應用程序之間。

    據明尼蘇達大學消息,它資助了一種稱為移動無障礙行人信號(MAPS)的V2P原型。視力受損的行人可以使用MAPS分別接收和提供有關交叉路口和行人位置的信息。除了汽車傳感器和激光雷達提供的數據之外,自動駕駛汽車將使用這些數據,以更準確地定位行人并可能避免碰撞。

    示例和用例

    博世在以下兩分鐘視頻中解釋了V2V和V2I技術的一些簡單用例:

    中國現在陷入困境的硬件制造商華為在2018年的演示視頻中展示了各種潛在的“V2”用例:

    雖然該技術仍處于起步階段,但“V2”技術正在為完全的自主性鋪平道路,并且有希望為司機和行人提供更加安全的道路。目前還不清楚不同的國家是否會開發完全不同的V2用例和標準,現在判斷哪些V2應用程序將在未來幾年成為標準并且將被放棄還為時尚早。

    當前自動駕駛汽車和工作部件的例子

    谷歌和特斯拉是目前自動駕駛汽車領域最大的參與者。為了更好地了解自動駕駛汽車如何實時工作,本文包含有關Google Waymo和特斯拉自動駕駛儀的工作和操作的詳細信息。

    谷歌的Waymo

    根據Google的說法,Waymo是一個4級自治系統,只需要很少的人為干預。

    Waymo的硬件基礎設施

    Waymo硬件的描述圖片如下:

    Waymo的基礎設施包括各種傳感器,雷達和攝像系統。

    LiDAR傳感器

    根據谷歌的說法,Waymo有一個多層傳感器套件,能夠在不同的光照條件下運行。該傳感器套件基本上是一個全向LiDAR系統,包括短程,高分辨率中頻和遠程激光雷達。這些激光雷達每秒投射數百萬個激光脈沖并計算光束從表面或人體反射并返回自動駕駛汽車所需的時間。

    根據從LiDAR光束收到的數據,Waymo據報道創建了一個周圍環境的3D地圖,識別移動和固定物體,包括其他車輛,騎自行車者,行人,交通信號燈和各種道路特征。

    視力

    Waymo的視覺系統是另一種全方位,高分辨率的相機套件,據稱能夠在低光條件下識別顏色。這有助于檢測不同的交通信號燈,其他車輛,施工區域和應急燈。

    雷達

    谷歌稱,Waymo使用雷達系統通過波長“環繞”不同光線和天氣條件(如雨,雪和霧)來感知物體和運動。該雷達系統也是全方位的,可以在自動駕駛汽車周圍360度跟蹤行人和其他車輛的速度。

    補充傳感器

    Waymo還增加了額外的傳感器,其中包括用于檢測緊急警報器的音頻檢測系統和用于跟蹤物理位置的GPS。

    Waymo的自動駕駛軟件

    谷歌宣稱,Waymo的自動駕駛軟件已經過“50億英里的模擬駕駛和500萬英里的公路駕駛體驗”的培訓和測試。它由機器學習算法提供支持。

    以下視頻詳細介紹了Waymo如何在路上運行:

    根據谷歌的說法,Waymo的4級技術能夠檢測并“理解”物體及其行為,并因此以三重過程調整自動駕駛汽車的行為。

    知覺

    據報道,Waymo可以檢測,識別和分類道路上的物體,包括行人和其他車輛,同時測量它們的速度,方向和加速度。

    例如,Waymo的感知軟件從傳感器和雷達收集數據,并創建周圍環境的模擬“視圖”。由于這種能力,Waymo能夠確定當燈變綠時是否可以通過,或者由于交通錐指示的車道被阻擋而調整其路線。

    行為預測

    根據谷歌的說法,Waymo可以通過推斷使用“數百萬英里的駕駛經驗”構建的訓練模型中的數據,根據其分類來預測道路上物體的行為。

    例如,自駕車軟件“理解”雖然行人可能看起來與騎車人相似,但他們的移動速度比后者慢,并且表現出更多突然的方向變化。

    規劃人員

    據報道,計劃軟件使用感知和行為預測軟件捕獲的信息來規劃Waymo的適當路線。谷歌稱,Waymo的策劃者就像一名“防御性駕駛員”,他選擇遠離盲點并為騎車人和行人提供回旋余地。

    特斯拉的自動駕駛儀

    據特斯拉稱,自動駕駛儀是一款二級自動駕駛汽車。與大多數二級系統一樣,自動駕駛儀要求駕駛員始終握住方向盤,準備接管控制。

    特斯拉還警告說,駕駛員必須在自主操作期間充分發揮作用。

    自動駕駛儀硬件

    下圖顯示了Autopilot的硬件組件。

    根據特斯拉的說法,2014年至2016年10月期間生產的自動駕駛汽車包括有限的超聲波傳感器,低功率雷達和一臺攝像機。

    自2016年以來建造的包括12個用于附近物體和行人識別的超聲波傳感器,能夠“感知”不同天氣條件的正面雷達,8個用作特斯拉內部神經網絡饋送的外部攝像頭和處理輸入的計算機系統以毫秒為單位。

    自動駕駛儀軟件

    交通意識巡航控制,以保持響應周圍交通的速度。

    司機協助的“自動駕駛儀”在標記清晰的車道范圍內

    用于在車道之間轉換的自動車道更改

    駕駛員輔助“在自動駕駛儀上導航”,用于將車輛從高速公路的入口匝道引導至出口匝道,包括建議和改變車道,導航高速公路交匯處和出口。

    Autopark自動平行或垂直停車

    從停車位“召喚”汽車

    以下簡要說明上述功能的工作原理:

    在Autopilot上導航

    Navigate on Autopilot功能允許駕駛員將目的地輸入車輛的導航系統,從而啟動顯示計劃路線的“360度可視化”。出于安全原因,必須為每次旅行啟用此功能。根據特斯拉的說法,它不能在默認模式下運行。

    汽車換道

    導航自動駕駛功能包括兩種類型的車道變換:基于路線和基于速度。前者允許車輛無論速度如何都堅持導航路線。后者基于一些設置建議過渡到車道,車輛比自動駕駛儀更快或更慢地參考設定的巡航速度。

    當駕駛員選擇退出車道變更確認通知時,將進入自動車道模式。然而,特斯拉警告司機,這個功能不是完全自主的,需要他們完全注意并抓住方向盤。特斯拉聲稱驅動程序可以隨時手動覆蓋此功能。

    自動和召喚

    當汽車以低速行駛時,駕駛員可以啟動自動停車,檢測合適的停車位。然而,在汽車開始獨立控制速度,改變檔位和轉向角度之前,需要手動干預將汽車倒車并按下啟動。

    當乘客想要“呼叫”汽車并通過一系列正向和反向按鈕點擊時,自動駕駛儀還有一個通過應用程序觸發的召喚按鈕。

    自治的障礙

    雖然自駕車輛投資在過去五年中飆升,但仍然存在一些重要挑戰,使第5級自治無法成為現實:

    發展中國家的道路規則與加州高速公路、開羅或班加羅爾的交通不同。除非開發自主系統來處理其獨特的環境和道路規范,否則發展中國家可能會在自動車輛采用方面(因此在安全性,低排放和提高工人生產率方面)落后。這可能涉及這些國家的駕駛習慣和規范的顯著變化,或者適用不同道路規則的“測試區域”以及可以測試自動駕駛技術的地方。

    統一標準 - 為了使車輛與自己或基礎設施進行通信,必須開發新的通信渠道。這些渠道應允許不同品牌和型號的車輛進行通信,并且應盡可能安全地進行黑客攻擊和欺騙。雖然美國和其他國家正在努力推進這些標準,但要確保安全并在車輛和基礎設施之間建立統一的智能層,還有許多工作要做。

    安全門檻 - 2000年至2010年間美國商業航空公司每乘客英里的死亡人數約為每100億人0.2人死亡客運里程(維基百科)。似乎可以肯定地說,自動駕駛汽車的標準將更加嚴格,但目前尚不清楚截止的位置。不同國家的政府必須確定可接受的死亡率,以及各種自動駕駛車輛的安全標準和準則。

    天氣和災害 - 暴風雪,洪水或街道標志和“V2”技術的損壞可能使自動駕駛汽車面臨嚴重錯誤和致命危險的風險。建設道路基礎設施以應對災難,建造車輛以處理異?;虿惶硐氲那闆r(能見度,輪胎牽引力等)更具挑戰性,因為自動駕駛汽車不是隨時都在晴朗的天氣運行。

    什么是自動駕駛技術

    什么是自動駕駛自動駕駛車輛(自動駕駛車輛;自動駕駛汽車,又稱無人駕駛汽車、計算機駕駛汽車或輪式移動機器人,是通過計算機系統實現無人駕駛的一種智能汽車。20世紀已有幾十年的歷史,21世紀初呈現出向實用化靠攏的趨勢。自動駕駛技術包括攝像機、雷達傳感器和激光測距儀,以了解周圍的交通狀況,并通過詳細的地圖(由駕駛汽車的人收集的地圖)導航前方的道路。所有這些都是通過谷歌的數據中心實現的,該數據中心可以處理汽車收集的大量關于周圍地形的信息。在這方面,自動駕駛汽車相當于谷歌數據中心的遙控汽車或智能汽車。自動駕駛技術物聯網技術的應用之一。自動駕駛汽車有益于社會、駕駛員和行人。自動駕駛汽車的交通事故率幾乎可以降到零。即使受到其他汽車交通事故率的干擾,自動駕駛汽車市場份額的快速增長也會使整體交通事故率穩步下降。自動駕駛汽車的駕駛模式可以更加節能高效,從而減少交通擁堵和對空燃氣的污染。

    [搬運]自動駕駛中的單目 3D 車道線檢測——綜述

    原文鏈接:? Monocular 3D Lane Line Detection in Autonomous Driving — A Review

    車道線檢測是自動駕駛中最基本和關鍵的安全任務之一。這一重要感知任務的應用范圍從 ADAS(高級駕駛員輔助系統)功能如車道保持到更高級別的自主任務,如與高清地圖和軌跡規劃的融合。給定在自動駕駛車輛上收集的輸入 RGB 圖像,車道線檢測算法旨在在圖像上提供結構化線的集合,每條線代表 3D 車道線的 2D 投影。這種算法本質上是二維的,因為輸入和輸出都駐留在同一個圖像空間中。

    另一方面, Monocular 3D Lane Line Detection 旨在從單個圖像直接預測道路場景中車道的 3D 布局。具體來說,3D 車道線檢測算法在相機坐標系的 3D 度量空間中輸出一系列結構化的車道線。最近,學術界和工業界已經在探索這項任務的可行性和應用方面做出了一些努力。

    一種簡單的方法是使用逆透視映射 (IPM) 將 2D 車道檢測結果重新投影回 3D 空間。IPM 是一種單應變換,可將透視圖像變形為鳥瞰 (BEV) 圖像。但是,IPM 假定地面平坦,并且是靜態且經過良好校準的相機外在因素。在現實世界的駕駛環境中,道路很少是平坦的,并且由于速度變化或崎嶇不平的道路,相機外在因素對車身運動很敏感。

    因此,正確的方法是恢復檢測到的 2D 車道線上每個點的深度。如果我們在推理時可以使用激光雷達等主動 3D 測量設備,則通過將 3D 測量分配給車道線點,2D 到 3D 的提升相對簡單。如果我們在推理時只有相機圖像,理論上,我們可以利用 單目深度估計 的最新進展來為車道線點分配深度值。雖然這種方法是通用的,但它的計算量很大。這篇博文回顧了更輕量級的方法來直接預測車道線點的 3D 位置。

    單目 3D 車道線檢測是對其他單目 3D 任務的補充,這些任務可以從單個 RGB 圖像預測駕駛環境的 3D 信息,例如 單目 3D 對象檢測 和 單目 BEV 分割 。也許并不奇怪,如何從單目圖像中準確地恢復環境深度是這些領域的核心。

    二維車道探測網絡

    在我們深入研究 3D 車道線檢測算法之前,一個重要的 2D 車道線檢測算法是重新審視 LaneNet ( Towards End-to-End Lane Detection: an Instance Segmentation Approach ?, IV 2018)。它的 2D 車道線檢測性能已經被許多新算法超越,但在當時還是相當創新的,它的許多想法構成了 3D 車道線檢測的基礎。

    它對 2D 車道線感知的貢獻是提出了一種用于車道線語義分割的分段然后聚類方法——我們稍后將在 Semi-local 3D LaneNet 中再次討論這個想法。更有趣的是,它還使用稱為 H-Net 的輕量級網絡直接從透視圖像預測單應變換(以 3x3 矩陣 H 的形式)。單應變換矩陣 H 本質上是將采樣的車道線點投影到 BEV 的 IPM,用于優化車道擬合后處理。這里的基本假設是車道應該由 BEV 空間中的三階多項式完美描述。

    LaneNet 采用的另一個隱含假設是車道線位于平坦的道路上。對于有坡度的非平坦道路,沒有一個最好的 IPM 可以描述透視圖像和 BEV 圖像之間的轉換,LaneNet 仍然使用單應變換逼近道路相機模型。

    那么問題是——描述非平坦道路的最佳轉換是什么?可能會爭辯說,最好的轉換應該準確地將地平線(相機圖像中道路和天空之間的交匯點)映射到無限深度,或者您可能會爭辯說最好的轉換應該將最接近自我汽車的車道線投影到 3D 中的平行線空間。LaneNet 將最佳變換定義為一種映射,該映射使擬合曲線的重投影誤差最小化。

    3D 車道探測網絡

    普及單目 3D 車道線檢測領域的開創性工作是來自通用汽車以色列研究中心的 3D-LaneNet (ICCV 2019)。 ? 3D LaneNet 不需要諸如平坦地面假設之類的脆弱假設,它只假設對局部路面的攝像機滾動為零。與 2D LaneNet 一樣,它也估計 2D 透視圖像和 3D 局部道路平面之間的單應變換。與直接預測單應矩陣的 LaneNet 不同,3D LaneNet 預測唯一確定單應矩陣的 相機高度和間距。 這兩個參數是以監督的方式學習的。

    網絡架構是從圖像轉換為 BEV 空間的雙通路主干。這實際上讓我想起了自監督深度學習 Sfm-learner ?(CVPR 2017) 中的 PoseNet 結構,它預測 6 DoF 自我運動,然后用它來扭曲相鄰圖像。

    基于錨點的 3D 車道線表示

    它不是直接預測車道線點的深度,而是首先預測相機的俯仰/高度,從而構建 道路投影平面 。道路投影平面根據攝像機安裝俯仰角 ??? _cam 和高度 h_cam 定義 。然后相對于該平面表示 3D 車道線。具體而言,車道線點由其在平面上的投影點(x,y)和高程 Δz 定義。

    3D LaneNet 使用基于錨的車道預測頭。與 groundtruth 車道關聯的錨點是最接近車道 x 坐標 Y_ref=20 m 處的錨點。

    每個車道線類型的預測總數為#anchor*(2*K+1)。K (K=6) 是每條車道線的預定義 y 位置的數量。K 個點中的每一個預測兩個數字,與錨點 dx 的偏差和高度 z.?每個anchor也有一個conf分數來預測車道線的存在。

    請注意,由于這種錨點設計,3D LaneNet 只能處理具有與自我汽車運動方向大致平行的車道線的正常拓撲。例如,它無法處理與自我汽車垂直的車道線。

    半局部 3D LaneNet( ?3D LaneNet+)

    半局部 3D LaneNet ? 建立在 3D-LaneNet 的基礎上,并增加了兩個貢獻,即處理更復雜拓撲的能力和不確定性預測。不確定性估計是相當標準的 任意不確定性 估計,這里不再贅述。 該論文以3D-LaneNet+ 的形式 在 NeurIPS 2020 研討會上重新發布 。

    大部分工作基于 3D LaneNet。它還具有雙路徑主干、相機高度和滾動預測,并具有 BEV 空間中的最后一個特征圖。主要區別在于更靈活的車道線表示,允許對更復雜的車道拓撲進行建模,包括拆分、合并和垂直于車輛行駛方向的車道。

    半局部表示還利用 道路投影平面 作為參考,并將其 BEV 投影到道路投影平面上的 3D 車道線公式化。然而,半局部 3D LaneNet 并沒有將每個車道與預定義的錨點相關聯,而是提出了一種緊湊的半局部表示。本質上,它將 BEV 圖像(將 3D 結構投影到道路投影平面)分解為稱為圖像塊的非重疊網格。假設每個圖像瓦片只能有一條車道線穿過它,并且每個瓦片中裁剪的車道線段足夠簡單,可以參數化為 2 DoF 線段(到瓦片中心的距離和方向)。然后下一步是為每個車道學習全局一致的嵌入,以將小車道段聚集成完整的曲線。

    這種先檢測后聚類方法的靈感來自 2D LaneNet 。半局部 3D LaneNet 使用推挽損失來訓練圖像塊上的嵌入,并且比原始 2D LaneNet 的語義分割具有更少的計算負擔。在推理過程中,通過模式搜索算法 mean-shift 完成聚類,找到每個聚類的中心,然后設置閾值來獲取聚類成員。

    Gen-LaneNet

    Gen-LaneNet ?(ECCV 2020) 基于 3D LaneNet 的標準實踐,提出了一種用于 3D 車道線檢測的兩階段方法。它提出首先執行 2D 車道線檢測,然后使用稱為 3D-GeoNet 的單獨網絡將 2D 檢測結果提升到 3D。

    將 3D 結構預測與 2D 車道線檢測分離的原因在于 3D 幾何的編碼與圖像特征相當獨立。這種解耦使模塊更加靈活和可擴展。它可以立即受益于第一階段不斷發展的二維車道線檢測算法。更重要的是,它允許僅使用合成數據集對第二階段進行訓練,即使是非真實感模擬也可以完成,因為對圖像特征的依賴已被消除。

    在 3D LaneNet 中,不能保證預測的投影與圖像匹配,并且缺乏 2D-3D 一致性。在 Gen-LaneNet 中,3D 從 2D 提升,因此這種一致性是管道固有的。

    在第二階段故意去除圖像特征類似于僅在 Deep Object Distance Estimator中使用 bbox info 預測距離,而在 MonoLoco 中僅使用骨架預測距離。 在單目 BEV 語義分割 的許多早期研究中也可以找到類似的緩解 sim2real 域差距的策略。

    Gen-LaneNet 還指出了 3D-LaneNet 的一個主要缺點,即在存在非零斜率的情況下,頂視圖投影與 IPM 轉換的特征不對齊。換句話說,IPM 假設一個平坦的地面,并且當這個假設以非零斜率打破時,IPM 轉換后的視圖不是 真正的頂視圖 (BEV)。相反,IPM 轉換的特征是一個扭曲的 BEV 視圖,在本文中稱為 虛擬頂視圖。 這個虛擬頂視圖是通過光線追蹤每個車道線點并投影到道路投影平面(下圖中的橙色點)獲得的。3D 車道線groundtruths 被預處理為虛擬頂視圖,以與IPM 轉換特征對齊。

    真實頂視圖和虛擬頂視圖的概念不是很容易掌握。舉一個更具體的例子,零偏航角的上坡 3D 車道將其兩條平行車道線投射到 真實俯視圖中完全平行的目標,但在 虛擬俯視圖 中,當我們上坡時,它們會顯得發散。這種不同的觀點實際上與來自 3D LaneNet 的雙路徑主干網的 IPM 轉換特征一致。

    在數學上,在上圖中,我們有以下等式,其中 h 是相機高度,z 是距離道路投影平面 xoy 平面的高度偏差(以上為正)。

    假設我們在 3D 中有兩條平行的車道線,因此車道寬度 Δx 是恒定的。在真實的頂視圖中,由于車道寬度仍為 Δx,它們仍將平行顯示。在虛擬俯視圖中,車道寬度變為 Δx? = Δx*h/(hz),如果上坡路的 z 變大(z h),則車道寬度變寬并顯得發散。

    Gen-LaneNet 仍然使用基于錨的表示,因此存在與 3D LaneNet 相同的缺點。更好的方法可能是將兩種方法的優點結合起來:使用 Gen-LaneNet 的虛擬頂視圖和解耦管道以及 Semi-local 3D LaneNet 的半局部圖塊表示。

    數據集

    3D 車道一檢測領域研究有限的主要原因之一是缺乏相關的數據集和基準。構建 3D 車道線數據集主要有三個數據源:合成數據、深度測量(使用激光雷達或可能的立體相機)和時間傳感器融合。

    3D LaneNet 和 Semi-Local 3D LaneNet 使用模擬環境 Blender 生成大量具有已知 3D groundtruth 的合成數據。同樣, Gen-LaneNet 利用 Apollo 項目中的模擬器并生成 Apollo 3D Synthetic 車道線數據集 。

    3D LaneNet 和 Semi-Local 3D LaneNet 還使用激光雷達檢測器和半手動注釋收集了 2.5 小時的真實數據,但這只是為了驗證這個想法。收集校準和同步的相機和激光雷達數據的多傳感器數據不太可擴展。此外,基于激光雷達的數據集本質上只能達到約 50 米,因為激光雷達能夠可靠地檢測超出此范圍的車道線。

    獲取真實 3D 車道線數據的另一種更具可擴展性的方法類似于 MonoLayout ?(WACV 2020) 中描述的方法。鑒于可以獲得準確的自我運動信息,它通過聚合整個視頻的結果(所謂的時間傳感器融合)來使用自生成的地面實況。聚合的groundtruth可以根據預設的距離閾值截斷并投影回單個圖像幀。如果我們想看到超過上述 50 米的限制,同樣的想法也適用于激光雷達數據。

    要點

    - 預測相機外部參數以在特征圖上執行 單應變換 (IPM) 似乎是標準做法。

    - 虛擬頂視圖 解決了轉換后的特征圖和生成的groundtruth之間的錯位。

    - 由于城市駕駛場景中復雜的車道線拓撲(環形交叉路口、垂直車道線等), 基于錨點的表示將失敗。 對半局部圖塊進行 預測然后進行聚類似乎是一種更靈活的處理復雜幾何圖形的方法。

    - 合成數據集和 sim2real 是引導 3D 車道線檢測系統的方法,特別是考慮到開源的 Apollo 數據集。 從時間聚合的單個圖像感知結果 構建 3D 車道線數據集的可擴展方法仍未得到充分探索。我期待著未來在這個方向上做更多的工作。

    - 對于未來的工作,最好使用 Gen-LaneNet 的虛擬頂視圖和解耦管道以及 Semi-local 3D LaneNet 的半局部 tile 表示。

    References

    LaneNet : Towards End-to-End Lane Detection: an Instance Segmentation Approach , IV 2018

    3D-LaneNet : End-to-End 3D Multiple Lane Detection , ICCV 2019

    Semi-local 3D LaneNet :? Semi-Local 3D Lane Detection and Uncertainty Estimation , ArXiv, 03/2020

    Gen-LaneNet : A Generalized and Scalable Approach for 3D Lane Detection , ECCV 2020

    3D-LaneNet+ : Anchor Free Lane Detection using a Semi-Local Representation , NeurIPS 2020 workshop

    Deep Radar Detector: ? Vehicle Detection With Automotive Radar Using Deep Learning on Range-Azimuth-Doppler Tensors , ICCV 2019

    SfMLearner : Unsupervised Learning of Depth and Ego-Motion from Video , CVPR 2017

    MonoLayout : Amodal scene layout from a single image , WACV 2020

    關于自動駕駛的綜述的介紹就聊到這里吧,感謝你花時間閱讀本站內容,更多關于關于自動駕駛技術的思考、關于自動駕駛的綜述的信息別忘了在本站進行查找喔。

    掃碼二維碼