自動駕駛設計論文（自動駕駛技術論文）
本篇文章給大家談談自動駕駛設計論文，以及自動駕駛技術論文對應的知識點，希望對各位有所幫助，不要忘了收藏本站喔。
本文目錄一覽：
[搬運]自動駕駛中的單目 3D 車道線檢測——綜述
原文鏈接：? Monocular 3D Lane Line Detection in Autonomous Driving — A Review
車道線檢測是自動駕駛中最基本和關鍵的安全任務之一。這一重要感知任務的應用范圍從 ADAS（高級駕駛員輔助系統）功能如車道保持到更高級別的自主任務，如與高清地圖和軌跡規劃的融合。給定在自動駕駛車輛上收集的輸入 RGB 圖像，車道線檢測算法旨在在圖像上提供結構化線的集合，每條線代表 3D 車道線的 2D 投影。這種算法本質上是二維的，因為輸入和輸出都駐留在同一個圖像空間中。
另一方面， Monocular 3D Lane Line Detection 旨在從單個圖像直接預測道路場景中車道的 3D 布局。具體來說，3D 車道線檢測算法在相機坐標系的 3D 度量空間中輸出一系列結構化的車道線。最近，學術界和工業界已經在探索這項任務的可行性和應用方面做出了一些努力。
一種簡單的方法是使用逆透視映射 (IPM) 將 2D 車道檢測結果重新投影回 3D 空間。IPM 是一種單應變換，可將透視圖像變形為鳥瞰 (BEV) 圖像。但是，IPM 假定地面平坦，并且是靜態且經過良好校準的相機外在因素。在現實世界的駕駛環境中，道路很少是平坦的，并且由于速度變化或崎嶇不平的道路，相機外在因素對車身運動很敏感。
因此，正確的方法是恢復檢測到的 2D 車道線上每個點的深度。如果我們在推理時可以使用激光雷達等主動 3D 測量設備，則通過將 3D 測量分配給車道線點，2D 到 3D 的提升相對簡單。如果我們在推理時只有相機圖像，理論上，我們可以利用 單目深度估計 的最新進展來為車道線點分配深度值。雖然這種方法是通用的，但它的計算量很大。這篇博文回顧了更輕量級的方法來直接預測車道線點的 3D 位置。
單目 3D 車道線檢測是對其他單目 3D 任務的補充，這些任務可以從單個 RGB 圖像預測駕駛環境的 3D 信息，例如 單目 3D 對象檢測 和 單目 BEV 分割 。也許并不奇怪，如何從單目圖像中準確地恢復環境深度是這些領域的核心。
二維車道探測網絡
在我們深入研究 3D 車道線檢測算法之前，一個重要的 2D 車道線檢測算法是重新審視 LaneNet （ Towards End-to-End Lane Detection: an Instance Segmentation Approach ?, IV 2018）。它的 2D 車道線檢測性能已經被許多新算法超越，但在當時還是相當創新的，它的許多想法構成了 3D 車道線檢測的基礎。
它對 2D 車道線感知的貢獻是提出了一種用于車道線語義分割的分段然后聚類方法——我們稍后將在 Semi-local 3D LaneNet 中再次討論這個想法。更有趣的是，它還使用稱為 H-Net 的輕量級網絡直接從透視圖像預測單應變換（以 3x3 矩陣 H 的形式）。單應變換矩陣 H 本質上是將采樣的車道線點投影到 BEV 的 IPM，用于優化車道擬合后處理。這里的基本假設是車道應該由 BEV 空間中的三階多項式完美描述。
LaneNet 采用的另一個隱含假設是車道線位于平坦的道路上。對于有坡度的非平坦道路，沒有一個最好的 IPM 可以描述透視圖像和 BEV 圖像之間的轉換，LaneNet 仍然使用單應變換逼近道路相機模型。
那么問題是——描述非平坦道路的最佳轉換是什么？可能會爭辯說，最好的轉換應該準確地將地平線（相機圖像中道路和天空之間的交匯點）映射到無限深度，或者您可能會爭辯說最好的轉換應該將最接近自我汽車的車道線投影到 3D 中的平行線空間。LaneNet 將最佳變換定義為一種映射，該映射使擬合曲線的重投影誤差最小化。
3D 車道探測網絡
普及單目 3D 車道線檢測領域的開創性工作是來自通用汽車以色列研究中心的 3D-LaneNet (ICCV 2019)。 ? 3D LaneNet 不需要諸如平坦地面假設之類的脆弱假設，它只假設對局部路面的攝像機滾動為零。與 2D LaneNet 一樣，它也估計 2D 透視圖像和 3D 局部道路平面之間的單應變換。與直接預測單應矩陣的 LaneNet 不同，3D LaneNet 預測唯一確定單應矩陣的 相機高度和間距。 這兩個參數是以監督的方式學習的。
網絡架構是從圖像轉換為 BEV 空間的雙通路主干。這實際上讓我想起了自監督深度學習 Sfm-learner ?(CVPR 2017) 中的 PoseNet 結構，它預測 6 DoF 自我運動，然后用它來扭曲相鄰圖像。
基于錨點的 3D 車道線表示
它不是直接預測車道線點的深度，而是首先預測相機的俯仰/高度，從而構建 道路投影平面 。道路投影平面根據攝像機安裝俯仰角 ??? _cam 和高度 h_cam 定義 。然后相對于該平面表示 3D 車道線。具體而言，車道線點由其在平面上的投影點（x，y）和高程 Δz 定義。
3D LaneNet 使用基于錨的車道預測頭。與 groundtruth 車道關聯的錨點是最接近車道 x 坐標 Y_ref=20 m 處的錨點。
每個車道線類型的預測總數為#anchor*(2*K+1)。K (K=6) 是每條車道線的預定義 y 位置的數量。K 個點中的每一個預測兩個數字，與錨點 dx 的偏差和高度 z.?每個anchor也有一個conf分數來預測車道線的存在。
請注意，由于這種錨點設計，3D LaneNet 只能處理具有與自我汽車運動方向大致平行的車道線的正常拓撲。例如，它無法處理與自我汽車垂直的車道線。
半局部 3D LaneNet（ ?3D LaneNet+）
半局部 3D LaneNet ? 建立在 3D-LaneNet 的基礎上，并增加了兩個貢獻，即處理更復雜拓撲的能力和不確定性預測。不確定性估計是相當標準的 任意不確定性 估計，這里不再贅述。 該論文以3D-LaneNet+ 的形式 在 NeurIPS 2020 研討會上重新發布 。
大部分工作基于 3D LaneNet。它還具有雙路徑主干、相機高度和滾動預測，并具有 BEV 空間中的最后一個特征圖。主要區別在于更靈活的車道線表示，允許對更復雜的車道拓撲進行建模，包括拆分、合并和垂直于車輛行駛方向的車道。
半局部表示還利用 道路投影平面 作為參考，并將其 BEV 投影到道路投影平面上的 3D 車道線公式化。然而，半局部 3D LaneNet 并沒有將每個車道與預定義的錨點相關聯，而是提出了一種緊湊的半局部表示。本質上，它將 BEV 圖像（將 3D 結構投影到道路投影平面）分解為稱為圖像塊的非重疊網格。假設每個圖像瓦片只能有一條車道線穿過它，并且每個瓦片中裁剪的車道線段足夠簡單，可以參數化為 2 DoF 線段（到瓦片中心的距離和方向）。然后下一步是為每個車道學習全局一致的嵌入，以將小車道段聚集成完整的曲線。
這種先檢測后聚類方法的靈感來自 2D LaneNet 。半局部 3D LaneNet 使用推挽損失來訓練圖像塊上的嵌入，并且比原始 2D LaneNet 的語義分割具有更少的計算負擔。在推理過程中，通過模式搜索算法 mean-shift 完成聚類，找到每個聚類的中心，然后設置閾值來獲取聚類成員。
Gen-LaneNet
Gen-LaneNet ?(ECCV 2020) 基于 3D LaneNet 的標準實踐，提出了一種用于 3D 車道線檢測的兩階段方法。它提出首先執行 2D 車道線檢測，然后使用稱為 3D-GeoNet 的單獨網絡將 2D 檢測結果提升到 3D。
將 3D 結構預測與 2D 車道線檢測分離的原因在于 3D 幾何的編碼與圖像特征相當獨立。這種解耦使模塊更加靈活和可擴展。它可以立即受益于第一階段不斷發展的二維車道線檢測算法。更重要的是，它允許僅使用合成數據集對第二階段進行訓練，即使是非真實感模擬也可以完成，因為對圖像特征的依賴已被消除。
在 3D LaneNet 中，不能保證預測的投影與圖像匹配，并且缺乏 2D-3D 一致性。在 Gen-LaneNet 中，3D 從 2D 提升，因此這種一致性是管道固有的。
在第二階段故意去除圖像特征類似于僅在 Deep Object Distance Estimator中使用 bbox info 預測距離，而在 MonoLoco 中僅使用骨架預測距離。 在單目 BEV 語義分割 的許多早期研究中也可以找到類似的緩解 sim2real 域差距的策略。
Gen-LaneNet 還指出了 3D-LaneNet 的一個主要缺點，即在存在非零斜率的情況下，頂視圖投影與 IPM 轉換的特征不對齊。換句話說，IPM 假設一個平坦的地面，并且當這個假設以非零斜率打破時，IPM 轉換后的視圖不是 真正的頂視圖 (BEV)。相反，IPM 轉換的特征是一個扭曲的 BEV 視圖，在本文中稱為 虛擬頂視圖。 這個虛擬頂視圖是通過光線追蹤每個車道線點并投影到道路投影平面（下圖中的橙色點）獲得的。3D 車道線groundtruths 被預處理為虛擬頂視圖，以與IPM 轉換特征對齊。
真實頂視圖和虛擬頂視圖的概念不是很容易掌握。舉一個更具體的例子，零偏航角的上坡 3D 車道將其兩條平行車道線投射到 真實俯視圖中完全平行的目標，但在 虛擬俯視圖 中，當我們上坡時，它們會顯得發散。這種不同的觀點實際上與來自 3D LaneNet 的雙路徑主干網的 IPM 轉換特征一致。
在數學上，在上圖中，我們有以下等式，其中 h 是相機高度，z 是距離道路投影平面 xoy 平面的高度偏差（以上為正）。
假設我們在 3D 中有兩條平行的車道線，因此車道寬度 Δx 是恒定的。在真實的頂視圖中，由于車道寬度仍為 Δx，它們仍將平行顯示。在虛擬俯視圖中，車道寬度變為 Δx? = Δx*h/(hz)，如果上坡路的 z 變大（z h），則車道寬度變寬并顯得發散。
Gen-LaneNet 仍然使用基于錨的表示，因此存在與 3D LaneNet 相同的缺點。更好的方法可能是將兩種方法的優點結合起來：使用 Gen-LaneNet 的虛擬頂視圖和解耦管道以及 Semi-local 3D LaneNet 的半局部圖塊表示。
數據集
3D 車道一檢測領域研究有限的主要原因之一是缺乏相關的數據集和基準。構建 3D 車道線數據集主要有三個數據源：合成數據、深度測量（使用激光雷達或可能的立體相機）和時間傳感器融合。
3D LaneNet 和 Semi-Local 3D LaneNet 使用模擬環境 Blender 生成大量具有已知 3D groundtruth 的合成數據。同樣， Gen-LaneNet 利用 Apollo 項目中的模擬器并生成 Apollo 3D Synthetic 車道線數據集 。
3D LaneNet 和 Semi-Local 3D LaneNet 還使用激光雷達檢測器和半手動注釋收集了 2.5 小時的真實數據，但這只是為了驗證這個想法。收集校準和同步的相機和激光雷達數據的多傳感器數據不太可擴展。此外，基于激光雷達的數據集本質上只能達到約 50 米，因為激光雷達能夠可靠地檢測超出此范圍的車道線。
獲取真實 3D 車道線數據的另一種更具可擴展性的方法類似于 MonoLayout ?(WACV 2020) 中描述的方法。鑒于可以獲得準確的自我運動信息，它通過聚合整個視頻的結果（所謂的時間傳感器融合）來使用自生成的地面實況。聚合的groundtruth可以根據預設的距離閾值截斷并投影回單個圖像幀。如果我們想看到超過上述 50 米的限制，同樣的想法也適用于激光雷達數據。
要點
- 預測相機外部參數以在特征圖上執行 單應變換 (IPM) 似乎是標準做法。
- 虛擬頂視圖 解決了轉換后的特征圖和生成的groundtruth之間的錯位。
- 由于城市駕駛場景中復雜的車道線拓撲（環形交叉路口、垂直車道線等）， 基于錨點的表示將失敗。 對半局部圖塊進行 預測然后進行聚類似乎是一種更靈活的處理復雜幾何圖形的方法。
- 合成數據集和 sim2real 是引導 3D 車道線檢測系統的方法，特別是考慮到開源的 Apollo 數據集。 從時間聚合的單個圖像感知結果 構建 3D 車道線數據集的可擴展方法仍未得到充分探索。我期待著未來在這個方向上做更多的工作。
- 對于未來的工作，最好使用 Gen-LaneNet 的虛擬頂視圖和解耦管道以及 Semi-local 3D LaneNet 的半局部 tile 表示。
References
LaneNet : Towards End-to-End Lane Detection: an Instance Segmentation Approach , IV 2018
3D-LaneNet : End-to-End 3D Multiple Lane Detection , ICCV 2019
Semi-local 3D LaneNet :? Semi-Local 3D Lane Detection and Uncertainty Estimation , ArXiv, 03/2020
Gen-LaneNet : A Generalized and Scalable Approach for 3D Lane Detection , ECCV 2020
3D-LaneNet+ : Anchor Free Lane Detection using a Semi-Local Representation , NeurIPS 2020 workshop
Deep Radar Detector: ? Vehicle Detection With Automotive Radar Using Deep Learning on Range-Azimuth-Doppler Tensors , ICCV 2019
SfMLearner : Unsupervised Learning of Depth and Ego-Motion from Video , CVPR 2017
MonoLayout : Amodal scene layout from a single image , WACV 2020
無人駕駛技術的發展與現狀論文
現在很多品牌的汽車都可以實現自動駕駛，未來的汽車一定是無人駕駛的。特斯拉、寶馬、奔馳等品牌的汽車已經能夠實現無人駕駛，這主要依靠攝像頭、傳感器、gps定位系統和電子控制系統。許多汽車帶著l2級自動駕駛離開工廠。在一些特殊情況下，汽車可以自動行駛，而無需車主控制汽車。還有很多車有自動泊車功能，類似于無人駕駛功能。停車時，車主只需換擋?，F在也有很多公司涉足無人駕駛技術領域。隨著工程師們突破一個又一個難關，無人駕駛的時代總有一天會到來。無人駕駛可以避免人為的不正確操作，響應速度和準確率都比人高，因此無人駕駛技術可以避免交通事故的發生概率。雖然目前的無人駕駛技術偶爾會引發事故，但隨著科技的發展，無人駕駛技術也在不斷進步。未來，無人駕駛技術肯定可以避免事故，甚至在關鍵時刻挽救車內成員的生命。
自動駕駛汽車侵權責任的論文屬于什么研究方向
人工智能、視覺計算、雷達、監控裝置和全球定位系統研究方向。
1）駕駛輔助系統（DAS）：目的是為駕駛者提供協助，包括提供重要或有益的駕駛相關信息，以及在形勢開始變得危急的時候發出明確而簡潔的警告。如車道偏離警告（LDW）系統等。
2）部分自動化系統：在駕駛者收到警告卻未能及時采取相應行動時能夠自動進行干預的系統，如自動緊急制動（AEB）系統和應急車道輔助（ELA）系統等。
3）高度自動化系統：能夠在或長或短的時間段內代替駕駛者承擔操控車輛的職責，但是仍需駕駛者對駕駛活動進行監控的系統。
4）完全自動化系統：可無人駕駛車輛、允許車內所有乘員從事其他活動且無需進行監控的系統。這種自動化水平允許乘從事計算機工作、休息和睡眠以及其他*** 等活動。
自動駕駛設計論文的介紹就聊到這里吧，感謝你花時間閱讀本站內容，更多關于自動駕駛技術論文、自動駕駛設計論文的信息別忘了在本站進行查找喔。
