2021年5月起，北美制造的Model 3和Model Y將不再配備毫米波雷達。這些車型將通過特斯拉的攝像頭視覺和深度神經網絡支持Autopilot、FSD全自動駕駛和壹些主動安全功能。
單價300人民幣左右的前向雷達，銷量超過45萬輛/年(2020年數據)。對於特斯拉的毫米波雷達供應商、頂級Tier 1供應商大陸集團來說，中途失去壹個過億的訂單，真的不是壹個令人愉快的消息。
盡管特斯拉明確表示計算機視覺和深度神經網絡處理將實現主動安全/自動駕駛/FSD的感知需求，但各方立即在博客上做出了回應。
美國高速公路安全管理局(NHTSA)官網對2021的Model 3和Model Y的主動安全功能頁面進行了修改，包括前向碰撞預警(FCW)、自動碰撞制動(CIB)和動態制動輔助(DBS)，並明確指出，2021年4月27日之後生產的車型將不再配備。
與此同時,《消費者報告》宣布暫停2021車型3作為“推薦”，美國公路安全保險協會(IIHS)取消了車型3的最高安全評級。
簡單總結壹下，特斯拉說我們去掉了毫米波雷達，通過攝像頭實現了雷達之前的能力，但是大家只聽到了前半部分。
在我看來，主要的民用和監管安全機構現在都對特斯拉過敏。事實上，如果梳理全球最大的視覺感知供應商Mobileye多年來的培育，就是壹部逐漸將雷達移出汽車主動安全範疇的發展史。
但是事情越來越糟。特斯拉首席執行官埃隆·馬斯克(Elon Musk)不得不通過Electrek駁斥這壹傳言:所有主動安全功能在新下線的車型中都有效，NHTSA將在下周重新測試新車型。目前去掉雷達的車型都是標配這些功能。
然而，公眾的疑慮並未消除。比如雷達擅長的障礙物距離和速度的測量，恰恰是相機的傳統弱項目。特斯拉是怎麽解決的？
或者說，兩個傳感器比壹個傳感器好，即使攝像頭能做雷達做的工作，兩個傳感器在壹起不是也能很好的探測嗎？
下面就來說說這些問題。
我們需要了解雷達的技術原理及其在自動駕駛中的作用。
毫米波雷達通過發射電磁波信號和接收目標反射信號，可以獲得車體周圍其他障礙物的相對速度、相對距離、角度和運動方向。
通過對上述信息的處理，可以為汽車配備壹系列主動安全功能，如自適應巡航控制(ACC)、前向碰撞預警(FCW)、輔助變道(LCA)、自動跟車(S & G)甚至盲區檢測(BSD)等。
那麽，特斯拉是如何通過攝像頭獲取上述信息的，比如，如何判斷前車的距離？
2020年8月21日，埃隆在推特上表示，通過純視覺進行精確的距離計算是基礎，其他傳感器可以提供幫助，但那不是基礎。他回復的博文介紹了特斯拉的壹項專利，名為利用圖像數據估計物體屬性。
13年4月，特斯拉Model 3車主特裏斯坦·賴斯(Tristan Rice)，臉書分布式AI和機器學習軟件工程師“黑進”自動駕駛儀的固件，通過機器學習揭示了特斯拉取代雷達的技術細節。
Tristan表示，從新固件的二進制文件中可以看出，Autopilot的深度神經網絡增加了許多新的輸出，包括許多傳統的雷達輸出數據，如距離、速度和加速度等。
深度神經網絡能否從靜態圖片中讀取速度和加速度？當然不是。
特斯拉訓練了壹個高度精確的RNN，通過基於時間序列的15張照片/秒視頻來預測障礙物的速度和加速度。
什麽是RNN？RNN的關鍵詞是預測。遞歸神經網絡，顧名思義，是基於循環神經網絡來傳遞和處理信息，通過“內存”來處理任意時間序列的輸入序列，從而準確預測接下來會發生什麽。
英偉達的AI博客曾經舉過壹個經典的例子:假設餐廳供應同樣的菜肴，比如周壹的漢堡，周二的玉米卷，周三的披薩，周四的壽司，周五的意大利面。
對於RNN，輸入壽司，求“周五吃什麽”的答案，Ta會輸出預測結果:意大利面。因為RNN已經知道這是壹個訂單，而周四的菜剛剛做好，所以周五的下壹道菜是意大利面。
對於自動駕駛的RNN，給定當前汽車周圍的行人、車輛和其他障礙物的移動路徑，RNN可以預測下壹步的移動軌跡，包括位置、速度和加速度。
事實上，在5月25日正式宣布拆除雷達之前的幾個月，特斯拉壹直在讓其RNN與全球艦隊中的雷達並行運行，並通過校對雷達輸出的正確數據和RNN的輸出結果來提高RNN預測的準確性。
順便說壹下，特斯拉在中國的交通條件下，通過對經典的Gassel處理進行類似的路線替換，取得了更好的性能。
特斯拉AI高級總監Andrej Karpathy在CVPR 2021的在線演講中透露，特斯拉已經取代了傳統的規則算法來識別超車。
具體來說，Autopilot之前對加塞者的檢測是基於壹個書面規則:首先要識別車道線，同時要識別和跟蹤前方的包圍盒，在檢測到前車速度達到加塞者的水平速度閾值之前，不得執行加塞者命令。
現在，Autopilot已經去除了這些規則，完全通過RNN，基於標註的海量數據，做出前車的行為預測。如果RNN預測到前面的車會堵車，就會執行Gassel指令。
這是特斯拉在過去幾個月裏大大提高了對Gassel的認知度的技術原理。
上面提到的特斯拉專利詳細解釋了特斯拉培訓RNN的運作形式。
特斯拉會將雷達和激光雷達(非生產車隊，特斯拉內部的Luminar激光雷達車隊)輸出的正確數據與RNN識別的物體相關聯，從而準確估計物體屬性，如物體距離。
在這個過程中，特斯拉開發了工具，可以自動收集和關聯輔助數據和視覺數據，無需人工標記。此外，經過關聯後，可以自動生成訓練數據來訓練RNN，從而實現對對象屬性的高精度預測。
由於特斯拉在全球的車隊規模已經超過654.38+0萬輛，所以在海量場景數據的訓練下，特斯拉能夠快速提升RNN性能。
壹旦RNN將預測精度提高到與雷達輸出相同的水平，將對毫米波雷達形成巨大優勢。
這是因為特斯拉Autopilot只配備了前向雷達，對於在城市工況下向四面八方奔跑的行人、騎自行車的人和騎摩托車的人來說，都很難準確地全部預測到。即使是正前方、在其45°探測範圍內的障礙物，只要兩個障礙物的距離和速度相同，自動駕駛儀之前攜帶的雷達也無法分辨。
Autopilot的八個攝像頭實現了對車身周圍的360度覆蓋，其編織的BEV鳥瞰神經網絡可以無縫預測全車任意方向多個障礙物的下壹步移動軌跡。
那特斯拉為什麽不保留雷達，用雷達和攝像頭兩個傳感器來雙重檢查呢？
ElonMusk詳細解釋了他對雷達和相機的看法:
這種說法看起來很微妙。我們之前的文章《特斯拉:我為激光雷達代言》曾經寫過埃隆·馬斯克對毫米波雷達的態度。在上述言論中，他也沒有“宣判”雷達在特斯拉的死刑。
“雷達必須有意義地增加比特流的信號/噪聲，以使其值得集成。即將上市的特斯拉Autopilot會配備成像雷達嗎？