如何向消費者證明自家的汽車很安全，一直是一個困擾自動駕駛廠商的問題。作者認為，由于路況的多變和復雜性，利用機器學習所實現的自動駕駛在面對潛在風險時也會顯得力不從心。本文出自 IEEE，作者 Andrew Sliver， 雷鋒網(搜索“雷鋒網”公眾號關注)編譯，未經許可不得轉載。

要證明自動汽車很安全，怎么就這么難？

去年秋天，媒體正在加州帕洛阿托試駕帶有自動駕駛系統的特斯拉 Model S

汽車廠商很難證明自動駕駛汽車究竟有多安全，因為使它們智能化的核心是機器學習。

卡內基梅隆大學的計算機科學家、從事汽車制造業的 Phillip Koopman 說道：“你不能總是覺得自動駕駛這玩意兒一定可靠。”

早在 2014 年，一家市場研究公司稱自動駕駛汽車市場將于 2030 年達到 870 億美元的規模。而包括谷歌、特斯拉和 Uber 在內的許多公司均開展了自家的計算機輔助駕駛或全自動駕駛項目。這些公司或多或少都取得了一些進展，但仍有大量的技術難題等待攻克。

有部分研究人員認為因為機器學習的本質，要證明自動駕駛汽車可以安全上路是一項非常困難的挑戰，而Koopman 對此也深信不疑。

一般而言，工程師先按要求編寫代碼，然后運行測試檢查代碼是否滿足要求。但使用機器學習，要讓計算機掌控這一復雜的系統就不是這么簡單的事兒了。

比如，處理同一天不同時間拍下的圖像或在特定環境下分辨像人行橫道、停車標識等重要的標識并不是寫個代碼就能解決的問題。Koopman 說：“機器學習的難點就在于，你根本無法界定代碼要滿足的要求是什么。”

多年前，工程師們就意識到傳統軟件是無法對相機圖像進行分析處理的，所以他們轉而使用了機器學習算法。算法通過對樣本的處理生成一個可以解決特定問題的數學模型。

工程師會提供許多帶有注釋的樣本——告訴計算機什么是停車標識，什么不是。這些算法會把圖像分像素塊解析，提取當中特征像素塊來建立運算模型。當計算機收到新圖像時，它會將這些圖像在這個模型中運算一遍，以分辨出包含有停車標識的圖像。

Koopman 說：“這種歸納式學習有一定的潛在失效風險。如果你想深入看看這些機器到底在干什么的話，你只能看到一些統計數字。它就是個黑匣子，你根本不知道它到底在學些什么。”

更形象一點地說，設想你正在測試一臺自動駕駛汽車，想看它會不會躲開行人。而周圍有穿著橙色警示服的行人站著，此時你不對車輛采取控制。車輛也許會像程序里訓練的那樣辨認出行人的手、胳臂、腳甚至是橙色的襯衫，最后停止車輛。

或者再具體一點，假如你在夏天對自動駕駛車輛進行測試學習，而整個夏天都沒有人戴過帽子，這時讓車輛電腦看見一頂帽子，豈不是會讓它驚慌失措？

“我們能用來訓練算法的事件是有限的。”Koopman 如是說。

人工神經網絡是一種常見的能模仿人類大腦間神經元聯系的機器學習模型。而谷歌的研究人員曾嘗試使用它來辨別啞鈴。如果系統通過一系列圖片了解了“啞鈴”是什么，但如果接受訓練的圖片并沒有啞鈴單獨存在的形象（都是健美先生舉著它的樣子），那么它就無從提取啞鈴的基本要素，進而會產生錯誤的判斷。

這里的另一個問題便是安全驗證。Koopman 指出，如果使用近似數據對算法訓練測試太多的話，它可能會記住某一次特定的測試，并返回那次測試的信息。

Koopman 稱，如果Uber任意挑選一個城市投放其自動駕駛汽車，而當地沒有詳盡的高精度電子地圖的話，那么這些自動駕駛汽車也就無法完全發揮功效。雖然有一個簡單的解決辦法——只在匹茲堡市中心（Uber已繪制過這里的地圖）訓練并投放自動駕駛汽車。但這樣就大大限制了自動駕駛汽車的使用范圍。

除此之外的又一大挑戰是，當系統遇到諸如雨霧、揚塵等視線不佳天氣狀況時，算法的辨識能力是否會受到影響。

在 2013 年的一次研究中發現，改變圖像中的某一像素塊，肉眼是看不出任何變化的，但卻能影響算法判斷能力，令算法以為面前的校車只是一輛普通車輛。

法國國家科學研究中心的軟件可靠性工程師 Matthieu Roy，從事于汽車和航空電子設備行業，告訴我們說：“我們永遠也不會把機器學習算法放在飛機上用，因為我們無法判斷系統的決策是對還是錯。而如果飛機不能通過自身的安全測試，它也不能起飛或降落。”Roy 指出，我們不可能將自動駕駛汽車可能遇到的場景都測試一遍，但是我們要應對這些可能發生的潛在風險。

Alessia Knauss 是瑞典查爾姆斯理工大學的軟件工程博士后，她正在研究一個開發自動駕駛汽車的最佳測試模型。她說：“這樣做的代價太大了！”

她目前正在約談一些車企高管，以洞悉他們對這方面的態度。她說，即便是配備了多個傳感器（如谷歌的自動駕駛汽車），也只是作為后備應急使用。但每一個部件都要根據實際情況進行測試，這樣系統才能更好的利用它們。Knauss 說：“我們將盡力而為，開發出一個最佳的測試模型。”

Koopman 想讓汽車廠商在第三方機構那里證明他們的自動駕駛系統到底有多安全。“我并不相信他們所說的話，” Koopman 說。

他還想讓廠商們對車輛的算法特點、不同場景測試訓練的數據、以及他們在模擬測試中的產物如何現實生活中保證車輛乘客的安全進行專門講解。如果在工程團隊 100 億英里的模擬測試中都沒能發生任何突發事件，車輛也就理所當然地不會有相應的處理方式，而汽車廠商卻可以冠冕堂皇的稱其他情況不太可能發生。

“每個產業公司在開發關鍵軟件時都會設立一個獨立的制衡程序，”Koopman 指出。就在上月，美國國家公路交通安全管理局（ NHTAS ）頒布了自動駕駛汽車法規，但 NHTAS 并沒對獨立的安全測試做出硬性規定。

Koopman 認為，某些公司因為研發時限與研發成本的限制，對車輛的安全性指標就會放寬要求。比如1986年 NASA 的挑戰者事故，正是因為忽視了一些風險因素才導致了航天飛機在升空 73 秒后發生了爆炸，造成了 7 名宇航員身亡。

我們并不需要告訴公眾算法是如何進行安全檢查的，航空工業里有在航空公司就職的工程專家，要他們簽署保密協定也是行規。“我并不是在教他們該怎么做，我只是在告訴他們，民眾有權利知道點什么。”