[發明專利]在自主駕駛應用中使用神經網絡執行故障檢測

在審

• 申請號: 202110041653.4
• 申請日: 2021-01-13
• 公開（公告）號: CN113139642A
• 公開（公告）日: 2021-07-20
• 發明（設計）人: R·布拉姆利;P·P·雪瓦尼;N·薩克塞納
• 申請（專利權）人: 輝達公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06N20/00;G06F21/16;G01C21/28
• 代理公司: 北京市磐華律師事務所 11336
• 代理人: 高偉

本發明公開了在自主駕駛應用中使用神經網絡執行故障檢測。在各種示例中，將圖案、水印和/或簽名輸入應用于深度神經網絡(DNN)，以檢測執行DNN的底層硬件和/或軟件中的故障。可以將與圖案、水印和/或簽名相對應的信息與使用圖案、水印和/或簽名生成的DNN的輸出進行比較。當預測的準確性低于閾值，或者不對應于DNN的預期預測時，則可以確定硬件和/或軟件有故障(例如，暫時性故障、間歇性故障或永久性故障)。如果確定有故障，可以關閉依賴于DNN的計算的系統部分，或者可以使用冗余系統代替主系統。如果確定沒有故障，則系統可以依賴DNN的計算。

背景技術

自動駕駛系統和高級駕駛員輔助系統(ADAS)可以利用傳感器(例如，相機)來執行各種任務-例如但不限于車道保持、車道變更、車道分配、車道檢測、對象檢測、路徑規劃、相機校準和本地化。為了執行其中的許多任務，可以使用機器學習模型(尤其是深度神經網絡(DNN))來執行至少一些處理。結果，為了使這些系統以自主或半自主駕駛功能所需的安全級別運行，機器學習模型需要在其實現的整個生命周期內按預期執行。

然而，用于執行這些DNN的軟件和/或硬件可能會受到多種因素的損害-導致暫時性故障和/或永久性故障-其可能導致不準確的預測，從而可能損害DNN的有效性。作為示例，DNN中的故障的潛在原因可以包括執行DNN的處理單元中的硬件故障和/或底層DNN的軟件故障。因此，魯棒而準確地檢測與DNN相關聯的故障的能力可以允許自主和/或ADAS系統實時或近乎實時地做出關鍵決策-例如建議或實施糾正措施以實現有效和安全的駕駛。例如，準確、有效且及時地識別DNN故障可以使系統識別依賴于DNN預測的系統操作何時受損，并因此允許系統執行糾正操作，例如操作控制返回人類駕駛員或執行安全操縱(例如，拉到路邊)。

在常規系統中，可以通過DNN的冗余執行來確定DNN的彈性和/或故障覆蓋。例如，可以在相同的輸入數據上執行DNN的兩個或更多個實例，并且可以將兩個或更多個實例的輸出相互比較以確定是否存在任何差異。但是，運行DNN的多個實例既是存儲器密集型的又是處理密集型的，在某些情況下，還需要額外的硬件利用來運行并發實例。另外，這些常規系統要求經常在每次迭代時比較DNN的兩個或更多個實例的輸出，這進一步增加了計算費用。由于這些常規方法在底層系統上的計算負擔，執行這些過程可阻止實時或接近實時的故障檢測能力。

發明內容

本公開的實施例涉及神經網絡中的故障檢測。公開了使用技術來使用神經網絡的單個實例來檢測硬件和/或軟件系統的一個或更多個組件中的暫時性和/或永久性故障的系統和方法。

與諸如如上所述的常規系統相反，本公開的系統可以實現深度神經網絡(DNN)，用于通過使用圖案(motifs)、水印和/或簽名(例如，簽名圖像)作為DNN的輸入(或對輸入的修改)來檢測執行DNN的至少硬件和/或軟件中的故障。作為本文描述的過程的結果，與常規方法相比，可以使用DNN的單個實例執行具有增加的故障覆蓋的故障分析-從而減少了計算費用，并可以實時或近實時地進行部署。例如，由于本系統的實時能力，DNN中的故障檢測可以作為部署中運行的內置自測(BIST)系統的一部分執行。

圖案、水印和/或簽名可以用作DNN的輸入或附加到輸入(例如，附加到傳感器數據)。在非限制性實施例中，可以選擇圖案、水印和/或簽名以利用已經針對其訓練了DNN的下游任務。例如，在訓練DNN進行對象檢測，或專門檢測車輛、行人和騎自行車的人的情況下，圖案、水印和/或簽名可以表示車輛、行人和/或騎自行車的人。可以將針對圖案、水印和/或簽名的DNN預測與針對它們的預期預測進行比較，并可以分析不一致之處以確定是否存在故障。通過附加和/或使用圖案、水印和/或簽名作為輸入，圖案、水印和/或簽名可以由DNN的單個實例處理–與需要DNN的多個實例用于故障檢測的常規系統相比，減少了計算資源，同時減少了運行時間以允許實時部署。

附圖標記

下面參考附圖詳細描述用于神經網絡中的故障檢測的當前系統和方法，其中：