[發明專利]一種基于多模態數據的交通事故法律自動決策方法

在審

• 申請號: 201910709496.2
• 申請日: 2019-08-02
• 公開（公告）號: CN110232564A
• 公開（公告）日: 2019-09-13
• 發明（設計）人: 王毅;杜向陽;劉昌鑫;呂森鳳;穆樂
• 申請（專利權）人: 南京擎盾信息科技有限公司
• 主分類號: G06Q10/10
• 分類號: G06Q10/10;G06Q50/18;G06Q50/30;G06N20/00
• 代理公司: 蘇州拓云知識產權代理事務所(普通合伙) 32344
• 代理人: 潘好帥

1.一種基于多模態數據的交通事故法律自動決策方法，其特征在于，其包括以下步驟：

（1）利用多模態數據預處理組件進行多模態數據預處理步驟：

所述多模態數據預處理組件用于對多種模態的數據進行計算機加工處理，其包括數據清洗、數據集成、數據變化、數據規約過程；且根據不同的數據模態，分為視頻預處理器、音頻預處理器、圖像預處理器和文字預處理器；

（2）利用多模態特征編碼學習組件進行多模態特征編碼學習步驟；

（3）利用交通事故法律決策組件進行交通事故法律決策步驟；

其中，多模態特征編碼學習組件與交通事故法律決策組件相互關聯，且采用深度學習的方法，構造一個無監督的視頻-音頻-圖像-文字四模態深度自編碼模型，該模型的建模是先把四種數據壓縮成中間層特征，再利用中間層特征來還原原始數據；

交通事故法律決策組件是構建在多模態特征編碼的基礎之上，且交通事故法律決策組件包含法律責任認定、賠償認定、法律法規預測、案例預測四個模型。

2.根據權利要求1所述的一種基于多模態數據的交通事故法律自動決策方法，其特征在于，該決策方法是通過算法模型來模擬人來判斷一個交通事故的過程，其基本的概率模型如下：

根據貝葉斯公式，將生成式模型轉換為判別式模型：

公式中分別表示視頻、音頻、圖像和文字的觀測變量信息，是模型的建模目標，代表法律法規、賠償金額、責任認定結果；表示似然函數，表示的是先驗概率，表示證據；判別式模型通過大量訓練數據學習到模型的參數，然后將模型部署到機器上，當新的數據來到時，通過傳感器或者設備獲取到等信息，然后計算出給定信息下概率最高的法律決策Y,通過概率的大小作為判別準則，然后采用該法律決策；

對該概率模型進行建模步驟，至少包括從數據處理表示、數據編碼、概率模型參數計算、模型評測到模型部署。

3.根據權利要求1所述的一種基于多模態數據的交通事故法律自動決策方法，其特征在于，在所述步驟（1）中，數據清洗負責消除錯誤、冗余和數據噪音以及將按不同的、不兼容的規則所得的各種數據集一致起來；

數據集成是將多個數據源中的數據合并，并存放到一個一致的數據存儲中；

且多模態數據都需要壓縮成特定的語義編碼，然后存儲；

數據變換是找到數據的特征表示，用維度變換來減少有效變量的數目或找到數據的不變式；

數據規約是在對發現任務和數據本身內容理解的基礎上，尋找依賴于發現目標的表達數據的有用特征，以縮減數據模型，從而在盡可能保持數據原貌的前提下最大限度的精簡數據量。

4.根據權利要求1所述的一種基于多模態數據的交通事故法律自動決策方法，其特征在于，所述視頻預處理器是針對獲取到的視頻數據進行了鏡頭分割、關鍵幀提取、特征提??；且視頻預處理器中內置了四種方法，四種方法包括像素差異法、基于直方圖的方法、基于運動的方法和基于輪廓的方法。

5.根據權利要求4所述的一種基于多模態數據的交通事故法律自動決策方法，其特征在于，所述像素差異法具體為首先定義一個像素差異測度，然后計算連續兩幀圖像的幀間差異并用其與一個預先設定的閾值作比較，大于該閾值，則認為場景發生了改變；

基于直方圖的方法具體為將相鄰幀的各個像素的灰度、亮度或顏色等分成N個等級，再針對每個等級統計像素數做成直方圖比較；

基于運動的方法具體為充分考慮同一鏡頭內對象及攝像機的運動情況和特征，通過運動補償等方法來減小對象和攝像機運動造成的鏡頭內幀差值的變化；

基于輪廓的方法具體為對畫面的輪廓進行判斷。