[發(fā)明專利]一種提供多模態(tài)智能報案的裝置及其筆錄生成方法

在審

• 申請?zhí)枺?/td>: 202011566042.3
• 申請日: 2020-12-25
• 公開（公告）號: CN112734604A
• 公開（公告）日: 2021-04-30
• 發(fā)明（設計）人: 康靜;汪京京;衛(wèi)海智;劉恒彪;李釗輝
• 申請（專利權）人: 科訊嘉聯(lián)信息技術有限公司
• 主分類號: G06Q50/18
• 分類號: G06Q50/18;G06F16/332;G06F16/35;G06F40/186;G06F40/30;G06K9/00;G06F21/32;G06K17/00;G10L15/18;G10L15/25;G10L15/26
• 代理公司: 合肥律眾知識產權代理有限公司 34147
• 代理人: 殷娟

1.一種提供多模態(tài)智能報案的裝置，其特征在于：包括服務器，用于對市民進行身份識別的身份識別模塊，以及用于記錄市民語音的語音采集模塊，所述服務器與用于識別市民語音的語音識別模塊相連，所述服務器與用于將語音識別結果轉換為文字信息并記錄的文字轉換模塊相連，所述服務器與用于存儲市民語音及對應文字轉換結果的數(shù)據(jù)存儲模塊相連，所述服務器與用于根據(jù)文字轉換結果判斷案件類型的案件類型判斷模塊相連；

所述服務器與用于存儲各類型案件對應的話術模板、筆錄模板的模板存儲模塊相連，所述服務器與用于根據(jù)案件類型判斷結果播放對應話術模板的話術模板播放模塊相連，所述服務器與用于根據(jù)案件類型判斷結果選擇對應筆錄模板的筆錄模板選擇模塊相連，所述服務器與用于識別市民回答話術模板時語音的語義的語義識別模塊相連，所述語義識別模塊與用于提取市民語音中關鍵信息的關鍵信息提取模塊相連，所述筆錄模板選擇模塊與用于將提取關鍵信息填入筆錄模板中的筆錄報告生成模塊相連。

2.根據(jù)權利要求1所述的提供多模態(tài)智能報案的裝置，其特征在于：所述身份識別模塊包括雙目攝像頭、指紋采集器和身份證讀卡器，所述服務器將身份識別模塊采集信息與數(shù)據(jù)庫中的數(shù)據(jù)進行匹配，識別市民身份信息。

3.根據(jù)權利要求2所述的提供多模態(tài)智能報案的裝置，其特征在于：所述語音識別模塊結合市民語音、雙目攝像頭拍攝市民語音時的唇形進行語音識別。

4.根據(jù)權利要求1所述的提供多模態(tài)智能報案的裝置，其特征在于：所述文字轉換模塊通過語音轉寫引擎將市民語音轉換為文字信息并記錄。

5.根據(jù)權利要求4所述的提供多模態(tài)智能報案的裝置，其特征在于：所述案件類型判斷模塊利用NLP自然語言處理從文字信息中提取關鍵字，并判斷案件類型，包括：

S1、根據(jù)業(yè)務需求確定token標簽，收集具有token標簽的標注文本數(shù)據(jù)；

S2、搭建BERT模型，并對Attention層的進行端到端的訓練；

S3、訓練收斂后，固定模型參數(shù)并保存參數(shù)作為主題提取方法解碼實體的資源，通過主題提取方法匹配出相近的案件類型，并供市民選擇確認。

6.根據(jù)權利要求1所述的提供多模態(tài)智能報案的裝置，其特征在于：所述語義識別模塊通過NLU自然語言理解識別市民回答話術模板時語音的語義，所述服務器通過話術模板播放模塊進行話術播放流程控制。

7.根據(jù)權利要求6所述的提供多模態(tài)智能報案的裝置，其特征在于：所述關鍵信息提取模塊通過正則規(guī)則匹配、關鍵詞匹配、意圖分類模型、NER提槽模型，提取關鍵信息。

8.根據(jù)權利要求1所述的提供多模態(tài)智能報案的裝置，其特征在于：所述模板存儲模塊與用于輸入新的話術模板、筆錄模板，或對原有話術模板、筆錄模板進行修改的模板輸入模塊相連。

9.基于權利要求1所述的提供多模態(tài)智能報案的裝置的筆錄生成方法，其特征在于：包括以下步驟：

S1、對市民進行身份識別，提示錄入報警信息，將市民語音轉換為文字信息并記錄；

S2、判斷案件類型，生成報警記錄，并向市民返回結果；

S3、市民選擇對應報警記錄，根據(jù)不同的案件類型，自動選定匹配的話術模板、筆錄模板；

S4、控制話術播放流程，并對每個問題從市民的回答中提取關鍵信息；

S5、將關鍵信息填入筆錄模板中生成筆錄報告，并向市民返回筆錄報告。

10.根據(jù)權利要求9所述的筆錄生成方法，其特征在于：S2中所述判斷案件類型，包括：

S1、根據(jù)業(yè)務需求確定token標簽，收集具有token標簽的標注文本數(shù)據(jù)；

S2、搭建BERT模型，并對Attention層的進行端到端的訓練；

S3、訓練收斂后，固定模型參數(shù)并保存參數(shù)作為主題提取方法解碼實體的資源，通過主題提取方法匹配出相近的案件類型，并供市民選擇確認。