[發明專利]一種提供多模態智能報案的裝置及其筆錄生成方法

在審

• 申請號: 202011566042.3
• 申請日: 2020-12-25
• 公開（公告）號: CN112734604A
• 公開（公告）日: 2021-04-30
• 發明（設計）人: 康靜;汪京京;衛海智;劉恒彪;李釗輝
• 申請（專利權）人: 科訊嘉聯信息技術有限公司
• 主分類號: G06Q50/18
• 分類號: G06Q50/18;G06F16/332;G06F16/35;G06F40/186;G06F40/30;G06K9/00;G06F21/32;G06K17/00;G10L15/18;G10L15/25;G10L15/26
• 代理公司: 合肥律眾知識產權代理有限公司 34147
• 代理人: 殷娟

本發明涉及報案設備，具體涉及一種提供多模態智能報案的裝置及其筆錄生成方法，包括服務器，用于對市民進行身份識別的身份識別模塊，以及用于記錄市民語音的語音采集模塊，服務器與用于識別市民語音的語音識別模塊相連，服務器與用于將語音識別結果轉換為文字信息并記錄的文字轉換模塊相連，服務器與用于存儲市民語音及對應文字轉換結果的數據存儲模塊相連，服務器與用于根據文字轉換結果判斷案件類型的案件類型判斷模塊相連；本發明提供的技術方案能夠有效克服現有技術所存在的報案接警時的流程不夠規范而導致溝通效率較低、不能自動生成報案筆錄的缺陷。

技術領域

本發明涉及報案設備，具體涉及一種提供多模態智能報案的裝置及其筆錄生成方法。

背景技術

單一電話語音報警的方式在進行事件描述時，存在一些弊端，如：有的市民要求一對一問答式受理，缺乏技術應用；市民過多時，需要排隊等候的時間較長；接待人員人手不足，非重要警情消耗時間長；報警筆錄信息手動錄入，一方面不便于保存查詢，另一方面錄入效率較低；現有行政類警情很多時候沒有筆錄，事后無法追溯參考；不同案件類型筆錄無統一問答方式，不同接待人員的標準不同，造成溝通效率較低。

此外，通過短信、微信等數據服務方式進行報警，雖然可以將定位、圖文等信息通過數據服務方式上傳，但由于需要通過應答方式進行溝通，相對于電話語音報警的方式而言，溝通效率非常低。針對現有的報案接警系統，亟需一種規范化、標準化、溝通高效化的報案接警系統及筆錄生成方法。

發明內容

(一)解決的技術問題

針對現有技術所存在的上述缺點，本發明提供了一種提供多模態智能報案的裝置及其筆錄生成方法，能夠有效克服現有技術所存在的報案接警時的流程不夠規范而導致溝通效率較低、不能自動生成報案筆錄的缺陷。

(二)技術方案

為實現以上目的，本發明通過以下技術方案予以實現：

一種提供多模態智能報案的裝置，包括服務器，用于對市民進行身份識別的身份識別模塊，以及用于記錄市民語音的語音采集模塊，所述服務器與用于識別市民語音的語音識別模塊相連，所述服務器與用于將語音識別結果轉換為文字信息并記錄的文字轉換模塊相連，所述服務器與用于存儲市民語音及對應文字轉換結果的數據存儲模塊相連，所述服務器與用于根據文字轉換結果判斷案件類型的案件類型判斷模塊相連；

所述服務器與用于存儲各類型案件對應的話術模板、筆錄模板的模板存儲模塊相連，所述服務器與用于根據案件類型判斷結果播放對應話術模板的話術模板播放模塊相連，所述服務器與用于根據案件類型判斷結果選擇對應筆錄模板的筆錄模板選擇模塊相連，所述服務器與用于識別市民回答話術模板時語音的語義的語義識別模塊相連，所述語義識別模塊與用于提取市民語音中關鍵信息的關鍵信息提取模塊相連，所述筆錄模板選擇模塊與用于將提取關鍵信息填入筆錄模板中的筆錄報告生成模塊相連。

優選地，所述身份識別模塊包括雙目攝像頭、指紋采集器和身份證讀卡器，所述服務器將身份識別模塊采集信息與數據庫中的數據進行匹配，識別市民身份信息。

優選地，所述語音識別模塊結合市民語音、雙目攝像頭拍攝市民語音時的唇形進行語音識別。

優選地，所述文字轉換模塊通過語音轉寫引擎將市民語音轉換為文字信息并記錄。

優選地，所述案件類型判斷模塊利用NLP自然語言處理從文字信息中提取關鍵字，并判斷案件類型，包括：

S1、根據業務需求確定token標簽，收集具有token標簽的標注文本數據；

S2、搭建BERT模型，并對Attention層的進行端到端的訓練；

S3、訓練收斂后，固定模型參數并保存參數作為主題提取方法解碼實體的資源，通過主題提取方法匹配出相近的案件類型，并供市民選擇確認。