[發明專利]一種醫療行為多模態數據標注方法和系統

有效

• 申請號: 202010713382.8
• 申請日: 2020-07-22
• 公開（公告）號: CN111916192B
• 公開（公告）日: 2023-01-13
• 發明（設計）人: 張立華;弓佩弦;袁銳;張沛軒
• 申請（專利權）人: 復旦大學
• 主分類號: G16H40/20
• 分類號: G16H40/20;G06Q10/101;G06F40/117;G06F16/215;G06F18/25
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 趙繼明

本發明涉及一種醫療行為多模態數據標注方法和系統，方法包括以下步驟：數據采集步驟：采集醫療行為多模態數據；初始化步驟：進行數據清洗，獲取未標注空白數據，并初始化多模態數據自動標注模型；模型訓練步驟：基于未標注空白數據構建待標注多模態數據，并載入多模態數據自動標注模型中，獲得自動標注數據，對該待檢驗標注數據進行復核檢驗，從而對多模態數據自動標注模型進行訓練；結果獲取步驟：采用訓練后的多模態數據自動標注模型對待標注多模態數據進行自動標注。與現有技術相比，本發明將開發過程和標注過程結合起來，同時添加了自動標注模型，不僅減輕了標注人員的工作壓力，提高標注效率，還減少了標注錯誤率，提升標注準確率。

技術領域

本發明涉及醫療數據標注領域，尤其是涉及一種醫療行為多模態數據標注方法和系統。

背景技術

在人工智能和醫療科技高速發展的今天，標注不同傳感器采集的醫療行為數據的需要越來越迫切。面對多模態的數據標注需求，現有的標注方法主要是開發專門的網頁系統，并組織標注人員進行人工數據標注。同時，現有的自動標注系統主要是針對單一文本數據或單一圖片數據。

對數據標注的解決方案，現有的方法是采用word、excel等文本形式。或者開發專門的web網頁系統用于標注數據，之后讓標注人員對以上形式的數據進行人工標注。

現有技術的問題在于：標注人員各自為政，分別標注自己負責的數據；標注人員之間也存在標注標準的差別；由于標注和研發的過程相互獨立，因此不能協同開發；對于標注人員因為個人疏忽產生的標注錯誤，只能進行二次標注進行改正，存在人為因素所引發的醫療質量問題，效率低，有著較長的標注周期，大量數據下，任務量大，人為造成的準確率下降，同時對于醫療、患者行為尚無統一標準，缺乏干預依據。這些問題極大的限制了標注及研發的效率和質量。

發明內容

本發明的目的就是為了克服上述現有技術存在的缺陷而提供一種提升標注及研發的效率和質量的醫療行為多模態數據標注方法和系統。

本發明的目的可以通過以下技術方案來實現：

一種醫療行為多模態數據標注方法，包括以下步驟：

數據采集步驟：采集醫療行為多模態數據；

初始化步驟：對所述醫療行為多模態數據進行數據清洗，獲取未標注空白數據，并初始化預先建立的多模態數據自動標注模型；

模型訓練步驟：包括以下子步驟：

1)基于所述未標注空白數據構建待標注多模態數據，并載入所述多模態數據自動標注模型中，獲得自動標注數據；

2)基于所述自動標注數據構建待檢驗標注數據，對該待檢驗標注數據進行復核檢驗，獲得已標注多模態數據；

3)采用所述已標注多模態數據對所述多模態數據自動標注模型進行訓練，判斷所述多模態數據自動標注模型是否滿足預設的訓練要求，若否，則返回步驟1)，若是則進行結果獲取步驟；

結果獲取步驟：采用訓練后的所述多模態數據自動標注模型對待標注多模態數據進行自動標注，輸出結果作為所述已標注多模態數據，直至所有所述醫療行為多模態數據均生成對應的所述已標注多模態數據。

進一步地，所述步驟1)中，所述基于所述未標注空白數據構建待標注多模態數據具體為，

基于所述未標注空白數據和所述自動標注數據，構建所述待標注多模態數據。

進一步地，所述步驟2)中，所述基于所述自動標注數據構建待檢驗標注數據具體為，基于所述自動標注數據和未標注空白數據，構建所述待檢驗標注數據。

進一步地，所述數據采集步驟還包括，按照時間序列和文件類型，對所述醫療行為多模態數據進行分類存儲。