[發明專利]描述數據標注任務的DSL應用系統及其方法

有效

• 申請號: 201910909874.1
• 申請日: 2019-09-25
• 公開（公告）號: CN110674355B
• 公開（公告）日: 2022-07-01
• 發明（設計）人: 王紅賓;呂昊;韓奕;李夢鈺
• 申請（專利權）人: 上海依圖信息技術有限公司
• 主分類號: G06F16/84
• 分類號: G06F16/84
• 代理公司: 上海市匯業律師事務所 31325
• 代理人: 王函

本發明公開了一種描述數據標注任務的DSL應用系統及其方法，該DSL應用系統包括：發布服務模塊，標注服務模塊和導出服務模塊；所述發布服務模塊用于接受任務發布者的DSL信息、根據DSL信息創建對應的任務實例；所述標注服務模塊連接發布服務模塊，用于對發布服務模塊創建的任務實例進行標注、取得標注結果；所述導出服務模塊連接標注服務模塊，用于收集任務的標注結果、對標注數據進行加工、輸出任務結果數據。本發明能夠提升標注任務啟動效率，并提升系統的可擴展性。

技術領域

本發明屬于數據處理技術領域，具體來說涉及一種描述數據標注任務的DSL應用系統，以及基于該系統實現的數據標注任務描述方法。

背景技術

數據標注是指對文本、圖片、語音等數據進行描述或者標記的過程，機器進行訓練通常需要大量的標注數據作為訓練集，標注數據的數據量越大對訓練的效果越有幫助。目前業界一般采用JSON、XML等通用的結構化數據格式來表征任務屬性。上述現有技術存在的問題是：啟動效率較低，系統可擴展性較差。同時根據調研，目前尚未發現同類型描述數據標注任務的DSL。DSL是一種在Java虛擬機上運行的靜態類型編程語言。DSL首先是一種幫助用戶從一個系統中抽象出某些部分的工具。所以“當你意識到你需要一個組件，或者當你已經有了一個組件而你希望簡化操作它的方式的時候”，DSL是有用的。使用DSL確實提供了某些益處。DSL不僅提高了代碼的易讀性，讓開發者可以和領域專家更好的交流，而且是改變執行上下文的一種手段，例如：把邏輯從編譯時切換到運行時，或者當命令式編程不是很合適的時候轉用聲明式計算模型。外部DSL：不同于應用系統主要使用語言的語言，通常采用自定義語法，宿主應用的代碼采用文本解析技術對外部DSL編寫的腳本進行解析。例子如：正則表達式、SQL、AWK以及Struts的配置文件等。內部DSL：通用語言的特定語法，用內部DSL寫成的腳本是一段合法的程序，但是它具有特定的風格，而且僅僅用到了語言的一部分特性，用于處理整個系統一個小方面的問題。如何開發出一種基于DSL的描述數據標注任務的應用系統，能夠提升標注任務啟動效率，并提升系統的可擴展性，是本領域技術人員需要研究的方向。

發明內容

本發明要解決的技術問題是提供一種描述數據標注任務的DSL應用系統，能夠提升標注任務啟動效率，并提升系統的可擴展性。為此，本發明還提供基于該系統實現的數據標注任務描述方法。

為解決上述技術問題，本發明采用的技術方案如下：

一種描述數據標注任務的DSL應用系統，其包括：發布服務模塊，標注服務模塊和導出服務模塊；所述發布服務模塊用于接受任務發布者的DSL信息、根據DSL信息創建對應的任務實例；所述標注服務模塊連接發布服務模塊，用于對發布服務模塊創建的任務實例進行標注、取得標注結果；所述導出服務模塊連接標注服務模塊，用于收集任務的標注結果、對標注數據進行加工、輸出任務結果數據。

優選的是，上述描述數據標注任務的DSL應用系統中：所述發布任務模塊包括發布任務接口，DSL解析器，任務校驗單元和第一安全沙盒；所述發布任務接口用于接受任務發布者的DSL信息；所述DSL解析器連接發布任務接口、用于對接收到的DSL信息進行解析，生成任務實例；所述任務校驗單元連接DSL解析器、用于對DSL解析器生成的任務實例進行驗證；所述第一安全沙盒連接任務校驗單元、用于對通過驗證的任務實例執行預處理、并按照DSL中定義的時機創建對應的任務實例。

更優選的是，上述描述數據標注任務的DSL應用系統中：所述標注服務模塊包括數據標注單元，所述數據標注單元用于對發布任務模塊創建的任務實例進行標注。

進一步優選的是，上述描述數據標注任務的DSL應用系統中：所述導出服務模塊包括任務數據收集模塊，第二安全沙盒，任務數據導出模塊和結果導出接口；所述任務數據收集模塊用于收集各任務實例的標注數據；所述第二安全沙盒連接任務數據收集模塊、用于對標注數據執行DSL定義的后處理加工、取得任務結果數據；所述任務數據導出模塊連接第二安全沙盒和結果導出接口、用于將任務結果數據調出至結果導出接口。