[發明專利]一種數據標注方法、裝置以及設備

有效

• 申請號: 201810496687.0
• 申請日: 2018-05-22
• 公開（公告）號: CN108804563B
• 公開（公告）日: 2021-11-19
• 發明（設計）人: 侯輝超;王心剛;許志凱;蔡佳良
• 申請（專利權）人: 創新先進技術有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/169
• 代理公司: 北京晉德允升知識產權代理有限公司 11623
• 代理人: 楊移

1.一種數據標注方法，包括：

獲取各待標注數據的特征向量；

利用密度聚類算法，對各所述特征向量進行聚類，得到多個類簇；所述聚類無需預先指定數據類目數量；所聚出的每個類簇分別視為一個數據類目；

根據所述類簇的密度狀況，從所述類簇包含的點中篩選得到核心對象集合、非核心對象集合；

選擇所述類簇的核心對象集合中的部分核心對象，以及所述類簇的非核心對象集合中的部分非核心對象，進行標注；

根據標注結果，對所述類簇中的至少部分其他點進行自動擴散標注。

2.如權利要求1所述的方法，所述獲取各待標注數據的特征向量，具體包括：

獲取各待標注數據的以下至少一種信息：字段名、字段注釋，字段內容抽樣；

根據所述信息，提取各待標注數據的特征并構建相應的特征向量。

3.如權利要求1所述的方法，所述根據所述類簇的密度狀況，從所述類簇包含的點中篩選得到核心對象集合、非核心對象集合，還包括：

從所述類簇包含的點中篩選得到噪音點集；

所述選擇所述類簇的核心對象集合中的部分核心對象，以及所述類簇的非核心對象集合中的部分非核心對象，進行標注，還包括：

對所述噪音點集進行標注。

4.如權利要求1所述的方法，所述根據所述類簇的密度狀況，從所述類簇包含的點中篩選得到核心對象集合，具體包括：

分別針對各類簇執行：

步驟1，確定剩余核心點，并在其中隨機選擇一個核心點，加入初始時為空集的該類簇的核心對象集合；

步驟2，針對該核心點，在剩余核心點中剔除該核心點密度直達的各核心點；

步驟3，在剔除后的剩余核心點中隨機選擇至少一個核心點，加入該類簇的核心對象集合；

迭代執行上述步驟2和步驟3，直至核心點全部被剔除，得到該類簇的核心對象集合。

5.如權利要求1所述的方法，所述根據所述類簇的密度狀況，從所述類簇包含的點中篩選得到非核心對象集合，具體包括：

分別針對各類簇執行：

步驟1，確定剩余核心點，并在其中隨機選擇一個核心點，將距離該核心點最遠的非核心點加入初始時為空集的該類簇的非核心對象集合；

步驟2，確定該核心點密度直達的各核心點，分別確定該各核心點距離最遠的非核心點，若該非核心點與該最遠的非核心點之間不小于設定距離，則將其加入該類簇的非核心對象集合；

步驟3，剔除該核心點密度直達的各核心點；

迭代執行上述步驟1、步驟2和步驟3，直至核心點全部被剔除，得到該類簇的非核心對象集合。

6.如權利要求1所述的方法，所述根據標注結果，對所述類簇中的至少部分其他點進行自動擴散標注，具體包括：

若相同的標注結果占比大于設定比例，則將該相同的標注結果對所述類簇中的對應的其他點進行自動標注。

7.如權利要求1所述的方法，所述根據標注結果，對所述類簇中的至少部分其他點進行自動擴散標注后，所述方法還包括：

將通過將各所述類簇的標注結果與歷史標注結果進行比較，以判定是否出現新的數據類目。

8.一種數據標注裝置，包括：

向量化模塊，獲取各待標注數據的特征向量；

聚類模塊，利用密度聚類算法，對各所述特征向量進行聚類，得到多個類簇；

篩選模塊，根據所述類簇的密度狀況，從所述類簇包含的點中篩選得到核心對象集合、非核心對象集合；

第一標注模塊，選擇所述類簇的核心對象集合中的部分核心對象，以及所述類簇的非核心對象集合中的部分非核心對象，進行標注；

第二標注模塊，根據標注結果，對所述類簇中的至少部分其他點進行自動擴散標注。