[發明專利]數據標記方法及裝置，計算機存儲介質和電子設備

在審

• 申請號: 201911356911.7
• 申請日: 2019-12-25
• 公開（公告）號: CN113032242A
• 公開（公告）日: 2021-06-25
• 發明（設計）人: 申瀟瀟;黃心懿
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F11/36
• 分類號: G06F11/36
• 代理公司: 北京清源匯知識產權代理事務所(特殊普通合伙) 11644
• 代理人: 馮德魁;竇曉慧

本申請公開一種數據標記方法及裝置，基于應用發布系統中檢測信息的標記方法和裝置，基于標記數據的模型訓練方法，基于訓練模型的發布異常檢測方法，以及計算機存儲介質和電子設備，數據標記方法包括：獲取針對檢測指標檢測到的檢測信息以及針對檢測信息返回的，用于描述針對檢測信息進行相應操作處理的反饋信息；根據反饋信息，對檢測信息進行標記，生成用于描述檢測信息檢測屬性的標記信息，標記信息包括表征檢測信息狀態屬性的標記狀態信息和與標記狀態信息對應的，用于表征檢測信息類型屬性的標記類型信息；根據檢測信息的標記狀態信息和對應的標記類型信息，確定檢測信息的目標標記信息，從而提高標記信息的準確性。

技術領域

本申請涉及計算機技術領域，具體涉及一種數據標記方法和裝置，基于應用發布系統中檢測信息的標記方法和裝置，基于標記數據的模型訓練方法，以及一種基于訓練模型的發布異常檢測方法，計算機存儲介質和電子設備。

背景技術

應用軟件或應用系統會定期或不定期的進行更新，因此，新版本的應用在發布后取代之前的舊版本應用。

隨著大數據的發展，對應用穩定性要求越來越高。在應用發布過程中需要監控發布時出現的異常情況，以提高應用的穩定性。現有技術中，通常需要投入大量的人力對應用發布進行實時監控，因此會導致針對監控產生的標注數據數量具有一定局限。然而，在通過機器學習對應用發布進行監控過程中，需要有龐大的標注數據支撐機器學習對監控數據的異常檢測，因此，標注數量的局限性會導致機器學習對異常檢測的準確性降低。

基于上述問題，現有技術提供一種半監督學習實現數據標記，其基于少量已標記數據訓練模型，并使用該模型對大量未標記的數據進行分類標注，得到帶有大量偽標簽的數據，這些數據可應用于后續的深度學習。然而該種標記方式對應用異常檢測并不適用的，因為每個應用有其自身的業務特點，無法根據部分標記得出規律推斷用于其他應用，故，使得標記數據仍然存在標記質量和數量均低，而導致無法進行監督學習等問題。

發明內容

本申請提供一種數據標記方法，以解決現有技術中標記數據質量和數量低的問題。

本申請提供一種數據標記方法，包括：

獲取針對檢測指標檢測到的檢測信息以及針對所述檢測信息返回的，用于描述針對所述檢測信息進行相應操作處理的反饋信息；

根據所述反饋信息，對所述檢測信息進行標記，生成用于描述所述檢測信息檢測屬性的標記信息，其中，所述標記信息包括表征所述檢測信息狀態屬性的標記狀態信息和與所述標記狀態信息對應的，用于表征所述檢測信息類型屬性的標記類型信息；

根據所述檢測信息的所述標記狀態信息和對應的所述標記類型信息，確定所述檢測信息的目標標記信息。

在一些實施例中，所述獲取針對檢測指標檢測到的檢測信息，包括：

獲取針對檢測指標檢測到的異常檢測信息。

在一些實施例中，所述獲取針對所述檢測信息返回的，用于描述針對所述檢測信息進行相應操作處理的反饋信息，包括：

基于發布狀態下，獲取針對所述檢測信息，發布過程中返回的在線反饋信息；或者，

基于發布狀態下，獲取針對所述檢測信息，發布結束后返回的離線反饋信息。

在一些實施例中，所述根據所述反饋信息，對所述檢測信息進行標記，生成用于描述所述檢測信息檢測屬性的標記信息，包括：

當獲取的所述反饋信息為基于發布狀態下的離線反饋信息時，確定所述離線反饋信息中的操作處理是否為對所述檢測信息進行變更操作；

若為是，則將所述檢測信息狀態屬性標記為檢測正確的標記狀態，將所述檢測信息類型屬性標記為系統標的標記類型；

根據所述檢測正確的標記狀態和所述系統標的標記類型，生成所述檢測信息的標記信息。