[發明專利]一種數據處理方法及相關設備

在審

• 申請號: 202110259775.0
• 申請日: 2021-03-10
• 公開（公告）號: CN112965890A
• 公開（公告）日: 2021-06-15
• 發明（設計）人: 周子站;郭東丹;劉曉輝;周凱洋;王曉勃
• 申請（專利權）人: 中國民航信息網絡股份有限公司
• 主分類號: G06F11/34
• 分類號: G06F11/34;G06K9/62;G06N3/08;G06N20/00
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 柳欣

本申請提供了一種數據處理方法及相關設備，可以減少指令執行序列中的大量噪聲，提高指令簇劃分的準確性。該方法包括：對原始日志數據進行處理，得到指令操作序列集合；提取所述指令操作序列集合中的最終候選業務集合；根據對比學習模型確定第一候選業務中每個指令的嵌入向量，所述對比學習模型為對所述最終候選業務集合以及隨機生成的指令短序列進行訓練得到的，所述第一候選業務為所述最終候選業務集合中的任意一個候選業務，所述每個指令嵌入向量指示當前指令與其他指令的相似程度；通過聚類算法對所述第一候選業務中每個指令的嵌入向量進行聚類處理，得到所述最終候選業務集合對應的指令簇。

技術領域

本申請涉及通信領域，尤其涉及一種數據處理方法及相關設備。

背景技術

互聯網企業中，為了完成某項業務，需要多個指令一起來完成，例如一個電商企業想要完成購買業務，可能需要多個指令，例如下單、查詢庫存、更新數據庫等協同完成。企業的日志數據中記錄了指令的執行順序，對系統中的日志數據進行解析，可以得到系統中指令的執行序列。指令序列一定程度上反映了指令間的協作關系。

現在企業想要對系統中的指令進行梳理，根據其業務功能、協作關系，將其分為若干個指令簇。處在同一指令簇中的指令，會經常一起協作完成一些業務。

指令在執行序列上共同出現的情況一定程度上反映了指令間的協作關系，如果將指令序列當做一條文本數據，每個指令看做是一個詞，可以使用自然語言處理中的技術將指令嵌入到一個向量，然后對向量進行聚類，從而得到指令簇?；蛘呖梢愿鶕噶钤谛蛄兄械某霈F情況，建立一張指令協作網絡，再在網絡上進行社區劃分，得到指令簇。但是這些直接以指令序列作為輸入的做法存在一個問題：指令的執行序列中含有大量噪聲，從而導致最終結果不準確。

發明內容

本申請提供了一種數據處理方法及相關設備，可以減少指令執行序列中的大量噪聲，提高指令簇劃分的準確性。

本申請實施例第一方面提供了一種數據處理方法，包括：

對原始日志數據進行處理，得到指令操作序列集合；

提取所述指令操作序列集合中的最終候選業務集合；

根據對比學習模型確定第一候選業務中每個指令的嵌入向量，所述對比學習模型為對所述最終候選業務集合以及隨機生成的指令短序列進行訓練得到的，所述第一候選業務為所述最終候選業務集合中的任意一個候選業務，所述每個指令嵌入向量指示當前指令與其他指令的相似程度；

通過聚類算法對所述第一候選業務中每個指令的嵌入向量進行聚類處理，得到所述最終候選業務集合對應的指令簇。

本申請實施例第二方面提供了一種數據處理裝置，包括：

處理單元，用于對原始日志數據進行處理，得到指令操作序列集合；

提取單元，用于提取所述指令操作序列集合中的最終候選業務集合；

確定單元，用于根據對比學習模型確定第一候選業務中每個指令的嵌入向量，所述對比學習模型為對所述最終候選業務集合以及隨機生成的指令短序列進行訓練得到的，所述第一候選業務為所述最終候選業務集合中的任意一個候選業務，所述每個指令嵌入向量指示當前指令與其他指令的相似程度；

聚類單元，用于通過聚類算法對所述第一候選業務中每個指令的嵌入向量進行聚類處理，得到所述最終候選業務集合對應的指令簇。

本申請第三方面提供了一種計算機裝置，其包括至少一個連接的處理器和存儲器，其中，所述存儲器用于存儲程序代碼，所述程序代碼由所述處理器加載并執行以實現上述第一方面所述的數據處理方法的步驟。

本申請實施例第四方面提供了一種機器可讀介質，其包括指令，當其在機器上運行時，使得機器執行上述第一方面所述的數據處理方法的步驟。