[發明專利]一種數據記錄標識方法和裝置

在審

• 申請號: 202111458015.9
• 申請日: 2021-12-02
• 公開（公告）號: CN114139024A
• 公開（公告）日: 2022-03-04
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 上海健交科技服務有限責任公司
• 主分類號: G06F16/903
• 分類號: G06F16/903;G06F7/58
• 代理公司: 上海泰能知識產權代理事務所(普通合伙) 31233
• 代理人: 宋纓

本發明涉及一種數據記錄標識方法和裝置，其中，方法包括：步驟(1)：讀取數據源當前行；步驟(2)：基于所述數據源當前行，生成唯一UQID字符串；步驟(3)：讀取數據源下一行，并重復所述步驟(2)至步驟(3)的過程直至數據源的所有行均被讀取完，得到各個行對應的唯一UQID字符串；步驟(4)：讀取數據源各個行對應的數據內容，并在數據源各個行對應的數據內容中增加各個行的唯一UQID字符串。本發明能夠生成具有反向解讀功能的唯一UQID字符串。

技術領域

本發明涉及大數據處理技術領域，特別是涉及一種數據記錄標識方法和裝置。

背景技術

眾所周知，當今信息化生活中，數據信息對社會的生產、生活具有重要意義，隨著人們對數據信息的逐步重視，不斷涌現新興技術使得各種數據的產生、傳輸、存儲等方面得到重要保障，但仍存在諸多問題。

現有生成唯一字符串的公共方法包括各類數據庫函數唯一ID生成方法、程序UUID函數生成方法等，并且各類公共方法生成的唯一字符串可反向解讀性較差，無法提供反向解讀數據處理時生成的唯一字符串的內容。

在數據處理流程中，由于數據源分布在各類系統中，無法做到完全統一規范，很多數據無法攜帶統一的標記位，因此在數據處理過程中，較難定位有問題的數據源。對于數據源的定位至關重要，因此亟需構建一種具有反向解讀功能的唯一字符串。

發明內容

本發明所要解決的技術問題是提供一種數據記錄標識方法和裝置，能夠生成具有反向解讀功能的唯一UQID字符串。

本發明解決其技術問題所采用的技術方案是：提供一種數據記錄標識方法，包括：

步驟(1)：讀取數據源當前行；

步驟(2)：基于所述數據源當前行，生成唯一UQID字符串；

步驟(3)：讀取數據源下一行，并重復所述步驟(2)至步驟(3)的過程直至數據源的所有行均被讀取完，得到各個行對應的唯一UQID字符串；

步驟(4)：讀取數據源各個行對應的數據內容，并在數據源各個行對應的數據內容中增加各個行的唯一UQID字符串。

所述步驟(2)具體包括：

步驟(21)：讀取所述數據源當前行時間生成的時間戳；

步驟(22)：生成所述數據源當前行時間對應的n位數據隨機數；

步驟(23)：讀取所述數據源當前行時間對應的線程ID編號；

步驟(24)：讀取所述數據源中的字符標記，并根據所述時間戳、n位數據隨機數、線程ID編號和字符標記進行拼接，得到字符串數據，并將所述字符串數據作為當前行的唯一UQID字符串。

所述步驟(21)具體為：讀取所述數據源當前行以毫秒為單位的時間，并將所述以毫秒為單位的時間轉換為13位數字類型的時間戳。

所述步驟(1)還包括：將讀取的數據源當前行對應的數據內容緩存至內存中。

所述步驟(4)中的讀取數據源各個行對應的數據內容，具體為：從所述內存中讀取數據源各個行對應的數據內容。

本發明解決其技術問題所采用的技術方案是：提供一種數據記錄標識裝置，包括：

讀取模塊，用于讀取數據源當前行；

當前行的唯一UQID字符串生成模塊，用于基于所述數據源當前行，生成唯一UQID字符串；

所有行的唯一UQID字符串生成模塊，用于讀取數據源下一行，并重復所述當前行的唯一UQID字符串生成模塊至所有行的唯一UQID字符串生成模塊的過程，直至數據源的所有行均被讀取完，得到各個行對應的唯一UQID字符串；