[發明專利]一種數據處理方法和裝置

在審

• 申請號: 202010744185.2
• 申請日: 2020-07-29
• 公開（公告）號: CN111930306A
• 公開（公告）日: 2020-11-13
• 發明（設計）人: 李春曉;潘余昌;王建偉
• 申請（專利權）人: 北京京東乾石科技有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F16/22;G06F16/23
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 李陽;郭晗

本發明公開了一種數據處理方法和裝置，涉及計算機技術領域。該方法的一具體實施方式包括：監測可行駛設備的自動駕駛數據，確定監測到的自動駕駛數據的第一數據級別和第一時間區間；將產生時刻在第一時間區間內的自動駕駛數據的數據信息與第一數據級別對應存儲在數據信息表中；當執行數據刪除時，根據數據信息表中數據級別和對應的數據信息中的產生時刻，按預設的刪除順序逐一刪除自動駕駛數據，直到數據存儲空間滿足預設要求。該實施方式能以精簡便捷的方式定時維護數據與磁盤狀態，減少冗余數據產生的網絡需求與磁盤壓力，有條件地保留或刪除數據，兼容不同容量磁盤，滿足自動駕駛場景處理需求，提高該場景中數據處理的自動化程度。

技術領域

本發明涉及計算機技術領域，尤其涉及一種數據處理方法和裝置。

背景技術

每臺可行駛設備(例如自動駕駛車輛)在日常測試或運營過程中會產生大量數據，例如源數據、中間數據等，這些數據使得可行駛設備(車端)磁盤容量面臨較大壓力。如不及時處理車端數據，將會造成數據丟失、磁盤報錯等局面。

自動駕駛車端產生的數據存儲在磁盤上，雖然可掛載大容量的硬盤，但使用和維護大容量硬盤中的數據也多有不便。例如，打滿時如采用更換硬盤的方式，則硬盤需獲得物理空間的轉移才能到達使用者手中；而采用清理磁盤空間的方式，若磁盤空間容量大，則累計的歷史數據較多，清理時間較長，若磁盤空間容量較小，則可能遺漏、丟失或無法獲得相應的場景數據，十分不便。另外，大批量上傳數據則對網絡、流量要求較高，數據量大時上傳時間較長，由于可行駛設備常處于移動狀態，即使裝載流量卡，網絡狀態也不完全穩定，且對流量要求較大，不適于大量數據的傳輸。

在實現本發明過程中，發明人發現現有技術中至少存在如下問題：

數據維護不便，對網絡需求較大，不能有效減少可行駛設備的磁盤壓力，無法滿足自動駕駛場景的數據處理需求。

發明內容

有鑒于此，本發明實施例提供一種數據處理方法和裝置，能夠以精簡、便捷的方式定時維護數據與磁盤狀態，減少冗余數據產生的網絡需求與磁盤壓力，有條件地保留或刪除數據，可兼容不同容量的磁盤，滿足自動駕駛場景的數據處理需求，提高自動駕駛場景中數據處理的自動化程度。

為實現上述目的，根據本發明實施例的一個方面，提供了一種數據處理方法。

一種數據處理方法，包括：監測可行駛設備在各時刻產生的自動駕駛數據，每當監測到所述自動駕駛數據后，確定監測到的自動駕駛數據的第一數據級別和第一時間區間，所述第一時間區間包括第一時刻，所述第一時刻為所述監測到的自動駕駛數據的產生時刻；將產生時刻在所述第一時間區間內的所述自動駕駛數據的數據信息與所述第一數據級別對應存儲在數據信息表中，所述數據信息包括對應的所述自動駕駛數據的產生時刻和存儲路徑；當執行數據刪除時，根據所述數據信息表中的數據級別和對應的所述數據信息中的所述自動駕駛數據的產生時刻，按照預設的刪除順序逐一刪除所述存儲路徑下的所述自動駕駛數據，直到所述可行駛設備的數據存儲空間滿足預設要求時，停止所述數據刪除的操作。

可選地，確定所述監測到的自動駕駛數據的第一數據級別的步驟包括：確定所述監測到的自動駕駛數據的來源模塊，所述來源模塊為所述可行駛設備上自動駕駛程序中的功能模塊；根據所述來源模塊的處理邏輯，對所述監測到的自動駕駛數據進行預設處理，并根據得到的處理結果確定所述監測到的自動駕駛數據的第一數據級別。