[發明專利]數據處理方法、裝置、存儲介質及電子設備

在審

• 申請號: 201911419917.4
• 申請日: 2019-12-31
• 公開（公告）號: CN111158939A
• 公開（公告）日: 2020-05-15
• 發明（設計）人: 宋佳城;安小建
• 申請（專利權）人: 中消云（北京）物聯網科技研究院有限公司
• 主分類號: G06F9/54
• 分類號: G06F9/54;G06F3/0481;G06F16/11;G06F16/16
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 董文倩

本申請公開了一種數據處理方法、裝置、存儲介質及電子設備。其中，該方法包括：接收上傳的電子表格文件；將電子表格文件中的每條數據分別存放至消息隊列中，以及記錄并存儲每條數據的處理結果；采用多個線程對消息隊列中的各條數據進行并行處理。本申請解決了由于數據量龐大且存儲空間有限而造成的在數據處理過程中出現的處理效率慢、卡死、及無法獲知數據處理結果的技術問題。

技術領域

本申請涉及數據處理領域，具體而言，涉及一種數據處理方法、裝置、存儲介質及電子設備。

背景技術

目前，物聯網方面的應用需要和設備做大量交互方面的需求，需要將大批量設備數據導入到數據庫中，數據批量導入需要將數據文件分割為多個任務處理，增加了用戶使用的復雜性。當excell數據量過大且內存有限時，由于一般導入數據為單線程處理，需要將所有信息一次性加載到內存中，如果用傳統的同步方法解決，處理速度太慢，同時無法獲取數據的處理進度，并且會出現卡死等情況。

針對上述的問題，目前尚未提出有效的解決方案。

發明內容

本申請實施例提供了一種數據處理方法、裝置、存儲介質及電子設備，以至少解決由于數據量龐大且存儲空間有限而造成的在數據處理過程中出現的處理效率慢、卡死、及無法獲知數據處理結果的技術問題。

根據本申請實施例的一個方面，提供了一種數據處理方法，包括：接收上傳的電子表格文件；將電子表格文件中的每條數據分別存放至消息隊列中，以及記錄并存儲每條數據的處理結果；采用多個線程對消息隊列中的各條數據進行并行處理。

可選地，記錄并存儲每條數據的處理結果包括：將每條數據的處理結果存儲至指定數據庫中；記錄并存儲每條數據的處理結果之后，上述方法還包括：從指定數據庫中獲取處理結果；基于處理結果確定每條數據的處理進度；將處理進度推送至前端設備進行展示。

可選地，采用多個線程對消息隊列中的各條數據進行并行處理包括：確定消息隊列中待處理的數據條數；基于數據條數按照預設規則確定線程的第一數量，其中，預設規則包括：每個線程支持的最大處理條數；采用第一數量的線程對消息隊列中的各條數據進行并行處理。

可選地，采用第一數量的線程對消息隊列中的各條數據進行并行處理之前，上述方法還包括：確定第一數量的線程所需要的目標內存資源；獲取消息隊列所在設備的可用內存資源；比較目標內存資源和可用內存資源的大小；在目標內存資源大于可用內存資源時，減小第一數量的取值，直至目標內存資源小于或等于可用內存資源。

可選地，將電子表格文件中的每條數據分別存放至消息隊列中，包括：從電子表格文件中讀取每條數據，得到多條數據；將多條數據異步存儲至消息隊列中。

根據本申請可選的另一方面，提供了另一種數據處理方法，包括：在人機交互界面中展示用于上傳電子表格文件的控件，并在該控件被觸發時，接收上傳的電子表格文件；在人機交互界面中展示用于存儲電子表格文件中的每條數據分的消息隊列，并展示每條數據的處理結果；展示用于對消息隊列中的各條數據進行并行處理的多個線程。

根據本申請可選的又一方面，提供了一種數據處理裝置，包括：接收模塊，用于接收上傳的電子表格文件；存儲模塊，用于將電子表格文件中的每條數據分別存放至消息隊列中，以及記錄并存儲每條數據的處理結果；處理模塊，用于采用多個線程對消息隊列中的各條數據進行并行處理。

可選地，處理模塊，還用于確定消息隊列中待處理的數據條數；基于數據條數按照預設規則確定線程的第一數量，其中，預設規則包括：每個線程支持的最大處理條數；以及采用第一數量的線程對消息隊列中的各條數據進行并行處理。

根據本申請實施例的再一方面，提供了一種非易失性存儲介質，非易失性存儲介質包括存儲的程序，其中，在程序運行時控制非易失性存儲介質所在設備執行權以上的數據處理方法。