[發明專利]數據處理及存儲方法、裝置及存儲介質

在審

• 申請號: 202011523116.5
• 申請日: 2020-12-18
• 公開（公告）號: CN112579601A
• 公開（公告）日: 2021-03-30
• 發明（設計）人: 李歡
• 申請（專利權）人: 深圳賽安特技術服務有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/23;G06F16/2455;G06F16/27
• 代理公司: 深圳市沃德知識產權代理事務所(普通合伙) 44347
• 代理人: 高杰;于志光

本發明涉及數據處理，揭露一種數據處理及存儲方法，包括：根據表單申報平臺中每張單數據庫表對應的業務邏輯將表單申報平臺的業務邏輯拆分成對應的多個邏輯處理單元；從表單申報平臺的多張單數據庫表中獲取表單數據進行校驗，通過邏輯處理單元對校驗后的表單數據進行處理得到待存儲數據；從表單申報平臺獲取當前并發數，根據當前并發數判斷表單申報平臺是否出現高并發狀況；若是，將數據存儲方式設置為第一模式；若否，將數據存儲方式設置為第二模式。本發明的數據處理及存儲方法，提升了數據處理的效率并保證了數據一致性和可靠性。本發明還涉及區塊鏈領域，所述單數據庫表可存儲在區塊鏈節點中。

技術領域

本發明涉及數據處理技術領域，尤其涉及一種數據處理及存儲方法、電子裝置及計算機可讀存儲介質。

背景技術

在流程申報場景中，用戶通常需要填寫多張表單進行申報。例如農業漁牧業的扶持計劃申報，需要填寫40多張表單。表單申報平臺需要對大量表單數據進行校驗并根據表單數據進行業務邏輯的流程處理，并將處理完成得到的業務數據存儲到數據庫。在出現大量用戶進行申報的情況下，即表單申報平臺出現高并發的狀況下，由于表單數據較多，且不同的表單數據均需要進行對應的數據處理，容易出現數據處理鏈路較長、與數據庫交互次數較多、超長事務從而導致的事務超時。

對于上述問題，現有技術中通常采用將服務進行微服務化，同時對性能瓶頸點進行擴容，通過不斷的增加硬件成本來解決性能問題。擴容可以解決大部分問題，但卻增加了部署的成本。另外，現有技術中還有一種方案是通過將大的事務分解成小的事務，即通過多次填寫少量表單進行多次申報，以防止超長事務導致的事務超時。但這種方案大大增加了表單申報平臺的復雜度，且各個小的事務之間有一定的關聯關系，在多次提交數據進行落庫的過程中容易出現錯漏導致無法保持事務一致性。

發明內容

鑒于以上內容，有必要提供一種數據處理及存儲方法，用于高效地處理表單數據，并保持數據存儲的一致性。

本發明提供的數據處理及存儲方法，包括：

根據表單申報平臺中每張單數據庫表對應的業務邏輯，將所述表單申報平臺的業務邏輯拆分成對應的多個對單數據庫表進行處理的邏輯處理單元；

從所述表單申報平臺的多張單數據庫表中獲取表單數據，對所述表單數據進行校驗，通過所述邏輯處理單元對校驗后的表單數據進行處理得到待存儲數據；

從所述表單申報平臺獲取當前并發數，根據所述當前并發數判斷所述表單申報平臺是否出現高并發狀況；

若是，通過預設的動態切換算法將所述待存儲數據的數據存儲方式設置為第一模式，將所述待存儲數據先緩存到第一數據庫，并在緩存完成后，將所述待存儲數據從所述第一數據庫轉移存儲到第二數據庫；

若否，通過所述動態切換算法將所述待存儲數據的數據存儲方式設置為第二模式，將所述待存儲數據直接存儲到所述第二數據庫。

可選地，所述對所述表單數據進行校驗包括：

檢測所述表單數據是否為預設的格式，若是，則校驗通過；若否，則校驗失敗，提示錯誤及該表單數據的格式規范。

可選地，所述通過所述邏輯處理單元對校驗后的表單數據進行處理得到待存儲數據，包括：

同時調用所有邏輯處理單元，每個邏輯處理單元從對應的單數據庫表提取校驗后的表單數據并根據業務邏輯進行處理得到待存儲數據。

可選地，該方法還包括：

在系統配置文件中設置數據存儲方式切換開關，當判斷所述數據存儲方式切換開關的值為true時，將所述待存儲數據的數據存儲方式設置為第一模式；所述數據存儲方式切換開關的值為false時，將所述待存儲數據的數據存儲方式設置為第二模式。