[發明專利]一種基于文檔數據庫的數據處理方法

有效

• 申請號: 202010822510.2
• 申請日: 2020-08-17
• 公開（公告）號: CN111737268B
• 公開（公告）日: 2021-01-01
• 發明（設計）人: 謝智;謝乾;王吉;龔彬;周國棟;鄧鋅強;吳大超
• 申請（專利權）人: 南京百敖軟件有限公司;江蘇卓易信息科技股份有限公司;昆山百敖電子科技有限公司;上海百之敖信息科技有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2457;G06F16/25;G06F16/28
• 代理公司: 宜興知初知識產權代理事務所(普通合伙) 32418
• 代理人: 高春濤

1.一種基于文檔數據庫的數據處理方法，其特征在于：監聽數據庫中文檔集的數據變動，收集增量數據作為一條數據流的輸入源，經過處理節點構成的自動化處理流程，產生新的數據作為數據流的輸出源，所述自動化處理流程是由流處理節點和元數據處理節點組成的鏈式流程，根據自動化處理流程進行初始化，對流和元數據執行處理節點對應的邏輯，產生輸出源，所述流處理節點包括流合并節點、流關聯節點和流過濾節點，所述流合并節點是指定一個新的文檔集的數據流，與原有數據流中元數據的所有字段一一映射后，使兩個數據流的數據格式統一，從而并成一個新的數據流，合并后的數據流的數據量為兩個數據流之和，所述流關聯節點是指定一個新的文檔集，通過與原有數據流中的一個或多個字段進行關聯建立元數據的一對一關系，然后將新的文檔集中的字段作為原數據流的擴充，使原數據流攜帶更多的字段；數據流的輸出源直接與數據庫綁定，存入指定數據庫表中，或者作為新的數據流的輸入源，再次進行處理。

2.根據權利要求1所述的基于文檔數據庫的數據處理方法，其特征在于，包括以下步驟：

S1：對文檔數據庫的文檔集進行監聽，收集有變動的數據，根據變動方式對數據進行標記；

S2：將步驟S1中收集的數據作為一個數據流的輸入源；

S3：為步驟S2中創建的數據流設置自動化處理流程，

S4：由統一的數據流處理中心，根據步驟S3中設置的處理流程進行初始化，對流和元數據執行處理節點對應的邏輯，產生輸出源；S5：步驟S4中產生的輸出源與數據庫綁定，存儲處理結果；或者作為其他數據流的輸入源。

3.根據權利要求2所述的基于文檔數據庫的數據處理方法，其特征在于：步驟S1中，采用監聽器與文檔數據庫建立連接，通過定時輪訓訪問文檔集，通過文檔的創建時間、修改時間和刪除時間判斷是否在輪訓間隔時間內發生變動，并收集變動數據。

4.根據權利要求2所述的基于文檔數據庫的數據處理方法，其特征在于：步驟S2中，所述數據流的輸入源以隊列的形式存儲監聽獲得的變動數據，所述輸入源的存儲隊列中數據根據其變動的類型，在數據上增加標識位用以區分數據是新增、修改或者刪除。

5.根據權利要求1所述的基于文檔數據庫的數據處理方法，其特征在于：所述流過濾節點通過對流中數據一個或多個字段進行判斷，過濾掉不符合判斷的數據，減少數據量。

6.根據權利要求1所述的基于文檔數據庫的數據處理方法，其特征在于：所述元數據處理節點，通過編程語言構成其內部的邏輯運算，其邏輯運算由一系列的數學計算和通用函數組成，在數據流處理中心會對編譯后初始化，對接收到的數據流的元數據執行處理節點的邏輯運算，從而改變元數據。