[發明專利]一種大規模數據共享方法、裝置及存儲介質

在審

• 申請號: 202110337488.7
• 申請日: 2021-03-30
• 公開（公告）號: CN112732467A
• 公開（公告）日: 2021-04-30
• 發明（設計）人: 魏強;歐陽喜舟;劉少凱
• 申請（專利權）人: 北京浩瀚深度信息技術股份有限公司
• 主分類號: G06F9/54
• 分類號: G06F9/54;G06F16/25;G06F16/28
• 代理公司: 北京沁優知識產權代理有限公司 11684
• 代理人: 王麗君

1.一種大規模數據共享方法，其特征在于，包括以下步驟：

共享數據接收，連接至少一個數據源，從數據源中接收原始數據；

共享層構建，將接收到的原始數據進行存儲，構建所述共享層；

數據共享，接收數據傳輸請求，響應于所述數據傳輸請求，從所述共享層中輸出數據，

所述數據共享的步驟還包括：策略管理，請求方能夠對所述共享層進行操作，在所述共享層中備案的請求方，同時備案有禁用操作集，判斷所述請求方的操作是否被記錄在禁用操作集中，若是，則不對該操作進行響應。

2.根據權利要求1所述的大規模數據共享方法，其特征在于：

若所述請求方在單位時間內持續使用同一禁用操作；

判斷在單位時間內持續使用同一禁用操作的操作次數是否大于警告閾值；

若是，則向該所述請求方發送操作警報；

若否，則不予警報。

3.根據權利要求1或2所述的大規模數據共享方法，其特征在于：所述共享層構建的步驟還包括數據預處理，所述數據預處理的步驟包括：

數據溯源，接收所述原始數據的五元組數據，根據所述五元組數據中的IP地址得出對于對應的數據地址，記錄所述數據地址；

數據格式統一，將接收到的原始數據進行處理，統一數據格式；

業務ID矯正，相同的所述數據源設置有相同的業務ID，對同一數據源的業務ID進行統一。

4.根據權利要求3所述的大規模數據共享方法，其特征在于：所述數據預處理的步驟還包括業務寬表生成：所述業務寬表生成步驟包括，合并從不同數據源接收的原始數據的相同部分，生成表格。

5.根據權利要求4所述的大規模數據共享方法，其特征在于：所述共享層構建的步驟還包括數據存儲，所述共享層包括至少一個存儲部，所述存儲部包括但不限于HDFS存儲部、kafka存儲部、MPP存儲部和ElasticSearch存儲部。

6.根據權利要求5所述的大規模數據共享方法，其特征在于：所述數據共享的步驟還包括：

租戶管理，判斷所述數據傳輸請求的請求方是否在所述共享層中備案，若沒有備案則對該數據傳輸請求不予響應；

權限管理，在所述共享層中備案的請求方，同時備案有可用權限，所述可用權限為該請求方能夠操作的存儲部及該存儲部下的子存儲部，判斷所述數據傳輸請求所請求的數據是否在可用權限內，若不在，則不予提供該數據傳輸請求所請求的數據。

7.根據權利要求2或6所述的大規模數據共享方法，其特征在于：若向該請求方發送操作警報后的單位時間內，該請求方持續使用同一禁用操作的操作次數再次大于警告閾值的，則禁用該請求方使用該禁用操作操作對應數據庫的使用權限。

8.根據權利要求7所述的大規模數據共享方法，其特征在于：所述大規模數據共享方法還包括：日志記錄，所述日志中記錄有對所述共享層操作記錄，所述操作記錄包括對數據傳輸請求進行記錄，并保存。

9.一種大規模數據共享裝置，其特征在于，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述程序時實現如權利要求1-8任一項所述的大規模數據共享方法。

10.一種存儲介質，其特征在于，所述存儲介質包括一個或多個程序，所述一個或多個程序可以被處理器執行以完成如權利要求1-8任一項所述的大規模數據共享方法。