[發明專利]一種大規模數據共享方法、裝置及存儲介質

在審

• 申請號: 202110337488.7
• 申請日: 2021-03-30
• 公開（公告）號: CN112732467A
• 公開（公告）日: 2021-04-30
• 發明（設計）人: 魏強;歐陽喜舟;劉少凱
• 申請（專利權）人: 北京浩瀚深度信息技術股份有限公司
• 主分類號: G06F9/54
• 分類號: G06F9/54;G06F16/25;G06F16/28
• 代理公司: 北京沁優知識產權代理有限公司 11684
• 代理人: 王麗君

本申請提供了一種大規模數據共享方法、裝置及存儲介質，所述大規模數據共享方法，包括以下步驟：共享數據接收，連接至少一個數據源，從數據源中接收原始數據；共享層構建，將接收到的原始數據進行存儲，構建所述共享層；數據共享，接收數據傳輸請求，響應于所述數據傳輸請求，從所述共享層中輸出數據。所述數據源可以為電信運營商中的各個部門，將所述數據源的數據構建為共享層，當需要使用共享層中的數據時，根據數據傳輸請求從共享層中傳輸對應數據，使各部門之間數據互通，解決了數據孤島問題，且提高了數據利用效率。

技術領域

本申請涉及計算機技術領域，尤其涉及一種大規模數據共享方法、裝置及存儲介質。

背景技術

大數據時代的到來，對于電信運營商而言，增加了許多可提高的方向。而且電信各部門對數據的依賴性也與日俱增，各部門通過建設大數據平臺，對大數數據進行分析和應用的開發，使得管理水平和運營效率得到了顯著提高。

但是一個電信運營商里往往存在眾多部門，各部門均存在各自的運營數據，每個部門會對自己部分的運營數據進行處理，并存儲為各自的數據庫，但是運營商部門各自為政，部門之間的數據并不互通，彼此之間的數據不能共享，形成數據孤島，數據利用效率低。

因此，本領域亟需一種大規模數據共享方法、裝置及存儲介質。

因此，有鑒于此，提出本申請。

發明內容

本申請的目的在于提供一種大規模數據共享方法、裝置及存儲介質，使各部門之間數據互通，提高數據利用效率。

本申請的第一方面提供了一種大規模數據共享方法，包括以下步驟：

共享數據接收，連接至少一個數據源，從數據源中接收原始數據；

共享層構建，將接收到的原始數據進行存儲，構建所述共享層；

數據共享，接收數據傳輸請求，響應于所述數據傳輸請求，從所述共享層中輸出數據。

采用上述方案，所述數據源可以為電信運營商中的各個部門，將所述數據源的數據構建為共享層，當需要使用共享層中的數據時，根據數據傳輸請求從共享層中傳輸對應數據，使各部門之間數據互通，解決了數據孤島問題，且提高了數據利用效率。

進一步地，所述數據源可以為電信運營商中的各個部門，也可以為公司中的各個部門。

進一步地，所述共享數據接收步驟為通過數據出口從數據源中接收原始數據，所述數據出口包括但不限于第三方數據出口、省網出口、Cache出口、IDC出口或城域網出口。

采用上述方案，從多種接口中接收數據，提高數據全面性。

進一步地，所述共享層構建的步驟還包括數據預處理，所述數據預處理的步驟包括：

數據溯源，接收所述原始數據的五元組數據，根據所述五元組數據中的IP地址得出對于對應的數據地址，記錄所述數據地址；

數據格式統一，將接收到的原始數據進行處理，統一數據格式；

業務ID矯正，相同的所述數據源設置有相同的業務ID，對同一數據源的業務ID進行統一。

采用上述方案，所述數據溯源步驟通過IP地址得出數據地址，并記錄，便于后期查找數據地址；所述數據格式統一為接收到的不同格式的原始數據進行處理，便于對數據進行統一存儲；所述業務ID矯正為相同的所述數據源對應相同的業務ID，解決了后期難以溯源的問題。

優選地，所述數據預處理的步驟還包括數據清洗，刪除所述原始數據中的異常數據。

采用上述方案，對異常數據進行刪除，所述異常數據可以為數據大小異常或者數據長度異常的數據，降低存儲壓力。

進一步地，所述數據預處理的步驟還包括業務寬表生成：所述業務寬表生成步驟包括，合并從不同數據源接收的原始數據的相同部分，生成表格。