[發明專利]基于大數據開發命令集的開發框架

在審

• 申請號: 201810894669.8
• 申請日: 2018-08-08
• 公開（公告）號: CN109062551A
• 公開（公告）日: 2018-12-21
• 發明（設計）人: 孫燕群;湯連杰
• 申請（專利權）人: 青島大快搜索計算技術股份有限公司
• 主分類號: G06F8/20
• 分類號: G06F8/20;G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于大數據開發命令集的開發框架，其包括：

將大數據開發中應用程序、指令中通用的、重復使用的基礎代碼、算法封裝為類庫；

獲取開發人員調用類的名稱；

根據開發人員調用類的名稱，將開發大數據相關應用程序、指令以類庫中類的方式反饋給開發人員。

2.如權利要求1所述的基于大數據開發命令集的開發框架，其特征在于，

所述類庫為開放式結構，并在類庫中預留新增類的接口。

3.如權利要求2所述的基于大數據開發命令集的開發框架，其特征在于，所述類庫包括：

數據源與SQL引擎模塊：實現關系型數據庫、本地文件與大數據平臺非關系型數據庫之間的數據導入導出，以及實現SQL引擎功能；

數據采集模塊：實現采集互聯網、關系型數據庫、本地文件中的數據，并將其存儲至大數據平臺；

數據處理模塊：實現根據用戶的需求對大數據平臺里的數據清洗成規定的格式并進行統計、分析；

機器學習算法模塊：實現分析大數據平臺內數據之間的關聯、數據的分類、以及根據數據之間已有的關聯分析新的數據關系；

自然語言處理模塊：實現大數據平臺中數據中自然語言的處理工作包括進行文章摘要，語義判別以及提高內容檢索的精度及有效性；

搜索引擎模塊：實現根據用戶的請求提供數據檢索服務，并將檢索結果展示給用戶。

4.如權利要求3所述的基于大數據開發命令集的開發框架，其特征在于，

所述數據源與SQL引擎模塊包括：

關系型數據庫數據導入導出單元，用于將外部數據源導入大數據平臺或者將大數據平臺中數據導出至外部數據源；外部數據源包括Oracle數據庫、mySQL數據庫、SQLServer數據庫；

關系型數據庫數據導入導出單元包括：關系型數據庫數據導出子單元以及關系型數據庫數據導入子單元；

關系型數據庫數據導出子單元，用于從關系型數據庫某個表導入數據到非關系型數據庫NOSQL；

關系型數據庫數據導入子單元，用于從非關系型數據庫某個表導出數據到關系型數據庫；

本地文件數據導入導出單元，用于將本地文件數據導入大數據平臺或者將大數據平臺中數據導出至本地文件；

本地文件數據導入導出單元包括本地文件數據導入子單元以及本地文件數據導出子單元；

本地文件數據導入子單元，用于將本地文件組和/或單個文件導入到非關系型數據庫NOSQL；

本地文件數據導出子單元，用于從NOSQL導出數據到本地文件，文件類型TXT，文件存儲目錄為單一目錄；

SQL引擎單元，用于處理表之間的復雜操作和sql類的數據統計查詢；

SQL引擎單元包括NOSQL數據庫連接子單元、HIVE數據表建立子單元、HIVE數據表追加子單元；

NOSQL數據庫連接子單元，用于通過connectionNOSQL方法連接大數據平臺的NOSQL數據庫；

HIVE數據表建立子單元，用于利用createTable方法在HIVE中建立特定格式的數據表；

HIVE數據表追加子單元，用于利用loadData方法將Linux平臺中指定目錄中符合格式的數據，導入到指定的HIVE表中，數據格式要和創建表時指定的格式相同。