[發明專利]一種機器學習和人工智能應用一體機部署方法

在審

• 申請號: 201710881113.0
• 申請日: 2017-09-26
• 公開（公告）號: CN107733696A
• 公開（公告）日: 2018-02-23
• 發明（設計）人: 李云鵬;倪嶺;任義龍;張建;劉偉佳;趙志強
• 申請（專利權）人: 南京天數信息科技有限公司
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04L29/06;H04L29/08;G06F17/30
• 代理公司: 南京鐘山專利代理有限公司32252
• 代理人: 戴朝榮

1.一種機器學習和人工智能應用一體機部署方法，其特征在于，包括以下步驟：

步驟一，將數據存儲和數據處理進行隔離，采用高可擴展性的Shared-Nothing架構搭建整體系統架構，所述系統架構在邏輯上分為應用層、計算層和存儲層，并且應用層、計算層和存儲層都采用分布式架構；

步驟二，組建網絡架構，網絡構架分為單機架組網拓撲或多機架組網拓撲，所述網絡架構在邏輯上劃分為外部網、管理網、計算網和存儲網；

步驟三，對系統的擴展性進行優化設計。

2.根據權利要求1所述的一種機器學習和人工智能應用一體機部署方法，其特征在于，步驟一中，所述應用層根據實際需要配置不同數量的應用節點；所述計算層根據實際需要配置不同數量的計算節點；所述存儲層根據實際需要配置不同數量的存儲節點。

3.根據權利要求2所述的一種機器學習和人工智能應用一體機部署方法，其特征在于，所述計算節點配置如下軟件棧：

a.支持多種編程語言；

b.提供用于機器學習及深度學習的API；

c.集成了深度學習框架TensorFlow；

d.集成了優化過的分布式計算框架Spark；

e.集成了優化過的分布式內存文件系統Alluxio來加速數據讀寫；

f.集成了優化過的RDMA特性。

4.根據權利要求2所述的一種機器學習和人工智能應用一體機部署方法，其特征在于，所述存儲節點提供數據庫和通用型文件系統兩種存儲服務；所述數據庫包括關系型數據庫PostgreSQL和時序型數據庫，所述關系型數據庫PostgreSQL采用HAWQ分布式構架，所述時序型數據庫采用OpenTSDB+Hase分布式構架；所述通用型文件系統采用HDFS+Ceph混合結構，HAQW底層采用HDFS。

5.根據權利要求2所述的一種機器學習和人工智能應用一體機部署方法，其特征在于，所述應用節點上部署外部網網卡和管理網網卡，所述計算節點上部署管理網網卡和計算存儲網網卡，所述存儲節點上部署管理網網卡和計算存儲網網卡。

6.根據權利要求1～5中任一項所述的一種機器學習和人工智能應用一體機部署方法，其特征在于，步驟二中所述單機架組網拓撲包含一個機架，組建方法為：

配備一臺以太網交換機，所述以太網交換機的端口數大于或等于機架內的總節點數；

配備一臺計算存儲網交換機，所述計算存儲網交換機的端口數大于或等于機架內的總節點數；

配備一臺外部網交換機。

7.根據權利要求1～5中任一項所述的一種機器學習和人工智能應用一體機部署方法，其特征在于，步驟二中所述多機架組網拓撲包含多個機架，組建方法為：

每個機架配備一臺以太網交換機，所述以太網交換機的端口數大于機架內的總節點數，并為連接其他機架預留端口；

每個機架配備一臺計算存儲網交換機，所述計算存儲網交換機的端口數大于機架內的總節點數，并為連接其他機架預留端口；

配備合適數量的外部網交換機；

配備核心交換機，各個機架的管理網交換機采用簡單樹形連接到所述核心交換機上。

8.根據權利要求7所述的一種機器學習和人工智能應用一體機部署方法，其特征在于，所述計算存儲網交換機為InfiniBand交換機，各個機架的InfiniBand交換機連接多個所述核心交換機組成胖樹結構。

9.根據權利要求2～5中任一項所述的一種機器學習和人工智能應用一體機部署方法，其特征在于，步驟一中所述對系統的擴展性進行優化設計的具體步驟如下：

采用橫向擴展架構提高性能；

采用分層架構增加存儲容量。

10.根據權利要求9所述的一種機器學習和人工智能應用一體機部署方法，其特征在于，所述采用橫向擴展架構提高性能的步驟為：

增加所述計算層中的計算節點數；

增加適量的網絡交換機。