[發明專利]一種機器學習和人工智能應用一體機部署方法

在審

• 申請號: 201710881113.0
• 申請日: 2017-09-26
• 公開（公告）號: CN107733696A
• 公開（公告）日: 2018-02-23
• 發明（設計）人: 李云鵬;倪嶺;任義龍;張建;劉偉佳;趙志強
• 申請（專利權）人: 南京天數信息科技有限公司
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04L29/06;H04L29/08;G06F17/30
• 代理公司: 南京鐘山專利代理有限公司32252
• 代理人: 戴朝榮

技術領域

本發明涉及機器學習和人工智能技術領域，特別涉及一種機器學習和人工智能應用一體機部署方法。

背景技術

人工智能早在上個世紀50年代就被提出，它是控制論、信息論、計算機科學、數理邏輯、神經生理學、心理學、語言學、教育學、醫學、工程技術以及哲學等多種學科相互滲透的交叉學科。人們夢想著用當時剛剛出現的計算機來構造復雜的、擁有與人類智慧同樣本質特性的機器。這個無所不能的機器，它有著我們所有的感知(甚至比人更多)，我們所有的理性，可以像我們一樣思考。機器學習是研究計算機怎樣模擬或實現人類的學習行為，以獲取新的知識或技能，重新組織已有的知識結構使之不斷改善自身的性能。它是人工智能的核心，是使計算機具有智能的根本途徑，其應用遍及人工智能的各個領域。機器學習最基本的做法，是使用算法來解析數據，從中學習，然后對真實世界中的事件做出決策和預測。與傳統的為解決特定任務、硬編碼的軟件程序不同，機器學習是用大量的數據來“訓練”，通過各種算法從數據中學習如何完成任務。

機器學習是人工智能發展中一個十分熱門的領域，機器學習的研究目的，是希望計算機具有像人類一樣從現實世界獲取知識的能力，同時建立學習的計算理論，構造各種學習系統并將其應用到各個領域中去。機器學習研究主要有三個方向，一是以模擬人類的學習過程出發，試圖建立學習的認識生理學模型，這個方向與認知科學的發展密切相關；二是基礎研究，發展各種適合機器特點的學習理論，探討所有可能的學習方法，比較人類學習與機器學習的異同與聯系；三是應用研究，建立各種實用的學習系統或知識獲取輔助工具，在人工智能科學的應用領域建立自動獲取知識系統，積累經驗，完善知識庫與控制知識，進而使機器的智能水平類似于人類。

目前，包括百度和谷歌在內的科技巨頭，2016年在人工智能上的投入在200億至300億美元之間，其中90％投入研發和部署上，還有10％用于人工智能收購。目前的人工智能投資速度3倍于2013年以來的外部投資增長。人工智能發展領域主要集中在高科技/電信、汽車/組裝和金融服務行業。機器學習切實能被用來幫助工業界解決問題，特別是當下的熱點，如深度學習、無人駕駛、人工智能助理等對工業界的影響巨大。

大數據推動了人工智能的發展，同時，人工智能的發展也讓數據產生巨大的價值，成為“智能數據”。人工智能現已應用在各種大數據應用中，如：搜索推薦、購物推薦、語音識別、圖像識別、聊天機器人，智能醫療等等。機器學習和人工智能是在大數據的基礎上不斷發展起來的，為了讓雜亂無章的海量數據產生價值，需要使用復雜的網絡模型對數據進行大量地分析，才能訓練處高準確率的模型，這就需要龐大的計算量，因此計算能力對機器學習和人工智能的發展變的越來越重要。

目前的大數據機器學習算法和人工智能分析應用效率較低，而資源占用率較高。對海量數據的處理速度較慢，并且大量數據在處理過程中對硬件的要求極高，無法滿足數據驅動型企業快速增長的智能計算要求。

發明內容

為解決現有技術的不足，本發明的目的在于提供一種機器學習和人工智能應用一體機部署方法，該方法采用了的專門設計和多種優化技術，使得一體機具有超高計算性能，能夠顯著地加快程序的運行速度，適合應用于大數據環境下的機器學習和人工智能應用。

為了實現上述目標，本發明采用如下的技術方案：一種機器學習和人工智能應用一體機部署方法，其特征在于，包括以下步驟：

步驟一，將數據存儲和數據處理進行隔離，采用高可擴展性的Shared-Nothing架構搭建整體系統架構，所述系統架構在邏輯上分為應用層、計算層和存儲層，并且應用層、計算層和存儲層都采用分布式架構；

步驟二，組建網絡架構，網絡構架分為單機架組網拓撲或多機架組網拓撲，所述網絡架構在邏輯上劃分為外部網、管理網、計算網和存儲網；

步驟三，對系統的擴展性進行優化設計。

進一步地，所述應用層根據實際需要配置不同數量的應用節點；所述計算層根據實際需要配置不同數量的計算節點；所述存儲層根據實際需要配置不同數量的存儲節點。

進一步地，所述計算節點配置如下軟件棧：

支持多種編程語言；

提供用于機器學習及深度學習的API；

集成了深度學習框架TensorFlow；

集成了優化過的分布式計算框架Spark；

集成了優化過的分布式內存文件系統Alluxio來加速數據讀寫；

集成了優化過的RDMA特性。