[發明專利]AI芯片高速傳輸架構、AI運算板卡及服務器

在審

• 申請號: 201810205669.2
• 申請日: 2018-03-13
• 公開（公告）號: CN108304341A
• 公開（公告）日: 2018-07-20
• 發明（設計）人: 梁思達;范靖;李超
• 申請（專利權）人: 算豐科技（北京）有限公司
• 主分類號: G06F13/42
• 分類號: G06F13/42;G06F13/38;G06F13/40
• 代理公司: 北京智信四方知識產權代理有限公司 11519
• 代理人: 劉真

本發明實施例公開了一種AI芯片高速傳輸架構、AI運算板卡及服務器。該AI芯片高速傳輸架構利用板間高速連接器和高速差分串行SERDES鏈路實現了多個AI芯片的雙向高速串行互連。本發明實施例實現了AI運算板卡的硬件算力可靈活配置，極大地提升了AI運算板卡的數據傳輸可靠性和運算處理性能。

技術領域

本發明涉及芯片數據傳輸技術，特別是涉及一種AI芯片高速傳輸架構、AI運算板卡及服務器。

背景技術

隨著互聯網和信息行業的快速發展，各種聲音、圖像、視頻數據均呈井噴式的發展，大數據處理已經逐步取代傳統的人工數據處理。通過對大數據的分析和處理，可以對安全管理、身體健康、乃至發現創新等等各方面都帶來前所未有的突破。大數據分析和處理所帶來的需求引發了人工智能AI芯片的快速發展，而人工智能技術的應用也使得大數據分析處理能力得到再一次飛躍。

深度學習技術引發了人工智能應用的高速發展，引領人類由信息時代進入智能時代。深度學習本質是一種機器學習技術，需要強大的硬件計算能力，來完成大規模數據的復雜數據處理和運算。對于如此龐大的數據處理和運算，現有的人工智能解決方案中，采用專用的AI芯片執行深度學習運算，但是即使單個超高性能的AI芯片，其處理能力也遠遠達不到運算需求。為了滿足大規模數據的處理需求，技術人員開始使用多個AI芯片組成計算集群來構建AI運算板卡，從而構成深度學習服務器系統，極大地提升了深度學習的運算處理能力。

然而，對于多個AI芯片互連構成的AI運算板卡而言，超高的數據吞吐量對于AI芯片的數據傳輸帶寬帶來了重大的挑戰，如何提高芯片與芯片之間的傳輸帶寬，同時又保證數據傳輸的精確可靠性，成為了實現AI芯片互連通信的關鍵問題。

發明內容

為了解決上述問題，根據本發明的一個方面，提出一種AI芯片高速傳輸架構，所述AI芯片高速傳輸架構包括多個AI芯片和多個高速連接器，所述AI芯片包括兩個SERDES接口，相鄰的兩個AI芯片通過SERDES接口耦接高速連接器實現互連，構成雙向串行互連架構；所述AI芯片的兩個SERDES接口中的一個用于與上一級AI芯片進行數據通信，另一個用于與下一級AI芯片進行數據通信。

在一些實施方式中，所述高速連接器是可插撥的高速信號連接器。

在一些實施方式中，所述高速連接器包括EdgeLine CoEdge連接器。

在一些實施方式中，所述AI芯片包括ASIC處理芯片。

在一些實施方式中，所述AI芯片包括張量處理單元TPU。

在一些實施方式中，所述SERDES接口包括上行方向和下行方向的傳輸通道。

在一些實施方式中，所述上行方向和下行方向的傳輸通道分別包括20路傳輸通道。

在一些實施方式中，所述傳輸通道的單通道傳輸速率為10Gbps。

根據本發明的另一個方面，提出一種AI運算板卡，所述AI運算板卡包括PCIE接口、接口橋接電路以及前述任一實施例所述的AI芯片高速傳輸架構；所述PCIE接口用于連接主機PCIE插槽，所述接口橋接電路一端耦接所述PCIE接口，另一端通過高速連接器連接至所述AI芯片高速傳輸架構，用于將PCIE接口轉換為與所述AI芯片高速傳輸架構適配的SERDES接口；還包括分別對所述AI芯片高速傳輸架構中多個AI芯片進行供電的多個電源管理模塊。

在一些實施方式中，所述PCIE接口用于將主機CPU發送的待運算數據轉發給所述接口橋接電路。

在一些實施方式中，所述接口橋接電路用于將主機發送的待運算數據經由SERDES接口發送給所述AI芯片高速傳輸架構中多個AI芯片進行運算處理。

在一些實施方式中，所述接口橋接電路還用于接收所述多個AI芯片返回的運算結果數據，并經由PCIE接口傳輸給主機CPU。