[發明專利]私有集群版高精地圖數據處理系統

在審

• 申請號: 202011128255.8
• 申請日: 2020-10-21
• 公開（公告）號: CN112363798A
• 公開（公告）日: 2021-02-12
• 發明（設計）人: 鄒亮;董犖;葉如銳;田偉森
• 申請（專利權）人: 高深智圖（廣州）科技有限公司
• 主分類號: G06F9/455
• 分類號: G06F9/455
• 代理公司: 新余市渝星知識產權代理事務所(普通合伙) 36124
• 代理人: 張瑜生

本發明公開了私有集群版高精地圖數據處理系統，其特征在于，包括服務器，所述服務器采用KVM對物理服務器進行虛擬化，最少可以只用3臺服務器就能劃分出11臺虛擬機，11臺虛擬機包括Ambari主從服務器，負載均衡服務器，鏡像倉庫，域名服務器，文件服務器，Kubernetes主從服務器和中間件服務，包括激光雷達，攝像頭，GPS/IMU采集的原始數據，通過平臺抽象層對私有集群和云計算平臺進行調度和控制，平臺抽象層把單機任務和大數據處理任務分別分布到Kubernetes集群和Hadoop/Spark集群進行處理；本發明采用KVM對物理服務器進行虛擬化，最少可以只用3臺服務器就能劃分出上述11臺虛擬機，且本發明中的私有集群是一個獨立的集群，加快了內網下載軟件安裝包和鏡像速度。

技術領域

本發明涉及自動駕駛高精地圖和定位技術領域，同時涵蓋了導航和測繪領域，尤其涉及私有集群版高精地圖數據處理系統。

背景技術

高精地圖是無人駕駛技術中不可或缺的重要組成部分。高精度地圖的生成需要用到多種傳感器包括激光雷達、攝像頭和GPS/IMU，由于圖像，激光雷達點云的原始數據較大，需要處理的數據量很大。因此一般的處理方式是利用云計算平臺進行分布式數據處理。而有些制圖項目對數據安全和保密有較高的要求，因此無法在云計算平臺進行數據處理。在此背景下，本發明設計了一個運行在私有集群上的高精度地圖處理系統。集群需要多種服務器將至少需要11臺物理服務器，內網下載軟件安裝包和鏡像速度過慢，擴容時，需要手動初始化安裝并配置新增的服務器需要大量時間和人力成本，因此，亟需設計私有集群版高精地圖數據處理系統來解決上述問題。

發明內容

本發明的目的是為了解決現有技術中存在的缺點，而提出的私有集群版高精地圖數據處理系統。

為了實現上述目的，本發明采用了如下技術方案：

私有集群版高精地圖數據處理系統，其特征在于，包括服務器，所述服務器采用KVM對物理服務器進行虛擬化，最少可以只用3臺服務器就能劃分出11臺虛擬機，11臺虛擬機包括Ambari主從服務器，負載均衡服務器，鏡像倉庫，域名服務器，文件服務器，Kubernetes主從服務器和中間件服務，包括激光雷達，攝像頭，GPS/IMU采集的原始數據，通過平臺抽象層對私有集群和云計算平臺進行調度和控制，平臺抽象層把單機任務和大數據處理任務分別分布到Kubernetes集群和Hadoop/Spark集群進行處理；存儲解決方案為在云服務中對象存儲被大量使用，因此對象存儲也作為私有集群的主要數據存儲方式，Minio+Rook+Ceph來提供對象存儲服務。

進一步地，所述系統中服務器劃分和擴容分為：至少3臺服務器組成集群，服務器用KVM分割成，Ambari主從服務器，Kubernetes主、節點服務器，安裝源服務器，鏡像倉庫，負載均衡服務器，域名服務器，文件服務器，將本項目部署相關的代碼組織成一組Ansible的腳本。

進一步地，所述平臺抽象層的處理流程中的任務分為兩種，單機任務，大數據處理任務，單機任務在Kubernetes集群中通過啟動容器的方式運行。分布式大數據處理任務，運行Hadoop/Spark集群中。

進一步地，所述私有集群通過部署集群內部的安裝源服務器，鏡像倉庫，將所需的軟件安裝包都預先拷貝到安裝源服務器上，鏡像預先同步到鏡像倉庫中，這樣不論是初始化安裝部署整個集群環境還是高精度地圖數據處理都可以實現在沒有外網連接的條件下進行。

進一步地，所述服務器將本項目部署相關的代碼組織成一組Ansible的腳本，可以在不同的集群上自動化部署，對集群進行擴縮容。