[發明專利]私有集群版高精地圖數據處理系統

在審

• 申請號: 202011128255.8
• 申請日: 2020-10-21
• 公開（公告）號: CN112363798A
• 公開（公告）日: 2021-02-12
• 發明（設計）人: 鄒亮;董犖;葉如銳;田偉森
• 申請（專利權）人: 高深智圖（廣州）科技有限公司
• 主分類號: G06F9/455
• 分類號: G06F9/455
• 代理公司: 新余市渝星知識產權代理事務所(普通合伙) 36124
• 代理人: 張瑜生

1.私有集群版高精地圖數據處理系統，其特征在于，包括服務器，所述服務器采用KVM對物理服務器進行虛擬化，最少可以只用3臺服務器就能劃分出11臺虛擬機，11臺虛擬機包括Ambari主從服務器，負載均衡服務器，鏡像倉庫，域名服務器，文件服務器，Kubernetes主從服務器和中間件服務，包括激光雷達，攝像頭，GPS/IMU采集的原始數據，通過平臺抽象層對私有集群和云計算平臺進行調度和控制，平臺抽象層把單機任務和大數據處理任務分別分布到Kubernetes集群和Hadoop/Spark集群進行處理；存儲解決方案為在云服務中對象存儲被大量使用，因此對象存儲也作為私有集群的主要數據存儲方式，Minio+Rook+Ceph來提供對象存儲服務。

2.根據權利要求1所述的私有集群版高精地圖數據處理系統，其特征在于，所述系統中服務器劃分和擴容分為：至少3臺服務器組成集群，服務器用KVM分割成，Ambari主從服務器，Kubernetes主、節點服務器，安裝源服務器，鏡像倉庫，負載均衡服務器，域名服務器，文件服務器，將本項目部署相關的代碼組織成一組Ansible的腳本。

3.根據權利要求1所述的私有集群版高精地圖數據處理系統，其特征在于，所述平臺抽象層的處理流程中的任務分為兩種，單機任務，大數據處理任務，單機任務在Kubernetes集群中通過啟動容器的方式運行。分布式大數據處理任務，運行Hadoop/Spark集群中。

4.根據權利要求1所述的私有集群版高精地圖數據處理系統，其特征在于，所述私有集群通過部署集群內部的安裝源服務器，鏡像倉庫，將所需的軟件安裝包都預先拷貝到安裝源服務器上，鏡像預先同步到鏡像倉庫中，這樣不論是初始化安裝部署整個集群環境還是高精度地圖數據處理都可以實現在沒有外網連接的條件下進行。

5.根據權利要求1所述的私有集群版高精地圖數據處理系統，其特征在于，所述服務器將本項目部署相關的代碼組織成一組Ansible的腳本，可以在不同的集群上自動化部署，對集群進行擴縮容。

6.根據權利要求1所述的私有集群版高精地圖數據處理系統，其特征在于，所述Hadoop/Spark集群在Ambari主從服務器上使用Ambari進行自動化部署，提供HDFS，HBase，Yarn，ZooKeeper，MapReduce2，Spark2等服務，自動化部署Kubernetes集群使用開源軟件Kubeasz來安裝Kubernetes集群，Kubeasz基于二進制方式部署和利用Ansible-Playbook實現自動化。

7.根據權利要求1所述的私有集群版高精地圖數據處理系統，其特征在于，所述Minio+Rook+Ceph來提供對象存儲服務，Minio能很好的兼容Aws S3服務，只需要很小的修改就能使數據處理的代碼同時支持云計算平臺和私有集群。

8.根據權利要求1所述的私有集群版高精地圖數據處理系統，其特征在于，所述存儲選擇開源軟件Ceph來提供對象存儲服務，Ceph本身支持多種類型的存儲，包括塊存儲，共享文件系統存儲和對象存儲；選擇開源軟件Rook作為存儲編排器在Kubernetes上部署Ceph的存儲服務；前端選擇開源軟件Minio來提供對象存儲前端支持，包括Web端和Aws S3支持。Minio服務通過Rook-Ceph提供的持久卷來實現數據持久化；數據庫，Kafka，ElasticSearch，Prometheus，Kibana等也基于同樣的設計，通過Rook-Ceph提供的持久卷來實現數據持久化。

9.根據權利要求1所述的私有集群版高精地圖數據處理系統，其特征在于，所述中間件服務為核心服務，用戶區域服務，文件管理服務；核心服務提供與數據處理有關的信息管理功能，包括原始數據的Aws S3存儲路徑，生成的中間結果和最終結果的存儲位置，數據處理的相關配置，數據處理流水線的運行狀態；用戶區域服務提供用戶和地圖區域的相關信息管理功能；文件管理服務，提供數據處理過程中需要用到的程序的可執行文件，庫文件，配置文件的管理功能。