[發(fā)明專利]一種集裝箱碼頭客戶模型建模方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010096706.8
• 申請(qǐng)日: 2020-02-17
• 公開(kāi)（公告）號(hào): CN111291933A
• 公開(kāi)（公告）日: 2020-06-16
• 發(fā)明（設(shè)計(jì)）人: 陳強(qiáng);劉耀徽;張雪飛;董浩磊;韓曉龍;王東遠(yuǎn);趙彤;張曉
• 申請(qǐng)（專利權(quán)）人: 青島港國(guó)際股份有限公司;青島新前灣集裝箱碼頭有限責(zé)任公司
• 主分類號(hào): G06Q10/04
• 分類號(hào): G06Q10/04;G06Q10/08;G06Q30/02;G06F16/25;G06K9/62
• 代理公司: 青島聯(lián)智專利商標(biāo)事務(wù)所有限公司 37101
• 代理人: 王笑

本發(fā)明公開(kāi)了一種集裝箱碼頭客戶模型建模方法，包括：搭建Spark+Hadoop集群環(huán)境；基于設(shè)定指標(biāo)維度選取客戶群體信息；處理客戶群體信息得到客戶群體數(shù)據(jù)，并對(duì)客戶群體數(shù)據(jù)進(jìn)行歸一化處理；建立聚類模型，在搭建的Spark平臺(tái)上對(duì)所述客戶群體數(shù)據(jù)進(jìn)行聚類分析確定關(guān)注客戶類別，針對(duì)每個(gè)類別的關(guān)注客戶確定客戶關(guān)注度。解決大數(shù)據(jù)背景之下的高維數(shù)據(jù)計(jì)算效率問(wèn)題，幫助集裝箱碼頭識(shí)別不同的客戶群體，達(dá)到優(yōu)化資源配置、降低成本的目的。

技術(shù)領(lǐng)域

本發(fā)明屬于集裝箱碼頭技術(shù)領(lǐng)域，具體地說(shuō)，是涉及一種集裝箱碼頭客戶模型建模方法。

背景技術(shù)

隨著集裝箱碼頭規(guī)模的不斷擴(kuò)大，服務(wù)客戶群體的迅速增多，集裝箱碼頭公司的客戶數(shù)據(jù)信息在急劇增長(zhǎng)，全國(guó)集裝箱碼頭一直在探索利用大數(shù)據(jù)技術(shù)實(shí)現(xiàn)對(duì)碼頭客戶的精細(xì)化管理和細(xì)分，以實(shí)現(xiàn)碼頭客戶資源的高效配置和優(yōu)化。現(xiàn)在全國(guó)集裝箱碼頭客戶信息主要領(lǐng)域集中在客戶信息數(shù)據(jù)庫(kù)及統(tǒng)計(jì)分析系統(tǒng)等領(lǐng)域，但是針對(duì)大數(shù)據(jù)背景下集裝箱碼頭客戶深層次的挖掘與細(xì)分工作少有突破。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種集裝箱碼頭客戶模型建模方法，解決大數(shù)據(jù)背景之下的高維數(shù)據(jù)計(jì)算效率問(wèn)題，幫助集裝箱碼頭識(shí)別不同的客戶群體，達(dá)到優(yōu)化資源配置、降低成本的目的。

為解決上述技術(shù)問(wèn)題，本發(fā)明采用以下技術(shù)方案予以實(shí)現(xiàn)：

提出一種集裝箱碼頭客戶模型建模方法，包括：搭建Spark+Hadoop集群環(huán)境；基于設(shè)定指標(biāo)維度選取客戶群體信息；處理客戶群體信息得到客戶群體數(shù)據(jù)，并對(duì)客戶群體數(shù)據(jù)進(jìn)行歸一化處理；建立聚類模型，在搭建的Spark平臺(tái)上對(duì)所述客戶群體數(shù)據(jù)進(jìn)行聚類分析確定關(guān)注客戶類別，針對(duì)每個(gè)類別的關(guān)注客戶確定客戶關(guān)注度。

進(jìn)一步的，在搭建Spark+Hadoop集群環(huán)境中，包括：所述Spark集群依賴于CDH集群正常工作；以及，在搭建Hadoop集群基礎(chǔ)上搭建YARN資源管理器的Spark分布式集群，基于Hadoop底層的HDFS實(shí)現(xiàn)海量數(shù)據(jù)存儲(chǔ)，基于Spark實(shí)現(xiàn)對(duì)大規(guī)模數(shù)據(jù)的快速分布式計(jì)算。

進(jìn)一步的，基于設(shè)定指標(biāo)維度選取客戶群體信息中，所述設(shè)定指標(biāo)維度包括：基于客戶對(duì)碼頭貢獻(xiàn)的集裝箱吞吐量、客戶對(duì)碼頭貢獻(xiàn)的單箱收入、客戶對(duì)碼頭貢獻(xiàn)收入的增長(zhǎng)率、客戶掛靠碼頭的航線數(shù)量和客戶的欠款額。

進(jìn)一步的，處理客戶群體信息得到客戶群體數(shù)據(jù)，包括：通過(guò)ETL工具對(duì)不同客戶群體信息進(jìn)行過(guò)濾、清洗、轉(zhuǎn)換，得到客戶群體數(shù)據(jù)。

進(jìn)一步的，對(duì)客戶群體數(shù)據(jù)進(jìn)行歸一化處理，包括：采用線性歸一化處理客戶群體數(shù)據(jù)，使得結(jié)果值映射到[0,1]之間。

進(jìn)一步的，建立聚類模型，具體包括：在搭建的Spark集群環(huán)境中將所述不同客戶群體數(shù)據(jù)采用Spark MLlib K-means算法建立Spark MLlib K-means聚類模型。

進(jìn)一步的，在K-means算法中，采用誤差平方和SSE確定最佳聚類數(shù)k；在SparkMLlib K-means中對(duì)初始聚類中心采用隨機(jī)選擇方式得到所需的聚類中心。

與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點(diǎn)和積極效果是：本發(fā)明申請(qǐng)?zhí)岢龅募b箱碼頭客戶模型建模方法，通過(guò)搭建Spark+Hadoop集群模式，實(shí)現(xiàn)海量數(shù)據(jù)的分布式存儲(chǔ)和快速分布式計(jì)算，對(duì)客戶信息細(xì)分效率更快，更有利于高效的進(jìn)行客戶資源配置和優(yōu)化；基于能夠體現(xiàn)客戶價(jià)值的設(shè)定指標(biāo)維度：客戶對(duì)碼頭貢獻(xiàn)的集裝箱吞吐量、客戶對(duì)碼頭貢獻(xiàn)的單箱收入、客戶對(duì)碼頭貢獻(xiàn)收入的增長(zhǎng)率、客戶掛靠碼頭的航線數(shù)量和客戶的欠款額，來(lái)選取客戶群體信息，建模分析不同的客戶群體數(shù)據(jù)，確定重點(diǎn)關(guān)注客戶類別，對(duì)不同的客戶類別給予不同的關(guān)注度，從客戶的“全面把控”到“重點(diǎn)關(guān)注”，保證高效率的資源配置與優(yōu)化，可節(jié)約成本提高收入。

結(jié)合附圖閱讀本發(fā)明實(shí)施方式的詳細(xì)描述后，本發(fā)明的其他特點(diǎn)和優(yōu)點(diǎn)將變得更加清楚。

附圖說(shuō)明