[發(fā)明專(zhuān)利]一種面向制造企業(yè)全系統(tǒng)優(yōu)化設(shè)計(jì)的設(shè)計(jì)資源大數(shù)據(jù)建模方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011049729.X
• 申請(qǐng)日: 2020-09-29
• 公開(kāi)（公告）號(hào): CN112270614A
• 公開(kāi)（公告）日: 2021-01-26
• 發(fā)明（設(shè)計(jì)）人: 任鴻儒;肖毅;魯仁全;徐雍;周琪
• 申請(qǐng)（專(zhuān)利權(quán)）人: 廣東工業(yè)大學(xué)
• 主分類(lèi)號(hào): G06Q50/04
• 分類(lèi)號(hào): G06Q50/04;G06Q10/04;G06K9/62;G06F16/215;G06F16/182
• 代理公司: 廣東廣信君達(dá)律師事務(wù)所 44329
• 代理人: 孔祥健

1.一種面向制造企業(yè)全系統(tǒng)優(yōu)化設(shè)計(jì)的設(shè)計(jì)資源大數(shù)據(jù)建模方法，其特征在于，包括以下步驟：

S1、采集多源異構(gòu)的設(shè)計(jì)資源大數(shù)據(jù)，將其轉(zhuǎn)化為統(tǒng)一格式的結(jié)構(gòu)化數(shù)據(jù)源；

S2、對(duì)采集后的數(shù)據(jù)進(jìn)行清洗處理，去除不符合要求的數(shù)據(jù)；

S3、對(duì)符合要求的數(shù)據(jù)進(jìn)行特征處理；

S4、采用KNN鄰近—logistic回歸組合模型算法對(duì)待分類(lèi)的樣本進(jìn)行分類(lèi)預(yù)測(cè)，以此來(lái)判斷制造企業(yè)中某新產(chǎn)品的設(shè)計(jì)能否在規(guī)定周期內(nèi)完成，并根據(jù)預(yù)測(cè)的結(jié)果，對(duì)涉及設(shè)計(jì)、制造、產(chǎn)品、用戶在內(nèi)的主體的數(shù)據(jù)進(jìn)行優(yōu)化。

2.根據(jù)權(quán)利要求1所述的一種面向制造企業(yè)全系統(tǒng)優(yōu)化設(shè)計(jì)的設(shè)計(jì)資源大數(shù)據(jù)建模方法，其特征在于，所述步驟S1采集多源異構(gòu)的設(shè)計(jì)資源大數(shù)據(jù)，轉(zhuǎn)化統(tǒng)一格式的結(jié)構(gòu)化數(shù)據(jù)源的具體步驟如下：

S1-1、識(shí)別與制造企業(yè)設(shè)計(jì)資源主體有關(guān)的數(shù)據(jù)源及其存儲(chǔ)位置；

S1-2、針對(duì)關(guān)系型數(shù)據(jù)庫(kù)，采用Sqoop技術(shù)配置關(guān)系型數(shù)據(jù)庫(kù)與HDFS之間的數(shù)據(jù)連接，將關(guān)系型數(shù)據(jù)庫(kù)中的數(shù)據(jù)導(dǎo)入Hadoop的HDFS中；

S1-3、針對(duì)文件格式的數(shù)據(jù)，采用MapReduce編程方法解析數(shù)據(jù)文件并將其上傳到HDFS中；

S1-4、基于關(guān)系型模型在Hive中集成前面獲取到的所有主體數(shù)據(jù)；

S1-5、建立結(jié)構(gòu)化主體數(shù)據(jù)集。

3.根據(jù)權(quán)利要求1所述的一種面向制造企業(yè)全系統(tǒng)優(yōu)化設(shè)計(jì)的設(shè)計(jì)資源大數(shù)據(jù)建模方法，其特征在于，所述數(shù)據(jù)清洗包括步驟：

S2-1、數(shù)據(jù)預(yù)處理；

S2-2、去除或補(bǔ)全有缺失的數(shù)據(jù)；

S2-3、去除內(nèi)容有錯(cuò)誤的數(shù)據(jù)；

S2-4、去除邏輯錯(cuò)誤的數(shù)據(jù)；

S2-5、去掉不需要的數(shù)據(jù)；

S2-6、進(jìn)行數(shù)據(jù)關(guān)聯(lián)性驗(yàn)證。

4.根據(jù)權(quán)利要求1所述的一種面向制造企業(yè)全系統(tǒng)優(yōu)化設(shè)計(jì)的設(shè)計(jì)資源大數(shù)據(jù)建模方法，其特征在于，所述特征處理包括步驟：

S3-1、通過(guò)采用信息過(guò)采樣SMOTE方法來(lái)解決正負(fù)樣本不均衡問(wèn)題，并且避免后續(xù)KNN算法和logistic回歸算法存在的因樣本不均衡而造成的預(yù)測(cè)準(zhǔn)確率低的問(wèn)題；

S3-2、通過(guò)方差選擇法來(lái)進(jìn)行特征選擇；

S3-3、通過(guò)主成分分析法對(duì)特征選擇后的特征矩陣維度進(jìn)行降維處理。

5.根據(jù)權(quán)利要求4所述的一種面向制造企業(yè)全系統(tǒng)優(yōu)化設(shè)計(jì)的設(shè)計(jì)資源大數(shù)據(jù)建模方法，其特征在于，所述步驟S3-1的具體過(guò)程如下：

3-1-1)對(duì)于少數(shù)類(lèi)中的每一個(gè)樣本x，利用公式：

求得樣本x到其他少數(shù)類(lèi)樣本y的歐氏距離d；

3-1-2)將多數(shù)類(lèi)樣本數(shù)記為m，將少數(shù)類(lèi)樣本數(shù)記為n，令：

取每一個(gè)樣本x中歐氏距離d最小的k個(gè)其他樣本，作為樣本x的近鄰χ_k；

3-1-3)對(duì)于每個(gè)近鄰x_k，利用隨機(jī)線性插值的方法，在x和x_k中產(chǎn)生新樣例x_n：

x_n＝x+ε|x_k-x|

其中，ε為0-1間的隨機(jī)值；

3-1-4)重復(fù)步驟3-1-3)，直到少數(shù)類(lèi)樣本數(shù)和多數(shù)類(lèi)樣本數(shù)相等或差值不大時(shí)為止。