[發明專利]一種基于大數據的決策方法和系統

在審

• 申請號: 201410398787.1
• 申請日: 2014-08-13
• 公開（公告）號: CN104123395A
• 公開（公告）日: 2014-10-29
• 發明（設計）人: 程恒炎;高偉;李登彪;陳燁
• 申請（專利權）人: 北京賽科世紀數碼科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王寶筠

1.一種基于大數據的決策方法，其特征在于，包括：

基于用戶依據其業務需求所設置的采集規則，從數據源中獲取相應的原始數據，并將所述原始數據作為待分類數據，所述采集規則包含預先集成的各采集因素的用戶設置信息；

利用預先建立的分類模型結合用戶依據其業務需求設置的輔助信息對所述待分類數據進行分類，得到各個類別的數據，并將所述各個類別的數據中與用戶的業務需求相對應的類別的數據作為目標數據；

基于用戶依據其業務需求所設置的決策規則對所述目標數據進行處理和決策，得出決策結果，所述決策規則包含預先集成的各決策因素的用戶設置信息。

2.根據權利要求1所述的方法，其特征在于，所述采集因素包括行業類型、數據關鍵字、數據相似度、反監控策略及數據抓取策略，所述行業類型包括資訊、娛樂、財經、教育、醫療、體育、汽車、時尚、科技、房產。

3.根據權利要求1所述的方法，其特征在于，所述決策因素包含關聯規則策略、決策目的、決策成本和決策耗時，其中，所述關聯規則策略包含關鍵參量之間的支持度和置信度，所述關鍵參量由用戶依據其業務需求而定。

4.根據權利要求1所述的方法，其特征在于，所述輔助信息包括分類方法和分類角度，所述分類方法包括決策樹分類、貝葉斯分類、神經網絡分類。

5.根據權利要求1所述的方法，其特征在于，還包括:

對所述原始數據進行選樣，利用所選出的樣本數據，對所述分類模型進行驗證，并在驗證結果未達到期望目標時，依據所述驗證結果對所述分類模型進行調整。

6.根據權利要求1所述的方法，其特征在于，還包括:

利用設定的預處理規則對所述原始數據進行預處理，并將經過預處理的數據作為新的待分類數據，所述預處理規則包含至少一個設定了操作方式的預處理操作，某一預處理操作的操作方式由用戶基于預先集成的所述預處理操作的操作方式集設置而定。

7.根據權利要求6所述的方法，其特征在于，所述預處理包括：數據清理、數據集成、數據轉換、數據歸約和壓縮，其中：

所述數據清理，包括填寫空缺值，平滑噪聲數據，識別、刪除孤立點；

所述數據集成，包括將數據集成多個數據庫、數據立方體或文件；

所述數據轉換，包括數據的規范化和聚集。

8.根據權利要求1所述的方法，其特征在于，還包括依據用戶的業務需求對所述原始數據進行如下分類存儲：

將不需要實時分析的數據以文件的形式通過分布式系統基礎架構Hadoop的分布式文件系統HDFS進行分布式存儲；

將需要實時分析的數據通過面向文檔存儲的數據庫MongoDB或關系型數據庫進行存儲。

9.根據權利要求1所述的方法，其特征在于，采用數據爬蟲技術實現從數據源中獲取原始數據。

10.一種基于大數據的決策系統，其特征在于，包括獲取模塊、分類模塊和決策模塊，其中：

所述獲取模塊，用于基于用戶依據其業務需求所設置的采集規則，從數據源中獲取相應的原始數據，并將所述原始數據作為待分類數據，所述采集規則包含預先集成的各采集因素的用戶設置信息；

所述分類模塊，用于利用預先建立的分類模型結合用戶依據其業務需求設置的輔助信息對所述待分類數據進行分類，得到各個類別的數據，并將所述各個類別的數據中與用戶的業務需求相對應的類別的數據作為目標數據；

所述決策模塊，用于基于用戶依據其業務需求所設置的決策規則對所述目標數據進行處理和決策，得出決策結果，所述決策規則包含預先集成的各決策因素的用戶設置信息。

11.根據權利要求10所述的系統，其特征在于，還包括：

選樣和驗證模塊，用于對所述原始數據進行選樣，利用所選出的樣本數據，對所述分類模型進行驗證，并在驗證結果未達到期望目標時，依據所述驗證結果對所述分類模型進行調整。

12.根據權利要求10所述的系統，其特征在于，還包括：

預處理模塊，用于利用設定的預處理規則對所述原始數據進行預處理，并將經過預處理的數據作為新的待分類數據，所述預處理規則包含至少一個設定了操作方式的預處理操作，某一預處理操作的操作方式由用戶基于預先集成的所述預處理操作的操作方式集設置而定。

13.根據權利要求10所述的系統，其特征在于，還包括：

分類存儲模塊，用于依據用戶的業務需求對所述原始數據進行如下分類存儲：將不需要實時分析的數據以文件的形式通過分布式系統基礎架構Hadoop的分布式文件系統HDFS進行分布式存儲；需要實時分析的數據通過面向文檔存儲的數據庫MongoDB或關系型數據庫進行存儲。