[發明專利]一種面向真實世界數據的機器學習系統與方法

在審

• 申請號: 202210424439.1
• 申請日: 2022-04-22
• 公開（公告）號: CN114818906A
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 王瑩
• 申請（專利權）人: 深圳市第二人民醫院（深圳市轉化醫學研究院）
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N20/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種面向真實世界數據的機器學習系統與方法，其特征在于，所述系統包括：

數據預處理模塊，通過數據集成、數據治理和數據開發把真實世界數據轉化為可以供機器學習算法使用的數據；

隨機采樣模塊，按照一定的比例從經過數據預處理模塊處理后的數據中抽取樣本；

實驗數據處理模塊，采用干預的方式納入預設規則的各種類別的樣本；

數據平衡處理模塊，通過欠采樣、過采樣或者兩者相結合的方式把樣本類別不平衡的數據實現平衡；

數據拆分模塊，按照預設的比例把數據拆分為訓練數據和測試數據；

機器學習模塊，基于訓練數據通過機器學習算法訓練生成預測模型，并通過預測模型對測試數據進行預測；

評估模塊，評估預測模型的預測結果。

2.一種面向真實世界數據的機器學習方法，其特征在于，所述方法包括：

獲取真實世界數據，并對真實世界數據面向機器學習算法要求做數據預處理；

按照一定比例對預處理后的真實世界數據做隨機采樣，獲得隨機采樣數據；

采用干預的方式從預處理后的真實世界數據中納入樣本類別，獲得實驗數據；

對隨機采樣數據的副本分別使用欠采樣、過采樣和兩者相結合的方式獲得欠采樣平衡數據、過采樣平衡數據和欠采樣與過采樣相結合平衡數據；

數據拆分為訓練數據和測試數據，使用多種機器學習算法依次計算訓練數據生成相應的預測模型，分別使用預測模型對測試數據進行預測，并評估預測水平和對比預測結果；

根據所述對比結果選擇預測水平最佳的機器學習算法和預測模型。

3.根據權利要求2所述的一種面向真實世界數據的機器學習方法，其特征在于，

在大數據平臺或數據操作平臺對多源異構的真實世界數據進行數據集成，對集成后的數據進行數據治理和數據開發，包括不限于數據結構轉換、數據類型轉換、數據清洗、數據缺失值填充和數據歸一化等環節;真實世界數據經過預處理符合機器學習算法的要求。

4.根據權利要求2所述的一種面向真實世界的機器學習方法，其特征在于，

按照實驗要求獲得實驗數據；

按照一定的比例獲得隨機采樣數據；

隨機采樣數據的3個副本分別使用欠采樣、過采樣和欠采樣與過采樣相結合的方式獲得欠采樣平衡數據、過采樣平衡數據和欠采樣與過采樣相結合平衡數據。

5.根據權利要求2所述的一種面向真實世界數據的機器學習方法，其特征在于，

實驗數據拆分為實驗訓練數據和實驗測試數據；

隨機采樣數據的一個副本拆分為隨機采樣訓練數據和隨機采樣測試數據；

欠采樣平衡數據拆分為欠采樣平衡數據訓練數據和欠采樣平衡數據測試數據；

過采樣平衡數據拆分為過采樣平衡數據訓練數據和過采樣平衡數據測試數據；

欠采樣與過采樣結合平衡數據拆分為欠采樣與過采樣相結合平衡數據訓練數據和欠采樣與過采樣相結合平衡數據測試數據。

6.根據權利要求2所述的一種面向真實世界數據的機器學習方法，其特征在于，

實驗訓練數據、欠采樣平衡數據訓練數據、過采樣平衡數據訓練數據、欠采樣與過采樣相結合平衡數據訓練數據和隨機采樣訓練數據依次導入機器學習訓練模塊生成對應的預測模型，分別使用各個預測模型對實驗測試數據、欠采樣平衡數據測試數據、過采樣平衡數據測試數據、欠采樣與過采樣相結合平衡數據測試和隨機采樣測試數據進行預測，并評估預測結果。

7.根據權利要求5所述的一種面向真實世界數據的機器學習方法，其特征在于，

更換機器學習算法，重新進行機器學習訓練、預測與評估；經過對比評估結果，選擇最佳的機器學習算法、訓練數據。