[發明專利]基于Q-learning強化學習的芯片封裝測試生產線性能控制方法

有效

• 申請號: 202010797879.2
• 申請日: 2020-08-10
• 公開（公告）號: CN111857081B
• 公開（公告）日: 2023-05-05
• 發明（設計）人: 李波;馮益銘;錢鑫森
• 申請（專利權）人: 電子科技大學
• 主分類號: G05B19/418
• 分類號: G05B19/418
• 代理公司: 電子科技大學專利中心 51203
• 代理人: 閆樹平

本發明涉及半導體芯片封裝測試生產線性能控制與優化領域，具體為一種基于Q?learning強化學習的芯片封裝測試生產線性能控制方法。本發明建立了更加精確的半導體封裝測試串并聯生產線性能預測模型，并綜合使用Morris篩選法與Arena仿真法開展全局靈敏度定量分析，得到對生產線性能影響最大的若干影響因素及其影響規律，避免了設備馬爾科夫狀態空間龐大，傳統數學模型分析不適用的情況。本發明在性能預測和靈敏度分析的基礎上對生產線變動性因素進行控制，并改進參數ε的取值方式，使得算法收斂速度更快并避免局部最優，同時性能控制方法具有更好的靈活性和實時性。

技術領域

本發明涉及半導體芯片封裝測試生產線性能控制與優化領域，具體是面向半導體芯片封裝測試生產線的，涉及一種結合靈敏度分析和Q-learning強化學習算法的性能控制方法。

背景技術

半導體制造業對國民經濟的發展具有巨大的戰略價值，為保持我國半導體制造業良好發展，除了擴大生產規模，還需關注制造系統的生產效率，加強生產管理控制技術。由于半導體制造系統具有工藝路徑高度重入、生產過程高度復雜、制造周期漫長、系統規模龐大及高度不確定性等生產特點，對生產線進行性能控制難度較大。緩沖區容量大小、設備突發故障、設備預防性維護、產品重工等多種變動性因素也大大影響了制造系統的生產性能，導致生產效率降低，生產周期延長，影響生產計劃的正常執行。

當前對生產線性能進行智能、全面、動態控制的研究較少，大多局限于生產線變動性的某一方面，未能全局地考察生產線上的多種變動性因素；當前研究中建立的半導體串并聯生產線性能預測模型與實際生產情況存在一定偏差，精確度有所欠缺；傳統的性能控制優化方法難以針對生產線變動性因素的變化進行實時控制，靈活性不足。

發明內容

針對現有半導體芯片封裝測試生產線性能控制模型與策略的不足，本發明提出了一種基于Q-learning強化學習的芯片封裝測試生產線性能控制方法。本發明方法針對現有的變動性因素響應不及時、變動性因素考慮不周全、控制策略存在沖突等問題，結合靈敏度分析和Q-learning強化學習算法對半導體芯片封裝測試生產線制造性能進行智能控制。

一種基于Q-learning強化學習的芯片封裝測試生產線性能控制方法，包括以下步驟：

步驟1：構建半導體芯片封裝測試串并聯生產線抽象模型；

步驟2：基于步驟1構建的生產線抽象模型，建立半導體芯片封裝測試串并聯生產線性能的預測模型；

步驟3：基于步驟1構建的生產線抽象模型，根據Morris篩選法定性分析與Arena仿真定量分析，得到關鍵變動性因素對生產線性能的影響機制；

步驟4：基于步驟2建立的半導體芯片封裝測試串并聯生產線性能的預測模型和步驟3所得的關鍵變動性分析，建立基于Q-learning強化學習算法的性能控制模型，以生產線效益指標最優為性能控制目標進行迭代求解，得到全局的最優性能控制策略。

所述的步驟1具體為：

半導體芯片封裝測試生產線模型抽象：以半導體生產制造產線后道工序，即芯片封裝測試生產線作為研究對象，假設工站間存在有限緩沖區，排隊規則為先來先服務，將其抽象為包含重入(重工)的多工站串并聯排隊生產線模型。

所述的步驟2具體為：

步驟2.1：變動性計算：計算到達變動性c_a和加工時間變動性c_e。

步驟2.2：確定性能預測基本指標。

由工件在隊列處的平均加工時間CT_q和有效加工時間t_e得到駐留于工站的平均時間CT(生產周期)，進一步計算得到工站處平均在制品水平WIP，將工件生產速率TH、生產周期CT、在制品水平WIP作為生產線性能預測基本指標。