[發(fā)明專利]基于BGW協(xié)議的隱私保護(hù)機(jī)器學(xué)習(xí)激活函數(shù)的運(yùn)算方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010571112.8
• 申請(qǐng)日: 2020-06-22
• 公開（公告）號(hào): CN111859267A
• 公開（公告）日: 2020-10-30
• 發(fā)明（設(shè)計(jì)）人: 韓偉力;湯定一
• 申請(qǐng)（專利權(quán)）人: 復(fù)旦大學(xué)
• 主分類號(hào): G06F17/15
• 分類號(hào): G06F17/15;G06N3/08
• 代理公司: 上海正旦專利代理有限公司 31200
• 代理人: 王潔平

1.一種基于BGW協(xié)議的隱私保護(hù)機(jī)器學(xué)習(xí)激活函數(shù)的運(yùn)算方法，其特征在于，激活函數(shù)為安全ReLU函數(shù)，安全ReLU函數(shù)中的ReLU算子定義了前向傳播階段和反向傳播階段需要執(zhí)行的操作；其中：

ReLU算子的前向傳播計(jì)算y＝x*(x0)，x表示輸入矩陣，y表示輸出矩陣，通過下面兩個(gè)步驟進(jìn)行計(jì)算：

第一步，通過LTZ函數(shù)判斷秘密共享矩陣[a.forward]，是否大于0，[u]＝1-LTZ([a.forward],k)，[u]是一個(gè)秘密共享數(shù)，若[a.forward]大于等于0，則[u]為1，否則[u]為0，k表示帶符號(hào)整數(shù)有效位數(shù)，a表示輸入節(jié)點(diǎn)，forward代表節(jié)點(diǎn)在正向傳播中的結(jié)果；

第二步，計(jì)算[a.forward]*[u]得到ReLU(a):a0？a:0函數(shù)的值，即[c.forward]；

在前向傳播中ReLU算子需要4回合交互，其中第一步中LTZ函數(shù)需要3回合交互，第二步中乘法需要1回合交互；

ReLU算子的反向傳播計(jì)算x′＝y(tǒng)′*(x0)，轉(zhuǎn)化為計(jì)算[a.grad]＝[c.grad]*([a.forward]0)，c表示輸出節(jié)點(diǎn)，grad代表節(jié)點(diǎn)在反向傳播中的結(jié)果，由于判斷[a.forward]的正負(fù)的工作在前向傳播中已經(jīng)完成，通過緩存判斷結(jié)果，因此只需要1回合交互。

2.一種基于BGW協(xié)議的隱私保護(hù)機(jī)器學(xué)習(xí)激活函數(shù)的運(yùn)算方法，其特征在于，激活函數(shù)為安全Sigmoid函數(shù)，安全Sigmoid函數(shù)中的Sigmoid算子定義了前向傳播階段和反向傳播階段需要執(zhí)行的操作；其中：

Sigmoid算子的前向傳播計(jì)算y＝1/((1+e^(-x)))，使用分段函數(shù)模擬，將函數(shù)分為三部分：

①如果輸入值[a.forward]在和之間，則輸出值為

②如果[a.forward]大于則輸出值為1；

③如果輸入值[a.forward]小于則輸出值為0；

通過下述兩個(gè)步驟進(jìn)行計(jì)算：

第一步，通過LTZ函數(shù)判斷秘密共享矩陣[a.forward]與和的大小關(guān)系，并行地計(jì)算其中[u₁]表示[a.forward]是否大于k表示帶符號(hào)整數(shù)有效位數(shù)，a表示輸入節(jié)點(diǎn)，forward代表節(jié)點(diǎn)在正向傳播中的結(jié)果；若則[u₁]值為1，否則[u₁]值為0；同理[u₂]表示[a.forward]是否大于若則[u₂]值為1，否則[u₂]值為0；

第二步，通過得到模擬Sigmoid函數(shù)的值，即[c.forward]；

整個(gè)Sigmoid操作需要4回合交互，其中第一步并行的LTZ函數(shù)需要3回合交互，第二步中并行的乘法需要1回合交互；

Sigmoid算子的反向傳播計(jì)算[x']＝[y']*[x]*(1-[x])，轉(zhuǎn)化為計(jì)算[a.grad]＝[c.grad]*[a.forward]*(1-[a.forward])，c表示輸出節(jié)點(diǎn)，grad代表節(jié)點(diǎn)在反向傳播中的結(jié)果，由于需要將3個(gè)秘密共享的數(shù)相乘，將[a.forward]*(1-[a.forward])預(yù)先在前向傳播中并行計(jì)算，在不增加前向傳播交互回合數(shù)的情況下，使得反向傳播階段只需要1回合交互。