基于模型聚合的分布式拜占庭鲁棒优化算法研究

发布时间：2024-06-28 03:11

　　机器学习算法离不开数据。随着数据的爆炸式增长,单台机器无法分析如此大规模的数据。同时,在某些场景中,数据本身分布式地存储在不同的设备中,由于隐私问题,无法将这类数据收集到某个设备集中处理。基于上述原因,许多学者提出了分布式机器学习算法。在这些算法中,数据可以分布在多台机器中,这些机器可以通过某种方式实现信息的交换,从而可以协同合作地学习一个更加强大有效的模型。传统的分布式机器学习假设每个计算节点都是可靠的,然而在实际应用问题中并非如此。一些计算节点可能因为遭到了恶意攻击或篡改,或者因为机器本身的故障或数据错误,会发送错误信息给中心节点,从而导致模型训练失败。相关研究把这些发送错误信息给中心节点的计算节点称为拜占庭节点,存在拜占庭节点的分布式计算模型称为拜占庭错误模型。本文主要研究在拜占庭错误模型下的分布式的鲁棒优化算法。在master-worker结构中,假设一部分计算节点是拜占庭节点。在训练模型的过程中,由于数据损坏、通信错误或者恶意攻击,拜占庭节点在每次通信会发送任意的错误信息给中心节点,从而破坏模型的协同训练。针对机器学习领域常见的随机优化问题,本文提出了一种能够抵抗拜占庭攻击的...

【文章页数】：57 页

【学位级别】：硕士

【部分图文】：

图３．１随机梯度下降算法的步骤图示??？＝－■

?第３章基于模型聚合的拜占庭鲁棒优化算法???Ｍａｓｔｅｒ??Ｗｏｒｋｅｒ?…丨，＜?Ｍ??１—￣，，一－￣＾￣￣＊＊￣＞＿、?＾￣￣Ｉ?、??Ｔ?ｒｉ?Ｔ＾－ｐ＾??■?ｄａｔａｔ?？?？?？?！?ｄａｔＯｆ．?＼?？?ｄａｍｒ＾ｉ＼?？?？?？?ｉ?ｄａｔａｍ??１?…?ｒ?....

图３．２?ＲＳＡ的步骤图示??？－？

的迭代值ｘｇ；??８根据式子（３．９）或者式子（３．１２）更新本地迭代值。??Ｍａｓｔｅｒ??Ｗｏｒｋｅｒ?…?Ｓｊ?…Ｎ??￣：！?￣?—?—?＾—．．???：?．?卜￣?一＾?——－—－Ｉ??????ｄａｔ〇ｉ?；?ｄａｔｃｔｒ?＼?ｄａｔａｒ＾ｘ＼?？?？?？?ｄａｔａｍ?....

图３．５髙斯攻击下Ｔｏｐ＊ｌ准确率（ａ）ｇ?＝?４?（ｂｈ?＝?８??

?ｉ．?？?ＧｅｏＭｄｅ?ｏ．０－４?？?ＧｅｏＭｄｅ??°?０?４?Ｋｒｕｍ?°?▼－▼?Ｋｒｕｍ??０．３?會，，Ｍｅｄｉａｎ?〇?２?？－？Ｍｅｄｉａｎ??〇２?＾?ＲＳＡ?．會……ＲＳＡ??？－？ＳＧＤ?？－？ＳＧＤ??°?１０００?２０００?３０００?４０００?５０００....

图３．６常数向量攻击下Ｔｏｐ－１准确率（ａ）?９?＝?４?（ｂｈ?＝?８??

?ｉ．?？?ＧｅｏＭｄｅ?ｏ．０－４?？?ＧｅｏＭｄｅ??°?０?４?Ｋｒｕｍ?°?▼－▼?Ｋｒｕｍ??０．３?會，，Ｍｅｄｉａｎ?〇?２?？－？Ｍｅｄｉａｎ??〇２?＾?ＲＳＡ?．會……ＲＳＡ??？－？ＳＧＤ?？－？ＳＧＤ??°?１０００?２０００?３０００?４０００?５０００....

本文编号：3996347