2023年对话微众银行杨强:联邦学习的解决方案和前景如何?

数据安全、隐私保护和孤立数据是AI时代面临的常见挑战。

在人工智能的发展道路上,除了算法、计算能力的要求外,“饲养”人工智能模型还需要海量、多维的数据。 在此过程中,数据安全、个人数据隐私等风险事件频发,数据孤岛现象频发。 隐私和数据保护越来越受到重视,相关法律法规越来越严格和完善。

在这样的背景下,“联邦学习”为以上问题的解决提供了可行的方案。

“联邦学习”的基本思想是建立共享模型,使每个参与者的身份和地位相同,通过加密机制下的参数交换方式,实现不同企业、不同部门的数据不交换、不移动。 在不违反数据隐私保护法律法规的情况下,模型利用总量数据进行训练和模型优化,获得最优模型结果。

香港科技大学计算机工程系讲座教授及原系主任、中国人工智能学会( CAAI )名誉副理事长、微银首席人工智能官杨强教授曾以羊与草为比喻,表达联邦学习的构想。

假设用一只羊模拟机器学习模式,希望羊在吃草后能长大。 以前的做法是买来草做模型。 羊不动,但草被中心购买了。 相当于用简单粗暴的方法获取数据,形成大数据,建立模型。

但我们希望保护各自的隐私,所以不动草动羊。 也就是说,我们带着模型参观各种草场。 这样的话,久而久之羊就会成为——联邦学习的新思路。 就是不让草长到草的外面。 虽然当地的主人不能知道羊吃了什么草,但是羊长大了。

联邦学习在解决数据共享和数据隐私保护领域显示出了强大的吸引力。 到目前为止,联邦学习已经在金融、广告营销等方面落地。

例如,当互联网平台推送“千人千面”的营销信息时,其背后的推荐模型需要大量使用用户的特征数据。 但是,单个企业只有部分用户特征数据。 如果能访问更多其他互联网公司的数据,登载广告商用户的相关数据,广告推荐的效果就会大幅提高,点击率和广告商的ROI也会提高,联邦学习的出现会很好地解决这个问题。

金融领域也是如此,单一金融机构掌握的用户信息很少,除个人征信系统外,各平台的数据之间互不相通。 联邦学习的出现同样可以实现各大金融机构之间的合作模式,全面客观地评价用户资质,降低贷款违约率和资产不良率。

但在现实中,“联邦学习”商务APP仍然面临一些问题,技术研究也存在一些难点,需要突破。

例如,平衡效率、性能和安全性是一个挑战。 目前,联邦学习系统严格保护用户的本地数据,只传输模型的更新,即使是模型的更新也会加密传输模型。 更复杂的加密系统意味着回复也需要更多的资源和实践。 效率、性能和安全性之间存在竞争。

例如,“联邦学习”面临的“数据中毒”威胁。 联邦学习的分布式特性和安全聚合机制往往使得数据伪造更容易,更难发现和举证。 两者都有可能通过构建“数据毒”来控制模型整体的训练结果。

经过几年的发展,“联邦学习”到底在技术和商业应用方面是如何发展的?

对此,钛媒体App近日采访了杨强教授。 杨强是国内联邦学习领域的著名学者。 2023年,杨强领导的微众银行AI团队在国内引入并扩展了联邦学习( Federated Learning )的概念,在国际上首次系统地提出了联邦学习理论。 2023年,微众银行AI团队开源了第一个工业级联邦学习技术框架FATE,并于同年6月捐赠给了Linux基金会。

日前,由杨强教授团队联合上海交通大学、中山大学等单位撰写的三篇论文被IJCAI 2023、TPAMI 2023、ACM TIST等国际人工智能顶级学术杂志和顶级学术会议收录发表。 三篇论文分别为《联邦学习中隐私与模型性能没有免费午餐定理》、《FedCG: 联邦生成对抗网络保护隐私保障性能》和《FedIPR:联邦学习模型所属权验证》。

在杨强教授的回答中,有三个值得注意的观点。 首先,需要联邦学习隐私保护、模型性能、算法效率三者之间的平衡,实现均衡。 如今,杨强教授的团队找到了一条更好的隐私保护能力,同时也让模型性能更具竞争力的途径。

其次,从长远看,随着社会数量智能化的发展、数据要素的流通、数据交易所的落地,数据定价、数据知识产权认证、数据安全隐私保护等环节都离不开联邦学习,这也是联邦学习发展的最大机遇

第三,把技术和法律法规结合起来是一个巨大的挑战。 重要的是,确保整个联邦的决策过程是可说明的、透明的、可监督的、可咨询的和可跟踪的。

以下为钛媒体APP与杨强教授访谈实录,编后发表:

解读三篇论文:从理论到实践、规模化与工程化提问:最近发表的三篇论文分别是从信息论、联邦学习效率提升和模型版权验证切入,为什么选择这三个角度作为研究切入? 背后有什么样的研究路径和计划?

杨强:计算机学科的发展往往是先有理论再有实践,然后再进一步发展理论。 我们现在处于第三步。 那么,这一步的理论需要解决的问题是什么?

首先要注意协同建模的安全性(这是我们特别关心的)和协同建模的可用性。 如果是极端安全的模型,谁也不能使用。 这也没用。 为了模型质量好、准确度高,同时训练速度快、安全,这三者之间的平衡是必要的。

基于这三者之间的平衡,我们必须: 第一,证明其中需要取得平衡。 因此,根据我们发表的文章《联邦学习中隐私与模型性能没有免费午餐定理》,联邦学习的隐私和模型性能没有免费午餐。 两者必须作出权衡和取舍。

其次,在联邦学习的安全性和效率之间,是否有可能智能地发明同时提高安全性和模型性能以及准确性的算法? 根据《FedCG:联邦条件对抗生成网络》,可以为每个参与者创建镜像模型,并在这些镜像模型之间进行通信,从而大大降低了隐私侵犯的可能性,大大提高了建模的效率和效果。

关于最后一篇文章,联邦学习不仅仅是训练、模型,还包括数据的收集、选择、模型的训练、模型的管理、模型与他人的交换。 在这种情况下,我们提出了“全生命周期联邦学习的模式治理”。

具体来说,模型治理其实和数据治理一样重要。 未来的世界是数字化的世界,数字都体现为模型。 但是,每个模型是谁造的、谁用的、谁从谁那里买的、该模型有什么危险性、有什么特殊性等这些问题都叫做模型所有权验证。 在模型中加入水印以实现所有权的验证,这在目前业内尚属首次。

我们基于这三个不同的角度,从理论到实践、规模化、工程化生命周期管理,应该说是一个全面的概括。 这是“可靠的联邦学习”的里程碑。

行业应用与商业前景:从目前的应用,到未来可预见的一些场景,联邦学习会产生什么影响? 在与行业合作的过程中,需要注意的问题是什么?

杨强:越来越多的行业提倡数字化和智能化,合作就是数智慧化。 数智化的过程离不开数据要素流通、数据从一个地方流向另一个地方、通过数据交易所交易的观念。 因此,需要进行数据定价、数据知识产权认证、数据安全隐私保护,这些要求是未来金融的重要特征,所有这些都离不开联邦学习,联邦学习是实现这些目标的有力工具。

将来需要注意的一个重要方面是如何将技术和法律法规有机地结合起来。 目前有数据安全法和很多金融业的一些规章制度,其中一部分可以通过技术来实现,但也有一部分需要法律和监管。 我们现在正在尝试这两种有机的组合。 实现这种无缝对接,既要有技术保障、法律和规章保障,又要使整个决策过程可说明、透明、可监督、可咨询、可跟踪。 这些是我们面临的课题。

问:从商业化的角度来看,联邦学习未来的商业潜力是什么?

杨强:其实,他们不管是什么技术,都需要符合自然的发展规律。 例如,一种技术的出现,首先应用于一些案例,并取得了成功。 于是,各方积极尝试参与试用,可以发现一些挑战,发现一些新的解决方案,让这些技术升级,最后成熟为大家普遍使用。 所以,联邦学习和刚才提到的这些技术,也必须符合这样的规律。

这里面的市场空间应该很大,我个人认为,未来的计算,一定是数据和模型的计算。 为了保护数据的安全和用户的隐私,在我们的管道里跑的应该是从数据产生的模型,而不是原始的数据,模型的沟通组合、反复更新、认证审核,这些都是我们人工智能行业和大的(这篇文章最初发表在钛媒体的APP上。 作者|蔡鹏程)

动态分享

可以用什么技术来制作微课,微课制作工具哪个最好用

2022-12-5 18:00:47

动态分享

2022为什么现在买房是最佳时机,选房第一步三种售楼处沙盘如何看

2022-12-5 18:02:49

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索