建议使用以下浏览器,以获得最佳体验。 ie 9.0 以上版本 chrome 31 谷歌浏览器 firefox 30 火狐浏览器
温馨提示

抱歉,您需设置社区昵称后才能参与社区互动!

前往修改
我再想想
选择版块
主题:43帖子:94

【最佳实践】

基于华为隐私计算产品tics实现端到端的企业积分查询作业【玩转华为云】

2022/6/9 813
本次tics端到端体验,将以一个“小微企业信用评分”的场景为例。 社保、水电气和资助金等数据统一存储在某某政务云,由不同的局进行管理,机构想单独申请进行企业相关评分的计算会非常困难。 因此可以由某市政数局出面,统一制定隐私规则,审批数据提供方的数据使用申请, 并通过**华为tics可信智能计算平台**进行安全计算。 [tics服务4008云顶国际集团官网链接](https://www.huaweicloud.com/product/tics.html) ![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220601/1654067909797358323.png) # 数据准备 企业税收和资助金情况表tax(partner_gov,属于政府信息提供方,部署在用户计算节点agent_gov上) | 列名 | 含义 | 字段分类 | |----|----|----| | id | 企业id | 唯一标识 | | tax_bal | 税收 | 敏感 | | industry | 行业类型 | 不敏感 | 企业政府资助金数据表support(partner_gov, 属于政府信息提供方,部署在用户计算节点agent_gov上) | 列名 | 含义 | 字段分类 | |----|----|----| | id | 企业id | 唯一标识 | | supp_bal | 资助金金额 | 敏感 | | industry | 行业类型 | 不敏感 | 企业水电情况表power(partner_power,能源信息提供方,部署在用户计算节点agent_pow上) | 列名 | 含义 | 字段分类 | |----|----|----| | id | 企业id | 唯一标识 | | electric_bal | 电费 | 敏感 | | water_bal | 水费 | 敏感 | 注意以上数据和表结构是根据场景进行模拟的数据,并非真实数据,样例数据和表结构文件都已在附件中给出。 >> 上述数据需要提前存导入到mysql\hive\oracle等用户所属数据源中,tics本身不会持有这些数据,这些数据会通过用户购买的计算节点进行加密计算,保障数据安全 从业务角度考虑,我安排了五个阶段,来对tics系统进行验证和测试。 这里不讲述联盟创建、代理创建等内容,只重点讲述如何端到端实现一个该场景下的隐私计算作业完整执行流程。 ## 阶段一:数据发布 首先第一步,肯定是要做好数据准备工作。 我们首先进入tics服务控制台([tics服务控制台链接](https://console.huaweicloud.com/tics/?region=cn-north-4)) 在计算节点管理中,找到我们购买的计算节点,通过登录地址,进入计算节点控制台 ![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220607/1654584251569715166.png) 登录计算节点后,在下图所述位置进行**连接器的新建** ![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220606/1654521610969285860.png) 输入正确的连接信息,以建立数据源和计算节点之间的安全连接: ![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220606/1654521855679957445.png) 建立完成后,看到连接器显示正常说明连接正常。 ![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220606/1654507396127213040.png) 接着进入数据管理,进行数据集发布: ![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220606/1654517045149107781.png) 数据集发布动作参考如下: ![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220606/1654507407826387787.png) 然后我们以同样的方式,发布了 support资助金数据 表和power_data能源表。 这个过程并不会直接从数据源中导出用户数据,仅仅是从数据源处获取了数据集相关的元数据信息,用于任务的解析、验证等。 ## 阶段二:隐私规则防护 数据集发布后, 作为数据提供方,肯定会担心数据是否可能被随意使用。 因此第一步应该先确认tics的隐私规则能力是如何保护大家的数据安全的。 我们首先进入联邦分析的作业执行界面,点击作业创建 ![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220606/1654517127219450257.png) 可看到如下的作业框,我们可按照下文提供的案例和sql语句进行作业测试。 ![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220606/1654517199325764171.png) 假设有人试图直接查询敏感数据: ```sql select tax_bal, id from league_creator.tax ``` 则可以看到被提示不支持进行敏感数据的select操作。 ![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220606/1654507440936299192.png) 如果有人试图拿敏感数据加上自己的数据, 从结果倒推敏感数据,如下所示: ```sql select tax_bal electric_bal from league_creator.tax a join zzzzzz.power_data b on a.id = b.id ``` 这个操作等同于求原数据, 这个操作也会被tics识别并提示出来。 ![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220606/1654507498058174652.png) ## 阶段三:审批防护 上述隐私规则,都是tics系统提供的默认规则。 但规则的完善总是有一个过程的,在规则未完全完善之前, 作为用户,可能更愿意支持开启审批功能, 来进行更“灵活”的作业合法性确认。 审批功能可以由联盟管理员在联盟界面进行开启: ![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220606/1654517551131754964.png) 开启后,如下图所示,当有人直接查询我的敏感数据时,我可以在审批详情中,看到对方试图让敏感字段在结果可见,那就可以由该提供方进行识别,并进行拒绝操作。 ![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220606/1654507576304259871.png) 对于两个字段相加的情况,也可以在审批中看到相加的情况, 也能看到id是用来做join碰撞的用途。 ![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220606/1654507585386941112.png) 通过查看字段是否可见, 以及字段用途,能够确认该字段的应用是否符合自己的安全预期。 ## 阶段四:基本计算能力验证 下面场景是计算各企业在2021年的价值评分, 以用于评估信贷能力,其中的公式并非真实公式,仅仅是一个简单的参考计算式。 其目的是为了确认tics的基础计算能力。 我们执行如下的sql作业: ```sql select c.id as `企业id`, 0.5 * a.tax_bal 0.8 * b.supp_bal (0.05 * c.electric_bal 0.05 * c.water_bal) * 0.1 as `企业评分` from partner1.tax a, partner1support b, partner2.power_data c where b.id = c.id and a.id = b.id ``` 审批时可以看到如下的情况,涉及关联字段较多,其使用方式都能够在审批界面中展示出来。 ![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220606/1654507621540525742.png) 执行结果如下: ![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220606/1654507631172306832.png) 可以看到基础的sql语法都能够支持。 并且从作业执行页面的提示上来看,已经支持了相当多的常用语法和sql函数。 ![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220606/1654507734832255891.png) ## 阶段五:基于mpc算法的高安全级别计算 如果我度过了前期的demo验证阶段, 准备接入更高安全级别的数据, 就可能会希望提升数据保护级别, 以**纯密文的状态做计算**, 则我可以通过让开启高隐私级别开关,将联盟安全级别默认提升一个等级。 ![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220606/1654517528916725432.png) 再次点击刚才的作业,审批时可以看到敏感数据被进行了同态加密。 从dag图上可以看到 psi 同态的全过程流向, 基本符合业界已公开的psi算法流程和同态加密流程。 ![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220606/1654507825264106824.png) ![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220606/1654507830713689090.png) ## 阶段六:统计型作业的差分隐私保护 假设有以下作业,试图统计各行业的企业税收总和 和用电量总和, 进行统计分析 ```sql select industry, sum(tax_bal), sum(electric_bal) from league_creator.tax a join dayu002.power_data b on a.id = b.id group by industry ``` 但是这种统计分析型的作业, 有可能被作业执行方通过增删某个碰撞的id, 得到两次作业之间的差值,从而推算出实际taxpay和water_fee。 此时我可以通过开启联盟中的差分隐私开关来保护自己的敏感数据。 开启后,符合差分隐私条件的这类统计作业,都会自动应用差分隐私算法进行加噪保护计算结果, 在一定误差范围内保证数据无法被恶意偷取。开启方式如下: ![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220606/1654517608554979928.png) 以下是第一次执行作业时得到的结果: ![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220606/1654507889869268045.png) 可以从dag图看到,我们在返回最终统计结果前,增加了一个差分隐私计算的任务节点。 ![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220606/1654507943373480619.png) 接着再执行一个sql,这个sql中过滤掉了某个企业,试图用差值去计算这个企业的税收值。 ```sql select industry, sum(tax_bal), sum(electric_bal) from league_creator.tax a join dayu002.power_data b on a.id = b.id where a.id <> '123400558' group by industry ``` 这个企业的实际tax为274: ![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220606/1654507982840189556.png) 得到新的结果如下: ![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220606/1654507993599253617.png) 经过计算,66539.583321490225131 - 66078.857559963717677 = -461 可以看到并不会像使用者预期的那样直接得到实际的274差值,因此通过差分隐私算法保护了聚合操作的安全性。

    14.94 kb,下载次数:0

回复1

0 0
2022/6/21 21:39

勇往直前,做全能开发者

上划加载中
直达楼层
全部回复
正序浏览
标签
您还可以添加5个标签
  • 没有搜索到和“关键字”相关的标签
  • 云产品
  • 4008云顶国际网站的解决方案
  • 技术领域
  • 通用技术
  • 平台功能
取消

基于华为隐私计算产品tics实现端到端的企业积分查询作业【玩转华为云】-4008云顶国际网站

您已采纳当前回复为最佳回复

breakdawn

发帖: 35粉丝: 19

级别 : 版主

发表于2022年06月09日 16:45:01 813 1
直达本楼层的链接
楼主
[最佳实践] 基于华为隐私计算产品tics实现端到端的企业积分查询作业【玩转华为云】
本次tics端到端体验,将以一个“小微企业信用评分”的场景为例。 社保、水电气和资助金等数据统一存储在某某政务云,由不同的局进行管理,机构想单独申请进行企业相关评分的计算会非常困难。 因此可以由某市政数局出面,统一制定隐私规则,审批数据提供方的数据使用申请, 并通过**华为tics可信智能计算平台**进行安全计算。 [tics服务4008云顶国际集团官网链接](https://www.huaweicloud.com/product/tics.html) ![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220601/1654067909797358323.png) # 数据准备 企业税收和资助金情况表tax(partner_gov,属于政府信息提供方,部署在用户计算节点agent_gov上) | 列名 | 含义 | 字段分类 | |----|----|----| | id | 企业id | 唯一标识 | | tax_bal | 税收 | 敏感 | | industry | 行业类型 | 不敏感 | 企业政府资助金数据表support(partner_gov, 属于政府信息提供方,部署在用户计算节点agent_gov上) | 列名 | 含义 | 字段分类 | |----|----|----| | id | 企业id | 唯一标识 | | supp_bal | 资助金金额 | 敏感 | | industry | 行业类型 | 不敏感 | 企业水电情况表power(partner_power,能源信息提供方,部署在用户计算节点agent_pow上) | 列名 | 含义 | 字段分类 | |----|----|----| | id | 企业id | 唯一标识 | | electric_bal | 电费 | 敏感 | | water_bal | 水费 | 敏感 | 注意以上数据和表结构是根据场景进行模拟的数据,并非真实数据,样例数据和表结构文件都已在附件中给出。 >> 上述数据需要提前存导入到mysql\hive\oracle等用户所属数据源中,tics本身不会持有这些数据,这些数据会通过用户购买的计算节点进行加密计算,保障数据安全 从业务角度考虑,我安排了五个阶段,来对tics系统进行验证和测试。 这里不讲述联盟创建、代理创建等内容,只重点讲述如何端到端实现一个该场景下的隐私计算作业完整执行流程。 ## 阶段一:数据发布 首先第一步,肯定是要做好数据准备工作。 我们首先进入tics服务控制台([tics服务控制台链接](https://console.huaweicloud.com/tics/?region=cn-north-4)) 在计算节点管理中,找到我们购买的计算节点,通过登录地址,进入计算节点控制台 ![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220607/1654584251569715166.png) 登录计算节点后,在下图所述位置进行**连接器的新建** ![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220606/1654521610969285860.png) 输入正确的连接信息,以建立数据源和计算节点之间的安全连接: ![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220606/1654521855679957445.png) 建立完成后,看到连接器显示正常说明连接正常。 ![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220606/1654507396127213040.png) 接着进入数据管理,进行数据集发布: ![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220606/1654517045149107781.png) 数据集发布动作参考如下: ![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220606/1654507407826387787.png) 然后我们以同样的方式,发布了 support资助金数据 表和power_data能源表。 这个过程并不会直接从数据源中导出用户数据,仅仅是从数据源处获取了数据集相关的元数据信息,用于任务的解析、验证等。 ## 阶段二:隐私规则防护 数据集发布后, 作为数据提供方,肯定会担心数据是否可能被随意使用。 因此第一步应该先确认tics的隐私规则能力是如何保护大家的数据安全的。 我们首先进入联邦分析的作业执行界面,点击作业创建 ![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220606/1654517127219450257.png) 可看到如下的作业框,我们可按照下文提供的案例和sql语句进行作业测试。 ![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220606/1654517199325764171.png) 假设有人试图直接查询敏感数据: ```sql select tax_bal, id from league_creator.tax ``` 则可以看到被提示不支持进行敏感数据的select操作。 ![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220606/1654507440936299192.png) 如果有人试图拿敏感数据加上自己的数据, 从结果倒推敏感数据,如下所示: ```sql select tax_bal electric_bal from league_creator.tax a join zzzzzz.power_data b on a.id = b.id ``` 这个操作等同于求原数据, 这个操作也会被tics识别并提示出来。 ![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220606/1654507498058174652.png) ## 阶段三:审批防护 上述隐私规则,都是tics系统提供的默认规则。 但规则的完善总是有一个过程的,在规则未完全完善之前, 作为用户,可能更愿意支持开启审批功能, 来进行更“灵活”的作业合法性确认。 审批功能可以由联盟管理员在联盟界面进行开启: ![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220606/1654517551131754964.png) 开启后,如下图所示,当有人直接查询我的敏感数据时,我可以在审批详情中,看到对方试图让敏感字段在结果可见,那就可以由该提供方进行识别,并进行拒绝操作。 ![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220606/1654507576304259871.png) 对于两个字段相加的情况,也可以在审批中看到相加的情况, 也能看到id是用来做join碰撞的用途。 ![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220606/1654507585386941112.png) 通过查看字段是否可见, 以及字段用途,能够确认该字段的应用是否符合自己的安全预期。 ## 阶段四:基本计算能力验证 下面场景是计算各企业在2021年的价值评分, 以用于评估信贷能力,其中的公式并非真实公式,仅仅是一个简单的参考计算式。 其目的是为了确认tics的基础计算能力。 我们执行如下的sql作业: ```sql select c.id as `企业id`, 0.5 * a.tax_bal 0.8 * b.supp_bal (0.05 * c.electric_bal 0.05 * c.water_bal) * 0.1 as `企业评分` from partner1.tax a, partner1support b, partner2.power_data c where b.id = c.id and a.id = b.id ``` 审批时可以看到如下的情况,涉及关联字段较多,其使用方式都能够在审批界面中展示出来。 ![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220606/1654507621540525742.png) 执行结果如下: ![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220606/1654507631172306832.png) 可以看到基础的sql语法都能够支持。 并且从作业执行页面的提示上来看,已经支持了相当多的常用语法和sql函数。 ![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220606/1654507734832255891.png) ## 阶段五:基于mpc算法的高安全级别计算 如果我度过了前期的demo验证阶段, 准备接入更高安全级别的数据, 就可能会希望提升数据保护级别, 以**纯密文的状态做计算**, 则我可以通过让开启高隐私级别开关,将联盟安全级别默认提升一个等级。 ![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220606/1654517528916725432.png) 再次点击刚才的作业,审批时可以看到敏感数据被进行了同态加密。 从dag图上可以看到 psi 同态的全过程流向, 基本符合业界已公开的psi算法流程和同态加密流程。 ![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220606/1654507825264106824.png) ![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220606/1654507830713689090.png) ## 阶段六:统计型作业的差分隐私保护 假设有以下作业,试图统计各行业的企业税收总和 和用电量总和, 进行统计分析 ```sql select industry, sum(tax_bal), sum(electric_bal) from league_creator.tax a join dayu002.power_data b on a.id = b.id group by industry ``` 但是这种统计分析型的作业, 有可能被作业执行方通过增删某个碰撞的id, 得到两次作业之间的差值,从而推算出实际taxpay和water_fee。 此时我可以通过开启联盟中的差分隐私开关来保护自己的敏感数据。 开启后,符合差分隐私条件的这类统计作业,都会自动应用差分隐私算法进行加噪保护计算结果, 在一定误差范围内保证数据无法被恶意偷取。开启方式如下: ![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220606/1654517608554979928.png) 以下是第一次执行作业时得到的结果: ![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220606/1654507889869268045.png) 可以从dag图看到,我们在返回最终统计结果前,增加了一个差分隐私计算的任务节点。 ![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220606/1654507943373480619.png) 接着再执行一个sql,这个sql中过滤掉了某个企业,试图用差值去计算这个企业的税收值。 ```sql select industry, sum(tax_bal), sum(electric_bal) from league_creator.tax a join dayu002.power_data b on a.id = b.id where a.id <> '123400558' group by industry ``` 这个企业的实际tax为274: ![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220606/1654507982840189556.png) 得到新的结果如下: ![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220606/1654507993599253617.png) 经过计算,66539.583321490225131 - 66078.857559963717677 = -461 可以看到并不会像使用者预期的那样直接得到实际的274差值,因此通过差分隐私算法保护了聚合操作的安全性。

14.94 kb,下载次数:0

分享文章到朋友圈

分享文章到微博
您已采纳当前回复为最佳回复

yd_275025135

发帖: 0粉丝: 0

发表于2022年06月21日 21:39:47
直达本楼层的链接
沙发

勇往直前,做全能开发者

您需要登录后才可以回帖 | 立即注册

您对问题的回复是否满意?
满意度
非常满意 满意 一般 不满意
我要反馈
0/200
网站地图