敏感数据处理

本贴最后更新于 2845 天前,其中的信息可能已经时移俗易

背景

大多数应用或多或少都会涉及到敏感数据处理,比如用户的手机号、身份证号,甚至银行卡账号。作为应用的开发者,如何 安全地 维护这些敏感数据呢?

这里讨论的安全不是指服务器如何保护,而是在数据库层面做敏感数据的分离:

  • 业务库中不保存敏感数据,只保存混淆过的数据,比如电话字段保存的是 133****9961,在数据层面就进行脱敏
  • 敏感数据统一保存在另一个库中,有应用调用一个服务来建立原值和混淆值的映射关系
  • 业务库中因为保存的是脱敏过的数据,通过只读复制镜像可以很方便地提供给其他服务使用,比如 OLAP
  • 除了技术开发上方便,运维上也方便了很多,降低了敏感数据被暴露到外部的可能性

技术设计

提供服务接口给应用存取敏感数据,本质上是一个 KV 存取服务。

1462956107181

一些细节:

  • 表 protyle 的 domain 字段用于标识该记录的作用域,在一个作用域上相同的值要保证唯一
  • 表 protyle 的 hash 字段值是 SHA-512(domain/value) 的结果,用于唯一性校验

大家有相关经验么?欢迎讨论~

  • 敏感数据
    1 引用 • 27 回帖
  • 安全

    安全永远都不是一个小问题。

    199 引用 • 816 回帖 • 2 关注
  • 架构

    我们平时所说的“架构”主要是指软件架构,这是有关软件整体结构与组件的抽象描述,用于指导软件系统各个方面的设计。另外还有“业务架构”、“网络架构”、“硬件架构”等细分领域。

    142 引用 • 442 回帖
  • 数据库

    据说 99% 的性能瓶颈都在数据库。

    336 引用 • 681 回帖

相关帖子

27 回帖

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...
  • yangyujiao 1

    我们就是明目张胆的保存了电话号码···

  • @yangyujiao 这个是业主电话,泄露出去,公司就垮掉了

  • wgh

    我们是直接全加密保存

  • sweat89 1

    弄个算法,加密存 DB,业务层解密进行业务处理。有啥问题

  • 88250

    @sweat89 @wgh

    • 把鸡蛋都放一个篮子里
    • 业务来解决这个问题的话不方便复用
  • pianopaper

    @88250 加解密复用也仅仅是加解密 function 而已呀?遵循使用规则就是拿出 function 解密一下,放进去 function 加密一下呀

  • zonghua 1

    @Vanessa 哈,那么邮箱也是不能明文了吧

  • wgh

    我感觉文章里说的那种方式更麻烦

  • pianopaper

    @wgh 咱觉得也是挺麻烦的

  • 714593351 1

    我们直接存手机号明文。。。

  • wgh

    个人觉得加密解密这种方式最方便也最简单

  • 88250

    @wgh @pianopaper

    • 安全和方便应该是矛盾的
    • 这个方案的出发点是这些数据真的非常敏感,是一个公司最核心的资产
  • 表太多了。直接加密挺好的

  • wgh 1

    @88250 我感觉是一样的,只要别人解不了密就算获取到数据也没用!

  • pianopaper 1

    @88250 其实个人认为安全没有绝对的,只是在被获取的难度是否增加到一定级别,也就是被泄露的可能性是如何的,如若因为这些数据非常敏感,那放内网里进行处理是一个不错的办法(金士达的做法),所有的处理都要通过一个中间层(单独写进程来处理),所有数据均和其进行通讯

  • 88250

    @pianopaper 嗯,该方案就是这个思路

  • someone1764

    其实..在数据泄露的时候已经..

  • pianopaper 1

    @88250 这确实会增加运维难度,如果这是一个产品,中间层组件的写作需要遵循某种规则,举个例子,交易系统里的业务逻辑全部都是用存储过程来做的,UI 就仅仅做信号传递,比如,UI 点查询按钮,那么就传递一个 532232 到中间件,中间件会根据这个信号,来做到 db 的连接,同时传递 p532232 到 db 去做存储过程的处理,为什么要做 532232 到 p532232 的转换呢?因为存储过程里的命名也是有规则的,比如 db 有一个存储过程叫做 p532232 用来做查询操作的,处理得到的结果通过某种数据结构,经过中间层,再回传到 UI,同时,db,中间层,UI 都留下操作日志

  • pianopaper 1

    @88250 运维的难度就在,产品中间组件增多,会有升级,那么,升级要遵循什么规则?部署呢?多机情况呢?

  • 88250

    @pianopaper 为了安全,值得去做,或者说不得不做....

  • pianopaper 1

    @88250 这些要有人来控开发成本和风险咯,就完全不是一个人的事情咯

  • 88250

    @pianopaper 嗯,当然,而且运维上面也要非常细致和小心

  • pianopaper 1

    @88250 这里有几点个人体会分享一下,原公司站点为 windows server 2008,所用容器为 tomcat,改版的时候,考虑了一下到底是不是要换成 linux 下的 nginx 还是用张宴写的集成式的简单容器做部署,考虑来考虑去,全部人对 linux 这块也就只会敲 cd mv 等等命令,就不用说 find 文件等稍微复杂的操作了,公司的培训体系是,文档写完,图文并茂,不管会不会 linux,只要按照图文讲的进行操作,即使不知道这一步做的意思是什么,也能正常完成整个操作(所谓的常规运维,也就是点点鼠标),所以最终决定还是用张宴的集成式容器来做了部署,写个 VB 的 UI 把所有备份恢复的操作一并处理完,虽然个人觉得不是很对劲,但是这能满足在现状上大部分人的操作,一些东西如果是不得不做的话,需要有人来牵头做(谁做谁负责,做好咱 follow),成本,代价,现状等等,不是一个人能考虑得了的

  • zjhch123 1

    我是直接 DES 加密存的…每个用户都有独一无二的密文,然后根据这个密文加密

  • 88250

    @zjhch123 那密文你存哪?

  • bozong

    @88250 有手机端吗?

  • someone

    回帖已被屏蔽,内容不再显示。

    该回帖因违反社区行为准则或内容协议已被封禁
请输入回帖内容 ...

推荐标签 标签

  • 外包

    有空闲时间是接外包好呢还是学习好呢?

    26 引用 • 232 回帖
  • CSDN

    CSDN (Chinese Software Developer Network) 创立于 1999 年,是中国的 IT 社区和服务平台,为中国的软件开发者和 IT 从业者提供知识传播、职业发展、软件开发等全生命周期服务,满足他们在职业发展中学习及共享知识和信息、建立职业发展社交圈、通过软件开发实现技术商业化等刚性需求。

    14 引用 • 155 回帖 • 1 关注
  • 电影

    这是一个不能说的秘密。

    120 引用 • 599 回帖
  • IBM

    IBM(国际商业机器公司)或万国商业机器公司,简称 IBM(International Business Machines Corporation),总公司在纽约州阿蒙克市。1911 年托马斯·沃森创立于美国,是全球最大的信息技术和业务解决方案公司,拥有全球雇员 30 多万人,业务遍及 160 多个国家和地区。

    17 引用 • 53 回帖 • 133 关注
  • HHKB

    HHKB 是富士通的 Happy Hacking 系列电容键盘。电容键盘即无接点静电电容式键盘(Capacitive Keyboard)。

    5 引用 • 74 回帖 • 458 关注
  • 京东

    京东是中国最大的自营式电商企业,2015 年第一季度在中国自营式 B2C 电商市场的占有率为 56.3%。2014 年 5 月,京东在美国纳斯达克证券交易所正式挂牌上市(股票代码:JD),是中国第一个成功赴美上市的大型综合型电商平台,与腾讯、百度等中国互联网巨头共同跻身全球前十大互联网公司排行榜。

    14 引用 • 102 回帖 • 392 关注
  • 工具

    子曰:“工欲善其事,必先利其器。”

    285 引用 • 728 回帖 • 1 关注
  • Flume

    Flume 是一套分布式的、可靠的,可用于有效地收集、聚合和搬运大量日志数据的服务架构。

    9 引用 • 6 回帖 • 624 关注
  • Bootstrap

    Bootstrap 是 Twitter 推出的一个用于前端开发的开源工具包。它由 Twitter 的设计师 Mark Otto 和 Jacob Thornton 合作开发,是一个 CSS / HTML 框架。

    18 引用 • 33 回帖 • 669 关注
  • 微软

    微软是一家美国跨国科技公司,也是世界 PC 软件开发的先导,由比尔·盖茨与保罗·艾伦创办于 1975 年,公司总部设立在华盛顿州的雷德蒙德(Redmond,邻近西雅图)。以研发、制造、授权和提供广泛的电脑软件服务业务为主。

    8 引用 • 44 回帖
  • Elasticsearch

    Elasticsearch 是一个基于 Lucene 的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于 RESTful 接口。Elasticsearch 是用 Java 开发的,并作为 Apache 许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。

    116 引用 • 99 回帖 • 231 关注
  • Redis

    Redis 是一个开源的使用 ANSI C 语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value 数据库,并提供多种语言的 API。从 2010 年 3 月 15 日起,Redis 的开发工作由 VMware 主持。从 2013 年 5 月开始,Redis 的开发由 Pivotal 赞助。

    286 引用 • 248 回帖 • 88 关注
  • Tomcat

    Tomcat 最早是由 Sun Microsystems 开发的一个 Servlet 容器,在 1999 年被捐献给 ASF(Apache Software Foundation),隶属于 Jakarta 项目,现在已经独立为一个顶级项目。Tomcat 主要实现了 JavaEE 中的 Servlet、JSP 规范,同时也提供 HTTP 服务,是市场上非常流行的 Java Web 容器。

    162 引用 • 529 回帖
  • WebClipper

    Web Clipper 是一款浏览器剪藏扩展,它可以帮助你把网页内容剪藏到本地。

    3 引用 • 9 回帖
  • 禅道

    禅道是一款国产的开源项目管理软件,她的核心管理思想基于敏捷方法 scrum,内置了产品管理和项目管理,同时又根据国内研发现状补充了测试管理、计划管理、发布管理、文档管理、事务管理等功能,在一个软件中就可以将软件研发中的需求、任务、bug、用例、计划、发布等要素有序的跟踪管理起来,完整地覆盖了项目管理的核心流程。

    6 引用 • 15 回帖 • 141 关注
  • 996
    13 引用 • 200 回帖 • 2 关注
  • GAE

    Google App Engine(GAE)是 Google 管理的数据中心中用于 WEB 应用程序的开发和托管的平台。2008 年 4 月 发布第一个测试版本。目前支持 Python、Java 和 Go 开发部署。全球已有数十万的开发者在其上开发了众多的应用。

    14 引用 • 42 回帖 • 740 关注
  • golang

    Go 语言是 Google 推出的一种全新的编程语言,可以在不损失应用程序性能的情况下降低代码的复杂性。谷歌首席软件工程师罗布派克(Rob Pike)说:我们之所以开发 Go,是因为过去 10 多年间软件开发的难度令人沮丧。Go 是谷歌 2009 发布的第二款编程语言。

    497 引用 • 1387 回帖 • 308 关注
  • Q&A

    提问之前请先看《提问的智慧》,好的问题比好的答案更有价值。

    7698 引用 • 35069 回帖 • 192 关注
  • 七牛云

    七牛云是国内领先的企业级公有云服务商,致力于打造以数据为核心的场景化 PaaS 服务。围绕富媒体场景,七牛先后推出了对象存储,融合 CDN 加速,数据通用处理,内容反垃圾服务,以及直播云服务等。

    26 引用 • 222 回帖 • 162 关注
  • 大疆创新

    深圳市大疆创新科技有限公司(DJI-Innovations,简称 DJI),成立于 2006 年,是全球领先的无人飞行器控制系统及无人机解决方案的研发和生产商,客户遍布全球 100 多个国家。通过持续的创新,大疆致力于为无人机工业、行业用户以及专业航拍应用提供性能最强、体验最佳的革命性智能飞控产品和解决方案。

    2 引用 • 14 回帖 • 4 关注
  • 书籍

    宋真宗赵恒曾经说过:“书中自有黄金屋,书中自有颜如玉。”

    77 引用 • 390 回帖 • 1 关注
  • 创业

    你比 99% 的人都优秀么?

    83 引用 • 1399 回帖
  • IPFS

    IPFS(InterPlanetary File System,星际文件系统)是永久的、去中心化保存和共享文件的方法,这是一种内容可寻址、版本化、点对点超媒体的分布式协议。请浏览 IPFS 入门笔记了解更多细节。

    21 引用 • 245 回帖 • 245 关注
  • Hexo

    Hexo 是一款快速、简洁且高效的博客框架,使用 Node.js 编写。

    21 引用 • 140 回帖 • 3 关注
  • Linux

    Linux 是一套免费使用和自由传播的类 Unix 操作系统,是一个基于 POSIX 和 Unix 的多用户、多任务、支持多线程和多 CPU 的操作系统。它能运行主要的 Unix 工具软件、应用程序和网络协议,并支持 32 位和 64 位硬件。Linux 继承了 Unix 以网络为核心的设计思想,是一个性能稳定的多用户网络操作系统。

    931 引用 • 937 回帖
  • 分享

    有什么新发现就分享给大家吧!

    246 引用 • 1788 回帖