一个小问题的分析

本贴最后更新于 2373 天前,其中的信息可能已经时异事殊

今天线上出现了一个字符超长引起 mysql 抛出异常的问题

问题本身不大,上游系统有 bug,传递的字符串没有做 trim 处理,导致报文节点中的字段远远超出预留长度

反应给领导的时候,领导对我的汇报并不满意

我说,这个问题是由于上游传下的数据过长

领导说,这是表象,出现这个问题的根本原因是什么?为什么在上游传下来的时候没有校验住,而使错误的数据流入系统了引起报警呢

之后的对话有点记不清了,我提出这个校验应该由上游系统做,于是叫来了上游系统的负责人,在一旁的组长也加入了讨论

讨论中大体涉及到了如下几点:

  • 错误的数据是前端下传的,还是系统 bug 引起的
  • 前端控件是否有限制,是否有校验,是否有提示
  • 是否应对数据长度添加校验

讨论中还是感到了自己表述能力的匮乏。讨论中提到的点,我也大都能想到,但是当我向领导汇报的时候,我似乎只能说个,上游系统问题,上游应当校验,听起来倒有点推卸责任的感觉

我所思考的内容是:

这个数据到本系统时,已经分发到了多个其他系统,所以类似异常数据的处理,肯定不在本系统做,做了其他系统也要做,如果处理逻辑差异较大,会造成数据不一致

而上游若要对字段长度做校验,那理论上所有字段都应该校验,但是关于数据长度,要么业务上有明确的限制,比如评论限制 200 条,那么底层保留两百的长度,这种校验则应在前端就有所体现,校验逻辑应当在前端直接提交的服务端有所体现。

而如果没有明确的业务上的长度限制,如用户地址,理论上,用户想输入多少就输入多少,但是正常情况下,地址信息的长度是有限的,最详细的地址比如身份证上的地址,长度也是有限的,要保存数据的服务端预留一个长度即可,如果加上校验,则很被动,一旦出现真实的而又超出系统限制的字段,不仅需要修改数据库的长度,还要修改代码中的校验长度,无法快速的让正确信息保存下来

所以,对于本次问题的结论,我想应当是:
上游修正 bug,其他系统不动

  • B3log

    B3log 是一个开源组织,名字来源于“Bulletin Board Blog”缩写,目标是将独立博客与论坛结合,形成一种新的网络社区体验,详细请看 B3log 构思。目前 B3log 已经开源了多款产品:SymSoloVditor思源笔记

    1063 引用 • 3455 回帖 • 160 关注
  • Q&A

    提问之前请先看《提问的智慧》,好的问题比好的答案更有价值。

    9641 引用 • 43836 回帖 • 95 关注

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...
  • 系统大了以后要想稳定,就只能各种 if ,想在某个地方统一校验是不现实的,服务提供者理论上是要校验参数的,至少要保证再烂的参数本系统也不能炸。

    1 回复
  • ZephyrJung via macOS

    从数据的入口校验不就统一了?

    1 回复
  • mainlove

    肯定是后台要判定 像 laket 的 ORM,建表的长度注解对应存储的数据的格式 是都有校验的
    现在都是分离的情况,不可能让所有系统按照某个标准来
    自己要管好自己的容错率

    1 回复
  • ZephyrJung via macOS

    对于这种上游来的数据,校验返回上游错误也好,抛异常也好,结果都是一样的
    其实我这里主要是想描述下如何将结论说的有理有据而不是就一句话

  • ayoungman

    对啊,直接在前端直接限制或者实现校验,就不会出现问题了。
    楼主也说了需要多个系统处理,这就更显现出在数据入口的前端验证更加简单。

  • 88250 1

    从分布式系统、微服务来说各子系统处理自己的数据都要校验,不能只在端用户的业务流程入口处校验。因为有些情况就是上游系统(服务消费者)给的参数就有问题,不能按照明显错误的参数继续处理。另外,抛异常和返回业务错误码是完全不一样的,微服务 RPC 的时候尽量不要抛异常,影响性能不说,最重要的是没法保证语义,统一返回业务错误码是更好的选择。

    1 回复
  • ZephyrJung via macOS

    受教了🙏

  • KylinShaw

    D 大说的对,再烂的参数也不能炸,客户走进酒吧点了一桶泡面,点了一份蛋炒饭,但是你的酒吧不能就这么炸了,你直接回复没有就好了,你不能说客户不能这么点单,这么点单不合符规矩。

    1 回复
  • ZephyrJung via macOS

    你这个例子其实正是我不返回错误的原因
    客户点了一份蛋炒饭,但是服务员写成了蛋壳炒饭,后厨接小票时,不是一看小票对服务员说,告诉客户这个不能点,而是跟服务员说,这个你写错了吧,然后去炒了蛋炒饭。下单写的菜是否正确,理论上应该服务员去做,后厨有兜底当然更好,没有的话只要服务员履行好责任也不会有问题

请输入回帖内容 ...
ZephyrJung
一切有为法,如梦幻泡影,如露亦如电,应作如是观 香港

推荐标签 标签

  • Dubbo

    Dubbo 是一个分布式服务框架,致力于提供高性能和透明化的 RPC 远程服务调用方案,是 [阿里巴巴] SOA 服务化治理方案的核心框架,每天为 2,000+ 个服务提供 3,000,000,000+ 次访问量支持,并被广泛应用于阿里巴巴集团的各成员站点。

    60 引用 • 82 回帖 • 612 关注
  • CSDN

    CSDN (Chinese Software Developer Network) 创立于 1999 年,是中国的 IT 社区和服务平台,为中国的软件开发者和 IT 从业者提供知识传播、职业发展、软件开发等全生命周期服务,满足他们在职业发展中学习及共享知识和信息、建立职业发展社交圈、通过软件开发实现技术商业化等刚性需求。

    14 引用 • 155 回帖 • 1 关注
  • JavaScript

    JavaScript 一种动态类型、弱类型、基于原型的直译式脚本语言,内置支持类型。它的解释器被称为 JavaScript 引擎,为浏览器的一部分,广泛用于客户端的脚本语言,最早是在 HTML 网页上使用,用来给 HTML 网页增加动态功能。

    730 引用 • 1280 回帖 • 4 关注
  • 笔记

    好记性不如烂笔头。

    310 引用 • 794 回帖
  • TextBundle

    TextBundle 文件格式旨在应用程序之间交换 Markdown 或 Fountain 之类的纯文本文件时,提供更无缝的用户体验。

    1 引用 • 2 回帖 • 82 关注
  • Access
    1 引用 • 3 回帖 • 2 关注
  • 服务器

    服务器,也称伺服器,是提供计算服务的设备。由于服务器需要响应服务请求,并进行处理,因此一般来说服务器应具备承担服务并且保障服务的能力。

    125 引用 • 585 回帖 • 1 关注
  • 支付宝

    支付宝是全球领先的独立第三方支付平台,致力于为广大用户提供安全快速的电子支付/网上支付/安全支付/手机支付体验,及转账收款/水电煤缴费/信用卡还款/AA 收款等生活服务应用。

    29 引用 • 347 回帖 • 1 关注
  • GitBook

    GitBook 使您的团队可以轻松编写和维护高质量的文档。 分享知识,提高团队的工作效率,让用户满意。

    3 引用 • 8 回帖 • 1 关注
  • 国际化

    i18n(其来源是英文单词 internationalization 的首末字符 i 和 n,18 为中间的字符数)是“国际化”的简称。对程序来说,国际化是指在不修改代码的情况下,能根据不同语言及地区显示相应的界面。

    8 引用 • 26 回帖 • 1 关注
  • 开源中国

    开源中国是目前中国最大的开源技术社区。传播开源的理念,推广开源项目,为 IT 开发者提供了一个发现、使用、并交流开源技术的平台。目前开源中国社区已收录超过两万款开源软件。

    7 引用 • 86 回帖
  • SEO

    发布对别人有帮助的原创内容是最好的 SEO 方式。

    35 引用 • 200 回帖 • 30 关注
  • Markdown

    Markdown 是一种轻量级标记语言,用户可使用纯文本编辑器来排版文档,最终通过 Markdown 引擎将文档转换为所需格式(比如 HTML、PDF 等)。

    170 引用 • 1529 回帖
  • Mac

    Mac 是苹果公司自 1984 年起以“Macintosh”开始开发的个人消费型计算机,如:iMac、Mac mini、Macbook Air、Macbook Pro、Macbook、Mac Pro 等计算机。

    168 引用 • 597 回帖
  • 架构

    我们平时所说的“架构”主要是指软件架构,这是有关软件整体结构与组件的抽象描述,用于指导软件系统各个方面的设计。另外还有“业务架构”、“网络架构”、“硬件架构”等细分领域。

    143 引用 • 442 回帖 • 1 关注
  • GAE

    Google App Engine(GAE)是 Google 管理的数据中心中用于 WEB 应用程序的开发和托管的平台。2008 年 4 月 发布第一个测试版本。目前支持 Python、Java 和 Go 开发部署。全球已有数十万的开发者在其上开发了众多的应用。

    14 引用 • 42 回帖 • 812 关注
  • Node.js

    Node.js 是一个基于 Chrome JavaScript 运行时建立的平台, 用于方便地搭建响应速度快、易于扩展的网络应用。Node.js 使用事件驱动, 非阻塞 I/O 模型而得以轻量和高效。

    139 引用 • 269 回帖
  • 京东

    京东是中国最大的自营式电商企业,2015 年第一季度在中国自营式 B2C 电商市场的占有率为 56.3%。2014 年 5 月,京东在美国纳斯达克证券交易所正式挂牌上市(股票代码:JD),是中国第一个成功赴美上市的大型综合型电商平台,与腾讯、百度等中国互联网巨头共同跻身全球前十大互联网公司排行榜。

    14 引用 • 102 回帖 • 318 关注
  • iOS

    iOS 是由苹果公司开发的移动操作系统,最早于 2007 年 1 月 9 日的 Macworld 大会上公布这个系统,最初是设计给 iPhone 使用的,后来陆续套用到 iPod touch、iPad 以及 Apple TV 等产品上。iOS 与苹果的 Mac OS X 操作系统一样,属于类 Unix 的商业操作系统。

    88 引用 • 139 回帖
  • Openfire

    Openfire 是开源的、基于可拓展通讯和表示协议 (XMPP)、采用 Java 编程语言开发的实时协作服务器。Openfire 的效率很高,单台服务器可支持上万并发用户。

    6 引用 • 7 回帖 • 104 关注
  • CAP

    CAP 指的是在一个分布式系统中, Consistency(一致性)、 Availability(可用性)、Partition tolerance(分区容错性),三者不可兼得。

    12 引用 • 5 回帖 • 637 关注
  • Git

    Git 是 Linux Torvalds 为了帮助管理 Linux 内核开发而开发的一个开放源码的版本控制软件。

    211 引用 • 358 回帖
  • CSS

    CSS(Cascading Style Sheet)“层叠样式表”是用于控制网页样式并允许将样式信息与网页内容分离的一种标记性语言。

    199 引用 • 542 回帖 • 1 关注
  • 音乐

    你听到信仰的声音了么?

    62 引用 • 512 回帖
  • Electron

    Electron 基于 Chromium 和 Node.js,让你可以使用 HTML、CSS 和 JavaScript 构建应用。它是一个由 GitHub 及众多贡献者组成的活跃社区共同维护的开源项目,兼容 Mac、Windows 和 Linux,它构建的应用可在这三个操作系统上面运行。

    15 引用 • 136 回帖
  • webpack

    webpack 是一个用于前端开发的模块加载器和打包工具,它能把各种资源,例如 JS、CSS(less/sass)、图片等都作为模块来使用和处理。

    42 引用 • 130 回帖 • 247 关注
  • 阿里巴巴

    阿里巴巴网络技术有限公司(简称:阿里巴巴集团)是以曾担任英语教师的马云为首的 18 人,于 1999 年在中国杭州创立,他们相信互联网能够创造公平的竞争环境,让小企业通过创新与科技扩展业务,并在参与国内或全球市场竞争时处于更有利的位置。

    43 引用 • 221 回帖 • 70 关注