使用 netcore 实现统一文件上传服务

本贴最后更新于 1971 天前,其中的信息可能已经物是人非

一般来讲,每个系统都有上传图片或者文件的功能,多个项目的上传文件这个功能基本上也都是差不多的,无非是限制上传的文件类型不一样,所有我们有必要开发一个统一的服务来满足公司 不同项目的上传文件的需求。

要满足不同项目的上传功能,大概有两种方法。第一种,各自项目前端还是要上传到对应的后端,后端统一上传到文件服务,这样的好处是可以利用各个项目的验证功能,缺点是项目后端还是有少许逻辑,而且从项目前端到对应后端,再从项目后端到上传服务,数据的传输多了一步。第二种,从各个项目的前端直接上传的上传服务,这种方式效率高,对应的后端也没什么逻辑,但是需要解决权限验证的问题,不然别人知道了你的上传服务地址,偷偷上传就不好了。

刚开始的时候,我使用第一种方式,效果不怎么好,就着手第二中方式的实现,第二中方式首先要解决的是验证的问题,还好现在有 api 验证的方式可以直接借鉴,所以我决定使用 jwt 来做权限验证。具体流程是这样的:项目前端调用本项目 api 获取 jwt,项目前端携带 jwt 直接把文件上传到上传服务,上传服务返回上传成功的 url 地址。 上传服务和项目后端都属于项目后端部分,这样就确保了 jwt 的加密是外人不可见的,思路我们想清楚了,现在就要开始细节的设计了。

首先是上传服务这边的功能配置,结合 appsettings.json,我们逐个说一下:

{
  "AllowedHosts": "*",
  "urls": "http://localhost:6001",
  "uploadServer": {
    "rootUrl": "http://localhost:6001",
    "entryPoint1": "/upload",
    "entryPoint2": "/chunkUpload",
    "virtualPath": "",
    "physicalPath": "/Users/loogn/Desktop/uploader",
    "appendMimes": ".htm3:text/html;",
    "responseCache": 604800,
    "jwtSecret": "1234561234",
    "limitSize": "20mb",
    "allowExts": ".txt;.jpg;.jpeg;.png;.doc;.docx;.xls;.xlsx;.ppt;.pptx;.pdf",
    "apps": {
      "default": {
        "allowOrigins": "",
        "enableThumbnail": true,
        "limitExts": ".exe;",
        "thumbnailExts": ".jpg;.jpeg;.png;"
      },
      "app1": {
        "allowOrigins": "*"
      }
    }
  }
}
  • rootUrl 是上传成功后文件 url 的基地址,如果作为静态文件服务器来提供对上传成功的文件的访问,那么这这里的地址应该和 urls 一样;如果上传成功的文件的访问由其他服务器提供(如 nginx),那么这里就是对应 nginx 的域名;
  • entryPoint1 是一般上传的服务地址,完整地址是 urls+entryPoint1;
  • entryPoint2 是分块上传的服务地址,完整地址是 urls+entryPoint2,分块上传需要 html5 的支持,对应的客户端类库是开源项目 simple-uploader ;
  • virtualPath:作为静态文件服务器的时候,对应的项目目录;
  • physicalPath:文件上传的本地目录;
  • appendMimes: 作为静态文件服务器时,添加的 mime 类型映射;
  • responseCache:作为静态文件服务器时,静态文件的缓存时间(秒);
  • jwtSecret:jwt 的秘钥,各个项目后端要使用相同的秘钥加密获得 jwt;
  • limitSize:默认限制大小,只能以 mb 或 kb 为单位结尾;
  • allowExts : 默认允许上传的文件类型后缀
  • apps: 该节点中是一个字典结构,key 是各个项目名称,value 是特定项目的特殊配置,其中 key 为 default 的所有项目的默认配置。

我们稍后再说 value 中的配置项,现在我们说一下 jwt。jwt 需要通过 header 或者 form 传给上传服务。
对 jwt 不清楚的同学可以看这里 jwt.io ,我们约定 payload 中有以下四项配置:

  1. exp 表示过期时间,utc 时间戳,必填
  2. app 表示项目名称,必填
  3. size 表示项目上传大小限制 ,支持 mb 和 kb 为单位,选填,可以覆盖 uploadServer.limitSize
  4. exts 表示该项目额外支持的文件类型,选填

由于 jwt 是项目后端发布的,所以项目后端有权限和义务做好相应的配置,比如 exp 过期时间,由于 jwt 发布出去之后无法收回,exp 就显得额外重要了,如果上传小文件,估计 1 分钟的时间就够了(前提是项目后端的时间和上传服务的时间一致),比如 exts 配置,如果该项目需要上传 mp4 文件,那么并不需要再上传服务器上修改配置,只需要再返回 jwt 的时候加入 exts:".mp4"就行了。

现在再说说上传服务的配置中 apps 子节点的配置:

  1. allowOrigins 允许上传的前台域名
  2. enableThumbnail 作文静态文件服务器时,是否启用生成缩率图功能
  3. limitExts 禁止的文件后缀,比如".exe",如果默认配置或 jwt 配置允许,这里是最后防线,所以项目可上传的后缀为 uploadServer.allowExts+jwt 中 exts-apps 中 limitExts
  4. thumbnailExts 启用缩率图时,可以应用的文件后缀,缩率图地址使用返回的 url 加?w=100&h=200 这样的地址访问。

项目地址:uploadServer

  • .NET
    27 引用 • 6 回帖 • 5 关注
  • 上传
    22 引用 • 157 回帖

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...

推荐标签 标签

  • React

    React 是 Facebook 开源的一个用于构建 UI 的 JavaScript 库。

    192 引用 • 291 回帖 • 384 关注
  • 深度学习

    深度学习(Deep Learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。

    53 引用 • 40 回帖
  • 链滴

    链滴是一个记录生活的地方。

    记录生活,连接点滴

    153 引用 • 3783 回帖 • 1 关注
  • Python

    Python 是一种面向对象、直译式电脑编程语言,具有近二十年的发展历史,成熟且稳定。它包含了一组完善而且容易理解的标准库,能够轻松完成很多常见的任务。它的语法简捷和清晰,尽量使用无异义的英语单词,与其它大多数程序设计语言使用大括号不一样,它使用缩进来定义语句块。

    543 引用 • 672 回帖 • 1 关注
  • Rust

    Rust 是一门赋予每个人构建可靠且高效软件能力的语言。Rust 由 Mozilla 开发,最早发布于 2014 年 9 月。

    58 引用 • 22 回帖
  • DevOps

    DevOps(Development 和 Operations 的组合词)是一组过程、方法与系统的统称,用于促进开发(应用程序/软件工程)、技术运营和质量保障(QA)部门之间的沟通、协作与整合。

    47 引用 • 25 回帖
  • Flume

    Flume 是一套分布式的、可靠的,可用于有效地收集、聚合和搬运大量日志数据的服务架构。

    9 引用 • 6 回帖 • 629 关注
  • Linux

    Linux 是一套免费使用和自由传播的类 Unix 操作系统,是一个基于 POSIX 和 Unix 的多用户、多任务、支持多线程和多 CPU 的操作系统。它能运行主要的 Unix 工具软件、应用程序和网络协议,并支持 32 位和 64 位硬件。Linux 继承了 Unix 以网络为核心的设计思想,是一个性能稳定的多用户网络操作系统。

    943 引用 • 943 回帖
  • DNSPod

    DNSPod 建立于 2006 年 3 月份,是一款免费智能 DNS 产品。 DNSPod 可以为同时有电信、网通、教育网服务器的网站提供智能的解析,让电信用户访问电信的服务器,网通的用户访问网通的服务器,教育网的用户访问教育网的服务器,达到互联互通的效果。

    6 引用 • 26 回帖 • 510 关注
  • 互联网

    互联网(Internet),又称网际网络,或音译因特网、英特网。互联网始于 1969 年美国的阿帕网,是网络与网络之间所串连成的庞大网络,这些网络以一组通用的协议相连,形成逻辑上的单一巨大国际网络。

    98 引用 • 344 回帖
  • Kafka

    Kafka 是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是现代系统中许多功能的基础。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。

    36 引用 • 35 回帖
  • InfluxDB

    InfluxDB 是一个开源的没有外部依赖的时间序列数据库。适用于记录度量,事件及实时分析。

    2 引用 • 71 关注
  • GitBook

    GitBook 使您的团队可以轻松编写和维护高质量的文档。 分享知识,提高团队的工作效率,让用户满意。

    3 引用 • 8 回帖 • 4 关注
  • IDEA

    IDEA 全称 IntelliJ IDEA,是一款 Java 语言开发的集成环境,在业界被公认为最好的 Java 开发工具之一。IDEA 是 JetBrains 公司的产品,这家公司总部位于捷克共和国的首都布拉格,开发人员以严谨著称的东欧程序员为主。

    180 引用 • 400 回帖
  • Elasticsearch

    Elasticsearch 是一个基于 Lucene 的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于 RESTful 接口。Elasticsearch 是用 Java 开发的,并作为 Apache 许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。

    117 引用 • 99 回帖 • 211 关注
  • 尊园地产

    昆明尊园房地产经纪有限公司,即:Kunming Zunyuan Property Agency Company Limited(简称“尊园地产”)于 2007 年 6 月开始筹备,2007 年 8 月 18 日正式成立,注册资本 200 万元,公司性质为股份经纪有限公司,主营业务为:代租、代售、代办产权过户、办理银行按揭、担保、抵押、评估等。

    1 引用 • 22 回帖 • 762 关注
  • 数据库

    据说 99% 的性能瓶颈都在数据库。

    340 引用 • 708 回帖
  • 博客

    记录并分享人生的经历。

    273 引用 • 2388 回帖
  • SVN

    SVN 是 Subversion 的简称,是一个开放源代码的版本控制系统,相较于 RCS、CVS,它采用了分支管理系统,它的设计目标就是取代 CVS。

    29 引用 • 98 回帖 • 680 关注
  • AngularJS

    AngularJS 诞生于 2009 年,由 Misko Hevery 等人创建,后为 Google 所收购。是一款优秀的前端 JS 框架,已经被用于 Google 的多款产品当中。AngularJS 有着诸多特性,最为核心的是:MVC、模块化、自动化双向数据绑定、语义化标签、依赖注入等。2.0 版本后已经改名为 Angular。

    12 引用 • 50 回帖 • 474 关注
  • 音乐

    你听到信仰的声音了么?

    60 引用 • 511 回帖
  • 前端

    前端技术一般分为前端设计和前端开发,前端设计可以理解为网站的视觉设计,前端开发则是网站的前台代码实现,包括 HTML、CSS 以及 JavaScript 等。

    247 引用 • 1348 回帖
  • Tomcat

    Tomcat 最早是由 Sun Microsystems 开发的一个 Servlet 容器,在 1999 年被捐献给 ASF(Apache Software Foundation),隶属于 Jakarta 项目,现在已经独立为一个顶级项目。Tomcat 主要实现了 JavaEE 中的 Servlet、JSP 规范,同时也提供 HTTP 服务,是市场上非常流行的 Java Web 容器。

    162 引用 • 529 回帖
  • ZooKeeper

    ZooKeeper 是一个分布式的,开放源码的分布式应用程序协调服务,是 Google 的 Chubby 一个开源的实现,是 Hadoop 和 HBase 的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。

    59 引用 • 29 回帖 • 5 关注
  • Ant-Design

    Ant Design 是服务于企业级产品的设计体系,基于确定和自然的设计价值观上的模块化解决方案,让设计者和开发者专注于更好的用户体验。

    17 引用 • 23 回帖
  • 强迫症

    强迫症(OCD)属于焦虑障碍的一种类型,是一组以强迫思维和强迫行为为主要临床表现的神经精神疾病,其特点为有意识的强迫和反强迫并存,一些毫无意义、甚至违背自己意愿的想法或冲动反反复复侵入患者的日常生活。

    15 引用 • 161 回帖
  • 链书

    链书(Chainbook)是 B3log 开源社区提供的区块链纸质书交易平台,通过 B3T 实现共享激励与价值链。可将你的闲置书籍上架到链书,我们共同构建这个全新的交易平台,让闲置书籍继续发挥它的价值。

    链书社

    链书目前已经下线,也许以后还有计划重制上线。

    14 引用 • 257 回帖