使用 netcore 实现统一文件上传服务

本贴最后更新于 1760 天前,其中的信息可能已经物是人非

一般来讲,每个系统都有上传图片或者文件的功能,多个项目的上传文件这个功能基本上也都是差不多的,无非是限制上传的文件类型不一样,所有我们有必要开发一个统一的服务来满足公司 不同项目的上传文件的需求。

要满足不同项目的上传功能,大概有两种方法。第一种,各自项目前端还是要上传到对应的后端,后端统一上传到文件服务,这样的好处是可以利用各个项目的验证功能,缺点是项目后端还是有少许逻辑,而且从项目前端到对应后端,再从项目后端到上传服务,数据的传输多了一步。第二种,从各个项目的前端直接上传的上传服务,这种方式效率高,对应的后端也没什么逻辑,但是需要解决权限验证的问题,不然别人知道了你的上传服务地址,偷偷上传就不好了。

刚开始的时候,我使用第一种方式,效果不怎么好,就着手第二中方式的实现,第二中方式首先要解决的是验证的问题,还好现在有 api 验证的方式可以直接借鉴,所以我决定使用 jwt 来做权限验证。具体流程是这样的:项目前端调用本项目 api 获取 jwt,项目前端携带 jwt 直接把文件上传到上传服务,上传服务返回上传成功的 url 地址。 上传服务和项目后端都属于项目后端部分,这样就确保了 jwt 的加密是外人不可见的,思路我们想清楚了,现在就要开始细节的设计了。

首先是上传服务这边的功能配置,结合 appsettings.json,我们逐个说一下:

{
  "AllowedHosts": "*",
  "urls": "http://localhost:6001",
  "uploadServer": {
    "rootUrl": "http://localhost:6001",
    "entryPoint1": "/upload",
    "entryPoint2": "/chunkUpload",
    "virtualPath": "",
    "physicalPath": "/Users/loogn/Desktop/uploader",
    "appendMimes": ".htm3:text/html;",
    "responseCache": 604800,
    "jwtSecret": "1234561234",
    "limitSize": "20mb",
    "allowExts": ".txt;.jpg;.jpeg;.png;.doc;.docx;.xls;.xlsx;.ppt;.pptx;.pdf",
    "apps": {
      "default": {
        "allowOrigins": "",
        "enableThumbnail": true,
        "limitExts": ".exe;",
        "thumbnailExts": ".jpg;.jpeg;.png;"
      },
      "app1": {
        "allowOrigins": "*"
      }
    }
  }
}
  • rootUrl 是上传成功后文件 url 的基地址,如果作为静态文件服务器来提供对上传成功的文件的访问,那么这这里的地址应该和 urls 一样;如果上传成功的文件的访问由其他服务器提供(如 nginx),那么这里就是对应 nginx 的域名;
  • entryPoint1 是一般上传的服务地址,完整地址是 urls+entryPoint1;
  • entryPoint2 是分块上传的服务地址,完整地址是 urls+entryPoint2,分块上传需要 html5 的支持,对应的客户端类库是开源项目 simple-uploader ;
  • virtualPath:作为静态文件服务器的时候,对应的项目目录;
  • physicalPath:文件上传的本地目录;
  • appendMimes: 作为静态文件服务器时,添加的 mime 类型映射;
  • responseCache:作为静态文件服务器时,静态文件的缓存时间(秒);
  • jwtSecret:jwt 的秘钥,各个项目后端要使用相同的秘钥加密获得 jwt;
  • limitSize:默认限制大小,只能以 mb 或 kb 为单位结尾;
  • allowExts : 默认允许上传的文件类型后缀
  • apps: 该节点中是一个字典结构,key 是各个项目名称,value 是特定项目的特殊配置,其中 key 为 default 的所有项目的默认配置。

我们稍后再说 value 中的配置项,现在我们说一下 jwt。jwt 需要通过 header 或者 form 传给上传服务。
对 jwt 不清楚的同学可以看这里 jwt.io ,我们约定 payload 中有以下四项配置:

  1. exp 表示过期时间,utc 时间戳,必填
  2. app 表示项目名称,必填
  3. size 表示项目上传大小限制 ,支持 mb 和 kb 为单位,选填,可以覆盖 uploadServer.limitSize
  4. exts 表示该项目额外支持的文件类型,选填

由于 jwt 是项目后端发布的,所以项目后端有权限和义务做好相应的配置,比如 exp 过期时间,由于 jwt 发布出去之后无法收回,exp 就显得额外重要了,如果上传小文件,估计 1 分钟的时间就够了(前提是项目后端的时间和上传服务的时间一致),比如 exts 配置,如果该项目需要上传 mp4 文件,那么并不需要再上传服务器上修改配置,只需要再返回 jwt 的时候加入 exts:".mp4"就行了。

现在再说说上传服务的配置中 apps 子节点的配置:

  1. allowOrigins 允许上传的前台域名
  2. enableThumbnail 作文静态文件服务器时,是否启用生成缩率图功能
  3. limitExts 禁止的文件后缀,比如".exe",如果默认配置或 jwt 配置允许,这里是最后防线,所以项目可上传的后缀为 uploadServer.allowExts+jwt 中 exts-apps 中 limitExts
  4. thumbnailExts 启用缩率图时,可以应用的文件后缀,缩率图地址使用返回的 url 加?w=100&h=200 这样的地址访问。

项目地址:uploadServer

  • .NET
    27 引用 • 6 回帖 • 5 关注
  • 上传
    22 引用 • 157 回帖

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...

推荐标签 标签

  • Q&A

    提问之前请先看《提问的智慧》,好的问题比好的答案更有价值。

    6542 引用 • 29404 回帖 • 245 关注
  • 资讯

    资讯是用户因为及时地获得它并利用它而能够在相对短的时间内给自己带来价值的信息,资讯有时效性和地域性。

    53 引用 • 85 回帖
  • 服务

    提供一个服务绝不仅仅是简单的把硬件和软件累加在一起,它包括了服务的可靠性、服务的标准化、以及对服务的监控、维护、技术支持等。

    41 引用 • 24 回帖 • 4 关注
  • 招聘

    哪里都缺人,哪里都不缺人。

    189 引用 • 1056 回帖 • 3 关注
  • 创造

    你创造的作品可能会帮助到很多人,如果是开源项目的话就更赞了!

    172 引用 • 990 回帖
  • 国际化

    i18n(其来源是英文单词 internationalization 的首末字符 i 和 n,18 为中间的字符数)是“国际化”的简称。对程序来说,国际化是指在不修改代码的情况下,能根据不同语言及地区显示相应的界面。

    7 引用 • 26 回帖 • 1 关注
  • 持续集成

    持续集成(Continuous Integration)是一种软件开发实践,即团队开发成员经常集成他们的工作,通过每个成员每天至少集成一次,也就意味着每天可能会发生多次集成。每次集成都通过自动化的构建(包括编译,发布,自动化测试)来验证,从而尽早地发现集成错误。

    14 引用 • 7 回帖 • 2 关注
  • OpenResty

    OpenResty 是一个基于 NGINX 与 Lua 的高性能 Web 平台,其内部集成了大量精良的 Lua 库、第三方模块以及大多数的依赖项。用于方便地搭建能够处理超高并发、扩展性极高的动态 Web 应用、Web 服务和动态网关。

    17 引用 • 38 关注
  • 黑曜石

    黑曜石是一款强大的知识库工具,支持本地 Markdown 文件编辑,支持双向链接和关系图。

    A second brain, for you, forever.

    10 引用 • 85 回帖 • 1 关注
  • BookxNote

    BookxNote 是一款全新的电子书学习工具,助力您的学习与思考,让您的大脑更高效的记忆。

    笔记整理交给我,一心只读圣贤书。

    1 引用 • 1 回帖
  • 博客

    记录并分享人生的经历。

    270 引用 • 2386 回帖
  • ReactiveX

    ReactiveX 是一个专注于异步编程与控制可观察数据(或者事件)流的 API。它组合了观察者模式,迭代器模式和函数式编程的优秀思想。

    1 引用 • 2 回帖 • 125 关注
  • Mac

    Mac 是苹果公司自 1984 年起以“Macintosh”开始开发的个人消费型计算机,如:iMac、Mac mini、Macbook Air、Macbook Pro、Macbook、Mac Pro 等计算机。

    164 引用 • 594 回帖
  • 以太坊

    以太坊(Ethereum)并不是一个机构,而是一款能够在区块链上实现智能合约、开源的底层系统。以太坊是一个平台和一种编程语言 Solidity,使开发人员能够建立和发布下一代去中心化应用。 以太坊可以用来编程、分散、担保和交易任何事物:投票、域名、金融交易所、众筹、公司管理、合同和知识产权等等。

    34 引用 • 367 回帖 • 2 关注
  • uTools

    uTools 是一个极简、插件化、跨平台的现代桌面软件。通过自由选配丰富的插件,打造你得心应手的工具集合。

    5 引用 • 13 回帖
  • IBM

    IBM(国际商业机器公司)或万国商业机器公司,简称 IBM(International Business Machines Corporation),总公司在纽约州阿蒙克市。1911 年托马斯·沃森创立于美国,是全球最大的信息技术和业务解决方案公司,拥有全球雇员 30 多万人,业务遍及 160 多个国家和地区。

    16 引用 • 53 回帖 • 123 关注
  • MyBatis

    MyBatis 本是 Apache 软件基金会 的一个开源项目 iBatis,2010 年这个项目由 Apache 软件基金会迁移到了 google code,并且改名为 MyBatis ,2013 年 11 月再次迁移到了 GitHub。

    170 引用 • 414 回帖 • 430 关注
  • frp

    frp 是一个可用于内网穿透的高性能的反向代理应用,支持 TCP、UDP、 HTTP 和 HTTPS 协议。

    15 引用 • 7 回帖 • 11 关注
  • Spark

    Spark 是 UC Berkeley AMP lab 所开源的类 Hadoop MapReduce 的通用并行框架。Spark 拥有 Hadoop MapReduce 所具有的优点;但不同于 MapReduce 的是 Job 中间输出结果可以保存在内存中,从而不再需要读写 HDFS,因此 Spark 能更好地适用于数据挖掘与机器学习等需要迭代的 MapReduce 的算法。

    74 引用 • 46 回帖 • 550 关注
  • JVM

    JVM(Java Virtual Machine)Java 虚拟机是一个微型操作系统,有自己的硬件构架体系,还有相应的指令系统。能够识别 Java 独特的 .class 文件(字节码),能够将这些文件中的信息读取出来,使得 Java 程序只需要生成 Java 虚拟机上的字节码后就能在不同操作系统平台上进行运行。

    180 引用 • 120 回帖 • 1 关注
  • Google

    Google(Google Inc.,NASDAQ:GOOG)是一家美国上市公司(公有股份公司),于 1998 年 9 月 7 日以私有股份公司的形式创立,设计并管理一个互联网搜索引擎。Google 公司的总部称作“Googleplex”,它位于加利福尼亚山景城。Google 目前被公认为是全球规模最大的搜索引擎,它提供了简单易用的免费服务。不作恶(Don't be evil)是谷歌公司的一项非正式的公司口号。

    49 引用 • 192 回帖
  • Tomcat

    Tomcat 最早是由 Sun Microsystems 开发的一个 Servlet 容器,在 1999 年被捐献给 ASF(Apache Software Foundation),隶属于 Jakarta 项目,现在已经独立为一个顶级项目。Tomcat 主要实现了 JavaEE 中的 Servlet、JSP 规范,同时也提供 HTTP 服务,是市场上非常流行的 Java Web 容器。

    162 引用 • 529 回帖 • 3 关注
  • 996
    13 引用 • 200 回帖
  • BND

    BND(Baidu Netdisk Downloader)是一款图形界面的百度网盘不限速下载器,支持 Windows、Linux 和 Mac,详细介绍请看这里

    107 引用 • 1281 回帖 • 23 关注
  • HTML

    HTML5 是 HTML 下一个的主要修订版本,现在仍处于发展阶段。广义论及 HTML5 时,实际指的是包括 HTML、CSS 和 JavaScript 在内的一套技术组合。

    103 引用 • 294 回帖
  • WiFiDog

    WiFiDog 是一套开源的无线热点认证管理工具,主要功能包括:位置相关的内容递送;用户认证和授权;集中式网络监控。

    1 引用 • 7 回帖 • 545 关注
  • Ngui

    Ngui 是一个 GUI 的排版显示引擎和跨平台的 GUI 应用程序开发框架,基于
    Node.js / OpenGL。目标是在此基础上开发 GUI 应用程序可拥有开发 WEB 应用般简单与速度同时兼顾 Native 应用程序的性能与体验。

    7 引用 • 9 回帖 • 346 关注