使用 netcore 实现统一文件上传服务

本贴最后更新于 2070 天前,其中的信息可能已经物是人非

一般来讲,每个系统都有上传图片或者文件的功能,多个项目的上传文件这个功能基本上也都是差不多的,无非是限制上传的文件类型不一样,所有我们有必要开发一个统一的服务来满足公司 不同项目的上传文件的需求。

要满足不同项目的上传功能,大概有两种方法。第一种,各自项目前端还是要上传到对应的后端,后端统一上传到文件服务,这样的好处是可以利用各个项目的验证功能,缺点是项目后端还是有少许逻辑,而且从项目前端到对应后端,再从项目后端到上传服务,数据的传输多了一步。第二种,从各个项目的前端直接上传的上传服务,这种方式效率高,对应的后端也没什么逻辑,但是需要解决权限验证的问题,不然别人知道了你的上传服务地址,偷偷上传就不好了。

刚开始的时候,我使用第一种方式,效果不怎么好,就着手第二中方式的实现,第二中方式首先要解决的是验证的问题,还好现在有 api 验证的方式可以直接借鉴,所以我决定使用 jwt 来做权限验证。具体流程是这样的:项目前端调用本项目 api 获取 jwt,项目前端携带 jwt 直接把文件上传到上传服务,上传服务返回上传成功的 url 地址。 上传服务和项目后端都属于项目后端部分,这样就确保了 jwt 的加密是外人不可见的,思路我们想清楚了,现在就要开始细节的设计了。

首先是上传服务这边的功能配置,结合 appsettings.json,我们逐个说一下:

{ "AllowedHosts": "*", "urls": "http://localhost:6001", "uploadServer": { "rootUrl": "http://localhost:6001", "entryPoint1": "/upload", "entryPoint2": "/chunkUpload", "virtualPath": "", "physicalPath": "/Users/loogn/Desktop/uploader", "appendMimes": ".htm3:text/html;", "responseCache": 604800, "jwtSecret": "1234561234", "limitSize": "20mb", "allowExts": ".txt;.jpg;.jpeg;.png;.doc;.docx;.xls;.xlsx;.ppt;.pptx;.pdf", "apps": { "default": { "allowOrigins": "", "enableThumbnail": true, "limitExts": ".exe;", "thumbnailExts": ".jpg;.jpeg;.png;" }, "app1": { "allowOrigins": "*" } } } }
  • rootUrl 是上传成功后文件 url 的基地址,如果作为静态文件服务器来提供对上传成功的文件的访问,那么这这里的地址应该和 urls 一样;如果上传成功的文件的访问由其他服务器提供(如 nginx),那么这里就是对应 nginx 的域名;
  • entryPoint1 是一般上传的服务地址,完整地址是 urls+entryPoint1;
  • entryPoint2 是分块上传的服务地址,完整地址是 urls+entryPoint2,分块上传需要 html5 的支持,对应的客户端类库是开源项目 simple-uploader ;
  • virtualPath:作为静态文件服务器的时候,对应的项目目录;
  • physicalPath:文件上传的本地目录;
  • appendMimes: 作为静态文件服务器时,添加的 mime 类型映射;
  • responseCache:作为静态文件服务器时,静态文件的缓存时间(秒);
  • jwtSecret:jwt 的秘钥,各个项目后端要使用相同的秘钥加密获得 jwt;
  • limitSize:默认限制大小,只能以 mb 或 kb 为单位结尾;
  • allowExts : 默认允许上传的文件类型后缀
  • apps: 该节点中是一个字典结构,key 是各个项目名称,value 是特定项目的特殊配置,其中 key 为 default 的所有项目的默认配置。

我们稍后再说 value 中的配置项,现在我们说一下 jwt。jwt 需要通过 header 或者 form 传给上传服务。
对 jwt 不清楚的同学可以看这里 jwt.io ,我们约定 payload 中有以下四项配置:

  1. exp 表示过期时间,utc 时间戳,必填
  2. app 表示项目名称,必填
  3. size 表示项目上传大小限制 ,支持 mb 和 kb 为单位,选填,可以覆盖 uploadServer.limitSize
  4. exts 表示该项目额外支持的文件类型,选填

由于 jwt 是项目后端发布的,所以项目后端有权限和义务做好相应的配置,比如 exp 过期时间,由于 jwt 发布出去之后无法收回,exp 就显得额外重要了,如果上传小文件,估计 1 分钟的时间就够了(前提是项目后端的时间和上传服务的时间一致),比如 exts 配置,如果该项目需要上传 mp4 文件,那么并不需要再上传服务器上修改配置,只需要再返回 jwt 的时候加入 exts:".mp4"就行了。

现在再说说上传服务的配置中 apps 子节点的配置:

  1. allowOrigins 允许上传的前台域名
  2. enableThumbnail 作文静态文件服务器时,是否启用生成缩率图功能
  3. limitExts 禁止的文件后缀,比如".exe",如果默认配置或 jwt 配置允许,这里是最后防线,所以项目可上传的后缀为 uploadServer.allowExts+jwt 中 exts-apps 中 limitExts
  4. thumbnailExts 启用缩率图时,可以应用的文件后缀,缩率图地址使用返回的 url 加?w=100&h=200 这样的地址访问。

项目地址:uploadServer

  • .NET
    27 引用 • 6 回帖 • 5 关注
  • 上传
    22 引用 • 157 回帖

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...

推荐标签 标签

  • jsDelivr

    jsDelivr 是一个开源的 CDN 服务,可为 npm 包、GitHub 仓库提供免费、快速并且可靠的全球 CDN 加速服务。

    5 引用 • 31 回帖 • 92 关注
  • GitHub

    GitHub 于 2008 年上线,目前,除了 Git 代码仓库托管及基本的 Web 管理界面以外,还提供了订阅、讨论组、文本渲染、在线文件编辑器、协作图谱(报表)、代码片段分享(Gist)等功能。正因为这些功能所提供的便利,又经过长期的积累,GitHub 的用户活跃度很高,在开源世界里享有深远的声望,并形成了社交化编程文化(Social Coding)。

    211 引用 • 2040 回帖
  • 七牛云

    七牛云是国内领先的企业级公有云服务商,致力于打造以数据为核心的场景化 PaaS 服务。围绕富媒体场景,七牛先后推出了对象存储,融合 CDN 加速,数据通用处理,内容反垃圾服务,以及直播云服务等。

    28 引用 • 225 回帖 • 139 关注
  • Lute

    Lute 是一款结构化的 Markdown 引擎,支持 Go 和 JavaScript。

    26 引用 • 196 回帖 • 25 关注
  • MyBatis

    MyBatis 本是 Apache 软件基金会 的一个开源项目 iBatis,2010 年这个项目由 Apache 软件基金会迁移到了 google code,并且改名为 MyBatis ,2013 年 11 月再次迁移到了 GitHub。

    170 引用 • 414 回帖 • 380 关注
  • InfluxDB

    InfluxDB 是一个开源的没有外部依赖的时间序列数据库。适用于记录度量,事件及实时分析。

    2 引用 • 90 关注
  • Ubuntu

    Ubuntu(友帮拓、优般图、乌班图)是一个以桌面应用为主的 Linux 操作系统,其名称来自非洲南部祖鲁语或豪萨语的“ubuntu”一词,意思是“人性”、“我的存在是因为大家的存在”,是非洲传统的一种价值观,类似华人社会的“仁爱”思想。Ubuntu 的目标在于为一般用户提供一个最新的、同时又相当稳定的主要由自由软件构建而成的操作系统。

    127 引用 • 169 回帖
  • 大疆创新

    深圳市大疆创新科技有限公司(DJI-Innovations,简称 DJI),成立于 2006 年,是全球领先的无人飞行器控制系统及无人机解决方案的研发和生产商,客户遍布全球 100 多个国家。通过持续的创新,大疆致力于为无人机工业、行业用户以及专业航拍应用提供性能最强、体验最佳的革命性智能飞控产品和解决方案。

    2 引用 • 14 回帖 • 1 关注
  • FFmpeg

    FFmpeg 是一套可以用来记录、转换数字音频、视频,并能将其转化为流的开源计算机程序。

    23 引用 • 32 回帖 • 4 关注
  • PWA

    PWA(Progressive Web App)是 Google 在 2015 年提出、2016 年 6 月开始推广的项目。它结合了一系列现代 Web 技术,在网页应用中实现和原生应用相近的用户体验。

    14 引用 • 69 回帖 • 172 关注
  • 禅道

    禅道是一款国产的开源项目管理软件,她的核心管理思想基于敏捷方法 scrum,内置了产品管理和项目管理,同时又根据国内研发现状补充了测试管理、计划管理、发布管理、文档管理、事务管理等功能,在一个软件中就可以将软件研发中的需求、任务、bug、用例、计划、发布等要素有序的跟踪管理起来,完整地覆盖了项目管理的核心流程。

    6 引用 • 15 回帖 • 59 关注
  • Love2D

    Love2D 是一个开源的, 跨平台的 2D 游戏引擎。使用纯 Lua 脚本来进行游戏开发。目前支持的平台有 Windows, Mac OS X, Linux, Android 和 iOS。

    14 引用 • 53 回帖 • 551 关注
  • 反馈

    Communication channel for makers and users.

    124 引用 • 928 回帖 • 263 关注
  • Netty

    Netty 是一个基于 NIO 的客户端-服务器编程框架,使用 Netty 可以让你快速、简单地开发出一个可维护、高性能的网络应用,例如实现了某种协议的客户、服务端应用。

    49 引用 • 33 回帖 • 31 关注
  • 996
    13 引用 • 200 回帖 • 9 关注
  • 黑曜石

    黑曜石是一款强大的知识库工具,支持本地 Markdown 文件编辑,支持双向链接和关系图。

    A second brain, for you, forever.

    20 引用 • 193 回帖
  • Android

    Android 是一种以 Linux 为基础的开放源码操作系统,主要使用于便携设备。2005 年由 Google 收购注资,并拉拢多家制造商组成开放手机联盟开发改良,逐渐扩展到到平板电脑及其他领域上。

    335 引用 • 324 回帖
  • 创造

    你创造的作品可能会帮助到很多人,如果是开源项目的话就更赞了!

    180 引用 • 1002 回帖
  • 30Seconds

    📙 前端知识精选集,包含 HTML、CSS、JavaScript、React、Node、安全等方面,每天仅需 30 秒。

    • 精选常见面试题,帮助您准备下一次面试
    • 精选常见交互,帮助您拥有简洁酷炫的站点
    • 精选有用的 React 片段,帮助你获取最佳实践
    • 精选常见代码集,帮助您提高打码效率
    • 整理前端界的最新资讯,邀您一同探索新世界
    488 引用 • 384 回帖 • 5 关注
  • Quicker

    Quicker 您的指尖工具箱!操作更少,收获更多!

    36 引用 • 155 回帖
  • Outlook
    1 引用 • 5 回帖 • 4 关注
  • Ruby

    Ruby 是一种开源的面向对象程序设计的服务器端脚本语言,在 20 世纪 90 年代中期由日本的松本行弘(まつもとゆきひろ/Yukihiro Matsumoto)设计并开发。在 Ruby 社区,松本也被称为马茨(Matz)。

    7 引用 • 31 回帖 • 246 关注
  • OneNote
    1 引用 • 3 回帖 • 1 关注
  • 职场

    找到自己的位置,萌新烦恼少。

    127 引用 • 1706 回帖 • 1 关注
  • 博客

    记录并分享人生的经历。

    273 引用 • 2388 回帖
  • SQLServer

    SQL Server 是由 [微软] 开发和推广的关系数据库管理系统(DBMS),它最初是由 微软、Sybase 和 Ashton-Tate 三家公司共同开发的,并于 1988 年推出了第一个 OS/2 版本。

    21 引用 • 31 回帖 • 3 关注
  • Kubernetes

    Kubernetes 是 Google 开源的一个容器编排引擎,它支持自动化部署、大规模可伸缩、应用容器化管理。

    111 引用 • 54 回帖