Skip to content

S3,BT,aria2 能不能不要默认启动, 应该给与配置开关由admin手动按需开启。 #6401

Closed
@gowy222

Description

@gowy222

Please make sure of the following things

  • I have read the documentation.
    I'm sure there are no duplicate issues or discussions.
    I'm sure this feature is not implemented.
    I'm sure it's a reasonable and popular requirement.

Description of the feature / 需求描述

特别是S3,
集群环境host网络部署, S3会占用默认端口(第一步全新裸部署就占用端口影响其他编排),尤其是BT访问8080冲突!!! 而且用不到的情况,这个开启有点浪费端口...

2024-04-27T20:06:35.071175056Z WARN[2024-04-27 20:06:35] init tool qBittorrent failed: Post "http://localhost:8080/api/v2/auth/login": dial tcp [::1]:8080: connect: connection refused 
WARN[2024-04-27 20:06:35] init tool aria2 failed: failed get aria2 version: Post "http://localhost:6800/jsonrpc": dial tcp [::1]:6800: connect: connection refused 
INFO[2024-04-27 20:06:35] init tool SimpleHttp success: ok             
INFO[2024-04-27 20:06:35] start HTTP server @ 0.0.0.0:5244             
2024-04-27T20:06:35.073028161Z INFO[2024-04-27 20:06:35] start S3 server @ 0.0.0.0:5246   

Suggested solution / 实现思路

No response

Additional context / 附件

No response

Activity

pongfcnkl

pongfcnkl commented on Apr 28, 2024

@pongfcnkl

s3可以换开发版可以关闭

JsonSong89

JsonSong89 commented on May 11, 2024

@JsonSong89

附议
s3其实算是非常小众的需求了

gowy222

gowy222 commented on May 11, 2024

@gowy222
Author

而且S3 将来会给alist带来一个bug,

S3没有真实文件夹一说,都是虚拟映射。
所以,一个文件夹下面可以10w+无限个子文件/文件夹,

而很多网盘是有限制数量的,
比如阿里云盘,一个文件夹下面就限制max文件数(不是1W就是10W)。//当初迁移1T文件的时候特意咨询过阿里云盘那边,

这个就涉及到直接用S3接口上传文件间接到云盘那边报错文件数超限,导致S3上传失败。再考虑下内置轻量db性能,没有缓存的情况下,想拉平S3文件tree结构和各家云盘tree结构,底层过程可能需要很多个分页http请求才能得到目标文件。

如果S3接口限制一个文件夹下面 子文件数量上限,就没意义使用S3接口了..

itsHenry35

itsHenry35 commented on May 11, 2024

@itsHenry35
Contributor

首先,针对这个issue,可以close了,在3.34.0的这个commit:#6291 中,已经搞定了

itsHenry35

itsHenry35 commented on May 11, 2024

@itsHenry35
Contributor

根据这个问题,在如下我作出回答

而且S3 将来会给alist带来一个bug,

S3没有真实文件夹一说,都是虚拟映射。 所以,一个文件夹下面可以10w+无限个子文件/文件夹,

而很多网盘是有限制数量的, 比如阿里云盘,一个文件夹下面就限制max文件数(不是1W就是10W)。//当初迁移1T文件的时候特意咨询过阿里云盘那边,

我知道确实是虚拟路径实现的文件夹,但是实际上只是说响应的时候以虚拟文件夹文件名的映射,在网盘中的储存依然是以你网盘中的路径结构来的,最终反映出来的结果也是网盘的路径结构

这个就涉及到直接用S3接口上传文件间接到云盘那边报错文件数超限,导致S3上传失败。再考虑下内置轻量db性能,没有缓存的情况下,想拉平S3文件tree结构和各家云盘tree结构,底层过程可能需要很多个分页http请求才能得到目标文件。

如果S3接口限制一个文件夹下面 子文件数量上限,就没意义使用S3接口了..

这个问题确实存在,所以以后可以加入文件深度控制来防止无限向下遍历

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    enhancementNew feature or request

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

      Development

      No branches or pull requests

        Participants

        @JsonSong89@pongfcnkl@gowy222@itsHenry35

        Issue actions

          S3,BT,aria2 能不能不要默认启动, 应该给与配置开关由admin手动按需开启。 · Issue #6401 · AlistGo/alist