FTP 的 PORT 模式，PASV 模式， FXP 协议和在 java 中使用时的一些问题

这是最近一礼拜遇到的一个很头疼的问题，由于我们的系统需要需要用到 ftp 的 fxp 进行两个 ftp 服务器之间进行数据传输。 但是就是在这上出现了让我很郁闷的问题，连着几天，一个坑接一个坑，连续解决了 5，6 个问题，到今天下午才算是把所有问题解决。 在讲述我遇到的问题之前我们先了解下几个概念： * 首先是 PORT 模式和 PASV 模式，也就是 FTP 的主动模式和被动模式： > * 主动模式的 FTP 连接建立要遵循以下步骤： >> 1. 客户端打开一个随机的端口（端口号大于 1024，在这里，我们称它为 x），同时一个 FTP 进程连接至服务器的 21 号命令端口。此时，源端口为随机端口 x，在客户端，远程端口为 21，在服务器。 >> 2. 客户端开始监听端口（x+1），同时向服务器发送一个端口命令（通过服务器的 21 号命令端口），此命令告诉服务器客户端正在监听的端口号并且已准备好从此端口接收数据。这个端口就是我们所知的数据端口。 >> 3. 服务器打开 20 号源端口并且建立和客户端数据端口的连接。此时，源端口为 20，远程数据端口为（x+1）。 >> 4. 客户端通过本地的数据端口建立一个和服务器 20 号端口的连接，然后向服务器发送一个应答，告诉服务器它已经建立好了一个连接。 > > > * 被动模式 FTP: 为了解决服务器发起到客户的连接的问题，人们开发了一种不同的 FTP 连接方式。这就是所谓的被动方式，或者叫做 PASV，当客户端通知服务器它处于被动模式时才启用。 >> 在被动方式 FTP 中，命令连接和数据连接都由客户端发起，这样就可以解决从服务器到客户端的数据端口的入方向连接被防火墙过滤掉的问题。 >> 当开启一个 FTP 连接时，客户端打开两个任意的非特权本地端口（N > 1024 和 N+1）。第一个端口连接服务器的 21 端口，但与主动方式的 FTP 不同，客户端不会提交 PORT 命令并允许服务器来回连它的数据端口，而是提交 PASV 命令。这样做的结果是服务器会开启一个任意的非特权端口（P > 1024），并发送 PORT P 命令给客户端。然后客户端发起从本地端口 N+1 到服务器的端口 P 的连接用来传送数据。 >> 对于服务器端的防火墙来说，必须允许下面的通讯才能支持被动方式的 FTP： >> >> 1. 从任何大于 1024 的端口到服务器的 21 端口 （客户端的初始化连接） >> 2. 服务器的 21 端口到任何大于 1024 的端口 （服务器响应到客户端的控制端口的连接） >> 3. 从任何大于 1024 端口到服务器的大于 1024 端口 （客户端初始化数据连接到服务器指定的任意端口） >> 4. 服务器的大于 1024 端口到远程的大于 1024 的端口（服务器发送 ACK 响应和数据到客户端的数据端口） * FPX 全称：File Exchange Protocol （文件交换协议）(貌似很对人对这个全称持有不赞同的意见) >　　FXP 是一个服务器之间传输文件的协议，这个协议控制着两个支持 FXP 协议的服务器，在无需人工干预的情况下，自动地完成传输文件的操作。在我们的客户机上，可以简单的发送一个传输的命令，即可控制服务器从另一个 FTP 服务器上下载一个文件，下载过程中，无须客户机干预，客户机甚至可以断网关机。这种协议通常只适用于管理员作管理的用途，在一般的公开 FTP 服务器上，是不会允许 FXP 的，因为这样会浪费服务器资源，而且有可能出现安全问题。 以上这些都是我从百度百科扒出来的，也只是给各位简单的了解先 FTP 和我这几天遇到的问题的技术背景 我们的系统环境是这样的，数据是从 A 服务器(系统是 window server 2003，ftp 服务器 serv-u，使用的默认模式配置，应该是被动模式，但是貌似是主被动都支持) 先通过 FXP 传送到 B 服务器(中转服务器，是 linux，ftp 服务器是 vsftpd，被动模式，不能主被动同时开启，会出现 5XX 错误)，然后在使用 fxp 分别传送到 c1,c2 服务器(windows server 2003, ftp 服务器是 serv-u，同样是使用的默认配置模式)， 我们在项目中使用的是 Apache 的 net 包的 ftp 功能进行 FTP 操作,下面是我们使用 FXP 功能的代码： FTPClient srcServer = connect(source, ftpLog); FTPClient targetServer = connect(target, ftpLog); // Let's just assume success for now. srcServer.enterRemotePassiveMode(); targetServer.enterRemoteActiveMode(InetAddress.getByName(srcServer.getPassiveHost()), srcServer.getPassivePort()); // Although you would think the store command should be sent to // server2 // first, in reality, ftp servers like wu-ftpd start accepting data // connections right after entering passive mode. Additionally, they // don't even send the positive preliminary reply until after the // transfer is completed (in the case of passive mode transfers). // Therefore, calling store first would hang waiting for a // preliminary // reply. if (targetServer.remoteStoreUnique(encodepath(target.getPath())) && srcServer.remoteRetrieve(source.getPath())) { // if(ftp1.remoteRetrieve(file1) && ftp2.remoteStore(file2)) { // We have to fetch the positive completion reply. srcServer.completePendingCommand(); targetServer.completePendingCommand(); } 这段代码是我们头从 apache 网站中扒下来，稍作改动，目的就是为了从 src 服务器向 target 服务器发送一个文件，文件在 10G 左右。 代码很简单创建两个 FTP 连接，分别连接源服务器和目标服务器，告诉源服务器使用被动模式，并告诉目标服务器使用主动模式，并告诉目标服务器源服务器的 ip 和端口。 最后面的几句就简单的，if 判断条件里&&的左边的语句 targetServer.remoteStoreUnique(encodepath(target.getPath())) 的意思是，目标服务器接收数据， &&右边 srcServer.remoteRetrieve(source.getPath()) 是告诉源服务器发送数据，这样两个服务器就会进行数据传输，直到传输完成，如果这两个服务器不支持 FXP， 那么 if 语句里面的两句话就会返回 false。 从 Apache 的代码中不难看出，进行 FXP 需要两个 FTP 服务器一个是被动模式一个是主动模式，将被动模式的服务器的地址和端口告诉主动模式的服务器，有主动模式服务器连接被动模式服务器进行数据传输。 这里不一定是要源服务器是主动模式，目标服务器是主动模式，反过来也是完全可以的，我们这里之前的代码是目标服务器是被动模式，源服务器是主动模式，但是由于系统架构的变化所以这里的代码也有了变化。 这里需要注意的是： * srcServer.enterRemotePassiveMode(); 这句话需要在前面，targetServer.enterRemoteActiveMode(InetAddress.getByName(srcServer.getPassiveHost()), srcServer.getPassivePort()); 一定要在后面, 因为主动模式的服务器需要被动模式的服务器的地址和端口。 * targetServer.remoteStoreUnique(encodepath(target.getPath())) && srcServer.remoteRetrieve(source.getPath()) 这两句也是有顺序的， 最开始的时候 srcServer.remoteRetrieve(source.getPath()) 在 targetServer.remoteStoreUnique(encodepath(target.getPath())) 之前，在两个都是 serv-u 的情况下是没有问题的， 但是后面我们的源 ftp 服务器换成了 vsftpd 这样就不可以，在内网中进行测试呃时候，只有 20 字节的速度，而在公网中这两个就干脆连不上，但是改成现在的样子速度就能跑满。 我们在调试中还发现，vsftpd 是不能同时启动两种模式的，不然在执行命令的时候会返回一个 5XX 的错误，只能启动主动或者被动模式，网上的一些文章发的配置信息很多都是主被动同时启动的，我认为这是错的，但是我有一点很疑惑我们的 serv-u 使用的是默认配置， 这种的配置貌似既是主动也是被动，有点不理解，也就是说客户端连接的时候需要什么模式就会切换到什么模式。 还想提醒一下不论什么程序，只要是在程序中使用 FTP 操作的，需要注意 FTP 是否支持一些命令，比方说 vsftpd 就不支持 mlst 这个命令，还有 serv-u 默认配置下，是不能使用 list 命令的，会返回 425 错误，但是 serv-u 支持 mlst 命令，等等各种问题。 下午在闲下来的时候在和同时讨论这个问题的时候，得到结论是：FTP 的协议规范可能太简单，很多服务器的开发者，对协议支持的都不太一样，虽然大部分功能是一样的，但是在一些细节上有很大的差别，这些差别和可能就是我们需要进行攻关的地方。 当然我们也在这里拌了好几天，一个问题一个问题的解决，虽然耽误了很多时间但是收获也很多。