在万兆甚至更高的网络带宽场景下 scp 的传输效率并不如人意。毕竟 scp 是旧时代的产物,那时千兆网络都很罕见。以下通过修改压缩方式的方法提升数据的传输速度。同时也采用 nc , bbcp 和 rsync 进行了对比测试。
目录
- scp
- 采用默认方式
- 更改压缩算法为 aes192
- nc
- bbcp
- 结论
创建 10GB测试数据。
[root@c3-60 data]# dd if=/dev/zero of=test.img bs=1024k count=10000
10000+0 records in
10000+0 records out
我的测试环境是千兆网络。
scp
采用默认方式
[root@c3-60 data]# scp test.img root@c3-61:/dev/null
test.img 100% 10GB 62.6MB/s 02:39
更改压缩算法为 aes192
[root@c3-60 data]# scp -c aes192-cbc test.img root@c3-61:/dev/null
test.img 100% 10GB 111.3MB/s 01:29
很明显,传输速度提升了50%。
[参考]
https://www.orczhou.com/index.php/2013/11/make-scp-faster-with-cipher-and-compression/
nc
nc 是一个常用的网络工具,它的全名是 Netcat。nc 可以在网络中传输数据,也可以用于监听端口、创建服务器、进行端口扫描等。
接收端打开端口
nc -l 6666 >/dev/null
发生端发送文件
nc c3-61 6666 < test.img
以下是不通传输方法的结果对比

bbcp
bbcp 是一种用于高性能、并行文件传输的工具。它的全名是 “BBCP - Bulk Data Copy Program”。bbcp 被设计用于在大规模计算环境中快速、可靠地传输大量数据。
下载地址:https://www.slac.stanford.edu/~abh/bbcp/bin/
传输数据
bbcp -f test.img root@c3-61:/dev/null
传输文件夹
bbcp -f -r -s 16 taos/data root@c3-61:/data/bak
参数简介:
-f 删除目标端同名文件
-r 文件递归复制
-s 并行线程数(默认4)
注意:
与 nc相同,bbcp 也必须在接收端和发送端同时存在(接收端无需主动运行)。

结论
- 修改压缩算法能够提升
scp的数据传输速度。 nc传输的速度较scp更快,但nc也有很大缺点,需要服务端和客户端进行配合,而且不能传输文件夹【可通过tar间接实现】。bbcp传输速度接近甚至超过nc,同时支持传输文件和文件夹【强烈推荐】。



















