现在位置: 首页 > 所有2016年11月文章
使用tar+pigz+ssh实现大数据的高效传输已关闭评论
2016年11月20日 Linux基础 ⁄ 共 784字 ⁄ 被围观 21,305 views+
以前我们跨主机拷贝大数据的时候,比如要拷贝超过100GB的mysql原始数据,我们通常的做法如下: 在源端打包压缩为tar.gz文件 采用scp或者rsync等方式拷贝到目标主机 在目标主机解压文件 这三个过程是同步阻塞,即不能同时异步执行,导致效率低下。 现在我们将过程优化为以数据流的方式,同时执行(非阻塞模式),则效率一般可以提高到原来的3倍以上,具体实现如下: 磁盘读取---->打包---->压缩------>传输----&...
阅读全文
×