cat url-list | parallel -j8 wget {}
parallel这个命令多数发行版都有，如果没有安一下。

提醒：如果发现wget失败，后面多了一个%0D的话，用dos2unix做一下转化。[......]

继续阅读

wget是支持代理服务器的，如下，可以不支持SOCK5服务器：
#将代理服务器作为环境变量导出
export http_proxy="localhost:8080"

#下载
wget http://www.copy6.com/sitemap.xml
哎，什么时候能支持sock5的代理啊，不然还得转换一把。。麻烦。。[......]

继续阅读