批量下载文件代码,Python代码库,德仔网

代码语言

代码分类

【Python】批量下载文件

作者:星塵子 / 发布于2015/5/19/ 516


	#!/usr/bin/env python
	# -*- coding:utf-8 -*-
	
	from gevent import monkey
	monkey.patch_all()
	from gevent.pool import Pool
	import requests
	import sys
	import os
	
	
	def download(url):
	 chrome = 'Mozilla/5.0 (X11; Linux i86_64) AppleWebKit/537.36 ' + \
	 '(KHTML, like Gecko) Chrome/41.0.2272.101 Safari/537.36'
	 headers = {'User-Agent': chrome}
	 filename = url.split('/')[-1].strip()
	 r = requests.get(url.strip(), headers=headers, stream=True)
	 with open(filename, 'wb') as f:
	 for chunk in r.iter_content(chunk_size=1024):
	 if chunk:
	 f.write(chunk)
	 f.flush()
	 print filename, "is ok"
	
	
	def removeLine(key, filename):
	 os.system('sed -i /%s/d %s' % (key, filename))
	
	
	if __name__ == "__main__":
	 if len(sys.argv) == 2:
	 filename = sys.argv[1]
	 f = open(filename, "r")
	 p = Pool(4)
	 for line in f.readlines():
	 if line:
	 p.spawn(download, line.strip())
	 key = line.split('/')[-1].strip()
	 removeLine(key, filename)
	 f.close()
	 p.join()
	 else:
	 print 'Usage: python %s urls.txt' % sys.argv[0]

评论列表

本站所提供的代码，版权归原作者所有，若有侵犯作者版权，请与我们联系，我们将立即删除或修改。谢谢!
本站所有代码发布及提供者。

试试其它关键字

　批量　　下载文件　

同语言下

可能有用的

星塵子贡献的其它代码(2)