首页| JavaScript| HTML/CSS| Matlab| PHP| Python| Java| C/C++/VC++| C#| ASP| 其他|
购买积分 购买会员 激活码充值

您现在的位置是:虫虫源码 > Python > 10个线程的Python多线程爬虫(采集新浪数据)

10个线程的Python多线程爬虫(采集新浪数据)

  • 资源大小:31.33 kB
  • 上传时间:2021-06-29
  • 下载次数:0次
  • 浏览次数:1次
  • 资源积分:1积分
  • 标      签: 其它源码

资 源 简 介

一个Python多线程爬虫,在工作时,开10个线程来抓取新浪网页的数据,抓取并保存页面, 并且根据deep返回页面链接,根据key确定是否保存该页面,其中:   deep == 0时,是抓取的最后一层深度,即只抓取并保存页面,不分析链接   deep > 0时,返回该页面链接。   编写本采集爬虫的具体要求:1. 指定网站爬取指定深度的页面,将包含指定关键词的页面内容存放到sqlite3数据库文件中   2. 程序每隔10秒在屏幕上打印进度信息   3. 支持线程池机制,并发爬取网页   4. 代码需要详尽的注释,自己需要深刻理解该程序所涉及到的各类知识点   5. 需要自己实现线程池   功能描述   使用python编写一个网站爬虫程序,支持参数如下:   spider.py -u url -d deep -f logfile -l loglevel(1-5) --testself -thread number --dbfile filepath --key="HTML5"   参数说明:   -u 指定爬虫开始地址   -d 指定爬虫深度   --thread 指定线程池大小,多线程爬取页面,可选参数,默认10   --dbfile 存放结果数据到指定的数据库(sqlite)文件中   --key 页面内的关键词,获取满足该关键词的网页,可选参数,默认为所有页面   -l 日志记录文件记录详细程度,数字越大记录越详细,可选参数,默认spider.log   --testself 程序自测,可选参数

文 件 列 表

codesc.net
python-spider-master
dqw-spider
.gitignore
python-spider-master
python-spider-master
.gitignore
codesc.net

相 关 资 源

您 可 能 感 兴 趣 的

同 类 别 推 荐

VIP VIP
0.187419s