爬虫
-
scrapy和scrapy-redis的区别？
scrapy是一个爬虫通用框架，但不支持分布式，scrapy-redis是为了更方便的实现scrapy分布式爬虫，而提供了一些以redis为基础的组件 redis支持主从同步，而且...
-
scrapy中间件有几种类
scrapy的中间件理论上有三种(Schduler Middleware,Spider Middleware,Downloader Middleware),在应用上一般有以下两种 ...
-
selenuim 八大元素定位方式
1.ID定位 2.name定位 3.class name定位 4.tag name定位 5.link_text 6. partial_link_text定位 7. css定位 8....
-
如何提升scrapy的爬取效率
**增加并发** 默认scrapy开启的并发线程为32个, 可以适当进行增加. 在settings配置文件中修改`CONCURRENT_REQUESTS = 100值为100, 并...
-
爬下来数据你会选择什么存储方式，为什么
Redis基于内存，读写速度快，也可做持久化，但是内存空间有限，当数据量超过内存空间时，需扩充内存，但内存价格贵； MySQL基于磁盘，读写速度没有Redis快，但是不受空间容量限...
-
总结一下scrapy-redis的总体思路
1、这套组件通过重写scheduler和spider类，实现了调度、spider启动和redis的交互。 2、实现新的dupefilter和queue类，达到了判重和调度容器和re...
-
分布式爬虫的去重原理
分布式去重问题： Duplication Filter： Scrapy中用集合实现这个request去重功能，Scrapy中把已经发送的request指纹放入到一个集合中，把下一个...
-
分布式如何判断爬虫已经停止了
1 spider.getStatus();//获取爬虫状态 2 spider.getStatus().equals(Spider.Status.Init);//运行中
-
分布式爬虫原理
①分布式爬虫主要由主机与从机，我们把自己的核心服务器（主机）称为 master，而把用于跑爬虫程序的机器（从机）称为 slave。 ②我们首先给爬虫一些start_urls，spi...
-
scrapy的去重原理（指纹去重到底是什么原理）
需要将dont_filter设置为False开启去重，默认是False； 对于每一个url的请求，调度器都会根据请求的相关信息加密得到一个指纹信息，并且将指纹信息和set()集合中...
-
scrapy框架有哪几个组件/模块？简单说一下工作流程
Scrapy Engine:这是引擎，负责Spiders、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等等！（像不像人的身体？） S...
-
实现模拟登录的方式有哪些？
①使用一个具有登录状态的 cookie，结合请求报头一起发送，可以直接发送 get 请求，访问登录后才能访问的页面。 ②先发送登录界面的 get 请求，在登录页面 HTML 里获取...
-
Scrapy为什么选择redis 数据库？
①scrapy 是一个 Python 爬虫框架，爬取效率极高，具有高度定制性，但是不支持分布式。而 scrapy-redis 一套基于 redis 数据库、运行在 scrapy 框...
-
描述下 scrapy 框架运行的机制？
（1）从 start_urls 里获取第一批 url 并发送请求，请求由引擎交给调度器入请求队列，获取完毕后，调度器将请求队列里的请求交给下载器去获取请求对应的响应资源，并将响应交...
