2021年Python爬虫面试题分享

Python工程师的就业方向有很多，包括Python爬虫开发，这是一个非常受欢迎的职位，也是很多公司的热门职位。那么你知道面试Python爬虫开发工程师会问哪些问题吗?小编为大家提供了几个相关的面试题，希望对大家有所帮助。

一、Scrapy和scrapy-redis有什么区别?

Scrapy是Python爬虫的框架之一，高效且高度可定制，但不支持分布式;scrapy-redis是一套基于redis数据库并运行在scrapy框架上的组件，它允许scrapy支持分布式策略。slaver端共享master端redis数据库中的item队列、请求队列、请求指纹采集。

二、Scrapy框架的运行机制是什么?

从start_urls获取第一批URL并发送请求，请求由引擎交给调度器进入请求队列。请求完成后，调度器将请求队列中的请求传递给下载器，获取请求对应的资源，然后将响应交给自己编写的解析方法进行提取处理。

1如果提取出需要的数据，直接下发到管道文件中进行处理;

2如果提取了URL，则继续前面的步骤，直到请求队列中没有请求为止，程序就可以结束了。

三、Post和get的区别是什么?

post：请求无法缓存，post请求不会保存在浏览器浏览记录中，post请求的url不能保存为浏览器书签;没有长度限制;请求会将请求的数据放在http请求包的正文中;Post比get更安全。

Get：从指定服务器获取数据，Get请求可以被缓存;它将保存在浏览器的浏览历史记录中;get请求的URL可以保存为浏览器书签;请求有长度限制;get请求主要用于获取数据。

以上内容为大家介绍了2021年Python爬虫面试题，希望对大家有所帮助，如果想要了解更多Python相关知识，请关注IT培训机构:开发教育。http://www.baikegou.com/

鹏仔微信 15129739599 鹏仔QQ344225443 鹏仔前端 pjxi.com 共享博客 sharedbk.com