2021年Python爬虫面试题分享
Python工程师的就业方向有很多,包括Python爬虫开发,这是一个非常受欢迎的职位,也是很多公司的热门职位。那么你知道面试Python爬虫开发工程师会问哪些问题吗?小编为大家提供了几个相关的面试题,希望对大家有所帮助。
一、Scrapy和scrapy-redis有什么区别?
Scrapy是Python爬虫的框架之一,高效且高度可定制,但不支持分布式;scrapy-redis是一套基于redis数据库并运行在scrapy框架上的组件,它允许scrapy支持分布式策略。slaver端共享master端redis数据库中的item队列、请求队列、请求指纹采集。
二、Scrapy框架的运行机制是什么?
从start_urls获取第一批URL并发送请求,请求由引擎交给调度器进入请求队列。请求完成后,调度器将请求队列中的请求传递给下载器,获取请求对应的资源,然后将响应交给自己编写的解析方法进行提取处理。
1如果提取出需要的数据,直接下发到管道文件中进行处理;
2如果提取了URL,则继续前面的步骤,直到请求队列中没有请求为止,程序就可以结束了。
三、Post和get的区别是什么?
post:请求无法缓存,post请求不会保存在浏览器浏览记录中,post请求的url不能保存为浏览器书签;没有长度限制;请求会将请求的数据放在http请求包的正文中;Post比get更安全。
Get:从指定服务器获取数据,Get请求可以被缓存;它将保存在浏览器的浏览历史记录中;get请求的URL可以保存为浏览器书签;请求有长度限制;get请求主要用于获取数据。
以上内容为大家介绍了2021年Python爬虫面试题,希望对大家有所帮助,如果想要了解更多Python相关知识,请关注IT培训机构:开发教育。http://www.baikegou.com/
鹏仔微信 15129739599 鹏仔QQ344225443 鹏仔前端 pjxi.com 共享博客 sharedbk.com
图片声明:本站部分配图来自网络。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!