为什么Python爬虫使用MongoDB?

是丫丫呀1年前 (2023-11-21)阅读数 27#技术干货

文章标签爬虫

想必大家都知道，在从事网络爬虫工作之前，我们需要掌握很多知识，除了基本的爬虫原理之外，我们还需要学习框架、数据库等，其中就包含MongoDB。那么为什么Python爬虫使用MongoDB呢?我们一起来看看吧。

Python爬虫为什么使用MongoDB呢?

1.文档结构的存储方式：简单讲就是可以直接存Json、list;

2.不要事先定义表，随时可以创建;

3.表中的数据长度可以不一样。

比如说：你的第一条记录有10个值，第二条记录就不要规定10个值了，对爬虫很乱的数据来讲，这样是非常适用的。

什么是MongoDB呢?

MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。

MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。它支持的数据结构非常松散，是类似json的bson格式，因此可以存储比较复杂的数据类型。Mongo最大的特点是它支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引。

MongoDB有什么功能呢?

它的特点是高性能、易部署、易使用，存储数据非常方便，主要功能特性有：

面向集合存储，易存储对象类型的数据;

模式自由、支持动态查询、支持完全索引，包含内部对象;

支持查询、支持复制和故障恢复;

使用高效的二进制数据存储，包含大型对象;