一文教你学会Hive视和索引

我们在写HQL有没有遇到过数据量特别大的时候比如，使用HQL 处理起来非常复杂，非常慢，这时候我们可以使用Hive给加个索引来提高我们的速度。多了就不说了，我们直接开始。

Hive 中的视图和 RDBMS 中视图的概念一致，都是一组数据的逻辑表示，本质上就是一条 SELECT 语句的结果集。视图是纯粹的逻辑对象，没有关联的存储 (Hive 3.0.0 引入的物化视图除外)，当查询引用 视图 时，Hive 可以将视图的定义与查询结合起来，例如将查询中的 过滤器推送到视图 中。

创建视图注意事项

准备数据

创建一个测试视图

语法：

示例 ：

通过 desc formatted default.user_view; 详情信息

Hive 在 0.7.0 引入了索引的功能，索引的 设计目标是提高表某些列的查询速度 。如果没有索引，带有谓词的查询（如'WHERE table1.column = 10'）会加载 整个表或分区并处理所有行 。但是如果 column 存在索引，则只 需要加载和处理文件的一部分 。

我们在使用之前上面创建好的 user 表对 id 字段创建名字为 user_index ,索引存储在 user_index_table 索引表中

此时索引表中是没有数据的，需要重建索引才会有索引的数据。

Hive 会启动 MapReduce 作业去建立索引，建立好后查看索引表数据如下。三个表字段分别代表： 索引列的值 、 该值对应的 HDFS 文件路径 、 该值在文件中的偏移量 。

默认情况下，虽然建立了索引，但是 Hive 在查询时候是不会 自动去使用索引 的，需要 开启相关配置 。开启配置后，涉及到索引列的查询就会使用索引功能去 优化查询 。

删除索引会删除对应的索引表。

如果存在索引的表被删除了，其对应的索引和索引表都会被删除。如果被索引表的某个分区被删除了，那么分区对应的分区索引也会被删除。

?在 指定列 上建立索引，会产生一张索引表( Hive的一张物理表 )，里面字段包括： 索引列的值 、 该值对应的 HDFS 文件路径 、 该值在文件中的偏移量 。?

在执行索引字段查询时候，首先额外生成一个 MapReduce job ，根据对索引列的过滤条件，从索引表中过滤出索引列的值对应的 hdfs文件路径及偏移量 ， 输出到hdfs上的一个文件中，然后根据这些文件中的hdfs路径和偏移量 ，筛选原始 input文件 ，生成 新的split ,作为整个job的split,这样就达到不用全表扫描的目的。

今天给大家分享了Hive中常用的视图和说索引，索引虽然能帮助我们提高查询效率和分组效率但它也有缺点的，创建好索引是无法自动 rebuild 也就意味着修改数据和添加数据都需要手动执行 rebuild 。如果频繁修改的数据就不建议使用 索引 了。信自己，努力和汗水总会能得到回报的。我是大数据老哥，我们下期见~~~

储存过程把SQL语句写在一起，

调用储存过程时

SQLserver执行 这些语句。

它有参数，有返回值。

优点：

1.模块化设计

像其他程序语言的函数一样，单独出来，可以调用它n次，

并且可以独立于源代码，单独修改储存过程。

2.更快执行如果执行大量SQL代码或重复执行，储存过程比SQL批代码执行要快。

3.减少网络流量

一条SQL语句就可以执行上千条SQL代码，肯定视图：顾名思意，可以看的图形。

用图形来表示数据库中表，或表之间的关系

是虚拟表，是来自其一个表，或多个表的行或列 的子集。

临时表是暂时存在的，而视图是以文件存储的，只要不人为删除，

是永久存储的，所以视图不是临时表。

索引：举一个列子，你在学校要找一年级三班教室，但是你不知具体位置，

你只能按照顺序，一间教室一间教室的找，

但如果，你看学校地图（假设的），上面写有一年级三班教室在XX单元XX楼左边XX间，那你就可以直接到教室去了，

这里地图就相当于索引，指明具体地址，使查询更加的快捷。

鹏仔微信 15129739599 鹏仔QQ344225443 鹏仔前端 pjxi.com 共享博客 sharedbk.com