数据库为什么要分库分表
1 基本思想之什么是分库分表?
从字面上简单理解,就是把原本存储于一个库的数据分块存储到多个库上,把原本存储于一个表的数据分块存储到多个表上。
2 基本思想之为什么要分库分表?
数
据库中的数据量不一定是可控的,在未进行分库分表的情况下,随着时间和业务的发展,库中的表会越来越多,表中的数据量也会越来越大,相应地,数据操作,增
删改查的开销也会越来越大;另外,由于无法进行分布式式部署,而一台服务器的资源(CPU、磁盘、内存、IO等)是有限的,最终数据库所能承载的数据量、
数据处理能力都将遭遇瓶颈。
3 分库分表的实施策略。
分库分表有垂直切分和水平切分两种。
3.1
何谓垂直切分,即将表按照功能模块、关系密切程度划分出来,部署到不同的库上。例如,我们会建立定义数据库workDB、商品数据库payDB、用户数据
库userDB、日志数据库logDB等,分别用于存储项目数据定义表、商品定义表、用户数据表、日志数据表等。
3.2
何谓水平切分,当一个表中的数据量过大时,我们可以把该表的数据按照某种规则,例如userID散列,进行划分,然后存储到多个结构相同的表,和不同的库
上。例如,我们的userDB中的用户数据表中,每一个表的数据量都很大,就可以把userDB切分为结构相同的多个userDB:part0DB、
part1DB等,再将userDB上的用户数据表userTable,切分为很多userTable:userTable0、userTable1等,
然后将这些表按照一定的规则存储到多个userDB上。
3.3 应该使用哪一种方式来实施数据库分库分表,这要看数据库中数据量的瓶颈所在,并综合项目的业务类型进行考虑。
如果数据库是因为表太多而造成海量数据,并且项目的各项业务逻辑划分清晰、低耦合,那么规则简单明了、容易实施的垂直切分必是首选。
而
如果数据库中的表并不多,但单表的数据量很大、或数据热度很高,这种情况之下就应该选择水平切分,水平切分比垂直切分要复杂一些,它将原本逻辑上属于一体
的数据进行了物理分割,除了在分割时要对分割的粒度做好评估,考虑数据平均和负载平均,后期也将对项目人员及应用程序产生额外的数据管理负担。
在现实项目中,往往是这两种情况兼而有之,这就需要做出权衡,甚至既需要垂直切分,又需要水平切分。我们的游戏项目便综合使用了垂直与水平切分,我们首先对数据库进行垂直切分,然后,再针对一部分表,通常是用户数据表,进行水平切分。
4 分库分表存在的问题。
4.1 事务问题。
在执行分库分表之后,由于数据存储到了不同的库上,数据库事务管理出现了困难。如果依赖数据库本身的分布式事务管理功能去执行事务,将付出高昂的性能代价;如果由应用程序去协助控制,形成程序逻辑上的事务,又会造成编程方面的负担。
4.2 跨库跨表的join问题。
在执行了分库分表之后,难以避免会将原本逻辑关联性很强的数据划分到不同的表、不同的库上,这时,表的关联操作将受到限制,我们无法join位于不同分库的表,也无法join分表粒度不同的表,结果原本一次查询能够完成的业务,可能需要多次查询才能完成。
4.3 额外的数据管理负担和数据运算压力。
额
外的数据管理负担,最显而易见的就是数据的定位问题和数据的增删改查的重复执行问题,这些都可以通过应用程序解决,但必然引起额外的逻辑运算,例如,对于
一个记录用户成绩的用户数据表userTable,业务要求查出成绩最好的100位,在进行分表之前,只需一个order
by语句就可以搞定,但是在进行分表之后,将需要n个order
by语句,分别查出每一个分表的前100名用户数据,然后再对这些数据进行合并计算,才能得出结果。
问题一:横向对比和纵向对比分别是什么意思? 横向比较是指在同类事物或同一历史时期进行的比较,
纵向多指从历史的角度比较。
按比较的时间上看,比较可能分为两种情况:
阶段性总结,对于这种情况,大家很容易就进行横向和纵向比较。对学生而言,会看看其他同学的学习情况,自己排在班级的哪个位置(横向比较);会看看自己的学习是不是进步了,原计划学好C++的目标是不是实现了(纵向比较)。对于企业而言,也是一样,华为会看看中兴抢了他多少市场,同时也会看看自己又抢了多少市场。
未来的预测和计划,对于这种情况,纵向比较基本上不能进行。因为未来是还没有发生的,我们没办法知道现在的选择是不是有利于自己的发展。就像盛大选择专注与数字家庭、IPTV是否可以让自己更强大一样,这是未来的,只有等到那时才可以返回来进行纵向比较。看起来,好像现在唯一可做的就是横向比较,盛大看看周围的企业,发现自己起步还算比较早,计划也比较好……
问题二:什么是横向比较纵向比较,区别是什么 横向比较就是在同一个级别的相互比较,比如说,同样是期中考试,某个学生的成绩和另一个学生的成绩的比较。
而纵向比较指的是,现在与过去的比较,比如说,小明期中考试的成绩与期末考试的成绩相互比较。
问题三:横向和纵向的区别 在生活中我们看到的左右方向理解为横向,上下方向就是纵向。
工程上如果没有特殊约定的话,则较长的的方向称为纵向,较短的方向为横向,这个说法也可以这么理解来和生活上的说法统一,将较长边立起来,则较长边即上下方向(纵向)。
因为人们习惯性的理解观察物前进后退方向为直观的上下(螃蟹的身前身后方向),所以螃蟹左右爬行就被理解为螃蟹横着走。
市场上的板材大部分是标准尺寸的,较长的一边(长)称为纵向,而较短的一边(宽)称为横向。
问题四:纵向对比与横向对比是什么意思 纵向对比 就是与千人或后人对比
横向对比 就是与自己同龄的人对比
问题五:什么叫横向比较和纵向比较 两个大学生小李和小王,他们这学期的成绩作比较这就算是横向比较,小李现在的成绩和以前她的成绩比较这就是纵向比较,横向比较一般是在某一时间点上的同触次的比较,纵向比较是单个事物与过去某个时间的状态进行比较
问题六:解释一下纵向比较和横向比较什么意思? 没什么 意思,要看你自己怎么想而以.你要分清什么是纵向什么是纵向就行了.
问题七:横向对比和纵向对比分别是什么意思? 横向比较是指在同类事物或同一历史时期进行的比较,
纵向多指从历史的角度比较。
按比较的时间上看,比较可能分为两种情况:
阶段性总结,对于这种情况,大家很容易就进行横向和纵向比较。对学生而言,会看看其他同学的学习情况,自己排在班级的哪个位置(横向比较);会看看自己的学习是不是进步了,原计划学好C++的目标是不是实现了(纵向比较)。对于企业而言,也是一样,华为会看看中兴抢了他多少市场,同时也会看看自己又抢了多少市场。
未来的预测和计划,对于这种情况,纵向比较基本上不能进行。因为未来是还没有发生的,我们没办法知道现在的选择是不是有利于自己的发展。就像盛大选择专注与数字家庭、IPTV是否可以让自己更强大一样,这是未来的,只有等到那时才可以返回来进行纵向比较。看起来,好像现在唯一可做的就是横向比较,盛大看看周围的企业,发现自己起步还算比较早,计划也比较好……
问题八:什么是横向比较纵向比较,区别是什么 横向比较就是在同一个级别的相互比较,比如说,同样是期中考试,某个学生的成绩和另一个学生的成绩的比较。
而纵向比较指的是,现在与过去的比较,比如说,小明期中考试的成绩与期末考试的成绩相互比较。
问题九:横向和纵向的区别 在生活中我们看到的左右方向理解为横向,上下方向就是纵向。
工程上如果没有特殊约定的话,则较长的的方向称为纵向,较短的方向为横向,这个说法也可以这么理解来和生活上的说法统一,将较长边立起来,则较长边即上下方向(纵向)。
因为人们习惯性的理解观察物前进后退方向为直观的上下(螃蟹的身前身后方向),所以螃蟹左右爬行就被理解为螃蟹横着走。
市场上的板材大部分是标准尺寸的,较长的一边(长)称为纵向,而较短的一边(宽)称为横向。
问题十:纵向对比与横向对比是什么意思 纵向对比 就是与千人或后人对比
横向对比 就是与自己同龄的人对比
鹏仔微信 15129739599 鹏仔QQ344225443 鹏仔前端 pjxi.com 共享博客 sharedbk.com
图片声明:本站部分配图来自网络。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!