百科狗-知识改变命运!
--

数据库:什么是BI,ETL和OLAP(数据仓库和etl的区别)

一语惊醒梦中人1年前 (2023-12-21)阅读数 6#综合百科
文章标签数据你的

ETLETL即数据抽取(Extract)、转换(Transform)、装载(Load)的过程

它是构建数据仓库的重要环节

数据仓库是面向主题的、集成的、稳定的且随时间不断变化的数据集合,用以支持经营管理中的决策制定过程

数据仓库系统中有可能存在着大量的噪声数据,引起的主要原因有:滥用缩写词、惯用语、数据输入错误、重复记录、丢失值、拼写变化等

即便是一个设计和规划良好的数据库系统,如果其中存在着大量的噪声数据,那么这个系统也是没有任何意义的,因为“垃圾进,垃圾出”(garbagein,garbageout),系统根本就不可能为决策分析系统提供任何支持

为了清除噪声数据,必须在数据库系统中进行数据清洗

目前有不少数据清洗研究和ETL研究,但是如何在ETL过程中进行有效的数据清洗并使这个过程可视化,此方面研究不多

联机事务处理OLTP联机分析处理(OLAP)的概念最早是由关系数据库之父E

F

Codd于1993年提出的,他同时提出了关于OLAP的12条准则

OLAP的提出引起了很大的反响,OLAP作为一类产品同联机事务处理(OLTP)明显区分开来

当今的数据处理大致可以分成两大类:联机事务处理OLTP(on-linetransactionprocessing)、联机分析处理OLAP(On-LineAnalyticalProcessing)

OLTP是传统的关系型数据库的主要应用,主要是基本的、日常的事务处理,例如银行交易

OLAP是数据仓库系统的主要应用,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果

OLAP是使分析人员、管理人员或执行人员能够从多角度对信息进行快速、一致、交互地存取,从而获得对数据的更深入了解的一类软件技术

oracle创建数据库有事务处理和数据仓库两种数据库模板,请说出这两种的区别和解决数据库问题的侧重点。

OLAP(联机分析处理)。

什么是联机分析处理(OLAP)联机分析处理 (OLAP) 的概念最早是由关系数据库之父E.F.Codd于1993年提出的,他同时提出了关于OLAP的12条准则。

OLAP的提出引起了很大的反响,OLAP作为一类产品同联机事务处理 (OLTP) 明显区分开来。

数据库:什么是BI,ETL和OLAP(数据仓库和etl的区别)

当今的数据处理大致可以分成两大类:联机事务处理OLTP(on-line transaction processing)、联机分析处理OLAP(On-Line Analytical Processing)。

OLTP是传统的关系型数据库的主要应用,主要是基本的、日常的事务处理,例如银行交易。OLAP是数据仓库系统的主要应用,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。

我晕,你拷贝也要拷人家能看懂的,事物处理侧重于日常业务应用,数据仓库侧重于数据分析统计

举例来说,对于银行来说,两个就都需要,事物处理主要用于记录储蓄业务明细,你的利息是多少,你的贷款还有多长时间之类,而数据仓库用于分析,计算你的贷款是否合理,你的报表是否属实之类,合算你的信贷不良率之类,当然一些核心统计我不能告诉你,你大概应该能够了解其中的概念了吧

两套模板的从前台到后台都是不一样的,从数据底层来说,物理上事务处理的数据块小,uid和pid都小,侧重读写速度。冗余度小,而数据仓库则相反,数据块大,uid和pid都大,侧重分析研究,冗余度大。

还有很多专业方面的知识,你恐怕很难理解,这里不予说明

鹏仔微信 15129739599 鹏仔QQ344225443 鹏仔前端 pjxi.com 共享博客 sharedbk.com

免责声明:我们致力于保护作者版权,注重分享,当前被刊用文章因无法核实真实出处,未能及时与作者取得联系,或有版权异议的,请联系管理员,我们会立即处理! 部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!邮箱:344225443@qq.com)

图片声明:本站部分配图来自网络。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!

内容声明:本文中引用的各种信息及资料(包括但不限于文字、数据、图表及超链接等)均来源于该信息及资料的相关主体(包括但不限于公司、媒体、协会等机构)的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理!本站为非盈利性质站点,本着为中国教育事业出一份力,发布内容不收取任何费用也不接任何广告!)