数仓扫盲篇:什么是数据仓库?
ccwgpt 2024-12-28 23:12 42 浏览 0 评论
不少人可能接触过数据仓库这一概念,那么,你是否了解数据仓库的定义和内涵呢?这篇文章里,作者结合自己的语言,针对数据仓库的定义、作用和特征等维度进行了总结分析,一起来看看吧,或许会对你有所启发。
一、什么是数据仓库?
百度是这样介绍的:
看起来有点抽象。
不管他,我们将数据仓库拆成“数据”+“仓库”,来理解。
继续百度。
数据:
仓库:
再简单上个仓库图,有画面感了!
数据+仓库,我们现在也可以粗暴的理解为“数据中转站”。
我们把仓库的描述进行拆分,通过对比数据仓库,来体会一下数据仓库是什么?
1)仓库的构成:库房、传送设施、出入库房的管道和设备、消防设施、管理用房
这里描述了货物的存储,出入,管理环节的基础设施。
那数据的存储,出入,管理环节同样也需要基础设施去支撑,数据存储在数据库或者文件系统里,数据通过ETL工具在数据仓库里流转,通过API对外提供数据,以及任务调度工具、节点管理工具去管理等。
2)按仓库存储的物品形态分为:固体、液体、气体、粉状物品
固体有固体的存储空间和方式,液体有液体的存储空间和方式,同样的气体、粉状物品都会有相应的存储方式。
数据也是一样,结构化数据可以存储在结构化的数据库,比如mysql,oracle等;文件等非结构化数据,也有相应的数据库去存储,比如HDFS,Hbase等。
3)按存储物品性质分为:原材料、半成本、成品
从加工的流程来看,物品在不同加工阶段,有不同的展现形式,数据也是一样,在原材料阶段,称为原始数据;对原始数据进行清洗,加工后,成为明细数据;对明细数据进行聚合,加工后,成为汇总数据;最后产出可直接应用的数据,成为应用数据。
4)按建筑形态分为:单层仓库、多层仓库、圆筒形仓库
对于存储不同形态的的物品,存储量不同,仓库也会有不同的建筑形态。数据仓库也是一样,根据应用场景,可以分为离线数仓,实时数仓,按照数据分层,可以分为贴源层,明细层,汇总层,应用层。
仓库有了,货物有了,还要考虑什么?
在现实生活中,每天都要存货,找货,出货。如何合理的存储货物,快速的查找货物,及时的把货物运出去才是仓库管理员最关心的。
数据也是如此,为了合理的存储数据,快速的使用数据,横向可对数据进行主题的划分,纵向可对数据进行层级划分(这里就不展开介绍了)。
经过以上对比介绍,大致就能理解数据仓库具体是干什么的了。
二、为什么需要数据仓库?
首先,数据仓库的典型用户是数据分析人员,使用场景是决策场景,那么企业为什么需要数据仓库,我们需要知道没有数据仓库前,数据分析是什么样的,就能知道为什么需要数据仓库?
这里需要先补充一下业务系统的范式模型是什么?
即指遵循3范式规则设计的表模型。
第①范式:列都是原子性的,即数据库表的每一列都是不可分割的原子数据项(为了消除冗余和方便查询,对数据拆分处理,主要是针对时间、地区等属性)。
第②范式:在1范式基础上,实体的属性需要完全依赖于主键全部,不能存在仅依赖主键一部分的属性(指不能只依赖联合主键的其中一个属性,只有一个主键可不考虑第2范式)。
第③范式:需要确保数据表中的每一列数据都和主键直接相关,而不能间接相关(消除冗余,降低实体属性和业务数据之间的影响)。
范式模型就像是异地恋,双方不在一起,只能通过电话联系,沟通效率不高,但是你也可以知道对方每天做了什么,吃了什么。但是范式模型是会关联多个哈,是个海王。
在业务系统中,范式模型强调减少数据冗余、单纯依赖关联关系,主要应用于在线事务系统。由于业务数据库是实时记录业务操作的,仅通过ID关联,在业务系统的各种实体属性修改时,不会牵扯到历史数据的回溯;以及业务数据修改时候,不会影响各种实体属性。
假设此时企业没有建设数据仓库。这时候来了一个分析需求,要求统计企业每个工程项目的物料使用情况和人力成本情况。
那么可能会遇到以下几个情况:
- 取数难:由于人资、物资、项目是三个子系统,你就得想办法去多个业务系统去搞生产数据,能不能拿到,需不需要审批,数据安全都是要考虑的问题。
- 分析难:每个系统的开发规则,规范程度、统计口径都不一致。你还要去做数据关系映射,了解原业务系统的数据逻辑,废了老大劲。
- 分析慢:由于业务系统是遵循范式建模的,发现关联了一堆表才能完成分析需求,分析时间长不说,还可能会影响业务数据库的稳定。
- 成本高:显而易见,在没有数据统一处理的情况下,这种分析需求费时费力,如果有更多更复杂的分析需求,该怎么办呢。
此时我们需要一个可以将各个业务系统数据集成起来,面向业务数据分析的,统一规划数据加工的规范,甚至是独立的,不会影响业务系统的数据模型组织方式。
数据仓库就是这样一种数据的组织方式,此处引出维度建模理论,那么维度模型是什么?
维度建模从分析决策的需求出发构建模型,为分析需求服务,因此它重点关注用户如何更快速地完成需求分析,同时具有较好的大规模复杂查询的响应性能。其典型的代表是星形模型。(来源大数据之路)
维度模型强调面向业务分析决策需求,提高数据查询的效率,可以减少关联,进行维度冗余。由于维度模型的数据具有稳定性,进入数仓的数据,不会发生修改,且数据都有历史记录,所以不需要考虑事实和维度之间的变化会互相影响。
但是数据冗余在提高查询效率的同时,也会增加存储成本。
维度模型就像是本地恋,恨不得天天腻在一起,去玩,去吃饭,相互之间了解的更多了,感情变好了,但是日常花销也变高了。
由以上问题我们可以推导出数据仓库的作用,以及为什么需要数据仓库?
- 隔离业务数据。
- 把散落在各个业务系统的数据集中起来,集中处理。
- 统一建模,沉淀数据处理的结果,降低重复加工。
- 提高数据的使用/共享效率,为企业决策提 供数据依据。
三、数据仓库有什么特征?
结合前两部分的介绍,我们总结一下数据仓库的特征:
- 面向业务的:根据业务过程对数据进行划分,让数据合理的组织和存储,方便快速查找和使用数据。
- 集成的:原始数据是从多个业务系统获得,要将这些来源不同的原始数据整合到一个数据库中统一处理。
- 稳定的:一旦进入数据仓库,就不允许被修改,一般的操作就是查询、定期的加载。
- 统一的:数据仓库可以对数据规范化、统一化处理,沉淀公共处理逻辑。
本文由 @成长中的数据产品 原创发布于人人都是产品经理,未经许可,禁止转载
题图来自 Unsplash,基于 CC0 协议
该文观点仅代表作者本人,人人都是产品经理平台仅提供信息存储空间服务。
- 上一篇:大白话给你讲明白数据仓库
- 下一篇:看完这一篇数据仓库干货,终于搞懂什么是hive了
相关推荐
- 一个基于.Net Core遵循Clean Architecture原则开源架构
-
今天给大家推荐一个遵循CleanArchitecture原则开源架构。项目简介这是基于Asp.netCore6开发的,遵循CleanArchitecture原则,可以高效、快速地构建基于Ra...
- AI写代码翻车无数次,我发现只要提前做好这3步,bug立减80%
-
写十万行全是bug之后终于找到方法了开发"提示词管理助手"新版本那会儿,我差点被bug整崩溃。刚开始两周,全靠AI改代码架构,结果十万行程序漏洞百出。本来以为AI说没问题就稳了,结果...
- OneCode低代码平台的事件驱动设计:架构解析与实践
-
引言:低代码平台的事件驱动范式在现代软件开发中,事件驱动架构(EDA)已成为构建灵活、松耦合系统的核心范式。OneCode低代码平台通过创新性的注解驱动设计,将事件驱动理念深度融入平台架构,实现了业务...
- 国内大厂AI插件评测:根据UI图生成Vue前端代码
-
在IDEA中安装大厂的AI插件,打开ruoyi增强项目:yudao-ui-admin-vue31.CodeBuddy插件登录腾讯的CodeBuddy后,大模型选择deepseek-v3,输入提示语:...
- AI+低代码技术揭秘(二):核心架构
-
本文档介绍了为VTJ低代码平台提供支持的基本架构组件,包括Engine编排层、Provider服务系统、数据模型和代码生成管道。有关UI组件库和widget系统的信息,请参阅UI...
- GitDiagram用AI把代码库变成可视化架构图
-
这是一个名为gitdiagram的开源工具,可将GitHub仓库实时转换为交互式架构图,帮助开发者快速理解代码结构。核心功能一键可视化:替换GitHubURL中的"hub...
- 30天自制操作系统:第六天:代码架构整理与中断处理
-
1.拆开bootpack.c文件。根据设计模式将对应的功能封装成独立的文件。2.初始化pic:pic(可编程中断控制器):在设计上,cpu单独只能处理一个中断。而pic是将8个中断信号集合成一个中断...
- AI写代码越帮越忙?2025年研究揭露惊人真相
-
近年来,AI工具如雨后春笋般涌现,许多人开始幻想程序员的未来就是“对着AI说几句话”,就能轻松写出完美的代码。然而,2025年的一项最新研究却颠覆了这一期待,揭示了一个令人意外的结果。研究邀请了16位...
- 一键理解开源项目:两个自动生成GitHub代码架构图与说明书工具
-
一、GitDiagram可以一键生成github代码仓库的架构图如果想要可视化github开源项目:https://github.com/luler/reflex_ai_fast,也可以直接把域名替换...
- 5分钟掌握 c# 网络通讯架构及代码示例
-
以下是C#网络通讯架构的核心要点及代码示例,按协议类型分类整理:一、TCP协议(可靠连接)1.同步通信//服务器端usingSystem.Net.Sockets;usingTcpListene...
- 从复杂到优雅:用建造者和责任链重塑代码架构
-
引用设计模式是软件开发中的重要工具,它为解决常见问题提供了标准化的解决方案,提高了代码的可维护性和可扩展性,提升了开发效率,促进了团队协作,提高了软件质量,并帮助开发者更好地适应需求变化。通过学习和应...
- 低代码开发当道,我还需要学习LangChain这些框架吗?| IT杂谈
-
专注LLM深度应用,关注我不迷路前两天有位兄弟问了个问题:当然我很能理解这位朋友的担忧:期望效率最大化,时间用在刀刃上,“不要重新发明轮子”嘛。铺天盖地的AI信息轰炸与概念炒作,很容易让人浮躁与迷茫。...
- 框架设计并不是简单粗暴地写代码,而是要先弄清逻辑
-
3.框架设计3.框架设计本节我们要开发一个UI框架,底层以白鹭引擎为例。框架设计的第一步并不是直接撸代码,而是先想清楚设计思想,抽象。一个一个的UI窗口是独立的吗?不是的,...
- 大佬用 Avalonia 框架开发的 C# 代码 IDE
-
AvalonStudioAvalonStudio是一个开源的跨平台的开发编辑器(IDE),AvalonStudio的目标是成为一个功能齐全,并且可以让开发者快速使用的IDE,提高开发的生产力。A...
- 轻量级框架Lagent 仅需20行代码即可构建自己的智能代理
-
站长之家(ChinaZ.com)8月30日消息:Lagent是一个专注于基于LLM模型的代理开发的轻量级框架。它的设计旨在简化和提高这种模型下代理的开发效率。LLM模型是一种强大的工具,可以...
你 发表评论:
欢迎- 一周热门
- 最近发表
- 标签列表
-
- 框架图 (58)
- flask框架 (53)
- quartz框架 (51)
- abp框架 (47)
- springmvc框架 (49)
- 分布式事务框架 (65)
- scrapy框架 (56)
- shiro框架 (61)
- 定时任务框架 (56)
- java日志框架 (61)
- mfc框架 (52)
- abb框架断路器 (48)
- beego框架 (52)
- java框架spring (58)
- grpc框架 (65)
- tornado框架 (48)
- 前端框架bootstrap (54)
- orm框架有哪些 (51)
- 知识框架图 (52)
- ppt框架 (55)
- 框架图模板 (59)
- 内联框架 (52)
- cad怎么画框架 (58)
- ssm框架实现登录注册 (49)
- oracle字符串长度 (48)