大数据Lambda架构详解(图文全面总结)
ccwgpt 2024-09-27 07:24 30 浏览 0 评论
大家好，我是mikechen。
大数据架构是大型架构的必备技能，也是大厂经常使用的，下面我就全面来详解大数据Lambda架构@mikechen
本篇已收于mikechen原创超30万字《阿里架构师进阶专题合集》里面。
lambda架构
Lambda架构是一种用于构建大规模数据处理系统的架构模式，它结合了批处理和实时流处理以应对不同种类的数据处理需求。
lambda架构的作用
Lambda架构的目标是允许数据工程师有效地处理大量数据，包括批量数据和实时数据，并提供一致的查询结果。
lambda架构的组成
Lambda架构三层，主要包含如下组件：
1.批处理层（Batch Layer）
批处理层：负责处理离线或批量数据，这一层通常使用分布式计算框架（如Hadoop）来处理大规模数据集。
比如：执行复杂的数据转换、计算和聚合操作。
批处理层生成批量视图（Batch Views）或批处理视图，这些视图是基于批量数据计算得到的结果。
2.实时处理层（Speed Layer）
实时处理层负责：处理实时数据流，这一层通常使用流处理框架，比如：Apache Kafka、Apache Flink，或Apache Stor）来处理数据流。
执行实时计算和聚合操作，实时处理层生成实时视图（Real-time Views）或实时处理视图，这些视图是基于实时数据流计算得到的结果。
3.合并层（Serving Layer）
合并层负责将批处理层和实时处理层生成的视图合并为一致的查询结果。
这一层通常使用分布式存储系统（如HBase或Cassandra）来存储视图，并为用户提供查询接口。
合并层的任务包括数据同步、视图合并和查询处理。
lambda架构优缺点
优点：
- 可伸缩性：Lambda架构允许水平扩展批处理和实时处理层，以处理不断增长的数据量。
- 容错性：Lambda架构具有高度容错性，可以处理硬件故障和其他故障情况。
- 灵活性：它支持不同种类的数据处理需求，包括批处理和实时处理。
- 数据一致性：通过合并层，Lambda架构提供一致的查询结果，无论是批处理视图还是实时视图。
缺点：
- 复杂性：Lambda架构引入了多层次的处理和管理，增加了系统的复杂性和维护成本。
- 延迟：由于数据要经历批处理和实时处理两个阶段，可能会引入一些延迟，特别是在合并数据时。
- 学习曲线：Lambda架构要求开发人员熟悉多个技术栈和组件，因此学习曲线较陡。
lambda架构常用部件
批处理引擎：通常使用Hadoop生态系统中的工具，如Hive、Pig或Spark，用于批处理数据。
实时处理引擎：常用的流处理框架包括Apache Kafka、Apache Flink、Apache Storm等。
存储系统：用于存储批处理和实时处理层生成的视图数据，例如HBase、Cassandra、Elasticsearch等。
合并层：负责将批处理和实时处理层的结果合并为一致的查询结果，通常使用查询引擎和API实现。
Lambda架构总结
Lambda架构是一种强大的数据处理模型，适用于需要同时处理批量和实时数据的大规模数据应用程序。
它允许应对多种数据处理需求，但需要谨慎设计和维护以克服复杂性和延迟。
在某些情况下，Kappa架构（重点关注实时处理），可能是Lambda架构的替代选择。
以上
本篇已收于mikechen原创超30万字《阿里架构师进阶专题合集》里面。
相关推荐
- 2025南通中考作文解读之四:结构框架
-
文题《继续走，迈向远方》结构框架：清晰叙事，层层递进示例结构：1.开头（点题）：用环境描写或比喻引出“走”与“远方”，如“人生如一条长路，每一次驻足后，都需要继续走，才能看见更美的风景”。2.中间...
- 高中数学的知识框架（高中数学知识框架图第三章）
-
高中数学的知识框架可以划分为多个核心板块，每个板块包含具体的知识点与内容，以下为详细的知识框架结构：基础知识1.集合与逻辑用语：涵盖集合的概念、表示方式、性质、运算，以及命题、四种命题关系、充分条件...
- 决定人生的六大框架（决定人生的要素）
-
45岁的自己混到今天，其实是失败的，要是早点意识到影响人生的六大框架，也不至于今天的模样啊！排第一的是环境，不是有句话叫人是环境的产物，身边的环境包括身边的人和事，这些都会对一个人产生深远的影响。其次...
- 2023年想考过一级造价师土建计量，看这30个知识点(三)
-
第二章工程构造考点一:工业建筑分类[考频分析]★★★1.按厂房层数分:(1)单层厂房;(2)多层厂房;(3)混合层数厂房。2.按工业建筑用途分:(1)生产厂房;(2)生产辅助厂房;(3)动力用厂房;(...
- 一级建造师习题集-建筑工程实务(第一章-第二节-2)
-
建筑工程管理与实务题库（章节练习）第一章建筑工程技术第二节结构设计与构造二、结构设计1.常见建筑结构体系中，适用建筑高度最小的是()。A.框架结构体系B.剪力墙结构体系C.框架-剪力墙结构体系D...
- 冷眼读书丨多塔斜拉桥，这么美又这么牛
-
”重大交通基础设施的建设是国民经济和社会发展的先导，是交通运输行业新技术集中应用与创新的综合体现。多塔斜拉桥因跨越能力强、地形适应性强、造型优美等特点，备受桥梁设计者的青睐，在未来跨越海峡工程中将得...
- 2021一级造价师土建计量知识点:民用建筑分类
-
2021造价考试备考开始了，学霸君为大家整理了一级造价师备考所用的知识点，希望对大家的备考道路上有所帮助。 民用建筑分类 一、按层数和高度分 1.住宅建筑按层数分类：1～3层为低层住宅，4～6层...
- 6个建筑结构常见类型，你都知道吗?
-
建筑结构是建筑物中支承荷载（作用）起骨架作用的体系。结构是由构件组成的。构件有拉（压）杆、梁、板、柱、拱、壳、薄膜、索、基础等。常见的建筑结构类型有6种：砖混结构、砖木结构、框架结构、钢筋混凝土结构、...
- 框架结构设计经验总结（框架结构设计应注意哪些问题）
-
1.结构设计说明主要是设计依据，抗震等级，人防等级，地基情况及承载力，防潮抗渗做法，活荷载值，材料等级，施工中的注意事项，选用详图，通用详图或节点，以及在施工图中未画出而通过说明来表达的信息。2.各...
- 浅谈混凝土框架结构设计（混凝土框架结构设计主要内容）
-
浅谈混凝土框架结构设计 摘要：结构设计是个系统的全面的工作，需要扎实的理论知识功底，灵活创新的思维和严肃认真负责的工作态度。钢筋混凝土框架结构虽然相对简单，但设计中仍有很多需要注意的问题。本文针...
- 2022一级建造师《建筑实务》1A412020 结构设计 精细考点整理
-
历年真题分布统计1A412021常用建筑结构体系和应用一、混合结构体系【2012-3】指楼盖和屋盖采用钢筋混凝土或钢木结构，而墙和柱采用砌体结构建造的房屋，大多用在住宅、办公楼、教学楼建筑中。优点：...
- 破土动工!这个故宫“分院”科技含量有点儿高
-
故宫“分院”设计图。受访者供图近日，位于北京海淀区西北旺镇的故宫北院区项目已开始破土动工，该项目也被称作故宫“分院”，筹备近十年之久。据悉，故宫本院每年展览文物的数量不到1万件，但是“分院”建成后，预...
- 装配式结构体系介绍(上)（装配式结构如何设计）
-
PC构件深化、构件之间连接节点做法等与相应装配式结构体系密切相关。本节列举目前常见的几种装配式结构体系：装配整体式混凝土剪力墙结构体系、装配整体式混凝土框架结构体系、装配整体式混凝土空腔结构体系（S...
- 这些不是双向抗侧结构体系（这些不是双向抗侧结构体系的特点）
-
双向抗侧土木吧规范对双向抗恻力结构有何规定？为何不应采用单向有墙的结构？双向抗侧土木吧1.规范对双向抗侧力结构体系的要求抗侧力体系是指抵抗水平地震作用及风荷载的结构体系。对于结构体系的布置，规范针对...
- 2022一级建造师《建筑实务》1A412020 结构设计 精细化考点整理
-
1A412021常用建筑结构体系和应用一、混合结构体系【2012-3】指楼盖和屋盖采用钢筋混凝土或钢木结构，而墙和柱采用砌体结构建造的房屋，大多用在住宅、办公楼、教学楼建筑中。优点：抗压强度高，造价...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- MVC框架 (46)
- spring框架 (46)
- 框架图 (58)
- flask框架 (53)
- quartz框架 (51)
- abp框架 (47)
- jpa框架 (47)
- laravel框架 (46)
- springmvc框架 (49)
- 分布式事务框架 (65)
- scrapy框架 (56)
- shiro框架 (61)
- 定时任务框架 (56)
- java日志框架 (61)
- JAVA集合框架 (47)
- grpc框架 (55)
- ppt框架 (48)
- 内联框架 (52)
- winform框架 (46)
- gui框架 (44)
- cad怎么画框架 (58)
- ps怎么画框架 (47)
- ssm框架实现登录注册 (49)
- oracle字符串长度 (48)
- oracle提交事务 (47)