主流大数据处理框架「菜鸟必看」（大数据处理框架可以分为哪三类系统）
ccwgpt 2024-09-27 07:24 27 浏览 0 评论
Spark 是一个高速、通用大数据计算处理引擎。拥有Hadoop MapReduce所具有的优点，但不同的是Job的中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。它可以与Hadoop和Apache Mesos一起使用，也可以独立使用。
官方称，用在内存中时，其速度比MapReduce最多快100倍；用在磁盘上时，其速度比MapReduce最多快10倍。它可以与Hadoop和Apache Mesos一起使用，也可以独立使用。
支持的操作系统：Windows、Linux和OS X。
Kinesis 可以构建用于处理或分析流数据的自定义应用程序，来满足特定需求。Amazon Kinesis Streams 每小时可从数十万种来源中连续捕获和存储数TB数据，如网站点击流、财务交易、社交媒体源、IT日志和定位追踪事件。
Hadoop 是一个开源框架，适合运行在通用硬件，支持用简单程序模型分布式处理跨集群大数据集，支持从单一服务器到上千服务器的水平scale up。Apache的Hadoop项目已几乎与大数据划上了等号，它不断壮大起来，已成为一个完整的生态系统，拥有众多开源工具面向高度扩展的分布式计算。高效、可靠、可伸缩，能够为你的数据存储项目提供所需的YARN、HDFS和基础架构，并且运行主要的大数据服务和应用程序。
Spark Streaming 实现微批处理，目标是很方便的建立可扩展、容错的流应用，支持Java、Scala和Python，和Spark无缝集成。Spark Streaming可以读取数据HDFS，Flume，Kafka，Twitter和ZeroMQ，也可以读取自定义数据。
Trident 是对Storm的更高一层的抽象，除了提供一套简单易用的流数据处理API之外，它以batch(一组tuples)为单位进行处理，这样一来，可以使得一些处理更简单和高效。
Flink 于今年跻身Apache顶级开源项目，与HDFS完全兼容。Flink提供了基于Java和Scala的API，是一个高效、分布式的通用大数据分析引擎。更主要的是，Flink支持增量迭代计算，使得系统可以快速地处理数据密集型、迭代的任务。
Samza 出自于LinkedIn，构建在Kafka之上的分布式流计算框架，是Apache顶级开源项目。可直接利用Kafka和Hadoop YARN提供容错、进程隔离以及安全、资源管理。
Storm Storm是Twitter开源的一个类似于Hadoop的实时数据处理框架。编程模型简单，显著地降低了实时处理的难度，也是当下最人气的流计算框架之一。与其他计算框架相比，Storm最大的优点是毫秒级低延时。
Yahoo S4 （Simple Scalable Streaming System）是一个分布式流计算平台，具备通用、分布式、可扩展的、容错、可插拔等特点，程序员可以很容易地开发处理连续无边界数据流（continuous unbounded streams of data）的应用。它的目标是填补复杂专有系统和面向批处理开源产品之间的空白，并提供高性能计算平台来解决并发处理系统的复杂度。
HaLoop 是一个Hadoop MapReduce框架的修改版本，其目标是为了高效支持 迭代，递归数据 分析任务，如PageRank，HITs，K-means，sssp等。
相关推荐
- 2025南通中考作文解读之四:结构框架
-
文题《继续走，迈向远方》结构框架：清晰叙事，层层递进示例结构：1.开头（点题）：用环境描写或比喻引出“走”与“远方”，如“人生如一条长路，每一次驻足后，都需要继续走，才能看见更美的风景”。2.中间...
- 高中数学的知识框架（高中数学知识框架图第三章）
-
高中数学的知识框架可以划分为多个核心板块，每个板块包含具体的知识点与内容，以下为详细的知识框架结构：基础知识1.集合与逻辑用语：涵盖集合的概念、表示方式、性质、运算，以及命题、四种命题关系、充分条件...
- 决定人生的六大框架（决定人生的要素）
-
45岁的自己混到今天，其实是失败的，要是早点意识到影响人生的六大框架，也不至于今天的模样啊！排第一的是环境，不是有句话叫人是环境的产物，身边的环境包括身边的人和事，这些都会对一个人产生深远的影响。其次...
- 2023年想考过一级造价师土建计量，看这30个知识点(三)
-
第二章工程构造考点一:工业建筑分类[考频分析]★★★1.按厂房层数分:(1)单层厂房;(2)多层厂房;(3)混合层数厂房。2.按工业建筑用途分:(1)生产厂房;(2)生产辅助厂房;(3)动力用厂房;(...
- 一级建造师习题集-建筑工程实务(第一章-第二节-2)
-
建筑工程管理与实务题库（章节练习）第一章建筑工程技术第二节结构设计与构造二、结构设计1.常见建筑结构体系中，适用建筑高度最小的是()。A.框架结构体系B.剪力墙结构体系C.框架-剪力墙结构体系D...
- 冷眼读书丨多塔斜拉桥，这么美又这么牛
-
”重大交通基础设施的建设是国民经济和社会发展的先导，是交通运输行业新技术集中应用与创新的综合体现。多塔斜拉桥因跨越能力强、地形适应性强、造型优美等特点，备受桥梁设计者的青睐，在未来跨越海峡工程中将得...
- 2021一级造价师土建计量知识点:民用建筑分类
-
2021造价考试备考开始了，学霸君为大家整理了一级造价师备考所用的知识点，希望对大家的备考道路上有所帮助。 民用建筑分类 一、按层数和高度分 1.住宅建筑按层数分类：1～3层为低层住宅，4～6层...
- 6个建筑结构常见类型，你都知道吗?
-
建筑结构是建筑物中支承荷载（作用）起骨架作用的体系。结构是由构件组成的。构件有拉（压）杆、梁、板、柱、拱、壳、薄膜、索、基础等。常见的建筑结构类型有6种：砖混结构、砖木结构、框架结构、钢筋混凝土结构、...
- 框架结构设计经验总结（框架结构设计应注意哪些问题）
-
1.结构设计说明主要是设计依据，抗震等级，人防等级，地基情况及承载力，防潮抗渗做法，活荷载值，材料等级，施工中的注意事项，选用详图，通用详图或节点，以及在施工图中未画出而通过说明来表达的信息。2.各...
- 浅谈混凝土框架结构设计（混凝土框架结构设计主要内容）
-
浅谈混凝土框架结构设计 摘要：结构设计是个系统的全面的工作，需要扎实的理论知识功底，灵活创新的思维和严肃认真负责的工作态度。钢筋混凝土框架结构虽然相对简单，但设计中仍有很多需要注意的问题。本文针...
- 2022一级建造师《建筑实务》1A412020 结构设计 精细考点整理
-
历年真题分布统计1A412021常用建筑结构体系和应用一、混合结构体系【2012-3】指楼盖和屋盖采用钢筋混凝土或钢木结构，而墙和柱采用砌体结构建造的房屋，大多用在住宅、办公楼、教学楼建筑中。优点：...
- 破土动工!这个故宫“分院”科技含量有点儿高
-
故宫“分院”设计图。受访者供图近日，位于北京海淀区西北旺镇的故宫北院区项目已开始破土动工，该项目也被称作故宫“分院”，筹备近十年之久。据悉，故宫本院每年展览文物的数量不到1万件，但是“分院”建成后，预...
- 装配式结构体系介绍(上)（装配式结构如何设计）
-
PC构件深化、构件之间连接节点做法等与相应装配式结构体系密切相关。本节列举目前常见的几种装配式结构体系：装配整体式混凝土剪力墙结构体系、装配整体式混凝土框架结构体系、装配整体式混凝土空腔结构体系（S...
- 这些不是双向抗侧结构体系（这些不是双向抗侧结构体系的特点）
-
双向抗侧土木吧规范对双向抗恻力结构有何规定？为何不应采用单向有墙的结构？双向抗侧土木吧1.规范对双向抗侧力结构体系的要求抗侧力体系是指抵抗水平地震作用及风荷载的结构体系。对于结构体系的布置，规范针对...
- 2022一级建造师《建筑实务》1A412020 结构设计 精细化考点整理
-
1A412021常用建筑结构体系和应用一、混合结构体系【2012-3】指楼盖和屋盖采用钢筋混凝土或钢木结构，而墙和柱采用砌体结构建造的房屋，大多用在住宅、办公楼、教学楼建筑中。优点：抗压强度高，造价...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- MVC框架 (46)
- spring框架 (46)
- 框架图 (58)
- flask框架 (53)
- quartz框架 (51)
- abp框架 (47)
- jpa框架 (47)
- laravel框架 (46)
- springmvc框架 (49)
- 分布式事务框架 (65)
- scrapy框架 (56)
- shiro框架 (61)
- 定时任务框架 (56)
- java日志框架 (61)
- JAVA集合框架 (47)
- grpc框架 (55)
- ppt框架 (48)
- 内联框架 (52)
- winform框架 (46)
- gui框架 (44)
- cad怎么画框架 (58)
- ps怎么画框架 (47)
- ssm框架实现登录注册 (49)
- oracle字符串长度 (48)
- oracle提交事务 (47)