主流大数据处理框架「菜鸟必看」（大数据处理框架可以分为哪三类系统）
ccwgpt 2024-09-27 07:24 21 浏览 0 评论
Spark 是一个高速、通用大数据计算处理引擎。拥有Hadoop MapReduce所具有的优点，但不同的是Job的中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。它可以与Hadoop和Apache Mesos一起使用，也可以独立使用。
官方称，用在内存中时，其速度比MapReduce最多快100倍；用在磁盘上时，其速度比MapReduce最多快10倍。它可以与Hadoop和Apache Mesos一起使用，也可以独立使用。
支持的操作系统：Windows、Linux和OS X。
Kinesis 可以构建用于处理或分析流数据的自定义应用程序，来满足特定需求。Amazon Kinesis Streams 每小时可从数十万种来源中连续捕获和存储数TB数据，如网站点击流、财务交易、社交媒体源、IT日志和定位追踪事件。
Hadoop 是一个开源框架，适合运行在通用硬件，支持用简单程序模型分布式处理跨集群大数据集，支持从单一服务器到上千服务器的水平scale up。Apache的Hadoop项目已几乎与大数据划上了等号，它不断壮大起来，已成为一个完整的生态系统，拥有众多开源工具面向高度扩展的分布式计算。高效、可靠、可伸缩，能够为你的数据存储项目提供所需的YARN、HDFS和基础架构，并且运行主要的大数据服务和应用程序。
Spark Streaming 实现微批处理，目标是很方便的建立可扩展、容错的流应用，支持Java、Scala和Python，和Spark无缝集成。Spark Streaming可以读取数据HDFS，Flume，Kafka，Twitter和ZeroMQ，也可以读取自定义数据。
Trident 是对Storm的更高一层的抽象，除了提供一套简单易用的流数据处理API之外，它以batch(一组tuples)为单位进行处理，这样一来，可以使得一些处理更简单和高效。
Flink 于今年跻身Apache顶级开源项目，与HDFS完全兼容。Flink提供了基于Java和Scala的API，是一个高效、分布式的通用大数据分析引擎。更主要的是，Flink支持增量迭代计算，使得系统可以快速地处理数据密集型、迭代的任务。
Samza 出自于LinkedIn，构建在Kafka之上的分布式流计算框架，是Apache顶级开源项目。可直接利用Kafka和Hadoop YARN提供容错、进程隔离以及安全、资源管理。
Storm Storm是Twitter开源的一个类似于Hadoop的实时数据处理框架。编程模型简单，显著地降低了实时处理的难度，也是当下最人气的流计算框架之一。与其他计算框架相比，Storm最大的优点是毫秒级低延时。
Yahoo S4 （Simple Scalable Streaming System）是一个分布式流计算平台，具备通用、分布式、可扩展的、容错、可插拔等特点，程序员可以很容易地开发处理连续无边界数据流（continuous unbounded streams of data）的应用。它的目标是填补复杂专有系统和面向批处理开源产品之间的空白，并提供高性能计算平台来解决并发处理系统的复杂度。
HaLoop 是一个Hadoop MapReduce框架的修改版本，其目标是为了高效支持 迭代，递归数据 分析任务，如PageRank，HITs，K-means，sssp等。
相关推荐
- 机器学习框架TensorFlow入门（tensorflow框架详解）
-
ensorFlow是一个广泛使用的开源机器学习框架，由GoogleBrain团队开发。它支持广泛的机器学习和深度学习任务，并且可以在CPU和GPU上运行。下面是一个使用TensorF...
- 合肥高新区企业本源发布量子机器学习框架VQNet 开辟量子机器学习的新领域
-
近日，高新区企业合肥本源量子计算科技有限责任公司通过研究混合实现变分量子算法和经典机器学习框架的可能性，全新开发了量子机器学习框架VQNet，可满足构建所有类型的量子机器学习算法，实现量子-经典混合任...
- 如何使用 TensorFlow 构建机器学习模型
-
在这篇文章中，我将逐步讲解如何使用TensorFlow创建一个简单的机器学习模型。TensorFlow是一个由谷歌开发的库，并在2015年开源，它能使构建和训练机器学习模型变得简单。我们接下...
- 机器学习框架底层揭秘:PyTorch、TensorFlow 如何高效“跑模型”
-
在使用PyTorch或TensorFlow时，你是否想过：这些深度学习框架底层到底是怎么运行的？为什么我们一行.backward()就能自动计算梯度？本篇将用最简单的语言，拆解几个关键概念...
- 2 个月的面试亲身经历告诉大家，如何进入 BAT 等大厂?
-
这篇文章主要是从项目来讲的，所以，从以下几个方面展开。怎么介绍项目？怎么介绍项目难点与亮点？你负责的模块？怎么让面试官满意？怎么介绍项目？我在刚刚开始面试的时候，也遇到了这个问题，也是我第一个思考的问...
- 基于SpringBoot 的CMS系统，拿去开发企业官网真香(附源码)
-
前言推荐这个项目是因为使用手册部署手册非常完善，项目也有开发教程视频对小白非常贴心，接私活可以直接拿去二开非常舒服开源说明系统100%开源模块化开发模式，铭飞所开发的模块都发布到了maven中央库。可...
- 【网络安全】关于Apache Shiro权限绕过高危漏洞的 预警通报
-
近日，国家信息安全漏洞共享平台（CNVD）公布了深信服终端检测平台（EDR）远程命令执行高危漏洞，攻击者利用该漏洞可远程执行系统命令，获得目标服务器的权限。一、漏洞情况ApacheShiro是一个强...
- 开发企业官网就用这个基于SpringBoot的CMS系统，真香
-
前言推荐这个项目是因为使用手册部署手册非常完善，项目也有开发教程视频对小白非常贴心，接私活可以直接拿去二开非常舒服。开源说明系统100%开源模块化开发模式，铭飞所开发的模块都发布到了maven中央库。...
- 这款基于SpringBoot 的CMS系统，开发企业官网确实香(附源码)
-
前言推荐这个项目是因为使用手册部署手册非常完善，项目也有开发教程视频对小白非常贴心，接私活可以直接拿去二开非常舒服开源说明系统100%开源模块化开发模式，铭飞所开发的模块都发布到了maven中央库。可...
- 【推荐】一款基于BPM和代码生成器的 AI 低代码开源平台
-
如果您对源码&技术感兴趣，请点赞+收藏+转发+关注，大家的支持是我分享最大的动力！！！项目介绍JeecgBoot是一款基于BPM和代码生成器的AI低代码平台，专为Java企业级Web应用而生。它采...
- 云安全日报200819:Apache发现重要漏洞 可窃取信息 控制系统 需要尽快升级
-
ApacheHTTPServer（简称Apache）是Apache软件基金会的一个开放源码的网页服务器，可以在大多数计算机操作系统中运行，由于其多平台和安全性被广泛使用，是最流行的Web服务器端软...
- 基于jeecgboot框架的cloud商城源码分享，兼容单体和微服务模式
-
3年时间里，随着关注java单商户商城系统的朋友越来越多，对cloud版本的商城呼声也越来越高。因此今年立项了cloud版本的开发，目前已发gitee开源，目前也基本测试完毕，欢迎大家体验以及提出宝贵...
- SpringBoot + Mybatis + Shiro + mysql + redis智能平台源码分享
-
后端技术栈基于SpringBoot+Mybatis+Shiro+mysql+redis构建的智慧云智能教育平台基于数据驱动视图的理念封装element-ui，即使没有vue的使...
- 我敢保证，全网没有再比这更详细的Java知识点总结了，送你啊
-
接下来你看到的将是全网最详细的Java知识点总结，全文分为三大部分：Java基础、Java框架、Java+云数据小编将为大家仔细讲解每大部分里面的详细知识点，别眨眼，从小白到大佬、零基础到精通，你绝...
- 基于Spring+SpringMVC+Mybatis分布式敏捷开发系统架构(附源码)
-
前言zheng项目不仅仅是一个开发架构，而是努力打造一套从前端模板-基础框架-分布式架构-开源项目-持续集成-自动化部署-系统监测-无缝升级的全方位J2EE企业级开发解...
欢迎 你 发表评论:
- 一周热门
- 最近发表
-
- 机器学习框架TensorFlow入门（tensorflow框架详解）
- 合肥高新区企业本源发布量子机器学习框架VQNet 开辟量子机器学习的新领域
- 如何使用 TensorFlow 构建机器学习模型
- 机器学习框架底层揭秘:PyTorch、TensorFlow 如何高效“跑模型”
- 2 个月的面试亲身经历告诉大家，如何进入 BAT 等大厂?
- 基于SpringBoot 的CMS系统，拿去开发企业官网真香(附源码)
- 【网络安全】关于Apache Shiro权限绕过高危漏洞的 预警通报
- 开发企业官网就用这个基于SpringBoot的CMS系统，真香
- 这款基于SpringBoot 的CMS系统，开发企业官网确实香(附源码)
- 【推荐】一款基于BPM和代码生成器的 AI 低代码开源平台
- 标签列表
-
- MVC框架 (46)
- spring框架 (46)
- 框架图 (58)
- bootstrap框架 (43)
- flask框架 (53)
- quartz框架 (51)
- abp框架 (47)
- jpa框架 (47)
- laravel框架 (46)
- express框架 (43)
- springmvc框架 (49)
- 分布式事务框架 (65)
- scrapy框架 (56)
- shiro框架 (61)
- java框架spring (43)
- grpc框架 (55)
- ppt框架 (48)
- 内联框架 (52)
- winform框架 (46)
- gui框架 (44)
- cad怎么画框架 (58)
- ps怎么画框架 (47)
- ssm框架实现登录注册 (49)
- oracle字符串长度 (48)
- oracle提交事务 (47)