spark框架

Spark发布19美元的WiFi开发套件Photon，想做WiFi领域的树莓派

之前在Kickstarter上成功众筹56.7万美元的WiFi模块提供商Spark，又发布了一款新品套件SparkPhoton，火柴盒大小，基于SparkOS的，很适合创客整合到自己的产品中，仅售19美元，正在官网预售。Spark是Makerbot的创始人ZachSupalla创办的，之前...

Spark 核心编程RDD简介与核心属性

Spark计算框架为了能够进行高并发和高吞吐的数据处理，封装了三大数据结构，用于处理不同的应用场景。三大数据结构分别是：RDD:弹性分布式数据集累加器：分布式共享只写变量广播变量：分布式共享只读变量接下来我们一起看看这三大数据结构是如何在数据处理中使用的。1RDD1.1什么是RDDRDD...

字节跳动在 Spark SQL 上的核心优化实践

作者|郭俊封图|BanburyTang字节跳动数据仓库架构团队负责数据仓库领域架构设计，支持字节跳动几乎所有产品线（包含但不限于抖音、今日头条、西瓜视频、火山视频）数据仓库方向的需求，如SparkSQL/Druid的二次开发和优化。字节跳动数据仓库架构负责人郭俊从SparkSQL...

深度解析 K8S:容器编排的核心力量

在当今互联网软件开发的迅猛发展浪潮中，随着云计算和微服务架构的兴起，如何高效地管理和部署应用程序成为了软件开发人员面临的关键挑战。而Kubernetes（简称K8S），作为谷歌开源的容器编排平台，宛如一颗璀璨的明星，迅速成为了这一领域的事实标准，它不仅简化了容器化应用的部署、扩展和管理，还提供了...

三十五、SparkSQL: RDD、DataFrame和Dataset的关系

在SparkSQL中，在Spark1.3版本时为SparkSQL提供了一种新的数据集结构DataFrame,而从Spark1.6开始提供了一种新的弹性的、懒执行的、分布式的抽象数据集Dataset，那么它与RDD之前有着什么样的关联呢？来看看源码中的介绍：1.RDD、DataFrame和Datas...

Spark读取kafka复杂嵌套json的最佳实践

随着互联网的更进一步发展，信息浏览、搜索以及电子商务、互联网旅游生活产品等将生活中的流通环节在线化，对于实时性的要求进一步提升，而信息的交互和沟通正在从点对点往信息链甚至信息网的方向发展，这样必然带来数据各个维度的交叉关联，数据爆炸也不可避免，因此流式处理应运而生，解决实时框架问题，助力大数据分析。...

Spark集群:环境搭建之Scala安装指南

前篇文章介绍了Spark计算框架相较于MapReduce框架的种种优势，接下来我们一起安装、配置Spark集群环境，方便后期继续学习研究。Spark项目是由Scala语言编写的，因此需提前配置Scala环境才能运行Spark程序。1、Scala版本选择与下载我们安装spark2.1.2版本与之对应的...

大数据 | Spark Streaming框架有什么特点?

大数据|SparkStreaming框架有什么特点？SparkStreaming是构建在Spark上的实时计算框架，且是对SparkCoreAPI的一个扩展，它能够实现对流数据进行实时处理，并具有很好的可扩展性、高吞吐量和容错性。SparkStreaming具有如下显著特点。（1）易用...

大佬用10小时就把Spark讲完了，附6大技术文档

前言ApacheSpark是一个开源集群运算框架，相对于Hadoop的MapReduce会在运行完工作后将中介数据存放到磁盘中，Spark使用了存储器内运算技术，能在数据尚未写入硬盘时即在存储器内分析运算。Spark在存储器内运行程序的运算速度能做到比HadoopMapReduce的运算速...

二十、图解Spark的Shuffle原理（spark shuffle原理）

1.概述Shuffle就是对数据进行重组，由于分布式计算的特性和要求，在实现细节上更加繁琐和复杂。在MR框架中，Shuffle是连接Mapper和Reducer之间的桥梁，Map阶段通过shuffle读取数据并输出到对应的Reduce,而Reduce阶段负责从Map端拉取数据并行计算。在整个shu...