流式计算框架 第2页

解密淘宝推荐实战，打造“比你还懂你”的个性化APP

如今，推荐系统已经成为各大电商平台的重要流量入口，谁才能够做到比用户更懂用户，谁占据了新零售时代的主动权。手机淘宝的推荐更是淘宝最大的流量入口和最大的成交渠道之一，其背后是最为复杂的业务形态和最复杂的场景技术，那么究竟如何打造手淘背后的推荐系统呢？本次首席技术官大数据专享会上，阿里巴巴搜索推荐事业部...

从零开始理解大数据架构之ETL数据采集中台DBus

在开始今天的话题之前首先分享一下，我们的开发环境的大数据集群规划图，为上期的话题收尾。规划原则只需要将组件服务和计算服务节点分离，这样就可以确保在计算过程中不出问题。接下来我们来详细的聊聊ETL中的E,数据提取中台DBus，在上篇文章中，我已经讲解了，这个采集数据中台产生的背景及整体架构，以及安装部...

用上流批一体的实时数仓，数据导入和查询速度起飞了

本文主要介绍如何基于流批一体的技术架构构建实时数仓，在严格的资源成本限制下，满足业务对于数据时效性、准确性的需求。文章整体包含4个部分，首先会介绍下大数据架构演进，从经典架构到Lambda架构再到Kappa架构；然后会介绍下我们做流批一体实时数仓的背景，旧架构面临的主要问题；第三会介绍下我们流批一体...

工业物联网中的流式计算（物联网流式大数据计算）

一、为什么需要流计算随着工业4.0时代的到来，工业物联网（IndustrialInternetofThings,IIoT）已经成为制造业转型升级的关键驱动力。工业物联网通过连接各类传感器、设备和系统，实现了设备间的数据交流和共享，极大地提高了生产效率、降低了运营成本，并为企业带来了前所未有的...

流式处理框架之Storm（流式框架组件）

什么是StormStorm是一个免费开源、分布式、高容错的实时计算系统。Storm令持续不断的流计算变得容易，弥补了Hadoop批处理所不能满足的实时要求。Storm经常用于在实时分析、在线机器学习、持续计算、分布式远程调用和ETL等领域。Storm的部署管理非常简单，而且，在同类的流式计算工具，...

Flink中算子链的介绍（flink join算子）

Flink是一个开源的流式计算框架，它提供了丰富的算子操作来处理数据流。算子链是Flink中的一个重要概念，它可以将多个算子链接在一起形成一个连续的处理流程，从而提高计算效率和性能。算子链的概念最早出现在Flink1.2版本中，它的目标是减少不必要的数据序列化和网络传输开销。在Flink中，每个算...

阿里一面:说一下Flink跟Spark Streaming的区别

当提及大数据时，我们无法忽视流式计算的重要性，它能够完成强大的实时分析。而说起流式计算，我们也无法忽视最强大的数据处理引擎：Spark和Flink。ApacheSpark自2014年以来迅速普及。它提供了一个适用常见数据处理场景的统一引擎，如批处理、流处理、交互式查询和机器学习。在某些情况下，它的...