pig框架 第2页

Hive架构及搭建方式（hive 部署）

Hive架构及搭建方式[TOC]前言本文档基于hive3.1.2编写hive的基础知识基本架构整个hive由hiveserver2和hive客户端组成hive客户端有三种，beeline、使用jdbc链接hiveserver、或使用hiveCLI(这个已经过时，hive官方已经不推荐，推荐b...

2020-08-17:详细说下数据倾斜怎么解决?

福哥答案2020-08-17：数据倾斜是大数据领域绕不开的拦路虎，当你所需处理的数据量到达了上亿甚至是千亿条的时候，数据倾斜将是横在你面前一道巨大的坎。很可能有几周甚至几月都要头疼于数据倾斜导致的各类诡异的问题。数据倾斜是指：mapreduce程序执行时，reduce节点大部分执行完毕，但是有一个或...

Hadoop的数据仓库框架-Hive 基础知识及快速入门

推荐大数据相关技术文章：大数据技术文章汇总-Hadoop、MapReduce、Storm、Spark、FlinkHive是一个构建在Hadoop上的数据仓库框架。最初，Hive是由Facebook开发，后来移交由Apache软件基金会开发，并作为一个Apache开源项目。Hive和传统数据仓库一样，...

35道大数据面试题和答案，2020年面试必备

参加大数据访问想知道你将要经历的所有问题和讨论是什么？在参加大数据采访之前，最好先了解一下大数据采访问题这样你就可以在心理上为他们准备答案。为了帮助你，我创造了顶端大数据访问问答指南了解大数据采访问题的深度和真实意图。我们正处在大数据和分析的时代。随着数据为我们周围的一切提供动力，对熟练数据专业...

干货:50个大数据面试问题及答案第一篇:大数据面试入门级问题

10个大数据面试入门级问题由于大数据在IT是比较吃香的，小编整理了一些关于大数据的面试题。无论您是大数据领域的新手还是经验丰富，都需要基础知识。因此，让我们来介绍一些常见的基本大数据面试问题以及破解大数据面试的答案。1.您对“大数据”一词有何了解？答：大数据是与复杂和大型数据集相关的术语。关系数据...

怎么做好网站分析这个项目，大数据行业必读

导读：网站分析也称Web分析(webanalytics)。一言以蔽之，对于网站分析，个人的理解是：网站分析通过对网站各项数据指标进行解读与分析，从而了解和归纳网站浏览者的行为及洞察行为背后的需求，有针对性地对网站进行整体或细节的改善，提升网站运营水平和更好的满足网站用户需求。总之，网站分析是网站...

超全Hadoop实用工具介绍，想学大数据的小伙伴千万不能错过

Hadoop是现在最流行的大数据分布式基础架构，其实现了很多大数据相关的核心功能，并且支持大量的核心项目。今天小鸟就给大家盘点一下Hadoop以及Hadoop生态圈。一、Hadoop内部核心模块HadoopCommon：大量低层核心组件和接口，主要用于支持和集成其他模块。HadoopMapRed...

数据产品经理术语之hadoop（数据产品经理实战进阶）

数据产品经理的工作描述中，“了解hadoop”是一个高频出现的内容。大多数产品经理并没有直接与hadoop打交道的经验，本文希望能够帮助大家对Hadoop有一个基础的理解。一、是什么Hadoop是一个由Apache基金会所开发的分布式系统基础架构，它封装了复杂的分布式底层细节，使开发人员能够低门槛地...

漫谈工业大数据9:开源工业大数据软件简介(上)

今天真是一个美好的时代，有无数的开源系统可以为我们提供服务，现在有许多开发软件可以用到工业大数据中，当然很多系统还不成熟，应用到工业中还需要小心，并且需要开发人员对其进行一定的优化和调整。下面就简单介绍一些开源的大数据工具软件，看看有哪些能够应用到工业大数据领域。下面这张图是我根据网上流传的一张...

分布式链路追踪Jaeger + 微服务Pig在Rainbond上的实践分享

随着微服务架构的流行，客户端发起的一次请求可能需要涉及到多个或N个服务，致使我们对服务之间的监控和排查变得更加复杂。「举个例子：」某条业务线的某个接口调用服务端时快时慢，这时就需要排查各个服务的日志进行分析，调动各个服务的开发人员联动排查，这种排查费时又费力。对于ToB的业务有时候还拿不到日...