1.Hive调优前相关规划设计（hivejoin优化）
ccwgpt 2024-10-01 08:19 24 浏览 0 评论
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供Hive SQL（简称HQL）查询功能，可以将HQL语句转换为MapReduce、Tez、Spark任务运行。本文仅讨论Hive on MapReduce的性能调优场景。
在进行Hive参数调优和SQL调优之前，要进行相应的规划设计，包括：Hive表使用高效的文件格式，Hive表文件及中间文件使用合适的文件压缩格式，根据业务特征创建分区表以及创建分桶表。
1.1. Hive表文件使用高效的文件格式
（1）建议使用ORC
ORC文件格式可以提供一种高效的方法来存储Hive数据，运用ORC可以提高Hive的读、写以及处理数据的性能。
以下两种场景需要应用方权衡是否使用ORC：
（a）文本文件加载到ORC格式的Hive表的场景：由于文本格式到ORC，需要耗费较高的CPU计算资源，相比于直接落地成文本格式Hive表而言加载性能会低很多；
（b）Hive表作为计算结果数据，导出给Hadoop之外的外部系统读取使用的场景：ORC格式的结果数据，相比于文本格式的结果数据而言其易读性低很多。
除以上两种场景外，其他场景均建议使用ORC作为Hive表的存储格式。
（2）考虑使用Parquet
Parquet的核心思想是使用“record shredding and assembly algorithm”来表示复杂的嵌套数据类型，同时辅以按列的高效压缩和编码技术，实现降低存储空间，提高IO效率，降低上层应用延迟。
Parquet是语言无关的，而且不与任何一种数据处理框架绑定在一起，适配多种语言和组件，能够与Parquet配合的组件有：
查询引擎：Hive、Impala、Pig；
计算框架：MapReduce、Spark、Cascading；
数据模型：Avro、Thrift、Protocol Buffers、POJOs。
对于Impala和Hive共享数据和元数据的场景，建议Hive表存储格式为Parquet。
1.2. Hive表文件及中间文件使用合适的文件压缩格式
GZip和Snappy，这两种压缩算法在大数据应用中最常见，适用范围最广，压缩率和速度都较好，读取数据也不需要专门的解压操作，对编码来说透明。
压缩率跟数据有关，通常从2到5不等；两种算法中，GZip的压缩率更高，但是消耗CPU更高，Snappy的压缩率和CPU消耗更均衡。
对于存储资源受限或客户要求文件必须压缩的场景，可考虑使用以上两种压缩算法对表文件及中间文件进行压缩。
1.3. 根据业务特征创建分区表
使用分区表能有效地分隔数据，分区条件作为查询条件时，减少扫描的数据量，加快查询的效率。
如果业务数据有明显的时间、区域等维度的区分，同时有较多的对应维度的查询条件时，建议按照相应维度进行一级或多级分区。
1.4. 根据业务特征创建分桶表
分桶的目的是便于高效采样和为Bucket MapJoin及SMB Join做数据准备。
对于Hive表有按照某一列进行采样稽核的场景，建议以该列进行分桶。数据会以指定列的值为key哈希到指定数目的桶中，从而支持高效采样。
对于对两个或多个数据量较大的Hive表按照同一列进行Join的场景，建议以该列进行分桶。当Join时，仅加载部分桶的数据到内存，避免OOM。
相关推荐
- 如何为Hadoop选择最佳弹性MapReduce框架
-
ZDNet至顶网服务器频道07月22日新闻消息：亚马逊Web服务的弹性MapReduce是一项基于Hadoop的实施，它可允许你运行大型的预处理工作，如格式转换和数据聚合等。虽然我们可以选择很多的...
- 《平安小猪》:J.K.罗琳用“魔法”放大的真实
-
对很多孩子来说，某些玩具是抚慰心灵的“忠实伙伴”，几乎无可替代。J.K.罗琳在看到儿子大卫对玩偶小猪的依恋后创作了“平安小猪”的故事，这也是她自《哈利·波特》之后创作的首部儿童长篇小说。男孩杰克在平安...
- 一页纸精华 | HDFS
-
要入门大数据，最好的办法就是理清hadoop的生态系统。本期为你介绍分布式文件系统HDFS。ApacheHadoop2.0生态系统如下图所示：Hadoop2.0生态系统图Hadoop核心项目包括：H...
- 谷歌搁置与法国出版商的协议，将等候反垄断裁定
-
据路透社6月29日消息，两位知情消息人士称，谷歌搁置了与一些法国出版商达成的为新闻内容付费的初步协议，将等待反垄断审议结果。该决定可能为欧洲在线新闻的版权谈判定下基调。文件显示，按照谷歌与法国新闻总联...
- Java 微服务从源码实战开始 | Gitee 项目推荐
-
在软件开发的不同时期、阶段，对技术架构的理解、选择和应用都有着不一样的诉求。微服务架构是当前互联网业界的一个技术热点，它的思想也更符合我们的目标：根据业务模块划分服务种类。每个服务可以独立部署并且互相...
- 快讯|谷歌搁置向法国出版商付费协议:等待反垄断决定
-
财经网科技6月30日讯，据新浪科技消息，两位知情人士透露，谷歌已经搁置此前与一些法国出版商达成的为新闻内容付费的初步协议。因为谷歌正在等待一项反垄断决定，这项决定可能会为该公司的欧洲在线新闻版权谈判定...
- 外媒:谷歌搁置与法国出版商的协议 等候反垄断决定
-
路透中文网30日报道，据两位知情消息人士透露，谷歌GOOGL.O搁置了与一些法国出版商达成的为新闻内容付费的初步协议，等待一项反垄断决定。该决定可能为欧洲在线新闻的版权谈判定下基调。报道显示，根据路透...
- 大数据任务调度框架Oozie
-
Oozie（驯象人）是一个基于工作流引擎的开源框架，由Cloudera公司贡献给Apache，提供对HadoopMapReduce、PigJobs的任务调度与协调。Oozie需要部署到JavaS...
- 惊了!SpringBoot 3.4 触雷，升级后参数绑定竟悄悄破坏你的代码?
-
背景在微服务架构中，我们经常利用HTTP请求头来控制系统行为，比如实现灰度发布和流量控制。在PIG微服务框架中，我们通过重写SpringCloudLoadBalancer，根据请求he...
- 《终结者》:科幻电影巅峰的里程碑
-
在阅读此文之前，麻烦您点击一下“关注”，既方便您进行讨论和分享，又能给您带来不一样的参与感，感谢您的支持。文|庭芥摘要：本文以一位影评家的视角赏析詹姆斯·卡梅隆执导的经典科幻电影《终结者》。通过对该...
- AI已经越过红线?复旦大学:在知道自己将被关闭后，AI复制了自己
-
2024年12月9日，复旦大学的一项研究引发了全球科技界的强烈关注。研究团队对Meta与阿里巴巴旗下的两个大型AI系统展开测试，结果发现，在知晓自身可能被关闭的情况下，它们居然选择自我复制。这不是普通...
- 重磅开源!LocalAI让你在个人电脑上运行AI大模型，无需显卡，已获28K Star!
-
随着AI技术的快速发展，如何在本地设备上高效运行AI模型成为了开发者关注的焦点。LocalAI开源项目提供了一个革命性的解决方案-它让用户能够在个人电脑上轻松部署和运行各种AI模型，并且完全兼容...
- 了解《终结者》的恐怖末日世界观，能让你看懂《终结者6》
-
相信很多人的科幻动作启蒙片，应该就是《终结者》系列，起码对于我来说，童年的暑假里，不止一次反复看着《终结者2》的电影，深深被影片中施瓦辛格的硬核铁汉形象吸引，也为片中的液态机器人着迷。《终结者》系列成...
- Golang底层是用什么语言编写的?
-
Go底层语言Go语言在1.5版本之前主要由汇编和C语言写的,C语言占比85%以上,另外有少量的周边模块如文档等,带了些htmlshellperl代码,可以忽略不计。1.5版本及之后...
- skynet服务的缺陷 lua死循环
-
服务端高级架构—云风的skynet这边有一个关于云风skynet的视频推荐给大家观看点击就可以观看了！skynet是一套多人在线游戏的轻量级服务端框架，使用C+Lua开发。skynet的显著优点是，...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- MVC框架 (46)
- spring框架 (46)
- 框架图 (58)
- bootstrap框架 (43)
- flask框架 (53)
- quartz框架 (51)
- abp框架 (47)
- jpa框架 (47)
- laravel框架 (46)
- springmvc框架 (49)
- 分布式事务框架 (65)
- scrapy框架 (56)
- shiro框架 (61)
- 定时任务框架 (56)
- java日志框架 (61)
- grpc框架 (55)
- ppt框架 (48)
- 内联框架 (52)
- winform框架 (46)
- gui框架 (44)
- cad怎么画框架 (58)
- ps怎么画框架 (47)
- ssm框架实现登录注册 (49)
- oracle字符串长度 (48)
- oracle提交事务 (47)