1.Hive调优前相关规划设计（hivejoin优化）
ccwgpt 2024-10-01 08:19 34 浏览 0 评论
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供Hive SQL（简称HQL）查询功能，可以将HQL语句转换为MapReduce、Tez、Spark任务运行。本文仅讨论Hive on MapReduce的性能调优场景。
在进行Hive参数调优和SQL调优之前，要进行相应的规划设计，包括：Hive表使用高效的文件格式，Hive表文件及中间文件使用合适的文件压缩格式，根据业务特征创建分区表以及创建分桶表。
1.1. Hive表文件使用高效的文件格式
（1）建议使用ORC
ORC文件格式可以提供一种高效的方法来存储Hive数据，运用ORC可以提高Hive的读、写以及处理数据的性能。
以下两种场景需要应用方权衡是否使用ORC：
（a）文本文件加载到ORC格式的Hive表的场景：由于文本格式到ORC，需要耗费较高的CPU计算资源，相比于直接落地成文本格式Hive表而言加载性能会低很多；
（b）Hive表作为计算结果数据，导出给Hadoop之外的外部系统读取使用的场景：ORC格式的结果数据，相比于文本格式的结果数据而言其易读性低很多。
除以上两种场景外，其他场景均建议使用ORC作为Hive表的存储格式。
（2）考虑使用Parquet
Parquet的核心思想是使用“record shredding and assembly algorithm”来表示复杂的嵌套数据类型，同时辅以按列的高效压缩和编码技术，实现降低存储空间，提高IO效率，降低上层应用延迟。
Parquet是语言无关的，而且不与任何一种数据处理框架绑定在一起，适配多种语言和组件，能够与Parquet配合的组件有：
查询引擎：Hive、Impala、Pig；
计算框架：MapReduce、Spark、Cascading；
数据模型：Avro、Thrift、Protocol Buffers、POJOs。
对于Impala和Hive共享数据和元数据的场景，建议Hive表存储格式为Parquet。
1.2. Hive表文件及中间文件使用合适的文件压缩格式
GZip和Snappy，这两种压缩算法在大数据应用中最常见，适用范围最广，压缩率和速度都较好，读取数据也不需要专门的解压操作，对编码来说透明。
压缩率跟数据有关，通常从2到5不等；两种算法中，GZip的压缩率更高，但是消耗CPU更高，Snappy的压缩率和CPU消耗更均衡。
对于存储资源受限或客户要求文件必须压缩的场景，可考虑使用以上两种压缩算法对表文件及中间文件进行压缩。
1.3. 根据业务特征创建分区表
使用分区表能有效地分隔数据，分区条件作为查询条件时，减少扫描的数据量，加快查询的效率。
如果业务数据有明显的时间、区域等维度的区分，同时有较多的对应维度的查询条件时，建议按照相应维度进行一级或多级分区。
1.4. 根据业务特征创建分桶表
分桶的目的是便于高效采样和为Bucket MapJoin及SMB Join做数据准备。
对于Hive表有按照某一列进行采样稽核的场景，建议以该列进行分桶。数据会以指定列的值为key哈希到指定数目的桶中，从而支持高效采样。
对于对两个或多个数据量较大的Hive表按照同一列进行Join的场景，建议以该列进行分桶。当Join时，仅加载部分桶的数据到内存，避免OOM。
相关推荐
- 滨州维修服务部“一区一策”强服务
-
今年以来，胜利油田地面工程维修中心滨州维修服务部探索实施“一区一策”服务模式，持续拓展新技术应用场景，以优质的服务、先进的技术，助力解决管理区各类维修难题。服务部坚持问题导向，常态化对服务范围内的13...
- 谷歌A2A协议和MCP协议有什么区别?A2A和MCP的差异是什么?
-
在人工智能的快速发展中，如何实现AI模型与外部系统的高效协作成为关键问题。谷歌主导的A2A协议（Agent-to-AgentProtocol）和Anthropic公司提出的MCP协议(ModelC...
- 谷歌大脑用架构搜索发现更好的特征金字塔结构，超越Mask-RCNN等
-
【新智元导读】谷歌大脑的研究人员发表最新成果，他们采用神经结构搜索发现了一种新的特征金字塔结构NAS-FPN，可实现比MaskR-CNN、FPN、SSD更快更好的目标检测。目前用于目标检测的最先...
- 一文彻底搞懂谷歌的Agent2Agent(A2A)协议
-
前段时间，相信大家都被谷歌发布的Agent2Agent开源协议刷屏了，简称A2A。谷歌官方也表示，A2A是在MCP之后的补充，也就是MCP可以强化大模型/Agent的能力，但每个大模型/Agent互为...
- 谷歌提出创新神经记忆架构，突破Transformer长上下文限制
-
让AI模型拥有人类的记忆能力一直是学界关注的重要课题。传统的深度学习模型虽然在许多任务上取得了显著成效，但在处理需要长期记忆的任务时往往力不从心。就像人类可以轻松记住数天前看过的文章重点，但目前的...
- 不懂设计?AI助力，人人都能成为UI设计师!
-
最近公司UI资源十分紧张，急需要通过AI来解决UI人员不足问题，我在网上发现了几款AI应用非常适合用来进行UI设计。以下是一些目前非常流行且功能强大的工具，它们能够提高UI设计效率，并帮助设计师创造出...
- 速来!手把手教你用AI完成UI界面设计
-
晨星技术说晨星技术小课堂第二季谭同学-联想晨星用户体验设计师-【晨星小课堂】讲师通过简单、清晰的语言描述就能够用几十秒自动生成一组可编辑的UI界面，AIGC对于UI设计师而言已经逐步发展成了帮助我们...
- 「分享」一端录制，多端使用的便捷 UI 自动化测试工具，开源
-
一、项目介绍Recorder是一款UI录制和回归测试工具，用于录制浏览器页面UI的操作。通过UIRecorder的录制功能，可以在自测的同时，完成测试过程的录制，生成JavaScr...
- APP自动化测试系列之Appium介绍及运行原理
-
在面试APP自动化时，有的面试官可能会问Appium的运行原理，以下介绍Appium运行原理。Appium介绍Appium概念Appium是一个开源测试自动化框架，可用于原生，混合和移动Web应用程序...
- 【推荐】一个基于 SpringBoot 框架开发的 OA 办公自动化系统
-
如果您对源码&技术感兴趣，请点赞+收藏+转发+关注，大家的支持是我分享最大的动力！！！项目介绍oasys是一个基于springboot框架开发的OA办公自动化系统，旨在提高组织的日常运作和管理...
- 自动化实践之:从UI到接口，Playwright给你全包了!
-
作者：京东保险宋阳1背景在车险系统中，对接保司的数量众多。每当系统有新功能迭代后，基本上各个保司的报价流程都需要进行回归测试。由于保司数量多，回归测试的场景也会变得重复而繁琐，给测试团队带来了巨大的...
- 销帮帮CRM移动端UI自动化测试实践:Playwright的落地与应用
-
实施背景销帮帮自2015年成立以来，移动端UI自动化测试的落地举步维艰，移动端的UI自动化测试一直以来都未取得良好的落地。然而移动互联网时代，怎样落地移动端的UI自动化测试以快速稳定进行移动端的端到端...
- 编写自动化框架不知道该如何记录日志吗?3个方法打包呈现给你。
-
目录结构1.loguru介绍1.1什么是日志？程序运行过程中，难免会遇到各种报错。如果这种报错是在本地发现的，你还可以进行debug。但是如果程序已经上线了，你就不能使用debug方式了...
- 聊聊Python自动化脚本部署服务器全流程(详细)
-
来源：AirPython作者：星安果1.前言大家好，我是安果！日常编写的Python自动化程序，如果在本地运行稳定后，就可以考虑将它部署到服务器，结合定时任务完全解放双手但是，由于自动化程序与平...
- 「干货分享」推荐5个可以让你事半功倍的Python自动化脚本
-
作者：俊欣来源：关于数据分析与可视化相信大家都听说自动化流水线、自动化办公等专业术语，在尽量少的人工干预的情况下，机器就可以根据固定的程序指令来完成任务，大大提高了工作效率。今天小编来为大家介绍几个P...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- MVC框架 (46)
- spring框架 (46)
- 框架图 (58)
- flask框架 (53)
- quartz框架 (51)
- abp框架 (47)
- jpa框架 (47)
- springmvc框架 (49)
- 分布式事务框架 (65)
- scrapy框架 (56)
- shiro框架 (61)
- 定时任务框架 (56)
- java日志框架 (61)
- JAVA集合框架 (47)
- mfc框架 (52)
- abb框架断路器 (48)
- ui自动化框架 (47)
- grpc框架 (55)
- ppt框架 (48)
- 内联框架 (52)
- cad怎么画框架 (58)
- ps怎么画框架 (47)
- ssm框架实现登录注册 (49)
- oracle字符串长度 (48)
- oracle提交事务 (47)