面试系列:深入理解hadoop架构体系
ccwgpt 2024-10-23 09:22 29 浏览 0 评论
hadoop组件简介
官方文档组织的非常清晰，主要由以下四个组件组成:HDFS、map-reduce、yarn、hadoop-common
HDFS
分布式文件存储系统，主要特点是：
- 可以运行在普通低成本硬件之上
- 并且具备高容错性（硬件容错）
- 适合高吞吐量的大数据存储，但并不强调低延迟
- 适合一次写，多次读的场景，不支持随机读写；
map-reduce
map-reduce是一个计算框架，绝大部分的数据处理都可以转化为map、reduce组合，然后利用map-reduce框架进行计算、处理；
yarn
资源管理器，核心的思想时将资源的调度管理与资源监控分割为两个进程，其中一个是ResourceManager，另一个是NodeManager，前者负责资源的分配、后者负责资源监控；
common
hdfs、map-reduce所需要的公共库；
面试题
HDFS的进程构成及其作用；
nameNode进程：负责对外展示文件的层级结构、管理客户端对文件的访问（如：打开、关闭、重命名等）、决定文件block与dataNode的对应关系；
secondNameNode进程：从名字来看，应该是nameNode的back up，然而并不是，其主要作用是协助nameNode管理editLog；
dataNode：主要负责数据存储以及客户端的读写请求以及block的创建、删除等；
详细解释map过程的细节：
map过程主要是实现key-value集合到key-value集合的映射，可以实一对一、一对多、多对多映射；
详细过程是：map -> group -> sorted -> partitioned
group：相同的key放到一起；
sorted：按照key进行排序
partition：对key进行分区，最终分区数量一般等于task数量；
详细解释reduce过程细节：
首先是shuffle，即从map端拉取数据到reducer端；
之后是group，也就是相同的key可能来自于不同的map，所以需要group
之后是sort过程（再map阶段排序的基础之上，进行归并排序即可）
最后是second sort（用户自定义，如果没有自定义则不执行）
最后是reduce过程。
setCombinerClass的作用：
在map端先进行一部分reduce工作，主要优点是减少shuffle成本；但也有一定的局限性，仅仅适用于reduce的输入和输出数据类型相同时；
简单介绍Federation架构：
Federation架构通过多个独立的NameNode实现集群的横向扩展，主要解决了HDFS的吞吐量及承载量受限于单个nameNode，并且无法根据namespace做隔离的弊端。
在存储层，各个nameNode共用统一的DataNode
相关推荐
- VUE3前端开发入门系列教程二:使用iView框架辅助开发
-
1、安装iView新框架，支持VUE3npminstallview-ui-plus2、编辑src/main.js，添加以下内容，导入js和css到项目importViewUIPlusfrom...
- 万能前端框架uni app初探03:底部导航开发
-
前言本节我们使用uniapp的底部导航功能，点击不同tab会显示不同页面，这个功能在实际项目开发中几乎是必备的。一、基础知识1.tabBar如果应用是一个多tab应用，可以通过tabBar配...
- Rust Web 开发框架，前端你可以选择哪个?
-
Rust构建一切。在如今流行的语言中，Rust可谓是将构建和高效作为自己优美的身姿在大众视野中脱颖而出。它是一门赋予每个人构建可靠且高效软件能力的语言。它有什么特性呢？高性能。Rust速度惊人且内...
- 连载:前端开发中纠结的Javascript框架(上)
-
如今，前端开发有着许许多多的框架和库。其中一些好用，一些却不尽人意。通常我们会习惯性运用某一概念，模块或句法。事实上，并没有什么万能工具。这篇文章是关于未来框架的发展趋势——那就是没有框架！我从以下几...
- 前端开发框架的演进架构:提升用户体验和开发效率
-
前端开发框架是现代Web应用开发的重要工具，它不仅可以帮助开发者构建复杂的用户界面，还能够提升用户体验和开发效率。随着Web技术的不断发展，前端开发框架也在不断演进，为开发者提供了更丰富、更高效的工具...
- Google应用Mesh-TensorFlow框架，让CNN也能处理超高分辨率图像
-
为了要处理超高分辨率医疗图像数据，Google开发了一种空间数据分区（SpatialPartition）技术，在不牺牲图像分辨率的条件下，分析超高分辨率图像。Google使用Mesh-TensorF...
- 大模型安全挑战加剧:框架层漏洞成新靶心
-
近日，360数字安全集团发布了一份关于大模型安全漏洞的报告，揭示了当前大模型及围绕其构建的框架和应用中存在的严重安全问题。报告显示，360近期研究发现了近40个大模型相关的安全漏洞，其中既包括二进制内...
- Keras 3.0正式发布:可用于TensorFlow、JAX和PyTorch
-
机器之心报道编辑：陈萍经过5个月的更新迭代，Keras3.0终于来了。「大新闻：我们刚刚发布了Keras3.0版本！」Keras之父FrancoisChollet在X上激动的...
- TensorFlow和Keras入门必读教程（tensorflow与keras版本对应）
-
导读：本文对TensorFlow的框架和基本示例进行简要介绍。作者：本杰明·普朗什（BenjaminPlanche）艾略特·安德烈斯（EliotAndres）来源：华章科技01TensorFlo...
- 谷歌官方回应“TensorFlow遭弃”:还在投资开发，将与JAX并肩作战
-
鱼羊发自凹非寺量子位|公众号QbitAI终于，谷歌出面回应“TensorFlow遭弃”传闻：我们将继续致力于将TensorFlow打造为一流机器学习平台，与JAX并肩推动机器学习研究。这段时...
- 2025 年的PHP :现代 Web 开发的强大引擎
-
程序员还在吐槽PHP过时？2025年的PHP8.4直接封神了。看看最近更新的属性钩子、强类型系统，加上Laravel这些框架，老语言早就脱胎换骨。十年前说PHP弱类型容易崩代码的，现在脸疼不？联合类...
- 前端内卷终结者?htmx如何让开发者告别200行JS只做一个按钮
-
当你用React写一个点赞按钮需要引入3个状态管理库、编写80行JSX和120行钩子函数时，htmx只需要一行HTML：<buttonhx-post="/like"hx-sw...
- NativePHP桌面版V1.0正式发布（元气桌面电脑版下载）
-
导读：各位小伙伴，使用PHP构建桌面级系统的利器，NativePHP来了。概述NativePHP是一个用于使用PHP构建桌面应用的框架。它允许PHP开发人员使用熟悉的工具和技术创建跨平台的原生应用...
- PHP Laravel框架底层机制（php基本框架）
-
当然可以，Laravel是最受欢迎的PHP框架之一，以优雅的语法和丰富的生态而闻名。尽管开发体验非常“高端”，它的底层其实是由一系列结构清晰、职责分明的组件构成的。下面我从整体架构、核心流程、...
- PHP框架之Laravel框架教程:2. 控制器、路由、视图简单介绍
-
2.控制器、路由、视图简单介绍我们先建立控制器，目录是：app/Http/Controllers，新建控制器Ding.php，代码如下：Ding.php:<?phpnamespaceA...
欢迎 你 发表评论:
- 一周热门
- 最近发表
-
- VUE3前端开发入门系列教程二:使用iView框架辅助开发
- 万能前端框架uni app初探03:底部导航开发
- Rust Web 开发框架，前端你可以选择哪个?
- 连载:前端开发中纠结的Javascript框架(上)
- 前端开发框架的演进架构:提升用户体验和开发效率
- Google应用Mesh-TensorFlow框架，让CNN也能处理超高分辨率图像
- 大模型安全挑战加剧:框架层漏洞成新靶心
- Keras 3.0正式发布:可用于TensorFlow、JAX和PyTorch
- TensorFlow和Keras入门必读教程（tensorflow与keras版本对应）
- 谷歌官方回应“TensorFlow遭弃”:还在投资开发，将与JAX并肩作战
- 标签列表
-
- 框架图 (58)
- flask框架 (53)
- quartz框架 (51)
- abp框架 (47)
- jpa框架 (47)
- springmvc框架 (49)
- 分布式事务框架 (65)
- scrapy框架 (56)
- shiro框架 (61)
- 定时任务框架 (56)
- java日志框架 (61)
- JAVA集合框架 (47)
- mfc框架 (52)
- abb框架断路器 (48)
- beego框架 (52)
- java框架spring (58)
- grpc框架 (65)
- tornado框架 (48)
- 前端框架bootstrap (54)
- orm框架有哪些 (51)
- ppt框架 (48)
- 内联框架 (52)
- cad怎么画框架 (58)
- ssm框架实现登录注册 (49)
- oracle字符串长度 (48)