分布式计算框架 第2页

带你了解分布式框架hadoop（hadoop分布式搭建步骤）

初识hadoop现在经常听到“大数据“这个名词，那是因为随着互联网、物联网等技术的快速普及和应用，现在我们的生活中时时刻刻被这些数据所包围。不管生活当中的大大小小的事情，背后都有相关的数据记录存储在存储空间中。举个例子，你看到的这篇文章的内容是存储在数据库当中，你通过某个平台观看到该篇文章，那么你的...

分布式服务框架下，如何做到服务化最佳实践?

“升级服务框架后，性能、可靠性等问题日益明显。服务化之后面临的诸多挑战，怎样分析才能给出实践最优解？在服务化之前，业务通常都是本地API调用，本地方法调用性能损耗较小。服务化之后，服务提供者和消费者之间采用远程网络通信，增加了额外的性能损耗，业务调用的时延将增大，同时由于网络闪断等原因，分布式调用失...

字节跳动开源高性能分布式训练框架BytePS

36氪获悉，近日，字节跳动人工智能实验室宣布开源一款高性能分布式深度学习训练框架BytePS，BytePS同时能够支持Tensorflow、PyTorch、MXNet等开源库。

自己动手从0开始实现一个分布式 RPC 框架

前言为什么要自己写一个RPC框架，我觉得从个人成长上说，如果一个程序员能清楚的了解RPC框架所具备的要素，掌握RPC框架中涉及的服务注册发现、负载均衡、序列化协议、RPC通信协议、Socket通信、异步调用、熔断降级等技术，可以全方位的提升基本素质。虽然也有相关源码，但是只看源码容易眼高手低，动手写...

DeepMind 推出分布式训练框架 IMPALA，开启智能体训练新时代

雷锋网AI研习社按，日前，DeepMind推出一种全新的分布式智能体训练框架IMPALA，该框架具有高度可扩展性，将学习和执行过程分开，使用了一种名为V-trace的离策略（off-policy）修正算法，具有显著的加速性能，极高的效率。具体如何呢，雷锋网AI研习社将其原文编译整理如...

一看就懂的分布式计算框架MapReduce

1概述源自于Google的MapReduce论文，发表于2004年12月。HadoopMapReduce是GoogleMapReduce的克隆版优点海量数量离线处理易开发易运行缺点实时流式计算2MapReduce编程模型wordcount词频统计MapReduce执行流程将作业拆分成Ma...

支持异构 GPU 集群的超大规模模型的高效的分布式训练框架 Whale

近日，阿里云机器学习PAI关于深度学习模型高效的分布式训练框架的论文《Whale:EfficientGiantModelTrainingoverHeterogeneousGPUs》被计算机系统领域国际顶级学术会议USENIXATC'22接收。Whale是阿里云机器学习PA...

解密万亿参数M6模型预训练背后的分布式框架Whale

最近，阿里云PAI团队和达摩院智能计算实验室一起发布“低碳版”巨模型M6，大幅降低万亿参数超大模型训练能耗。借助我们自研的Whale框架仅使用480卡GPU，即训练出了规模达人类神经元10倍的万亿参数多模态大模型M6，与传统海外公司实现万亿参数规模相比，能耗降低超八成、效率提升近11倍。M6是国内首...

分布式计算开源框架Hadoop的简介以及在实际中的运用

在SIP项目设计的过程中，对于它庞大的日志在开始时就考虑使用任务分解的多线程处理模式来分析统计，在我从前写的文章《TigerConcurrentPractice—日志分析并行分解设计与实现》中有所提到。但是由于统计的内容暂时还是十分简单，所以就采用Memcache作为计数器，结合MySQL就完...

Hadoop的分布式计算框架VS常用分布式计算框架

HDFS是Hadoop的分布式文件系统，现在我们已经把那些超大文件划分成数据块，做了备份并且存储在集群中的节点上了，整个集群中有的机器扮演着管理者，是namenode的角色，是客户端访问Hadoop平台的入口，也负责维护HDFS的高可用性和容错性。而有些机器则是工作者，是datanode的角色，负责...