分布式训练框架

一课学透 分布式事务框架 Alibaba Seata

"夏哉ke"：itzcw.com/9340/一课学透分布式事务框架：AlibabaSeata在分布式系统中，事务管理是一个复杂且关键的问题。AlibabaSeata（SimpleExtensibleAutonomousTransactionArchitecture）是一个...

spark分布式框架（spark分布式计算框架）

本篇文章从spark是什么，为什么要用spark以及spark怎么用三个维度学习spark分布式框架。（一）spark是什么ApacheSpark是专为大规模数据处理而设计的快速通用的计算引擎。Spark拥有HadoopMapReduce所具有的优点。但不同于MapReduce的是Job...

SpringBoot接入轻量级分布式日志框架(GrayLog)

00、为什么需要分布式日志组件？在文章正式开始之前，我分享下我以前负责过的一个系统，它的架构如下：每次当我查问题的时候，我都能把问题初步定位在逻辑层，但为了能给业务方交代，我需要给证据业务方面（日志信息就是铁证）。一个请求肯定是被这8台机器内的某一台处理，但具体是哪一台，我不知道。所以，我需...

分布式事务与Seate框架——Seata的AT模式实现原理

又好久没有记录博文了，这篇其实是很早之前就记录好了的，但是一直没时间去写出来，今天发出来算是再次对Seata分布式有个加深!一、AT模式介绍　　同样地，还是得先复习下分布式事务的相关理论部分：AT模式是Seata最主推的分布式事务且基于XA演进而来的解决方案，主要有三个角色：TM、RM和TC，其中T...

字节跳动正式开源分布式训练调度框架 Primus

项目地址：https://github.com/bytedance/primus随着机器学习的发展，模型及训练模型所需的数据量越来越大，也都趋向于通过分布式训练实现。而算法工程师通常需要对这些分布式框架涉及到的底层文件存储和调度系统有较深的理解，才能够快速批量开启模型训练，保证资源利用率。目前业界有...

Uber Fiber用于分布式强化学习模型计算的开源框架

新框架简化了强化学习代理的分布式和可扩展培训。我最近开始了以AI为重点的教育通讯，该通讯已经有70,000多个订阅者。TheSequence是不面向BS（意味着没有大肆宣传，没有新闻等）的面向ML的新闻通讯，需要5分钟的阅读时间。目的是使您了解机器学习项目，研究论文和概念的最新动态。请通过以下订阅尝...

使用微软DeepSpeed分布式框架进行大模型训练

如果模型训练框架不支持以下主要技术：那么你想微调上千亿参数上百GB物料大模型那就“天方夜谭”无法复现...数据并行(DataParallelism)模型并行(TensorModelParallelism)流水并行(PipelineModelParallelism)下面以deepspeed命...

大模型技术实践(五)|支持千亿参数模型训练的分布式并行框架

在上一期的大模型技术实践中，我们介绍了增加式方法、选择式方法和重新参数化式方法三种主流的参数高效微调技术（PEFT）。微调模型可以让模型更适合于我们当前的下游任务，但当模型过大或数据集规模很大时，单个加速器（比如GPU）负载和不同加速器之间的通信是值得关注的问题，这就需要关注并行技术。并行化是大规模...

解密万亿参数M6模型预训练背后的分布式框架Whale

最近，阿里云PAI团队和达摩院智能计算实验室一起发布“低碳版”巨模型M6，大幅降低万亿参数超大模型训练能耗。借助我们自研的Whale框架仅使用480卡GPU，即训练出了规模达人类神经元10倍的万亿参数多模态大模型M6，与传统海外公司实现万亿参数规模相比，能耗降低超八成、效率提升近11倍。M6是国内首...