目前比较流行的大型系统的分布式技术汇总?
ccwgpt 2024-10-31 12:30 26 浏览 0 评论
在国内，有几种大型系统的分布式技术是比较流行的。以下是其中一些主要的技术汇总。
分布式存储系统
- HDFS（Hadoop Distributed File System）：Hadoop生态系统中的核心组件，用于分布式存储大规模数据。
- FastDFS：一个开源的分布式文件系统，用于分布式存储文件。
分布式计算框架
- Apache Hadoop：包括HDFS、MapReduce等模块，用于大规模数据的存储和计算。
- Apache Spark：快速通用的大数据处理引擎，支持内存计算，适用于迭代式算法和交互式查询等场景。
- Apache Flink：流式处理引擎，支持低延迟、高吞吐量的流式处理任务。
分布式消息队列
- Apache Kafka：高吞吐量的分布式发布-订阅消息系统，常用于日志收集、事件驱动等场景。
- RocketMQ：阿里巴巴开源的分布式消息队列，具有高可靠性、高吞吐量等特点。
分布式数据库
- HBase：Hadoop生态系统中的分布式列式数据库，用于存储大规模结构化数据。
- TiDB：PingCAP开源的分布式NewSQL数据库，结合了传统数据库和分布式系统的优点。
- CockroachDB：一个可伸缩的、地理复制的、事务型SQL数据库。
- Google Spanner：Google的分布式数据库，全球范围内分布，提供强一致性。
分布式缓存
- Redis Cluster：Redis的分布式版本，用于缓存和数据存储。
- Apache Ignite：内存分布式数据库和计算平台，支持分布式SQL、事务处理等功能。
- etcd：是一个高可用的键值存储系统，主要用于共享配置和服务发现。
分布式文件系统
- TFS（Tencent File System）：腾讯开源的分布式文件系统，支持海量文件的存储和访问。
- Ceph：不仅是一个分布式文件系统，还可以作为分布式对象存储系统使用。
- Lustre：一个并行分布式文件系统，通常用于大规模集群计算。
- Google File System (GFS)：Google公司为了满足本公司需求而开发的基于Linux的专有分布式文件系统。
分布式搜索引擎
- Elasticsearch：基于Lucene构建的开源分布式搜索引擎，常用于全文搜索、日志分析等场景。
这些技术在国内的大型系统中得到广泛应用，为系统的高可用性、高性能和可扩展性提供了支持。当然，随着技术的不断发展，新的分布式技术也在不断涌现，需要根据具体场景选择合适的技术方案。
相关推荐
- Java七大热门技术框架源码解析(25章) 完结
-
获课》aixuetang.xyz/5699/Hibernate与MyBatis源码级PK：ORM框架的两种哲学在Java持久层框架领域，Hibernate与MyBatis代表了两种截然不同的设计哲学。...
- 【25章】Java七大热门技术框架源码解析
-
获课》aixuetang.xyz/5699/Java高级面试：七大框架源码精讲与实战解析在当今Java技术生态中，对主流框架源码的深入理解已成为高级开发者面试的核心竞争力。掌握Spring、MyBat...
- 饿了么董事长吴泽明兼任CEO，韩鎏分管即时物流中心
-
饿了么调整组织架构。2月11日，饿了么董事长吴泽明（花名：范禹）通过公司全员信宣布饿了么最新组织调整：即日起，吴泽明将兼任饿了么CEO，韩鎏（花名：昊宸）专注分管即时物流中心，继续向吴泽明汇报。吴泽明...
- 饿了么100%迁至阿里云，快速扩容可支持1亿人同时点单
-
来源：环球网6月17日，记者获悉，饿了么已完成100%上云，所有业务系统、数据库设施等均已迁移至阿里云。高峰期，饿了么可在阿里云上快速扩容，可以支持1亿人同时在线点单，这意味着饿了么的服务能力再次全面...
- 饿了么组织架构调整:董事长吴泽明兼任CEO 韩鎏专注即时物流中心管理
-
近日，饿了么董事长吴泽明（花名：范禹）通过公司全员信宣布饿了么最新组织调整：即日起，吴泽明将兼任饿了么CEO，韩鎏（花名：昊宸）专注分管即时物流中心，继续向吴泽明汇报。吴泽明在内部信中表示，考虑即时物...
- 饿了么组织架构调整:董事长吴泽明兼任CEO
-
Tech星球2月11日消息，据新浪科技报道，今日饿了么董事长吴泽明（花名：范禹）通过公司全员信宣布饿了么最新组织调整：即日起，吴泽明将兼任饿了么CEO，韩鎏（花名：昊宸）专注分管即时物流中心，继续向吴...
- 饿了么又调整了组织架构，董事长吴泽明兼任CEO
-
2月11日，饿了么董事长，花名为范禹的吴泽明，通过公司全员信宣布最新组织调整：从即日起，吴泽明将兼任饿了么CEO。公司原CEO，花名为昊宸的韩鎏今后专注分管即时物流中心，继续向吴泽明汇报。在内部信中，...
- SpringBoot项目快速开发框架JeecgBoot——Web处理!
-
Web处理JeecgBoot框架主要用于Web开发领域。下面介绍JeecgBoot在Web开发中的常用功能，如控制器、登录、系统菜单、权限模块的角色管理和用户管理。首先启动后台项目，将其导入IDE...
- 腾讯即将开源Kuikly:基于Kotlin的纯原生跨端解决方案
-
IT之家3月4日消息，腾讯日前在端服务网站发布预告，即将开源Kuikly跨端开发框架。预告海报介绍称，Kuikly是基于KotlinKMM技术、客户端开发友好的全新跨端解决方案，可...
- Python构建MCP服务器完整教程:5步打造专属AI工具调用系统
-
模型控制协议（ModelControlProtocol,MCP）是一种专为实现AI代理与工具解耦而设计的通信协议，为AI驱动应用程序的开发提供了高度的灵活性和模块化架构。通过MCP服务器，AI代...
- Python3使用diagrams生成架构图（python模块制作）
-
目录技术背景diagrams的安装基础逻辑关系图组件簇的定义总结概要参考链接技术背景对于一个架构师或者任何一个软件工程师而言，绘制架构图都是一个比较值得学习的技能。这就像我们学习的时候整理的一些Xmi...
- Python 失宠!Hugging Face 用 Rust 新写了一个 ML框架，现已低调开源
-
大数据文摘受权转载自AI前线整理|褚杏娟近期，HuggingFace低调开源了一个重磅ML框架：Candle。Candle一改机器学习惯用Python的做法，而是Rust编写，重...
- Python Web 框架（Python Web 框架）
-
Tornado、Flask、Django三个PythonWeb框架的主要区别和适用场景：特点/框架TornadoFlaskDjango类型异步非阻塞Web服务器和框架轻量级微框架全功能...
- 构建并发布你的自定义 Python 包（python如何创建自定义模块）
-
Python让你可以重用代码，并将代码分享给他人以节省时间和精力。所以，当你编写了一些方便的脚本，希望你的同事或其他人也能使用时，接下来该怎么做呢？这篇文章就来解决打包和分发的问题。我们将专注于将你...
- Python 应用开发框架 BeeWare 简明实用教程
-
1.BeeWare简介BeeWare是一个Python框架，用于开发跨平台原生应用。它支持Android、iOS、Windows、macOS和Linux，并提供原生用户体验。2.安装B...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- MVC框架 (46)
- spring框架 (46)
- 框架图 (58)
- flask框架 (53)
- quartz框架 (51)
- abp框架 (47)
- jpa框架 (47)
- laravel框架 (46)
- springmvc框架 (49)
- 分布式事务框架 (65)
- scrapy框架 (56)
- shiro框架 (61)
- 定时任务框架 (56)
- java日志框架 (61)
- JAVA集合框架 (47)
- mfc框架 (52)
- abb框架断路器 (48)
- grpc框架 (55)
- ppt框架 (48)
- 内联框架 (52)
- cad怎么画框架 (58)
- ps怎么画框架 (47)
- ssm框架实现登录注册 (49)
- oracle字符串长度 (48)
- oracle提交事务 (47)