百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

swoole-src异步、并行、高性能网络通信引擎

ccwgpt 2024-09-29 10:03 33 浏览 0 评论

Swoole是一个为PHP用C和C++编写的基于事件的高性能异步&协程并行网络通信引擎

?事件驱动

Swoole中的网络请求处理是基于事件的,并且充分利用了底层的epoll / kqueue实现,使得为数百万个请求提供服务变得非常容易。

Swoole4使用全新的协程内核引擎,现在它拥有一个全职的开发团队,因此我们正在进入PHP历史上前所未有的时期,为性能的高速提升提供了独一无二的可能性。

??协程

Swoole4或更高版本拥有高可用性的内置协程,您可以使用完全同步的代码来实现异步性能,PHP代码没有任何额外的关键字,底层会自动进行协程调度。

开发者可以将协程理解为超轻量级的线程, 你可以非常容易地在一个进程中创建成千上万个协程。

MySQL客户端

并发1万个请求从MySQL读取海量数据仅需要0.2秒

$s = microtime(true);
for ($c = 100; $c--;) {
 go(function () {
 $mysql = new Swoole\Coroutine\MySQL;
 $mysql->connect([
 'host' => '127.0.0.1',
 'user' => 'root',
 'password' => 'root',
 'database' => 'test'
 ]);
 $statement = $mysql->prepare('SELECT * FROM `user`');
 for ($n = 100; $n--;) {
 $result = $statement->execute();
 assert(count($result) > 0);
 }
 });
}
Swoole\Event::wait();
echo 'use ' . (microtime(true) - $s) . ' s';

混合服务器

你可以在一个事件循环上创建多个服务:TCP,HTTP,Websocket和HTTP2,并且能轻松承载上万请求。

function tcp_pack(string $data): string
{
 return pack('N', strlen($data)) . $data;
}
function tcp_unpack(string $data): string
{
 return substr($data, 4, unpack('N', substr($data, 0, 4))[1]);
}
$tcp_options = [
 'open_length_check' => true,
 'package_length_type' => 'N',
 'package_length_offset' => 0,
 'package_body_offset' => 4
];
$server = new Swoole\WebSocket\Server('127.0.0.1', 9501, SWOOLE_BASE);
$server->set(['open_http2_protocol' => true]);
// http && http2
$server->on('request', function (Swoole\Http\Request $request, Swoole\Http\Response $response) {
 $response->end('Hello ' . $request->rawcontent());
});
// websocket
$server->on('message', function (Swoole\WebSocket\Server $server, Swoole\WebSocket\Frame $frame) {
 $server->push($frame->fd, 'Hello ' . $frame->data);
});
// tcp
$tcp_server = $server->listen('127.0.0.1', 9502, SWOOLE_TCP);
$tcp_server->set($tcp_options);
$tcp_server->on('receive', function (Swoole\Server $server, int $fd, int $reactor_id, string $data) {
 $server->send($fd, tcp_pack('Hello ' . tcp_unpack($data)));
});
$server->start();

多种客户端

不管是DNS查询抑或是发送请求和接收响应,都是协程调度的,不会产生任何阻塞。

go(function () {
 // http
 $http_client = new Swoole\Coroutine\Http\Client('127.0.0.1', 9501);
 assert($http_client->post('/', 'Swoole Http'));
 var_dump($http_client->body);
 // websocket
 $http_client->upgrade('/');
 $http_client->push('Swoole Websocket');
 var_dump($http_client->recv()->data);
});
go(function () {
 // http2
 $http2_client = new Swoole\Coroutine\Http2\Client('localhost', 9501);
 $http2_client->connect();
 $http2_request = new Swoole\Http2\Request;
 $http2_request->method = 'POST';
 $http2_request->data = 'Swoole Http2';
 $http2_client->send($http2_request);
 $http2_response = $http2_client->recv();
 var_dump($http2_response->data);
});
go(function () use ($tcp_options) {
 // tcp
 $tcp_client = new Swoole\Coroutine\Client(SWOOLE_TCP);
 $tcp_client->set($tcp_options);
 $tcp_client->connect('127.0.0.1', 9502);
 $tcp_client->send(tcp_pack('Swoole Tcp'));
 var_dump(tcp_unpack($tcp_client->recv()));
});

通道

通道(Channel)是协程之间通信交换数据的唯一渠道, 而协程+通道的开发组合即为著名的CSP编程模型。

在Swoole开发中,Channel常用于连接池的实现和协程并发的调度。

连接池最简示例

在以下示例中,我们并发了一千个redis请求,通常的情况下,这已经超过了Redis最大的连接数,将会抛出连接异常, 但基于Channel实现的连接池可以完美地调度请求,开发者就无需担心连接过载。

class RedisPool
{
 /**@var \Swoole\Coroutine\Channel */
 protected $pool;
 /**
 * RedisPool constructor.
 * @param int $size max connections
 */
 public function __construct(int $size = 100)
 {
 $this->pool = new \Swoole\Coroutine\Channel($size);
 for ($i = 0; $i < $size; $i++) {
 $redis = new \Swoole\Coroutine\Redis();
 $res = $redis->connect('127.0.0.1', 6379);
 if ($res == false) {
 throw new \RuntimeException("failed to connect redis server.");
 } else {
 $this->put($redis);
 }
 }
 }
 public function get(): \Swoole\Coroutine\Redis
 {
 return $this->pool->pop();
 }
 public function put(\Swoole\Coroutine\Redis $redis)
 {
 $this->pool->push($redis);
 }
 public function close(): void
 {
 $this->pool->close();
 $this->pool = null;
 }
}
go(function () {
 $pool = new RedisPool();
 // max concurrency num is more than max connections
 // but it's no problem, channel will help you with scheduling
 for ($c = 0; $c < 1000; $c++) {
 go(function () use ($pool, $c) {
 for ($n = 0; $n < 100; $n++) {
 $redis = $pool->get();
 assert($redis->set("awesome-{$c}-{$n}", 'swoole'));
 assert($redis->get("awesome-{$c}-{$n}") === 'swoole');
 assert($redis->delete("awesome-{$c}-{$n}"));
 $pool->put($redis);
 }
 });
 }
});

生产和消费

Swoole的部分客户端实现了defer机制来进行并发,但你依然可以用协程和通道的组合来灵活地实现它。

go(function () {
 // User: I need you to bring me some information back.
 // Channel: OK! I will be responsible for scheduling.
 $channel = new Swoole\Coroutine\Channel;
 go(function () use ($channel) {
 // Coroutine A: Ok! I will show you the github addr info
 $addr_info = Co::getaddrinfo('github.com');
 $channel->push(['A', json_encode($addr_info, JSON_PRETTY_PRINT)]);
 });
 go(function () use ($channel) {
 // Coroutine B: Ok! I will show you what your code look like
 $mirror = Co::readFile(__FILE__);
 $channel->push(['B', $mirror]);
 });
 go(function () use ($channel) {
 // Coroutine C: Ok! I will show you the date
 $channel->push(['C', date(DATE_W3C)]);
 });
 for ($i = 3; $i--;) {
 list($id, $data) = $channel->pop();
 echo "From {$id}:\n {$data}\n";
 }
 // User: Amazing, I got every information at earliest time!
});

定时器

$id = Swoole\Timer::tick(100, function () {
 echo "?? Do something...\n";
});
Swoole\Timer::after(500, function () use ($id) {
 Swoole\Timer::clear($id);
 echo "? Done\n";
});
Swoole\Timer::after(1000, function () use ($id) {
 if (!Swoole\Timer::exists($id)) {
 echo "? All right!\n";
 }
});

使用协程方式

go(function () {
 $i = 0;
 while (true) {
 Co::sleep(0.1);
 echo " Do something...\n";
 if (++$i === 5) {
 echo " Done\n";
 break;
 }
 }
 echo " All right!\n";
});

命名空间

Swoole提供了多种类命名规则以满足不同开发者的爱好

  1. 符合PSR规范的命名空间风格
  2. 便于键入的下划线风格
  3. 协程类短名风格

强大的运行时钩子

在最新版本的Swoole中,我们添加了一项新功能,使PHP原生的同步网络库一键化成为协程库。

只需在脚本顶部调用Swoole\Runtime::enableCoroutine()方法并使用php-redis,并发1万个请求从Redis读取数据仅需0.1秒!

Swoole\Runtime::enableCoroutine();
$s = microtime(true);
for ($c = 100; $c--;) {
 go(function () {
 ($redis = new Redis)->connect('127.0.0.1', 6379);
 for ($n = 100; $n--;) {
 assert($redis->get('awesome') === 'swoole');
 }
 });
}
Swoole\Event::wait();
echo 'use ' . (microtime(true) - $s) . ' s';

调用它之后,Swoole内核将替换ZendVM中的Stream函数指针,如果使用基于php_stream的扩展,则所有套接字操作都可以在运行时动态转换为协程调度的异步IO。

你可以在一秒钟里做多少事?

睡眠1万次,读取,写入,检查和删除文件1万次,使用PDO和MySQLi与数据库通信1万次,创建TCP服务器和多个客户端相互通信1万次,创建UDP服务器和多个客户端到相互通信1万次......一切都在一个进程中完美完成!

Swoole\Runtime::enableCoroutine();
$s = microtime(true);
// i just want to sleep...
for ($c = 100; $c--;) {
 go(function () {
 for ($n = 100; $n--;) {
 usleep(1000);
 }
 });
}
// 10k file read and write
for ($c = 100; $c--;) {
 go(function () use ($c) {
 $tmp_filename = "/tmp/test-{$c}.php";
 for ($n = 100; $n--;) {
 $self = file_get_contents(__FILE__);
 file_put_contents($tmp_filename, $self);
 assert(file_get_contents($tmp_filename) === $self);
 }
 unlink($tmp_filename);
 });
}
// 10k pdo and mysqli read
for ($c = 50; $c--;) {
 go(function () {
 $pdo = new PDO('mysql:host=127.0.0.1;dbname=test;charset=utf8', 'root', 'root');
 $statement = $pdo->prepare('SELECT * FROM `user`');
 for ($n = 100; $n--;) {
 $statement->execute();
 assert(count($statement->fetchAll()) > 0);
 }
 });
}
for ($c = 50; $c--;) {
 go(function () {
 $mysqli = new Mysqli('127.0.0.1', 'root', 'root', 'test');
 $statement = $mysqli->prepare('SELECT `id` FROM `user`');
 for ($n = 100; $n--;) {
 $statement->bind_result($id);
 $statement->execute();
 $statement->fetch();
 assert($id > 0);
 }
 });
}
// php_stream tcp server & client with 12.8k requests in single process
function tcp_pack(string $data): string
{
 return pack('n', strlen($data)) . $data;
}
function tcp_length(string $head): int
{
 return unpack('n', $head)[1];
}
go(function () {
 $ctx = stream_context_create(['socket' => ['so_reuseaddr' => true, 'backlog' => 128]]);
 $socket = stream_socket_server(
 'tcp://0.0.0.0:9502',
 $errno, $errstr, STREAM_SERVER_BIND | STREAM_SERVER_LISTEN, $ctx
 );
 if (!$socket) {
 echo "$errstr ($errno)\n";
 } else {
 $i = 0;
 while ($conn = stream_socket_accept($socket, 1)) {
 stream_set_timeout($conn, 5);
 for ($n = 100; $n--;) {
 $data = fread($conn, tcp_length(fread($conn, 2)));
 assert($data === "Hello Swoole Server #{$n}!");
 fwrite($conn, tcp_pack("Hello Swoole Client #{$n}!"));
 }
 if (++$i === 128) {
 fclose($socket);
 break;
 }
 }
 }
});
for ($c = 128; $c--;) {
 go(function () {
 $fp = stream_socket_client("tcp://127.0.0.1:9502", $errno, $errstr, 1);
 if (!$fp) {
 echo "$errstr ($errno)\n";
 } else {
 stream_set_timeout($fp, 5);
 for ($n = 100; $n--;) {
 fwrite($fp, tcp_pack("Hello Swoole Server #{$n}!"));
 $data = fread($fp, tcp_length(fread($fp, 2)));
 assert($data === "Hello Swoole Client #{$n}!");
 }
 fclose($fp);
 }
 });
}
// udp server & client with 12.8k requests in single process
go(function () {
 $socket = new Swoole\Coroutine\Socket(AF_INET, SOCK_DGRAM, 0);
 $socket->bind('127.0.0.1', 9503);
 $client_map = [];
 for ($c = 128; $c--;) {
 for ($n = 0; $n < 100; $n++) {
 $recv = $socket->recvfrom($peer);
 $client_uid = "{$peer['address']}:{$peer['port']}";
 $id = $client_map[$client_uid] = ($client_map[$client_uid] ?? -1) + 1;
 assert($recv === "Client: Hello #{$id}!");
 $socket->sendto($peer['address'], $peer['port'], "Server: Hello #{$id}!");
 }
 }
 $socket->close();
});
for ($c = 128; $c--;) {
 go(function () {
 $fp = stream_socket_client("udp://127.0.0.1:9503", $errno, $errstr, 1);
 if (!$fp) {
 echo "$errstr ($errno)\n";
 } else {
 for ($n = 0; $n < 100; $n++) {
 fwrite($fp, "Client: Hello #{$n}!");
 $recv = fread($fp, 1024);
 list($address, $port) = explode(':', (stream_socket_get_name($fp, true)));
 assert($address === '127.0.0.1' && (int)$port === 9503);
 assert($recv === "Server: Hello #{$n}!");
 }
 fclose($fp);
 }
 });
}
Swoole\Event::wait();
echo 'use ' . (microtime(true) - $s) . ' s';

?? 安装

和任何开源项目一样, Swoole总是在最新的发行版提供最可靠的稳定性和最强的功能, 请尽量保证你使用的是最新版本

1. 直接使用Swoole官方的二进制包 (初学者 + 开发环境)

访问我们官网的下载页面

编译需求

  • Linux, OS X 系统 或 CygWin, WSL
  • PHP 7.0.0 或以上版本 (版本越高性能越好)
  • GCC 4.8 及以上

2. 使用PHP官方的PECL工具安装 (初学者)

pecl install swoole

3. 从源码编译安装 (推荐)

非内核开发研究之用途, 请下载发布版本的源码编译

cd swoole-src && \
phpize && \
./configure && \
make && sudo make install

启用扩展

编译安装到系统成功后, 需要在php.ini中加入一行extension=swoole.so来启用Swoole扩展

额外编译参数

使用例子: ./configure --enable-openssl --enable-sockets

  • --enable-openssl 或 --with-openssl-dir=DIR
  • --enable-sockets
  • --enable-http2
  • --enable-mysqlnd (需要 mysqlnd, 只是为了支持mysql->escape方法)

升级

?? 如果你要从源码升级, 别忘记在源码目录执行 make clean

  1. pecl upgrade swoole
  2. git pull && cd swoole-src && make clean && make && sudo make install
  3. 如果你改变了PHP版本, 请重新执行 phpize clean && phpize后重新编译

框架 & 组件

  • Hyperf 是一个高性能、高灵活性的协程框架,存在丰富的可能性,如实现分布式中间件,微服务架构等
  • Swoft 是一个现代化的面向切面的高性能协程全栈组件化框架
  • Easyswoole 是一个极简的高性能的框架,让代码开发就好像写echo "hello world"一样简单
  • Saber 是一个人性化的高性能HTTP客户端组件,几乎拥有一切你可以想象的强大功能

私信回复" swoole-src"获取链接地址,喜欢的点个关注,一起学习探讨新技术。

相关推荐

Java七大热门技术框架源码解析(25章) 完结

获课》aixuetang.xyz/5699/Hibernate与MyBatis源码级PK:ORM框架的两种哲学在Java持久层框架领域,Hibernate与MyBatis代表了两种截然不同的设计哲学。...

【25章】Java七大热门技术框架源码解析

获课》aixuetang.xyz/5699/Java高级面试:七大框架源码精讲与实战解析在当今Java技术生态中,对主流框架源码的深入理解已成为高级开发者面试的核心竞争力。掌握Spring、MyBat...

饿了么董事长吴泽明兼任CEO,韩鎏分管即时物流中心

饿了么调整组织架构。2月11日,饿了么董事长吴泽明(花名:范禹)通过公司全员信宣布饿了么最新组织调整:即日起,吴泽明将兼任饿了么CEO,韩鎏(花名:昊宸)专注分管即时物流中心,继续向吴泽明汇报。吴泽明...

饿了么100%迁至阿里云,快速扩容可支持1亿人同时点单

来源:环球网6月17日,记者获悉,饿了么已完成100%上云,所有业务系统、数据库设施等均已迁移至阿里云。高峰期,饿了么可在阿里云上快速扩容,可以支持1亿人同时在线点单,这意味着饿了么的服务能力再次全面...

饿了么组织架构调整:董事长吴泽明兼任CEO 韩鎏专注即时物流中心管理

近日,饿了么董事长吴泽明(花名:范禹)通过公司全员信宣布饿了么最新组织调整:即日起,吴泽明将兼任饿了么CEO,韩鎏(花名:昊宸)专注分管即时物流中心,继续向吴泽明汇报。吴泽明在内部信中表示,考虑即时物...

饿了么组织架构调整:董事长吴泽明兼任CEO

Tech星球2月11日消息,据新浪科技报道,今日饿了么董事长吴泽明(花名:范禹)通过公司全员信宣布饿了么最新组织调整:即日起,吴泽明将兼任饿了么CEO,韩鎏(花名:昊宸)专注分管即时物流中心,继续向吴...

饿了么又调整了组织架构,董事长吴泽明兼任CEO

2月11日,饿了么董事长,花名为范禹的吴泽明,通过公司全员信宣布最新组织调整:从即日起,吴泽明将兼任饿了么CEO。公司原CEO,花名为昊宸的韩鎏今后专注分管即时物流中心,继续向吴泽明汇报。在内部信中,...

SpringBoot项目快速开发框架JeecgBoot——Web处理!

Web处理JeecgBoot框架主要用于Web开发领域。下面介绍JeecgBoot在Web开发中的常用功能,如控制器、登录、系统菜单、权限模块的角色管理和用户管理。首先启动后台项目,将其导入IDE...

腾讯即将开源Kuikly:基于Kotlin的纯原生跨端解决方案

IT之家3月4日消息,腾讯日前在端服务网站发布预告,即将开源Kuikly跨端开发框架。预告海报介绍称,Kuikly是基于KotlinKMM技术、客户端开发友好的全新跨端解决方案,可...

Python构建MCP服务器完整教程:5步打造专属AI工具调用系统

模型控制协议(ModelControlProtocol,MCP)是一种专为实现AI代理与工具解耦而设计的通信协议,为AI驱动应用程序的开发提供了高度的灵活性和模块化架构。通过MCP服务器,AI代...

Python3使用diagrams生成架构图(python模块制作)

目录技术背景diagrams的安装基础逻辑关系图组件簇的定义总结概要参考链接技术背景对于一个架构师或者任何一个软件工程师而言,绘制架构图都是一个比较值得学习的技能。这就像我们学习的时候整理的一些Xmi...

Python 失宠!Hugging Face 用 Rust 新写了一个 ML框架,现已低调开源

大数据文摘受权转载自AI前线整理|褚杏娟近期,HuggingFace低调开源了一个重磅ML框架:Candle。Candle一改机器学习惯用Python的做法,而是Rust编写,重...

Python Web 框架(Python Web 框架)

Tornado、Flask、Django三个PythonWeb框架的主要区别和适用场景:特点/框架TornadoFlaskDjango类型异步非阻塞Web服务器和框架轻量级微框架全功能...

构建并发布你的自定义 Python 包(python如何创建自定义模块)

Python让你可以重用代码,并将代码分享给他人以节省时间和精力。所以,当你编写了一些方便的脚本,希望你的同事或其他人也能使用时,接下来该怎么做呢?这篇文章就来解决打包和分发的问题。我们将专注于将你...

Python 应用开发框架 BeeWare 简明实用教程

1.BeeWare简介BeeWare是一个Python框架,用于开发跨平台原生应用。它支持Android、iOS、Windows、macOS和Linux,并提供原生用户体验。2.安装B...

取消回复欢迎 发表评论: