百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

swoole-src异步、并行、高性能网络通信引擎

ccwgpt 2024-09-29 10:03 36 浏览 0 评论

Swoole是一个为PHP用C和C++编写的基于事件的高性能异步&协程并行网络通信引擎

?事件驱动

Swoole中的网络请求处理是基于事件的,并且充分利用了底层的epoll / kqueue实现,使得为数百万个请求提供服务变得非常容易。

Swoole4使用全新的协程内核引擎,现在它拥有一个全职的开发团队,因此我们正在进入PHP历史上前所未有的时期,为性能的高速提升提供了独一无二的可能性。

??协程

Swoole4或更高版本拥有高可用性的内置协程,您可以使用完全同步的代码来实现异步性能,PHP代码没有任何额外的关键字,底层会自动进行协程调度。

开发者可以将协程理解为超轻量级的线程, 你可以非常容易地在一个进程中创建成千上万个协程。

MySQL客户端

并发1万个请求从MySQL读取海量数据仅需要0.2秒

$s = microtime(true);
for ($c = 100; $c--;) {
 go(function () {
 $mysql = new Swoole\Coroutine\MySQL;
 $mysql->connect([
 'host' => '127.0.0.1',
 'user' => 'root',
 'password' => 'root',
 'database' => 'test'
 ]);
 $statement = $mysql->prepare('SELECT * FROM `user`');
 for ($n = 100; $n--;) {
 $result = $statement->execute();
 assert(count($result) > 0);
 }
 });
}
Swoole\Event::wait();
echo 'use ' . (microtime(true) - $s) . ' s';

混合服务器

你可以在一个事件循环上创建多个服务:TCP,HTTP,Websocket和HTTP2,并且能轻松承载上万请求。

function tcp_pack(string $data): string
{
 return pack('N', strlen($data)) . $data;
}
function tcp_unpack(string $data): string
{
 return substr($data, 4, unpack('N', substr($data, 0, 4))[1]);
}
$tcp_options = [
 'open_length_check' => true,
 'package_length_type' => 'N',
 'package_length_offset' => 0,
 'package_body_offset' => 4
];
$server = new Swoole\WebSocket\Server('127.0.0.1', 9501, SWOOLE_BASE);
$server->set(['open_http2_protocol' => true]);
// http && http2
$server->on('request', function (Swoole\Http\Request $request, Swoole\Http\Response $response) {
 $response->end('Hello ' . $request->rawcontent());
});
// websocket
$server->on('message', function (Swoole\WebSocket\Server $server, Swoole\WebSocket\Frame $frame) {
 $server->push($frame->fd, 'Hello ' . $frame->data);
});
// tcp
$tcp_server = $server->listen('127.0.0.1', 9502, SWOOLE_TCP);
$tcp_server->set($tcp_options);
$tcp_server->on('receive', function (Swoole\Server $server, int $fd, int $reactor_id, string $data) {
 $server->send($fd, tcp_pack('Hello ' . tcp_unpack($data)));
});
$server->start();

多种客户端

不管是DNS查询抑或是发送请求和接收响应,都是协程调度的,不会产生任何阻塞。

go(function () {
 // http
 $http_client = new Swoole\Coroutine\Http\Client('127.0.0.1', 9501);
 assert($http_client->post('/', 'Swoole Http'));
 var_dump($http_client->body);
 // websocket
 $http_client->upgrade('/');
 $http_client->push('Swoole Websocket');
 var_dump($http_client->recv()->data);
});
go(function () {
 // http2
 $http2_client = new Swoole\Coroutine\Http2\Client('localhost', 9501);
 $http2_client->connect();
 $http2_request = new Swoole\Http2\Request;
 $http2_request->method = 'POST';
 $http2_request->data = 'Swoole Http2';
 $http2_client->send($http2_request);
 $http2_response = $http2_client->recv();
 var_dump($http2_response->data);
});
go(function () use ($tcp_options) {
 // tcp
 $tcp_client = new Swoole\Coroutine\Client(SWOOLE_TCP);
 $tcp_client->set($tcp_options);
 $tcp_client->connect('127.0.0.1', 9502);
 $tcp_client->send(tcp_pack('Swoole Tcp'));
 var_dump(tcp_unpack($tcp_client->recv()));
});

通道

通道(Channel)是协程之间通信交换数据的唯一渠道, 而协程+通道的开发组合即为著名的CSP编程模型。

在Swoole开发中,Channel常用于连接池的实现和协程并发的调度。

连接池最简示例

在以下示例中,我们并发了一千个redis请求,通常的情况下,这已经超过了Redis最大的连接数,将会抛出连接异常, 但基于Channel实现的连接池可以完美地调度请求,开发者就无需担心连接过载。

class RedisPool
{
 /**@var \Swoole\Coroutine\Channel */
 protected $pool;
 /**
 * RedisPool constructor.
 * @param int $size max connections
 */
 public function __construct(int $size = 100)
 {
 $this->pool = new \Swoole\Coroutine\Channel($size);
 for ($i = 0; $i < $size; $i++) {
 $redis = new \Swoole\Coroutine\Redis();
 $res = $redis->connect('127.0.0.1', 6379);
 if ($res == false) {
 throw new \RuntimeException("failed to connect redis server.");
 } else {
 $this->put($redis);
 }
 }
 }
 public function get(): \Swoole\Coroutine\Redis
 {
 return $this->pool->pop();
 }
 public function put(\Swoole\Coroutine\Redis $redis)
 {
 $this->pool->push($redis);
 }
 public function close(): void
 {
 $this->pool->close();
 $this->pool = null;
 }
}
go(function () {
 $pool = new RedisPool();
 // max concurrency num is more than max connections
 // but it's no problem, channel will help you with scheduling
 for ($c = 0; $c < 1000; $c++) {
 go(function () use ($pool, $c) {
 for ($n = 0; $n < 100; $n++) {
 $redis = $pool->get();
 assert($redis->set("awesome-{$c}-{$n}", 'swoole'));
 assert($redis->get("awesome-{$c}-{$n}") === 'swoole');
 assert($redis->delete("awesome-{$c}-{$n}"));
 $pool->put($redis);
 }
 });
 }
});

生产和消费

Swoole的部分客户端实现了defer机制来进行并发,但你依然可以用协程和通道的组合来灵活地实现它。

go(function () {
 // User: I need you to bring me some information back.
 // Channel: OK! I will be responsible for scheduling.
 $channel = new Swoole\Coroutine\Channel;
 go(function () use ($channel) {
 // Coroutine A: Ok! I will show you the github addr info
 $addr_info = Co::getaddrinfo('github.com');
 $channel->push(['A', json_encode($addr_info, JSON_PRETTY_PRINT)]);
 });
 go(function () use ($channel) {
 // Coroutine B: Ok! I will show you what your code look like
 $mirror = Co::readFile(__FILE__);
 $channel->push(['B', $mirror]);
 });
 go(function () use ($channel) {
 // Coroutine C: Ok! I will show you the date
 $channel->push(['C', date(DATE_W3C)]);
 });
 for ($i = 3; $i--;) {
 list($id, $data) = $channel->pop();
 echo "From {$id}:\n {$data}\n";
 }
 // User: Amazing, I got every information at earliest time!
});

定时器

$id = Swoole\Timer::tick(100, function () {
 echo "?? Do something...\n";
});
Swoole\Timer::after(500, function () use ($id) {
 Swoole\Timer::clear($id);
 echo "? Done\n";
});
Swoole\Timer::after(1000, function () use ($id) {
 if (!Swoole\Timer::exists($id)) {
 echo "? All right!\n";
 }
});

使用协程方式

go(function () {
 $i = 0;
 while (true) {
 Co::sleep(0.1);
 echo " Do something...\n";
 if (++$i === 5) {
 echo " Done\n";
 break;
 }
 }
 echo " All right!\n";
});

命名空间

Swoole提供了多种类命名规则以满足不同开发者的爱好

  1. 符合PSR规范的命名空间风格
  2. 便于键入的下划线风格
  3. 协程类短名风格

强大的运行时钩子

在最新版本的Swoole中,我们添加了一项新功能,使PHP原生的同步网络库一键化成为协程库。

只需在脚本顶部调用Swoole\Runtime::enableCoroutine()方法并使用php-redis,并发1万个请求从Redis读取数据仅需0.1秒!

Swoole\Runtime::enableCoroutine();
$s = microtime(true);
for ($c = 100; $c--;) {
 go(function () {
 ($redis = new Redis)->connect('127.0.0.1', 6379);
 for ($n = 100; $n--;) {
 assert($redis->get('awesome') === 'swoole');
 }
 });
}
Swoole\Event::wait();
echo 'use ' . (microtime(true) - $s) . ' s';

调用它之后,Swoole内核将替换ZendVM中的Stream函数指针,如果使用基于php_stream的扩展,则所有套接字操作都可以在运行时动态转换为协程调度的异步IO。

你可以在一秒钟里做多少事?

睡眠1万次,读取,写入,检查和删除文件1万次,使用PDO和MySQLi与数据库通信1万次,创建TCP服务器和多个客户端相互通信1万次,创建UDP服务器和多个客户端到相互通信1万次......一切都在一个进程中完美完成!

Swoole\Runtime::enableCoroutine();
$s = microtime(true);
// i just want to sleep...
for ($c = 100; $c--;) {
 go(function () {
 for ($n = 100; $n--;) {
 usleep(1000);
 }
 });
}
// 10k file read and write
for ($c = 100; $c--;) {
 go(function () use ($c) {
 $tmp_filename = "/tmp/test-{$c}.php";
 for ($n = 100; $n--;) {
 $self = file_get_contents(__FILE__);
 file_put_contents($tmp_filename, $self);
 assert(file_get_contents($tmp_filename) === $self);
 }
 unlink($tmp_filename);
 });
}
// 10k pdo and mysqli read
for ($c = 50; $c--;) {
 go(function () {
 $pdo = new PDO('mysql:host=127.0.0.1;dbname=test;charset=utf8', 'root', 'root');
 $statement = $pdo->prepare('SELECT * FROM `user`');
 for ($n = 100; $n--;) {
 $statement->execute();
 assert(count($statement->fetchAll()) > 0);
 }
 });
}
for ($c = 50; $c--;) {
 go(function () {
 $mysqli = new Mysqli('127.0.0.1', 'root', 'root', 'test');
 $statement = $mysqli->prepare('SELECT `id` FROM `user`');
 for ($n = 100; $n--;) {
 $statement->bind_result($id);
 $statement->execute();
 $statement->fetch();
 assert($id > 0);
 }
 });
}
// php_stream tcp server & client with 12.8k requests in single process
function tcp_pack(string $data): string
{
 return pack('n', strlen($data)) . $data;
}
function tcp_length(string $head): int
{
 return unpack('n', $head)[1];
}
go(function () {
 $ctx = stream_context_create(['socket' => ['so_reuseaddr' => true, 'backlog' => 128]]);
 $socket = stream_socket_server(
 'tcp://0.0.0.0:9502',
 $errno, $errstr, STREAM_SERVER_BIND | STREAM_SERVER_LISTEN, $ctx
 );
 if (!$socket) {
 echo "$errstr ($errno)\n";
 } else {
 $i = 0;
 while ($conn = stream_socket_accept($socket, 1)) {
 stream_set_timeout($conn, 5);
 for ($n = 100; $n--;) {
 $data = fread($conn, tcp_length(fread($conn, 2)));
 assert($data === "Hello Swoole Server #{$n}!");
 fwrite($conn, tcp_pack("Hello Swoole Client #{$n}!"));
 }
 if (++$i === 128) {
 fclose($socket);
 break;
 }
 }
 }
});
for ($c = 128; $c--;) {
 go(function () {
 $fp = stream_socket_client("tcp://127.0.0.1:9502", $errno, $errstr, 1);
 if (!$fp) {
 echo "$errstr ($errno)\n";
 } else {
 stream_set_timeout($fp, 5);
 for ($n = 100; $n--;) {
 fwrite($fp, tcp_pack("Hello Swoole Server #{$n}!"));
 $data = fread($fp, tcp_length(fread($fp, 2)));
 assert($data === "Hello Swoole Client #{$n}!");
 }
 fclose($fp);
 }
 });
}
// udp server & client with 12.8k requests in single process
go(function () {
 $socket = new Swoole\Coroutine\Socket(AF_INET, SOCK_DGRAM, 0);
 $socket->bind('127.0.0.1', 9503);
 $client_map = [];
 for ($c = 128; $c--;) {
 for ($n = 0; $n < 100; $n++) {
 $recv = $socket->recvfrom($peer);
 $client_uid = "{$peer['address']}:{$peer['port']}";
 $id = $client_map[$client_uid] = ($client_map[$client_uid] ?? -1) + 1;
 assert($recv === "Client: Hello #{$id}!");
 $socket->sendto($peer['address'], $peer['port'], "Server: Hello #{$id}!");
 }
 }
 $socket->close();
});
for ($c = 128; $c--;) {
 go(function () {
 $fp = stream_socket_client("udp://127.0.0.1:9503", $errno, $errstr, 1);
 if (!$fp) {
 echo "$errstr ($errno)\n";
 } else {
 for ($n = 0; $n < 100; $n++) {
 fwrite($fp, "Client: Hello #{$n}!");
 $recv = fread($fp, 1024);
 list($address, $port) = explode(':', (stream_socket_get_name($fp, true)));
 assert($address === '127.0.0.1' && (int)$port === 9503);
 assert($recv === "Server: Hello #{$n}!");
 }
 fclose($fp);
 }
 });
}
Swoole\Event::wait();
echo 'use ' . (microtime(true) - $s) . ' s';

?? 安装

和任何开源项目一样, Swoole总是在最新的发行版提供最可靠的稳定性和最强的功能, 请尽量保证你使用的是最新版本

1. 直接使用Swoole官方的二进制包 (初学者 + 开发环境)

访问我们官网的下载页面

编译需求

  • Linux, OS X 系统 或 CygWin, WSL
  • PHP 7.0.0 或以上版本 (版本越高性能越好)
  • GCC 4.8 及以上

2. 使用PHP官方的PECL工具安装 (初学者)

pecl install swoole

3. 从源码编译安装 (推荐)

非内核开发研究之用途, 请下载发布版本的源码编译

cd swoole-src && \
phpize && \
./configure && \
make && sudo make install

启用扩展

编译安装到系统成功后, 需要在php.ini中加入一行extension=swoole.so来启用Swoole扩展

额外编译参数

使用例子: ./configure --enable-openssl --enable-sockets

  • --enable-openssl 或 --with-openssl-dir=DIR
  • --enable-sockets
  • --enable-http2
  • --enable-mysqlnd (需要 mysqlnd, 只是为了支持mysql->escape方法)

升级

?? 如果你要从源码升级, 别忘记在源码目录执行 make clean

  1. pecl upgrade swoole
  2. git pull && cd swoole-src && make clean && make && sudo make install
  3. 如果你改变了PHP版本, 请重新执行 phpize clean && phpize后重新编译

框架 & 组件

  • Hyperf 是一个高性能、高灵活性的协程框架,存在丰富的可能性,如实现分布式中间件,微服务架构等
  • Swoft 是一个现代化的面向切面的高性能协程全栈组件化框架
  • Easyswoole 是一个极简的高性能的框架,让代码开发就好像写echo "hello world"一样简单
  • Saber 是一个人性化的高性能HTTP客户端组件,几乎拥有一切你可以想象的强大功能

私信回复" swoole-src"获取链接地址,喜欢的点个关注,一起学习探讨新技术。

相关推荐

如何使用PIL生成验证码?(pi验证教程)

web项目中遇到使用验证码的情况有很多,进行介绍下使用PIL生成验证码的方法。安装开始安装PIL的过程确实麻烦各种问题层出不绝,不过不断深入后就没有这方面的困扰了:windows安装:直接安装Pil...

Python必学!3步解锁asyncio异步编程 性能直接狂飙10倍!

还在用传统同步代码被IO阻塞卡到崩溃?别当“代码苦行僧”了!Python的asyncio模块堪称异步编程的“开挂神器”,处理高并发任务就像开了涡轮增压!不管是网络爬虫、API接口开发还是文件批量处理,...

Tornado6+APScheduler/Celery打造并发异步动态定时任务轮询服务

定时任务的典型落地场景在各行业中都很普遍,比如支付系统中,支付过程中因为网络或者其他因素导致出现掉单、卡单的情况,账单变成了“单边账”,这种情况对于支付用户来说,毫无疑问是灾难级别的体验,明明自己付了...

Python学习怎么入门?附真实学习方法

Python技术在企业中应用的越来越广泛,因此企业对于Python方面专业人才的需求也越来越大,那对于之前对Python没有任何了解和接触的人而言,想要从零开始学习并不是一件容易的事情,接下来小U就为...

PySpider框架的使用(pyspider 教程)

PysiderPysider是一个国人用Python编写的、带有强大的WebUI的网络爬虫系统,它支持多种数据库、任务监控、项目管理、结果查看、URL去重等强大的功能。安装pip3inst...

大学计算机专业 学习Python学习路线图(最新版)

这是我刚开始学习python时的一套学习路线,从入门到上手。(不敢说精通,哈哈~)希望对大家有帮助哈~大家需要高清得完整python学习路线可以【文末有获取方式】【文末有获取方式】一、Python入门...

阿里巴巴打造的400集Python视频合集免费学起来,学完万物皆可爬

第一阶段Python入门章节1:Python入门章节2:编程基本概念章节3:序列章节4:控制语句章节5:函数章节6:面向对象编程第二阶段Python深入与提高章节1:异常处理章节2:游戏开发-坦克大...

Nginx Gunicorn在服务器中分别起什么作用

大部分人在gunicorn前面部署一层nginx的时候也的确没有想过为什么,他们只是觉得这样显得他们比较专业,而且幻想着加了一层nginx反向代理之后性能会有提升,恕我直言,请你们带上脑子,一个单纯的...

Python培训怎么学?Python基础技术总结!值得一看

Python培训如今越来越被更多人所接受,相比自学参加Python培训的好处也是显而易见,但Python毕竟属于后端编程开发的主流语言,其知识机构还是比较庞大的,那Python培训怎么学?以及Pyth...

使用Tornado部署Flask项目(tornado async)

Tornado不仅仅是一个WEB框架,也可以是一个WEB服务器。在Tornado中我们可以使用wsgi模块下的WSGIContainer类运行其他WSGI应用如:Fask,Bottle,Djang...

Python Web框架哪个好用?(python3 web框架)

  问:PythonWeb框架哪个好用?  答:  1.Django  Django是Python世界中最出名、最成熟的Web框架。Django功能全面,各模块之间结合紧密,(不讲其他的)Djang...

Vue3.0+Tornado6.1发布订阅模式打造异步非阻塞实时=通信聊天系统

“表达欲”是人类成长史上的强大“源动力”,恩格斯早就直截了当地指出,处在蒙昧时代即低级阶段的人类,“以果实、坚果、根作为食物;音节清晰的语言的产生是这一时期的主要成就”。而在网络时代人们的表达欲往往更...

Python开源项目合集(第三方平台)(python第三方开发工具)

wechat-python-sdk-wechat-python-sdk微信公众平台Python开发包http://wechat-python-sdk.readthedocs.org/,非官方...

IT界10倍高效学习法!用这种方式,一年学完清华大学四年的课程

有没有在某一个瞬间,让你放弃学编程刚开始学python时,我找了几十本国内外的python编程书籍学习后,我还是似懂非懂,那些书里面到处都是抽象的概念,复杂的逻辑,这样的书,对于专业开发者来说,在平常...

如何将Python算法模型注册成Spark UDF函数实现全景模型部署

背景Background对于算法业务团队来说,将训练好的模型部署成服务的业务场景是非常常见的。通常会应用于三个场景:部署到流式程序里,比如风控需要通过流式处理来实时监控。部署到批任务中部署成API服...

取消回复欢迎 发表评论: