一个简单实用的线程池及线程池组的实现!
ccwgpt 2024-10-01 08:17 31 浏览 0 评论
1.线程池简介
线程池,顾名思义,就是一个“池子”里面放有多个线程。为什么要使用线程池呢?当我们编写的代码需要并发异步处理很多任务时候,一般的处理办法是一个任务开启一个线程去处理,处理结束后释放线程。可是这样频繁的申请释放线程,系统的开销很大,为了解决这个问题,线程池就产生了。线程池实现原理是事先申请一定数量的线程存放在程序中,当外部有任务需要线程处理时,把这个任务放到这个“池子”里面,“池子”里面空闲的线程就去取这个任务进行处理,这样既能实现多线程并发处理任务,又能减少系统频繁创建删除线程的开销,这种技术叫做池化技术,相应的池化技术还有内存池、连接池等。
为了更形象理解线程池,举一个例子:线程池就像鸡圈里面鸡,每一个鸡比作一个线程,你手里有一把玉米,每一个颗玉米比作一个任务,鸡吃玉米比作处理任务。当你把一把玉米撒入鸡圈,一群鸡就围过来抢玉米,但是一次一只鸡只能吃一颗玉米,吃完一颗继续吃下一颗,直到鸡圈里面的玉米吃完才停止。线程池处理任务也是一样的,当任务链表上有任务时,通过条件变量通知线程池里面的线程,一群线程就围过来了,但是一个线程一次只能取一个任务进行处理,处理完又去取下一个任务,池子里面每一个线程都是这样处理,直到链表上面的任务全部处理完了,池子中的线程又空闲起来了。
2.线程池-设计实现
实现思路:通过向系统申请多个线程,创建一个任务链表,链表上面存放待处理的任务,当有新的任务加入时候,通过条件变量通知池子里面的线程从链表上面取任务,然后处理任务,一直这样循环下去。
首先定义结构体,定义如下:
/**
* 定义的回调函数
*/
typedef void (*task_func_t)(void *args);
/**
* 定义的任务节点结构体
*/
typedef struct task_t
{
void *args; //任务参数
task_func_t func; //任务函数指针
struct list_head node; //链表节点
}task_t;
/**
* 线程池信息
*/
typedef struct threadpool_t
{
struct list_head hlist; //任务链表
int thread_num; //线程池数量
int max_ts_num; //最大任务数量
volatile int curr_ts_num; //当前线程池存在的任务数
volatile int is_exit; //是否退出线程池标志
pthread_mutex_t mutex; //互斥锁
pthread_cond_t cond; //条件变量
pthread_t *ths; //线程id数组
}threadpool_t;
这是线程池实现的程序:
/**
* @brief:线程处理任务函数
* @args: 传入的参数
* @return: NULL
*/
static void* _process_task_thread(void *args)
{
threadpool_t* tp = (threadpool_t*)args;
struct list_head *pos = NULL;
task_t *task=NULL;
if(!args) return NULL;
while(1)
{
pthread_mutex_lock(&tp->mutex);
while(list_empty(&tp->hlist) && !tp->is_exit){
pthread_cond_wait(&tp->cond, &tp->mutex);
}
if(tp->is_exit){ //判断释放退出线程池
pthread_mutex_unlock(&tp->mutex);
break;
}
pos = tp->hlist.next; //从任务链表取出头节点
list_del(pos); //从链表中删除节点
--tp->curr_ts_num; //更新任务数
pthread_mutex_unlock(&tp->mutex);
task = list_entry(pos, task_t, node); //从链表节点推出任务节点
task->func(task->args); //执行任务
free(task); //释放任务内存
}
return NULL;
}
/**
* @brief:创建一个线程池
* @thread_nums: 线程数量
* @max_ts_num:线程池中最大的任务数量
* @return: 线程池句柄
*/
threadpool_t* create_threadpool(int thread_nums, int max_ts_num)
{
if(thread_nums <= 0) return NULL;
threadpool_t* tp = (threadpool_t*)malloc(sizeof(threadpool_t));
memset(tp, 0, sizeof(threadpool_t));
INIT_LIST_HEAD(&tp->hlist);
tp->is_exit = 0;
tp->curr_ts_num = 0;
tp->thread_num = thread_nums;
tp->max_ts_num = max_ts_num;
tp->ths = (pthread_t*)malloc(sizeof(pthread_t)*thread_nums);
pthread_mutex_init(&tp->mutex, NULL);
pthread_cond_init(&tp->cond, NULL);
for(int i=0; i<tp->thread_num; ++i){
pthread_create(&(tp->ths[i]), NULL, _process_task_thread, tp);
}
return tp;
}
/**
* @brief:往线程池中添加任务
* @tp: 线程池句柄
* @func:任务处理函数指针
* @args:传入任务参数
* @priority: 优先级 1:优先处理 其他:添加到尾部
* @return: 返回状态 0:ok
*/
int add_task_threadpool(threadpool_t* tp, task_func_t func, void *args, int priority)
{
if(!tp) return -1;
if(!func) return -2;
if(tp->curr_ts_num > tp->max_ts_num) return -3;
task_t *task = (task_t*)malloc(sizeof(task_t)); //申请任务节点内存
task->func = func; //给函数指针赋值
task->args = args; //保持参数指针
pthread_mutex_lock(&tp->mutex);
if(priority==1) //高优先级,添加到头部
list_add(&task->node, &tp->hlist);
else //添加到尾部
list_add_tail(&task->node, &tp->hlist);
++tp->curr_ts_num; //更新任务数
pthread_mutex_unlock(&tp->mutex);
pthread_cond_signal(&tp->cond); //通知线程取任务
return 0;
}
/**
* @brief:获取线程池中当前存在的任务数量
* @tp: 线程池句柄
* @return: 当前任务数量
*/
int get_ts_num_threadpool(threadpool_t* tp)
{
return tp ? tp->curr_ts_num : -1;
}
/**
* @brief:释放线程池资源
* @tp:线程池句柄
* @return: 0:ok
*/
int destory_threadpool(threadpool_t* tp)
{
if(!tp) return -1;
while(!list_empty(&tp->hlist)){ //等待线程池执行完链表中的任务
continue;
}
tp->is_exit = 1; //更新标志,退出线程池
pthread_cond_broadcast(&tp->cond);//通知所有线程函数
for(int i=0; i<tp->thread_num; ++i){//等待所有线程函数结束
pthread_join(tp->ths[i], NULL);
}
pthread_mutex_destroy(&tp->mutex); //释放资源
pthread_cond_destroy(&tp->cond);
free(tp->ths);
free(tp);
tp = NULL;
return 0;
}
相关视频推荐
手把手实现线程池(120行),实现异步操作,解决项目性能问题
线程池在3个开源框架的应用(redis、skynet、workflow)
免费学习地址:c/c++ linux服务器开发/后台架构师
需要C/C++ Linux服务器架构师学习资料加qun812855908获取(资料包括C/C++,Linux,golang技术,Nginx,ZeroMQ,MySQL,Redis,fastdfs,MongoDB,ZK,流媒体,CDN,P2P,K8S,Docker,TCP/IP,协程,DPDK,ffmpeg等),免费分享
3.线程池组-设计实现
有了线程池处理并发任务,为什么还要线程池组呢?原因在于线程池中,所有的线程都使用一个互斥锁阻塞,当你创建的线程池中线程的个数比较多的情况下,存在很多线程对同一个线程抢占,这样会影响线程池取任务处理的效率。因此由"小颗粒"(即每一个线程池中线程个数少)的线程池组成一个"线程池组"这样就能减轻多个线程对同一个锁抢占造成效率低的问题。
设计实现:将多个线程池封装组合到一起,当外部有任务需要处理时,找到线程池组中线程池任务最少的池子,把任务给放进去。
?定义一个线程池组管理结构体:
typedef struct manange_thpool_t
{
int thpool_nums; //线程池个数
threadpool_t *thpools[MAX_THREADPOOL_NUMS]; //线程池结构体
}manange_thpool_t;
代码实现:
/**
* @brief:创建线程池组管理句柄
* @tp_nums:线程池组中线程池个数
* @thread_num:单个线程池中线程个数
* @max_ts_n:单个线程池中最大的任务数量
*/
manange_thpool_t* create_group_threadpool(int tp_nums, int thread_num, int max_ts_n)
{
manange_thpool_t* mtp = (manange_thpool_t*)malloc(sizeof(manange_thpool_t));
if(!mtp) return NULL;
memset(mtp, 0, sizeof(manange_thpool_t));
mtp->thpool_nums = tp_nums;
for(int i=0; i<tp_nums; ++i){
mtp->thpools[i] = create_threadpool(thread_num, max_ts_n);
}
return mtp;
}
/**
* @brief:往线程池组中添加任务
* @mtp:线程池组句柄
* @func:任务函数
* @args:任务函数的参数
* @priority: 优先级 1:优先处理 其他:依次处理
* @return: 0:ok 其他:err
*/
int add_task_group_threadpool(manange_thpool_t* mtp, task_func_t func, void *args, int priority)\
{
int ts_num= INT_MAX;
threadpool_t *tp=NULL;
int index=0;
for(register int i=0; i<mtp->thpool_nums; ++i){
if(mtp->thpools[i]->curr_ts_num < ts_num){
ts_num = mtp->thpools[i]->curr_ts_num;
tp = mtp->thpools[i];
index=i;
}
}
if(!tp){
tp = mtp->thpools[0];
}
return add_task_threadpool(tp, func, args, priority);
}
/**
* @brief:释放线程池组函数
* @tp: 线程池组句柄
* @return:none
*/
void destory_group_threadpool(manange_thpool_t* tp)
{
if(!tp) return;
for(int i=0; i<tp->thpool_nums; ++i){
if(tp->thpools[i]) destory_threadpool(tp->thpools[i]);
}
}
4.测试
测试程序如下:
#include <stdio.h>
#include <unistd.h>
#include "list.h"
#include "threadpool.h"
#include "manange_threadpool.h"
//任务传递的参数
typedef struct info_t
{
int times;
char buffer[32];
}info_t;
void task1(void *args)
{
info_t *info = (info_t*)args;
printf("handle task1 pid=%lld times=%d buffer=%s\n", pthread_self(), info->times, info->buffer);
free(args);
}
void task2(void *args)
{
info_t *info = (info_t*)args;
printf("handle task2 pid=%lld times=%d buffer=%s\n", pthread_self(), info->times, info->buffer);
free(args);
}
void task3(void *args)
{
info_t *info = (info_t*)args;
printf("handle task3 pid=%lld times=%d buffer=%s\n", pthread_self(), info->times, info->buffer);
free(args);
}
//------------split-----------------
void test_threadpool(void)
{
threadpool_t* tp = create_threadpool(4, 128);
info_t *info;
for(int t=0; t<10; ++t){
for(int i=0; i<32; ++i){
info = (info_t *)malloc(sizeof(info_t));
info->times=i;
sprintf(info->buffer, "Test ThreadPool task1 info...");
add_task_threadpool(tp, task1, info, 1); //往线程池组添加任务
info = (info_t *)malloc(sizeof(info_t));
info->times=i;
sprintf(info->buffer, "Test ThreadPool task2 info...");
add_task_threadpool(tp, task2, info, 0);
info = (info_t *)malloc(sizeof(info_t));
info->times=i;
sprintf(info->buffer, "Test ThreadPool task3 info...");
add_task_threadpool(tp, task3, info, 0);
}
sleep(1);
}
destory_threadpool(tp);
printf("Test ThreadPool Finish...\n");
}
void test_manange_threadpool(void)
{
//创建线程池组句柄,有4个线程池,每个线程池使用4线程,每个线程池最大的任务数是32
manange_thpool_t* mtp = create_group_threadpool(4, 4, 128);
info_t *info;
for(int t=0; t<10; ++t){
for(int i=0; i<32; ++i){
info = (info_t *)malloc(sizeof(info_t));
info->times=i;
sprintf(info->buffer, "Test task1 info...");
add_task_group_threadpool(mtp, task1, info, 1); //往线程池组添加任务
info = (info_t *)malloc(sizeof(info_t));
info->times=i;
sprintf(info->buffer, "Test task2 info...");
add_task_group_threadpool(mtp, task2, info, 0);
info = (info_t *)malloc(sizeof(info_t));
info->times=i;
sprintf(info->buffer, "Test task3 info...");
add_task_group_threadpool(mtp, task3, info, 0);
}
sleep(1);
}
//释放线程池组资源
destory_group_threadpool(mtp);
printf("Test Manage ThreadPool Finish...\n");
}
int main(void)
{
#if 1 //测试单个的线程池功能
test_threadpool();
#else //测试线程池组功能
test_manange_threadpool();
#endif
return 0;
}
通过修改宏定义,决定使用线程池还是线程池组
- 测试线程池结果
?2.测试线程池组结果
5.总结
使用线程池情况:一般程序中有并发处理任务,但是处理的任务并发量不高时候采用线程池。
使用线程池组情况:程序中任务并发量很大情况下使用。
相关推荐
- 滨州维修服务部“一区一策”强服务
-
今年以来,胜利油田地面工程维修中心滨州维修服务部探索实施“一区一策”服务模式,持续拓展新技术应用场景,以优质的服务、先进的技术,助力解决管理区各类维修难题。服务部坚持问题导向,常态化对服务范围内的13...
- 谷歌A2A协议和MCP协议有什么区别?A2A和MCP的差异是什么?
-
在人工智能的快速发展中,如何实现AI模型与外部系统的高效协作成为关键问题。谷歌主导的A2A协议(Agent-to-AgentProtocol)和Anthropic公司提出的MCP协议(ModelC...
- 谷歌大脑用架构搜索发现更好的特征金字塔结构,超越Mask-RCNN等
-
【新智元导读】谷歌大脑的研究人员发表最新成果,他们采用神经结构搜索发现了一种新的特征金字塔结构NAS-FPN,可实现比MaskR-CNN、FPN、SSD更快更好的目标检测。目前用于目标检测的最先...
- 一文彻底搞懂谷歌的Agent2Agent(A2A)协议
-
前段时间,相信大家都被谷歌发布的Agent2Agent开源协议刷屏了,简称A2A。谷歌官方也表示,A2A是在MCP之后的补充,也就是MCP可以强化大模型/Agent的能力,但每个大模型/Agent互为...
- 谷歌提出创新神经记忆架构,突破Transformer长上下文限制
-
让AI模型拥有人类的记忆能力一直是学界关注的重要课题。传统的深度学习模型虽然在许多任务上取得了显著成效,但在处理需要长期记忆的任务时往往力不从心。就像人类可以轻松记住数天前看过的文章重点,但目前的...
- 不懂设计?AI助力,人人都能成为UI设计师!
-
最近公司UI资源十分紧张,急需要通过AI来解决UI人员不足问题,我在网上发现了几款AI应用非常适合用来进行UI设计。以下是一些目前非常流行且功能强大的工具,它们能够提高UI设计效率,并帮助设计师创造出...
- 速来!手把手教你用AI完成UI界面设计
-
晨星技术说晨星技术小课堂第二季谭同学-联想晨星用户体验设计师-【晨星小课堂】讲师通过简单、清晰的语言描述就能够用几十秒自动生成一组可编辑的UI界面,AIGC对于UI设计师而言已经逐步发展成了帮助我们...
- 「分享」一端录制,多端使用的便捷 UI 自动化测试工具,开源
-
一、项目介绍Recorder是一款UI录制和回归测试工具,用于录制浏览器页面UI的操作。通过UIRecorder的录制功能,可以在自测的同时,完成测试过程的录制,生成JavaScr...
- APP自动化测试系列之Appium介绍及运行原理
-
在面试APP自动化时,有的面试官可能会问Appium的运行原理,以下介绍Appium运行原理。Appium介绍Appium概念Appium是一个开源测试自动化框架,可用于原生,混合和移动Web应用程序...
- 【推荐】一个基于 SpringBoot 框架开发的 OA 办公自动化系统
-
如果您对源码&技术感兴趣,请点赞+收藏+转发+关注,大家的支持是我分享最大的动力!!!项目介绍oasys是一个基于springboot框架开发的OA办公自动化系统,旨在提高组织的日常运作和管理...
- 自动化实践之:从UI到接口,Playwright给你全包了!
-
作者:京东保险宋阳1背景在车险系统中,对接保司的数量众多。每当系统有新功能迭代后,基本上各个保司的报价流程都需要进行回归测试。由于保司数量多,回归测试的场景也会变得重复而繁琐,给测试团队带来了巨大的...
- 销帮帮CRM移动端UI自动化测试实践:Playwright的落地与应用
-
实施背景销帮帮自2015年成立以来,移动端UI自动化测试的落地举步维艰,移动端的UI自动化测试一直以来都未取得良好的落地。然而移动互联网时代,怎样落地移动端的UI自动化测试以快速稳定进行移动端的端到端...
- 编写自动化框架不知道该如何记录日志吗?3个方法打包呈现给你。
-
目录结构1.loguru介绍1.1什么是日志?程序运行过程中,难免会遇到各种报错。如果这种报错是在本地发现的,你还可以进行debug。但是如果程序已经上线了,你就不能使用debug方式了...
- 聊聊Python自动化脚本部署服务器全流程(详细)
-
来源:AirPython作者:星安果1.前言大家好,我是安果!日常编写的Python自动化程序,如果在本地运行稳定后,就可以考虑将它部署到服务器,结合定时任务完全解放双手但是,由于自动化程序与平...
- 「干货分享」推荐5个可以让你事半功倍的Python自动化脚本
-
作者:俊欣来源:关于数据分析与可视化相信大家都听说自动化流水线、自动化办公等专业术语,在尽量少的人工干预的情况下,机器就可以根据固定的程序指令来完成任务,大大提高了工作效率。今天小编来为大家介绍几个P...
你 发表评论:
欢迎- 一周热门
- 最近发表
- 标签列表
-
- MVC框架 (46)
- spring框架 (46)
- 框架图 (58)
- flask框架 (53)
- quartz框架 (51)
- abp框架 (47)
- jpa框架 (47)
- springmvc框架 (49)
- 分布式事务框架 (65)
- scrapy框架 (56)
- shiro框架 (61)
- 定时任务框架 (56)
- java日志框架 (61)
- JAVA集合框架 (47)
- mfc框架 (52)
- abb框架断路器 (48)
- ui自动化框架 (47)
- grpc框架 (55)
- ppt框架 (48)
- 内联框架 (52)
- cad怎么画框架 (58)
- ps怎么画框架 (47)
- ssm框架实现登录注册 (49)
- oracle字符串长度 (48)
- oracle提交事务 (47)