百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

使用Flask应用框架在Centos7.8系统上部署机器学习模型

ccwgpt 2025-03-26 10:16 28 浏览 0 评论

安装centos7.8 虚拟环境

1、镜像链接


centos-vault-centos-7.8.2003-isos-x86_64安装包下载_开源镜像站-阿里云

具体安装步骤不再赘述

2、授予普通用户 sudo 权限

su 切换到管理员

cd 到 /etc目录下,执行 gedit sudoers

加入 username ALL=(ALL) ALL 这里username是要授予sudo权限的用户名。

sudo whoami 

验证

3、换阿里源

(1)备份

mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup

(2)换源

curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo

运行 yum makecache,更新源

4、系统更新到最新(大概10分钟左右)

sudo yum update -y

创建项目文件夹

Home 下 创建新文件夹 myAPIProgram 用于存放部署项目,centos7.8桌面版右击创建即可

安装 Python 和其他依赖

1、安装 Python 3.8(或更高版本)

sudo yum install -y epel-release
sudo yum install centos-release-scl

修改为国内源

cd 到 /etc/yum.repos.d 目录下

# 备份
cp CentOS-SCLo-scl.repo{,.bak}
cp CentOS-SCLo-scl-rh.repo{,.bak}

编辑

sudo gedit CentOS-SCLo-scl.repo
[centos-sclo-sclo]
name=CentOS-7 - SCLo sclo
baseurl=https://mirrors.aliyun.com/centos/7/sclo/x86_64/sclo/
gpgcheck=0
enabled=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-SIG-SCLo
sudo gedit CentOS-SCLo-scl-rh.repo
[centos-sclo-rh]
name=CentOS-7 - SCLo rh
baseurl=https://mirrors.aliyun.com/centos/7/sclo/x86_64/rh/
gpgcheck=0
enabled=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-SIG-SCLo

刷新缓存

yum repolist && yum clean all && yum makecache

安装python3.8

sudo yum install rh-python38

建立软链接

sudo ln -s /opt/rh/rh-python38/root/usr/bin/python3 /usr/bin/python3
sudo ln -s /opt/rh/rh-python38/root/usr/bin/pip3 /usr/bin/pip3

查看

python3 -V

环境配置

1、创建一个新的虚拟环境

(1)cd 到新建目录中

设置文件夹权限:

sudo chmod 777 -R myAPIProgram

(2)创建一个新的虚拟环境以隔离项目依赖:

python3 -m venv api_venv01
# 激活
source api_venv01/bin/activate

2、安装Flask以及其他必要的包

pip3 install flask numpy pandas scikit-learn gunicorn

Gunicorn是一个Python WSGI HTTP服务器,专门用于部署Python Web应用程序,如Flask和Django。它通过使用预先分叉工作进程的模型来实现高效的并发处理,非常适合用于生产环境。

训练一个简单的模型

1、在vscode里面训练并生成模型

import numpy as np  
import matplotlib.pyplot as plt  
from sklearn.model_selection import train_test_split  
from sklearn.linear_model import LinearRegression  
from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score

# 显示中文字体
plt.rcParams['font.sans-serif'] = ['SimHei']  # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False  # 用来正常显示负号

# 生成x值  
np.random.seed(0)  # 为了可复现性  
x = 2 * np.random.rand(100, 1)  # 生成100个0到2之间的随机数  
  
# 根据线性关系y = 3x + 2生成y值,并加入噪声  
y = 3 * x + 2 + 0.2*np.random.randn(100, 1)  
  
# 将x和y转换为二维数组,因为scikit-learn要求输入为二维数组  
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.2, random_state=42)

# 创建线性回归模型实例  
model = LinearRegression()  
  
# 使用训练数据训练模型  
model.fit(x_train, y_train)  
  
# 预测测试集的结果  
y_pred = model.predict(x_test)

# 计算MAE
mae = mean_absolute_error(y_test, y_pred)

# 计算并打印均方误差  
mse = mean_squared_error(y_test, y_pred) 
# 计算 R2
r2 = r2_score(y_test, y_pred)

print("MAE:", mae)
print("MSE:", mse)
print("R2:", r2) 
 
print("模型系数:", model.coef_)
print("模型截距:", model.intercept_)
print("模型方程: y =", model.coef_[0][0], "* x +", model.intercept_[0])

# 可视化结果  
plt.scatter(x_test, y_test, color='black', label='实际值')  
plt.plot(x_test, y_pred, color='blue', linewidth=3, label='预测值')  
plt.xlabel('X')  
plt.ylabel('Y')  
plt.title('线性回归模型预测')  
plt.legend()  
plt.show()

结果

MAE: 0.16029109668506641

MSE: 0.036710129878857196

R2: 0.9809551843591459

模型系数: [[2.99805182]]

模型截距: [2.04126804]

模型方程: y = 2.9980518202009767 * x + 2.0412680377422876

2、借助 joblib 保存模型

from joblib import dump, load 

模型训练好之后

# 保存模型
dump(model, 'my_models/my_model.joblib')

# 加载模型
loaded_model = load('my_models/my_model.joblib')

使用加载的模型预测结果如下

构建Flask 应用

1、回到centos系统

cd 到先前创建好的目录 api_venv01 中

2、创建一个简单的 Flask 应用来加载模型并提供预测服务 app.py 文件

sudo touch app.py

编辑文件

sudo gedit app.py
# app.py
from flask import Flask, request, jsonify
from werkzeug.exceptions import BadRequest
import joblib
import pandas as pd
import numpy as np

app = Flask(__name__)

# 加载模型
model = joblib.load('my_models/my_model.joblib')

@app.route('/predict', methods=['POST'])
def predict():
    try:
        # 获取JSON数据
        input_data = request.get_json()
        #获取并验证输入数据
    
        # 预处理数据
        # 转换为DataFrame
        pd_features = pd.DataFrame(input_data, index=[0])
    
        # 预测
        prediction = model.predict(pd_features)
   
        # 返回预测结果
        return jsonify({'code':200, 'prediction': prediction.tolist()})
    except BadRequest as e:
        abort(400, description=str(e))
    except Exception as e:
        abort(500, description="服务器内部错误: " + str(e))

if __name__ == '__main__':
    app.run(host='0.0.0.0', port=5000, debug=False)

3、打开防火墙

sudo firewall-cmd --permanent --add-port=5000/tcp
sudo firewall-cmd --reload

4、启动服务

主要命令

gunicorn -w 4 app:app

gunicorn -w <工作进程数> <模块名>:<应用实例名>,其中,<工作进程数>是你希望Gunicorn创建的工作进程数量,<模块名>是你的Flask应用所在的Python文件名(不包括.py后缀),<应用实例名>是你的Flask应用实例的名称。

(1)获取centos系统的ip地址

ip address

(2)更改监听地址

创建 gunicorn_config.py 文件,写入:

# gunicorn_config.py  
bind = '192.168.40.134:8000'  
workers = 4

(3)启动服务

gunicorn -c gunicorn_config.py app:app

5、apiPost访问

(1)我的访问地址为:
http://192.168.40.134:8000/predict,访问方式:post

(2)body 数据

[
  1.38494424,
  0.20408962,
  1.95291893,
  1.34127574,
  1.33353343,
  1.3636406 ,
  0.92295872,
  0.63596636
]

以上是完成了简要的部署,不包括打印日志、设置守护进程-重启自动启动,app.py中缺少数据校验

其他

每次启动都要激活虚拟环境,再运行,不利于调试,写一个shell脚本集合一起

sudo touch run.sh
sudo gedit run.sh

写入:

source api_venv01/bin/activate
gunicorn -c gunicorn_config.py app:app

授予执行权限:

chmod +x run.sh

./run.sh 直接执行

完成环境激活+运行app。

相关推荐

十分钟让你学会LNMP架构负载均衡(impala负载均衡)

业务架构、应用架构、数据架构和技术架构一、几个基本概念1、pv值pv值(pageviews):页面的浏览量概念:一个网站的所有页面,在一天内,被浏览的总次数。(大型网站通常是上千万的级别)2、u...

AGV仓储机器人调度系统架构(agv物流机器人)

系统架构层次划分采用分层模块化设计,分为以下五层:1.1用户接口层功能:提供人机交互界面(Web/桌面端),支持任务下发、实时监控、数据可视化和报警管理。模块:任务管理面板:接收订单(如拣货、...

远程热部署在美团的落地实践(远程热点是什么意思)

Sonic是美团内部研发设计的一款用于热部署的IDEA插件,本文其实现原理及落地的一些技术细节。在阅读本文之前,建议大家先熟悉一下Spring源码、SpringMVC源码、SpringBoot...

springboot搭建xxl-job(分布式任务调度系统)

一、部署xxl-job服务端下载xxl-job源码:https://gitee.com/xuxueli0323/xxl-job二、导入项目、创建xxl_job数据库、修改配置文件为自己的数据库三、启动...

大模型:使用vLLM和Ray分布式部署推理应用

一、vLLM:面向大模型的高效推理框架1.核心特点专为推理优化:专注于大模型(如GPT-3、LLaMA)的高吞吐量、低延迟推理。关键技术:PagedAttention:类似操作系统内存分页管理,将K...

国产开源之光【分布式工作流调度系统】:DolphinScheduler

DolphinScheduler是一个开源的分布式工作流调度系统,旨在帮助用户以可靠、高效和可扩展的方式管理和调度大规模的数据处理工作流。它支持以图形化方式定义和管理工作流,提供了丰富的调度功能和监控...

简单可靠高效的分布式任务队列系统

#记录我的2024#大家好,又见面了,我是GitHub精选君!背景介绍在系统访问量逐渐增大,高并发、分布式系统成为了企业技术架构升级的必由之路。在这样的背景下,异步任务队列扮演着至关重要的角色,...

虚拟服务器之间如何分布式运行?(虚拟服务器部署)

  在云计算和虚拟化技术快速发展的今天,传统“单机单任务”的服务器架构早已难以满足现代业务对高并发、高可用、弹性伸缩和容错容灾的严苛要求。分布式系统应运而生,并成为支撑各类互联网平台、企业信息系统和A...

一文掌握 XXL-Job 的 6 大核心组件

XXL-Job是一个分布式任务调度平台,其核心组件主要包括以下部分,各组件相互协作实现高效的任务调度与管理:1.调度注册中心(RegistryCenter)作用:负责管理调度器(Schedule...

京东大佬问我,SpringBoot中如何做延迟队列?单机与分布式如何做?

京东大佬问我,SpringBoot中如何做延迟队列?单机如何做?分布式如何做呢?并给出案例与代码分析。嗯,用户问的是在SpringBoot中如何实现延迟队列,单机和分布式环境下分别怎么做。这个问题其实...

企业级项目组件选型(一)分布式任务调度平台

官网地址:https://www.xuxueli.com/xxl-job/能力介绍架构图安全性为提升系统安全性,调度中心和执行器进行安全性校验,双方AccessToken匹配才允许通讯;调度中心和执...

python多进程的分布式任务调度应用场景及示例

多进程的分布式任务调度可以应用于以下场景:分布式爬虫:importmultiprocessingimportrequestsdefcrawl(url):response=re...

SpringBoot整合ElasticJob实现分布式任务调度

介绍ElasticJob是面向互联网生态和海量任务的分布式调度解决方案,由两个相互独立的子项目ElasticJob-Lite和ElasticJob-Cloud组成。它通过弹性调度、资源管控、...

分布式可视化 DAG 任务调度系统 Taier 的整体流程分析

Taier作为袋鼠云的开源项目之一,是一个分布式可视化的DAG任务调度系统。旨在降低ETL开发成本,提高大数据平台稳定性,让大数据开发人员可以在Taier直接进行业务逻辑的开发,而不用关...

SpringBoot任务调度:@Scheduled与TaskExecutor全面解析

一、任务调度基础概念1.1什么是任务调度任务调度是指按照预定的时间计划或特定条件自动执行任务的过程。在现代应用开发中,任务调度扮演着至关重要的角色,它使得开发者能够自动化处理周期性任务、定时任务和异...

取消回复欢迎 发表评论: