百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

前方高能!如何保障Python应用的高性能

ccwgpt 2025-03-01 13:10 61 浏览 0 评论

Python作为一种推崇“简单、优雅、明确”的面向对象语言,以其简捷明了的语法结构,丰富的类库,出色的易用性在互联网时代得到了广泛的应用。不论是国外的Facebook、Youtube、Instagram、Pinterest,还是国内的知乎、豆瓣,用Python开发的Web应用已经无处不在。

而随着云计算时代的到来,以及基于Python的云架构开源项目OpenStack的流行,越来越多的企业开始引入云服务的概念,尝试利用云计算服务来构建新的高可用架构。而同样地,企业级应用程序的设计与开发方式也发生了转变——开发人员需要构建原生的云计算应用,以便更有效的降低运营成本并提升灵活性。利用云平台与云服务再结合Python来进行应用开发,就成为了一种行之有效的途径。

Python确实是个好语言,简单易用上手快,标准库和PyPI第三方库有丰富而又有用的资源,可以快速的解决开发者的问题,而不用重复造轮子,这些特点使得Python这几年逐渐流行起来。相对而言,C受限于较为低级的语法,开发周期长,一般用来开发性能要求高的软件。Java偏重于企业开发,缓慢的JVM启动速度导致Java不适合用来开发系统管理脚本。而Python作为一个多面手,被广泛应用于Web开发、科学计算、数据分析、云计算(OpenStack)、运维平台和自动化运维(SaltStack)等。

Python的优点很多,但随着企业业务向云端和移动互联网上的迁移,真实线上环境的复杂性,巨大的流量压力,以及IT架构的高可用问题,都会造成Python应用的性能瓶颈。作为Pythoner的你是否常被这几个问题所困扰:

1. 代码执行速度真的很快吗?

2. 代码性能瓶颈出在哪里?

3. 内存消耗大不大?

4. 是否存在内存泄漏?

透视宝Python监控实现原理

在刚刚举行的PyConChina 2015大会上,国内领先的应用性能管理服务商云智慧VP刘国强 (Bruce Liu)先生,为广大Pythoner带来《Python 应用性能管理》主题分享,和大家一同探讨云智慧透视宝是如何保障Python应用在生产环境下的高性能。

针对复杂的IT架构,云智慧采用Backbone分布式监测节点监控,实现系统统一调度监控任务,所有监控点同步执行,依赖可靠的骨干网监测点执行监控任务,技术上消除网络抖动和噪声带来的干扰,稳定可靠的数据可以用于评估SLA。

而部署在应用系统中的智能探针会根据应用系统的语言,自动安装对应的探针程序,并为系统绘制应用拓扑。透视宝Python探针pythonAgent会在框架的RequestHandler添加上下文管理器(context manager),通过Smartpythonagent模块实现上下文管理协议的__enter__ 和 __exit__ 方法控制tracer进程的起始和结束。Tracer进程通过python的sys.settrace库方法进行开启和结束代码的trace过程。

Output模块会对tracer进程返回的代码trace信息进程处理生成我们想要的数据。其中的tree是对代码执行过程以方法名作为节点生成树状的结构,能直接通过tree来还原代码执行时的方法调用过程。而Map则记录tree中每个节点的执行信息,如消耗内存,执行时间等。Output模块处理完数据后会向smartAgent的sendproxy发送数据,最后sendproxy会向透视宝服务器发送数据。 pythonAgent的tracer进程能跟踪到'call', 'line', 'return', 'exception', 'c_call', 'c_return', or 'c_exception'事件。

依托于各种Web轻量级应用框架,Python在Web应用上得到最广泛支持,而透视宝的SmartAgent支持主流的Django、Tornado、CherryPy、Flask、Pylons、Bottle等应用框架,保证Python代码性能数据抓取的准确性和高效能。配合透视宝部署在服务端的其他应用服务监控,包括Apache、Nginx、Tomcat、Weblogic、MySQL、Memcache、Redis、Oracle、MongoDB、PostgreSQL等,开发和运维人员能够第一时间发现应用系统的潜在问题,准确定位应用执行缓慢的真实原因。

如何利用透视宝监控Python应用

用户可以访问透视宝产品网站:http://toushibao.com/ ,申请免费试用帐号,进入应用管理,下载Smart Agent并进行安装,安装完成访问“系统→插件管理”,找到Smart Agent所安装的主机,按以下说明来安装、配置及开启相关代码插件。

1、安装Python应用发现插件

根据Web容器类型安装应用发现插件,该插件可自动发现容器内的所有应用实例并生成应用拓扑图。

1)如果直接使用的Python Server,可以直接跳过本步骤。

2)如果Web容器为Apache

请安装并配置Apache类型的应用发现插件ApacheApp,配置完成后开启插件。

3)如果Web容器是Nginx

请首先在插件的配置界面中选择安装Nginx类型的应用发现插件NginxApp。安装完成之后您还需要配置Nginx插件,与Apache不同的是,此时您需要在主机上手工编译,请参考安装目录中“
./plugins/nginx_path/README”文档。

2、安装并开启Python代码监控插件PythonCode

选择PythonCode插件安装并开启,SmartAgent将自动下载插件至安装目录的smart_agent/plugins下。

默认会使用系统Python进行安装。修改PythonAgent.sh中PythonCommand值,可安装至系统中其他Python环境。

3、重启Web Server

安装开启Python代码监控插件后,可能需要您手动重启web Server(apache\httpd\Nginx\Python Server等软件)。

4、查看Python应用数据

配置完成后,大致两分钟后您就可以在“应用”模块中查看数据。

相关推荐

详解DNFSB2毒王的各种改动以及大概的加点框架

首先附上改动部分,然后逐项分析第一个,毒攻掌握技能意思是力量智力差距超过15%的话差距会被强行缩小到15%,差距不到15%则无效。举例:2000力量,1650智力,2000*0.85=1700,则智力...

通篇干货!纵观 PolarDB-X 并行计算框架

作者:玄弟七锋PolarDB-X面向HTAP的混合执行器一文详细说明了PolarDB-X执行器设计的初衷,其初衷一直是致力于为PolarDB-X注入并行计算的能力,兼顾TP和AP场景,逐渐...

字节新推理模型逆袭DeepSeek,200B参数战胜671B,豆包史诗级加强

梦晨发自凹非寺量子位|公众号QbitAI字节最新深度思考模型,在数学、代码等多项推理任务中超过DeepSeek-R1了?而且参数规模更小。同样是MoE架构,字节新模型Seed-Thinkin...

阿里智能化研发起飞!RTP-LLM 实现 Cursor AI 1000 token/s 推理技术揭秘

作者|赵骁勇阿里巴巴智能引擎事业部审校|刘侃,KittyRTP-LLM是阿里巴巴大模型预测团队开发的高性能LLM推理加速引擎。它在阿里巴巴集团内广泛应用,支撑着淘宝、天猫、高德、饿...

多功能高校校园小程序/校园生活娱乐社交管理小程序/校园系统源码

校园系统通常是为学校、学生和教职工提供便捷的数字化管理工具。综合性社交大学校园小程序源码:同城校园小程序-大学校园圈子创业分享,校园趣事,同校跑腿交友综合性论坛。小程序系统基于TP6+Uni-app...

婚恋交友系统nuiAPP前端解决上传视频模糊的问题

婚恋交友系统-打造您的专属婚恋交友平台系统基于TP6+Uni-app框架开发;客户移动端采用uni-app开发,管理后台TH6开发支持微信公众号端、微信小程序端、H5端、PC端多端账号同步,可快速打包...

已节省数百万GPU小时!字节再砍MoE训练成本,核心代码全开源

COMET团队投稿量子位|公众号QbitAI字节对MoE模型训练成本再砍一刀,成本可节省40%!刚刚,豆包大模型团队在GitHub上开源了叫做COMET的MoE优化技术。COMET已应用于字节...

通用电气完成XA102发动机详细设计审查 将为第六代战斗机提供动力

2025年2月19日,美国通用电气航空航天公司(隶属于通用电气公司)宣布,已经完成了“下一代自适应推进系统”(NGAP)计划下提供的XA102自适应变循环发动机的详细设计审查阶段。XA102是通用电气...

tpxm-19双相钢材质(双相钢f60材质)

TPXM-19双相钢是一种特殊的钢材,其独特的化学成分、机械性能以及广泛的应用场景使其在各行业中占有独特的地位。以下是对TPXM-19双相钢的详细介绍。**化学成分**TPXM-19双相钢的主要化学成...

thinkphp6里怎么给layui数据表格输送数据接口

layui官网已经下架了,但是产品还是可以使用。今天一个朋友问我怎么给layui数据表格发送数据接口,当然他是学前端的,后端不怎么懂,自学了tp框架问我怎么调用。其实官方文档上就有相应的数据格式,js...

完美可用的全媒体广告精准营销服务平台PHP源码

今天测试了一套php开发的企业网站展示平台,还是非常不错的,下面来给大家说一下这套系统。1、系统架构这是一套基于ThinkPHP框架开发的HTML5响应式全媒体广告精准营销服务平台PHP源码。现在基于...

一对一源码开发,九大方面完善基础架构

以往的直播大多数都是一对多进行直播社交,弊端在于不能满足到每个用户的需求,会降低软件的体验感。伴随着用户需求量的增加,一对一直播源码开始出现。一个完整的一对一直播流程即主播发起直播→观看进入房间观看→...

Int J Biol Macromol .|交联酶聚集体在分级共价有机骨架上的固定化:用于卤代醇不对称合成的高稳定酶纳米反应器

大家好,今天推送的文章发表在InternationalJournalofBiologicalMacromolecules上的“Immobilizationofcross-linkeden...

【推荐】一款开源免费的 ChatGPT 聊天管理系统,支持PC、H5等多端

如果您对源码&技术感兴趣,请点赞+收藏+转发+关注,大家的支持是我分享最大的动力!!!项目介绍GPTCMS是一款开源且免费(基于GPL-3.0协议开源)的ChatGPT聊天管理系统,它基于先进的GPT...

高性能计算(HPC)分布式训练:训练框架、混合精度、计算图优化

在深度学习模型愈发庞大的今天,分布式训练、高效计算和资源优化已成为AI开发者的必修课。本文将从数据并行vs模型并行、主流训练框架(如PyTorchDDP、DeepSpeed)、混合精度训练(...

取消回复欢迎 发表评论: