一万元搭建深度学习系统:硬件、软件安装教程,以及性能测试
ccwgpt 2024-10-28 15:00 22 浏览 0 评论
作者:Slav Ivanov@blog.slavv.com
问耕 编译整理
量子位 出品 | 公众号 QbitAI
Macbook这种轻薄的笔记本,是搞不了深度学习的。亚马逊P2云服务,会给堆积越来越多的账单,换个便宜的服务,训练时间又太长……
没办法,已经十多年没用过台式机的我,只能重新着手DIY装机,搭建一套自己的深度学习系统。以下是我的系统搭建和测试过程。
硬件清单
之前,我在AWS亚马逊云服务上的花费是每月70美元(约480元人民币)。按照使用两年计算,我给这套系统的总预算是1700美元(约11650元)。
GPU
肯定得买Nvidia,没有其他选择。买两块还是一块?我想了想,还是先买一个性能更好的,以后有钱了再增加。综合显存、带宽等因素,我最终选了GTX 1080 Ti,跟Titan X相比,性能差不了多少,但价格便宜不少。
CPU
虽然比不上GPU,但CPU也很重要。从预算出发,我选了一颗中端产品英特尔i5 7500。相对便宜,但不会拖慢整个系统。
内存
两条16GB容量的内存,总共是32GB。
硬盘
两块。
一块SSD硬盘运行操作系统和当前数据,我选的是MyDigitalSSD NVMe 480GB。一块速度较慢的2TB容量HDD硬盘存储大的数据集(例如ImageNet)。
主板
为了以后的拓展,我得选能支持两块GTX 1080 Ti的主板。最后的选择是:华硕TUF Z270。
电源
得为GPU何GPU们提供足够的电力供应。英特尔i5 7500功耗是65W,一块1080Ti需要250W(以后还想加一块),所以最后选择了Deepcool 750W Gold PSU。
机箱
我听从朋友的建议,选了Thermaltake N23机箱。只是没有LED灯,伤心。
组装
组装过程按下不表,装机也是个手艺,最后效果如下图所示。
安装软件
提示:如果你想装Windows系统,最好先安装Windows,再装Linux。要不然Windows会搞乱启动分区。
安装Ubuntu
大部分深度学习框架都工作在Linux环境中,所以我选择安装Ubuntu。一个2GB容量的U盘就能搞定安装,如何制作?
OSX用户参考这里:
https://www.ubuntu.com/download/desktop/create-a-usb-stick-on-macos
Windows用户参考这里:
https://rufus.akeo.ie/
我写这个教程的时候,Ubuntu 17.04版本刚刚发布,但是我选择了之前的16.04版本,因为老版本的相关文档可能更全一点。另外,我选择的是Ubuntu桌面版本,不过关闭了图形界面X,电脑启动会进入终端模式。
如果需要图形界面,只需要输入:startx
及时更新
更新可以使用下面这个命令
深度学习堆栈
为了展开深度学习,我们需要如下软件来使用GPU:
GPU驱动:让操作系统和显卡可以对话
CUDA:能让GPU运行通用目的代码
CuDNN:CUDA之上的神经网络加速库
深度学习框架:TensorFlow等
安装GPU驱动
最新的驱动,可以参考官网
http://nvidia.com/Download/index.aspx
或者直接使用如下代码安装:
安装CUDA
可以从Nvidia下载CUDA,地址如下:
https://developer.nvidia.com/cuda-downloads
或者直接运行如下的代码:
安装好CUDA之后,下面的代码能把CUDA添加到PATH变量:
现在可以检验一下CUDA装好没有,运行如下代码即可:
删除CUDA或GPU驱动,可以参考如下代码:
安装CuDNN
我用的是CuDNN 5.1,因为最新的TensorFlow不支持CuDNN 6。下载CuDNN,你需要创建一个免费的开发者账号。下载之后,用如下命令安装。
Anaconda
Anaconda是一个很棒的Python软件包管理器,我现在使用了Python 3.6版本,所以对应的使用Anaconda 3版本,安装如下:
TensorFlow
最流行的深度学习框架,安装:
为了检查一下TensorFlow安装好没有,可以运行MNIST看看:
应该能在训练过程中,看到loss的逐渐减少:
Keras
一个高级神经网络框架,安装非常简单:
PyTorch
深度学习框架届的新兵,但也值得推荐,安装命令:
Jupyter notebook
Jupyter是一个交互式的笔记本,随着Anaconda安装,我们要配置和测试一下:
现在打开 http://localhost:8888 ,应该就能看到Jupyter的界面。
我们可以把Jupyter设置成自动启动,使用crontab来设置。运行crontab -e,然后把如下代码添加在最后。
测试
现在基本上准备妥当了,是时候测试一下了。参加此次对比的几个选手是:
AWS P2实例GPU(K80)
AWS P2虚拟CPU
英伟达GTX 1080 Ti
英特尔i5 7500
MNIST多层感知器
MNIST数据集由70000手写数字组成。我们在这个数据集上运行了一个使用多层感知器(MLP)的Keras案例,代码地址:
https://github.com/fchollet/keras/blob/master/examples/mnist_mlp.py
MLP的意思是只使用全连接的层,而不用卷积。这个模型在这个数据集上进行了20次训练,实现了超过98%的准确率。
可以看到在训练这个模型时,GTX 1080 Ti比AWS P2 K80快2.4倍,这有点惊人,因为两个显卡的性能应该差不多,我觉得可能是AWS上有降频或者受到虚拟化的影响。
CPU的表现比GPU慢9倍。有趣的是,i5 7500比亚马逊的虚拟CPU快2.3倍。
VGG微调
为Kaggle猫狗识别竞赛而微调一个VGG网络。使用相同的batch在CPU上运行这个模型不可行,所以我们在GPU上微调了390个batch,在CPU上是10个batch。代码如下:
https://github.com/slavivanov/cats_dogs_kaggle
这次1080 Ti比AWS P2 K80快5.5倍。CPU在这个环节的表现,最多慢了200倍。
Wasserstein GAN
生成对抗网络(GAN)用来训练模型产生图像。Wasserstein GAN是原始GAN的一个改进版。我这里用了一个PyTorch实现,代码地址:
https://github.com/martinarjovsky/WassersteinGAN
这个模型需要50步训练,CPU在这个训练中不予考虑。
GTX 1080 Ti比AWS P2 K80快5.5倍。
风格迁移
最后一个测试是在TensorFlow上的风格迁移实现,代码地址:
https://github.com/slavivanov/Style-Tranfer
GTX 1080 Ti比AWS P2 K80快4.3倍。CPU比GPU慢30-50倍。
好啦,关于万元打造一个深度学习系统的分享,就先到这里。
各位端午节快乐。
【完】
招聘
我们正在招募编辑记者、运营等岗位,工作地点在北京中关村,期待你的到来,一起体验人工智能的风起云涌。
相关细节,请在公众号对话界面,回复:“招聘”两个字。
One More Thing…
今天AI界还有哪些事值得关注?在量子位(QbitAI)公众号会话界面回复“今天”,看我们全网搜罗的AI行业和研究动态。笔芯~
相关推荐
- 定时任务工具,《此刻我要...》软件体验
-
之前果核给大家介绍过一款小众但实用的软件——小说规则下载器,可以把网页里的小说章节按照规则下载到本地,非常适合喜欢阅读小说的朋友。有意思的是,软件作者当时看到果核写的体验内容后,给反推荐到他的帖子里去...
- 前端定时任务的神库:Node-cron,让你的项目更高效!
-
在前端开发中,定时任务是一个常见的需求。无论是定时刷新数据、轮询接口,还是发送提醒,都需要一个可靠且灵活的定时任务解决方案。今天,我要向大家介绍一个强大的工具——Node-cron,它不仅能解决定时任...
- Shutter Pro!一款多功能定时执行任务工具
-
这是一款可以在电脑上定时执行多种任务的小工具,使用它可以根据时间,电量等来设定一些定时任务,像定时打开程序、打开文件,定时关机重启,以及定时弹窗提醒等都可以轻松做到。这是个即开即用的小工具,无需安装,...
- 深度解析 Redis 缓存击穿及解决方案
-
在当今互联网大厂的后端开发体系中,Redis缓存占据着极为关键的地位。其凭借高性能、丰富的数据类型以及原子性操作等显著优势,助力众多高并发系统从容应对海量用户的访问冲击,已然成为后端开发从业者不可或...
- 从零搭建体育比分网站完整步骤(比较好的体育比分软件)
-
搭建一个体育比分网站是一个涉及前端、后端、数据源、部署和维护的完整项目。以下是从零开始搭建的详细流程:一、明确项目需求1.功能需求:实时比分展示(如足球、篮球、网球等)支持多个联赛和赛事历史数据查询比...
- 告别复杂命令行:GoCron 图形界面让定时任务触手可及
-
如果你是运维人员或者经常接触一些定时任务的配置,那么你一定希望有一款图形界面来帮助你方便的轻松配置定时任务,而GoCron就是这样一款软件,让你的配置可视化。什么是GoCron从名字你就可以大概猜到,...
- Java任务管理框架核心技术解析与分布式高并发实战指南
-
在当今数字化时代,Java任务管理框架在众多应用场景中发挥着关键作用。随着业务规模的不断扩大,面对分布式高并发的复杂环境,掌握其核心技术并进行实战显得尤为重要。Java任务管理框架的核心技术涵盖多个方...
- 链表和结构体实现:MCU软件定时器(链表在单片机中的应用)
-
在一般的嵌入式产品设计中,介于成本、功耗等,所选型的MCU基本都是资源受限的,而里面的定时器的数量更是有限。在我们软件设计中往往有多种定时需求,例如脉冲输出、按键检测、LCD切屏延时等等,我们不可能...
- SpringBoot定时任务(springboot定时任务每小时执行一次)
-
前言在我们开发中,经常碰到在某个时间点去执行某些操作,而我们不能人为的干预执行,这个时候就需要我们使用定时任务去完成该任务,下面我们来介绍下载springBoot中定时任务实现的方式。定时任务实现方式...
- 定时任务新玩法!systemd timer 完整实战详解
-
原文链接:「链接」Hello,大家好啊!今天给大家带来一篇使用systemdtimer实现定时任务调度的详细实战文章。相比传统的crontab,systemdtimer更加现代化、结构清晰...
- Celery与Django:打造高效DevOps的定时任务与异步处理神器
-
本文详细介绍了Celery这一强大的异步任务队列系统,以及如何在Django框架中应用它来实现定时任务和异步处理,从而提高运维开发(DevOps)的效率和应用性能。下面我们先认识一下Cele...
- 订单超时自动取消的7种方案,我用这种!
-
前言在电商、外卖、票务等系统中,订单超时未支付自动取消是一个常见的需求。这个功能乍一看很简单,甚至很多初学者会觉得:"不就是加个定时器么?"但真到了实际工作中,细节的复杂程度往往会超...
- 裸机下多任务框架设计与实现(gd32裸机配置lwip 网络ping不通)
-
在嵌入式系统中,特别是在没有操作系统支持的裸机环境下,实现多任务执行是一个常见的挑战。本文将详细介绍一种基于定时器的多任务框架设计,通过全局时钟和状态机机制,实现任务的非阻塞调度,确保任务执行中不会出...
- 亿级高性能通知系统构建,小白也能拿来即用
-
作者介绍赵培龙,采货侠JAVA开发工程师分享概要一、服务划分二、系统设计1、首次消息发送2、重试消息发送三、稳定性的保障1、流量突增2、问题服务的资源隔离3、第三方服务的保护4、中间件的容错5、完善...
- 运维实战:深度拆解Systemd定时任务原理,90%的人不知道的玩法
-
运维实战:深度拆解Systemd定时任务原理,90%的人不知道的高效玩法一、Systemd定时任务的核心原理Systemd定时任务是Linux系统中替代传统cron的现代化解决方案,通过...
你 发表评论:
欢迎- 一周热门
- 最近发表
- 标签列表
-
- MVC框架 (46)
- spring框架 (46)
- 框架图 (58)
- bootstrap框架 (43)
- flask框架 (53)
- quartz框架 (51)
- abp框架 (47)
- jpa框架 (47)
- laravel框架 (46)
- express框架 (43)
- springmvc框架 (49)
- 分布式事务框架 (65)
- scrapy框架 (56)
- shiro框架 (61)
- 定时任务框架 (56)
- grpc框架 (55)
- ppt框架 (48)
- 内联框架 (52)
- winform框架 (46)
- gui框架 (44)
- cad怎么画框架 (58)
- ps怎么画框架 (47)
- ssm框架实现登录注册 (49)
- oracle字符串长度 (48)
- oracle提交事务 (47)