㈠ 如何区分GPU服务器和普通服务器
GPU服务器是基于GPU的应用视频编解码、深度学习、海量运算等多种场景的快速、稳定的计算服务。GPU加速计算可以提供非凡的应用程序性能,能将应用程序计算密集部分的工作负载到GPU,同时仍由CPU运行其余程序代码。普通服务器在这些方面的应用上可能会稍微差点。其实你也可以去网上对比看看,去官网找几个具体的型号做一下对比。思腾合力在业界的口碑还是不错的,拥有覆盖全场景的需求的GPU服务器产品线,拥有自主品牌GPU服务器以及通用X86服务器,还是挺不错的。
㈡ 如何部署GPU满足服务器工作负载需求
选择GPU服务器时首先要考虑业务需求来选择适合的GPU型号。在HPC高性能计算中还需要根据精度来选择,比如有的高性能计算需要双精度,这时如果使用P40或者P4就不合适,只能使用V100或者P100;同时也会对显存容量有要求,比如石油或石化勘探类的计算应用对显存要求比较高;还有些对总线标准有要求,因此选择GPU型号要先看业务需求。
GPU服务器人工智能领域的应用也比较多。在教学场景中,对GPU虚拟化的要求比较高。根据课堂人数,一个老师可能需要将GPU服务器虚拟出30甚至60个虚拟GPU,因此批量Training对GPU要求比较高,通常用V100做GPU的训练。模型训练完之后需要进行推理,因此推理一般会使用P4或者T4,少部分情况也会用V100。
综上所述,选择服务器时不仅需要考虑业务需求,还要考虑性能指标,比如精度、显存类型、显存容量以及功耗等,同时也会有一些服务器是需要水冷、降噪或者对温度、移动性等等方面有特殊的要求,就需要特殊定制的服务器。
欢迎了解更多:网页链接
㈢ Linux服务器如何查看GPU信息
Linux查看显卡信息:
[python] view
plain
lspci | grep -i vga
使用nvidia
GPU可以:
[python] view
plain
lspci | grep -i nvidia
前边的序号
"00:0f.0"是显卡的代号(这里是用的虚拟机);
查看指定显卡的详细信息用以下指令:
[python] view
plain
lspci -v -s 00:0f.0
Linux查看Nvidia显卡信息及使用情况
Nvidia自带一个命令行工具可以查看显存的使用情况:
[python] view
plain
nvidia-smi
表头释义:
Fan:显示风扇转速,数值在0到100%之间,是计算机的期望转速,如果计算机不是通过风扇冷却或者风扇坏了,显示出来就是N/A;
Temp:显卡内部的温度,单位是摄氏度;
Perf:表征性能状态,从P0到P12,P0表示最大性能,P12表示状态最小性能;
Pwr:能耗表示;
Bus-Id:涉及GPU总线的相关信息;
Disp.A:是Display
Active的意思,表示GPU的显示是否初始化;
Memory
Usage:显存的使用率;
Volatile
GPU-Util:浮动的GPU利用率;
Compute
M:计算模式;
下边的Processes显示每块GPU上每个进程所使用的显存情况。
如果要周期性的输出显卡的使用情况,可以用watch指令实现:
[python] view
plain
watch -n 10 nvidia-smi
命令行参数-n后边跟的是执行命令的周期,以s为单位。