

(/user/李东岳) 李东岳 (/user/李东岳)

管理员 (/groups/administrators)

2022年2月24日 08:36 (/post/29205)

1000核CFD服务器之旅
如何尽可能的榨干服务器的性能？

自从我做单机塔式服务器之后，一直在思考这个问题。2021年春节的时候，就想启动机架式服务器业
务。但是由于时间问题，一直卡在技术问题上解决不了。我自己也没有时间专门去弄。

过去了一年，2022年春节，我们再次启动这个事情。春节真是个好东西，大家都在放假，节日氛围浓
厚，我们可以利用这个时间，好好搞搞技术上这个事情。

要做机架式服务器，最简单的就是从2台机器开始。我的小伙伴在春节期间废寝忘食的研究多节点并联技
术。终于在刻苦奋战了实打实的3星期之后，彻底搞通了：

1. 双机并联： 两台机器，通过网线连接，一起跑算例。等于是双节点。

2. 多机并联： 多台机器，通过交换机连接。也就是机架式服务器。

这其中的坑就不多说了，坑太多，每一个坑都要卡一阵子。虽然小伙子用了近一个月的时间在搞技术问
题。我们还是决定将这部分技术开源。帮助更多的OpenFOAM用户，来玩一玩！感受一下性能巨兽的魅
力！

操作流程
1. 最开始的，准备两台电脑，用网线连起来。

2. 这两台电脑安装同样版本ubuntu真系统，Ubuntu终端输入 ifconfig ，出现如下界面：

CFD性能怪兽之双机并联！
 OpenFOAM (/category/6/openfoam)
登录后回复 (/login)

(/assets/uploads/files/1645662736777-ad0c9a59-9375-4fdd-a96e-cbadea4d70d5-image.png)


1 / 1

 (/assets/uploads/files/1645662762997-5b2125be-d8b0-45bf-a728-682890bcc1fd-image.png)

3. 两个节点测试是否能够ping通：

(/assets/uploads/files/1645662795624-486a4037-1030-47eb-b0cd-24a670590106-image.png)

(/assets/uploads/files/1645662812607-500c3779-e85b-450b-b731-980a01909489-image.png)

4. 修改两个节点的名称（例如node1，node2）：输入指令： vim /etc/hosts 添加如下两行


1 / 1

 (/assets/uploads/files/1645662885600-e00877a2-1769-499f-8cf4-e616ddaa1e24-image.png)

5. 下面建立SSH无密码连接，首先在两台机子上均输入命令： sudo apt-get install ssh 进行安

装ssh。然后尝试两个计算机的有密码登录：例如在node1键入: ssh node2 ，然后在node2 键入：
ssh node1 ，会有下面类似的显示：

(/assets/uploads/files/1645663085697-9df2fe14-7877-4b25-b61b-7b7ceadf178d-image.png) 上面
这个图是node1连接node2的，node2连接node1类似。确保没问题。


1 / 1

6. 在node1中通过ssh-keygen生成公钥私钥对。输入 ssh-keygen （键入完一路按回车）

(/assets/uploads/files/1645663182272-4c1fddd4-f27d-47cb-8c75-488500392435-image.png)

7. 通过ssh-copy-id复制node1的公钥到node2，命令见下图第一行：

(/assets/uploads/files/1645663220026-8d98bbb1-f79c-458e-84a2-41b9f7aed741-image.png) 现
在可以键入 ssh node2 发现不用输入密码了，表示成功。

8. 将上述操作在node2上进行（将node2的公钥复制到node1），键入 ssh node1 发现不用输入密码

了，表示成功。

9. node1和node2上均需要键入安装NFS: sudo apt-get install nfs-kernel-server nfs-common

10. 下载过后两个节点均建立共同挂载文件夹（mpicluster）：

mkdir mcluster

11. 在node1节点上编辑 /etc/exports 文件（共享文件夹访问权限设置），键入 sudo vi

/etc/exports ，在文件最下下添加如下一行：

/home/dyfluid/mcluster *(rw,sync,no_root_squash,no_subtree_check)


1 / 1

 (/assets/uploads/files/1645663422262-140424b9-9b3d-4b34-8084-795cdc46f3fe-image.png)

12. 重新启动服务，键入 sudo /etc/init.d/nfs-kernel-server restart ，之后查看共享文件夹是否

是mcluster，键入 showmount -e ，会显示下图

(/assets/uploads/files/1645663662475-09dd9aa3-81a1-405e-a38f-ad44d4e61508-image.png)

13. 将node2挂载在mpicluster文件夹下，node2下键入 sudo mount -t nfs

node1:/home/dyfluid/mcluster cluster

14. 测试：在node1下mcluster文件夹中建立文件，在node2的mcluster中也能看见即为挂载成功！

15. 下面建立openmpi并行计算环境。在文件夹中下载of-9和ThirdParty-9，编译，然后在两台节点的
~/.Bashrc 中添加如下两行，将运行环境保证在挂载文件夹里（）：

source ~/mcluster/OpenFOAM-9/etc/bashrc

alias of9="source ~/mcluster/OpenFOAM-9/etc/bashrc"

(/assets/uploads/files/1645663975170-c8468820-029b-4fb6-9af7-087c55c0558a-image.png)

16. 我们在挂载文件夹mcluster中需要运行的文件夹（这里面我用dambreak）之中放置配置文件，文
件可以任意起名，例如：machines和hostfile，进而去设置调用每一个节点的核数，配置格式如
下：

(/assets/uploads/files/1645664004873-566042c9-3987-408f-bb01-64aa1f6cb2b3-image.png)

17. 分块之后输入并行指令：


1 / 1

 mpirun -hostfile machines -n 4 interFoam -parallel

已经可以跑起来了！

(/assets/uploads/files/1645664054441-b8bfc286-27fb-4ebd-8fe7-a409652ba8f9-image.png)

18. 目前DM服务器 (http://dyfluid.com/server/server.html)：

Fluent单机需要跑90秒的，双机并联也可以跑到50秒！

具体的scale性能，跟CFD求解器，mpi并行库，以及硬件网络带宽等都有关系。你们自己连起来之
后，应该有类似的scale特征。

最后
将单塔式服务器，拓展到双机并联、甚至机架式服务器的时候。CFD计算的性能牵涉到太多的因素。现
在我们双机并联的测试基本上已经完事，在频繁的测试多节点机架式服务器。机架式服务器的测试，远
远比单塔式服务器的参数要多。测试起来还真不容易。

本文讨论的双机并联，相对来说硬件需求低，配置相对简单。但软件配置，如果稍有差错，就会连接不
成功。只能祝愿大家尽快出坑了。。

CFD课程报名7月1日截止 https://www.cfd-china.com/topic/2397 (https://www.cfd-china.com/topic/2397)

CFD高性能服务器 http://dyfluid.com/servers.html (http://dyfluid.com/servers.html)

上百核心CFD加特林 http://dyfluid.com/DMCmodel.html (http://dyfluid.com/DMCmodel.html)

CFD中文网 (http://cfd-china.com) | 东岳流体 (http://dyfluid.com) | 京ICP备15017992号-2

(https://beian.miit.gov.cn)


1 / 1
