一：HPC简介

集群（Cluster）是一个网络计算和服务的集合体，是一组计算机。集群的各计算机之间通过网络而相互联系、协同工作，为应用和服务提供一套并行资源。集群向用户提供单一系统映像，集群内部结构对用户是透明的。集群一般可分为三类：高性能计算集群（High Performance Computing Cluster）、高可用性集群（High Availability Cluster）和负载均衡集群（Load Balancing Cluster）。HPC集群有着光明的前景，2006年6月TOP500超级计算机排名中，集群系统占了364台。集群可应用于大规模科学与工程计算，如流体力学计算、生物信息学等等。

HPC集群的优势
HPC集群的优势主要体现在高性价比（Performance/Cost Ratio）和良好的可扩展（Scalability）性两个方面：

1高性价比：
传统的并行计算机的价格高得惊人，通常以几百万元、几千万美元计，这样的价格不是一般的研究机构、学校和中小企业能承担得起的。而相同性能的HPC集群的价格则相对便宜很多。如果把更新换代的PC机利用起来构建HPC集群，就可以不花费任何额外投资就可以得到一台高性能的超级计算机。

2良好的可扩展性：
可扩展性是指在确定的应用背景下，计算机系统的性能随处理机的增加而按比例提高的能力。它是评测并行计算机性能的一个重要指标。
传统并行计算机系统的可扩展性瓶颈在于总线和内存的带宽。当处理器增加到一定个数时，对总线和内存的利用就会达到极限，处理器再增加时，系统性能就很难再提高。HPC集群的性能瓶颈主要在于CPU速度，网络带宽和I/O速度。当处理器个数增加时，网络和I/O就会成为性能瓶颈。解决网络瓶颈的办法是增加网络带宽，比如采用高速网卡，还可以用Myrinet网络。在I/O方面，可采用高速存贮设备。解决了网络和I/O瓶颈，集群的性能就会随着处理器个数增加而接近线性提高。
HPC高性能计算服务器集群系统是高性能计算和高可用技术有机结合的性能强大、高可用的集群系统。在实际应用中，许多科学研究和商业企业的计算问题都可以通过HPC系统来解决。
HPC 可以在下列领域能够帮助开发和研究人员进行建模和模拟，同时，以最快的速度计算出模拟的结果，为下一步开发和最终结构的确定提供及时可靠的依据：天气预报气象制药企业的药理分析科研人员的大型科学计算问题石油勘探中对石油储量的分析航空航天企业的设计和模拟化工企业中对分子结构的分析计算制造业中的CAD/CAM系统和模拟试验分析银行和金融业对经济情况的分析生物/生命科学中生物分子研究和基因工程计算

二：硬件配置

略

三：系统安装

系统使用的是最新的Red Hat出版的as4 up4 64位，会用这个系统最大的原因是因为Red Hat是目前支援的Linux 软件最多的一个，安装它之后，就比较不会欠东欠西的，此外，很多的软件都是以Red Hat做为测试平台，因此我就选择他来做为我的系统平台拉！Linux的安装大家应该都很熟悉了，

所以仅提几个特别需要注意的地方：
1．硬盘分区：
采用系统默认分区
2．系统安装时所选择的套件：
最好完全安装。

四：网络设置

1．设置网络IP 机器名
8台机器分别机器名和IP
服务器主节点：server IP:192.168.1.200
7台节点机分别为：node1…..node7 IP为192.168.1.201…….192.168.1.207
各主机的主机名称修改：/etc/sysconfig/network

五：NFS架设

将服务节点的根目录下建一个/data目录，并将它分享出去。由于我这里预要设定NIS，我的Cluster所有的帐号都在NIS的管制之中，因此，我将server的/home
也要分享出来，并且每部node1节点主机都挂载server的/home才成。

程序设定：

1.务器节点(server)设置：
以root用户登陆并执行操作，启动portmap并且设定开机启动：
[root @server root]#/etc/rc.d/init.d/portmap start
[root @server root]#chkconfig --level 35 portmap on
设定NFS分享出去，根目录下新建一个data，把/data /home并分享出去
[root @server root]#mkdir /data
[root @server root]#vi /etc/exports；查看分享目录
/home 192.168.1.0/24(rw,async,no_root_squash)
/data 192.168.1.0/24(rw,async,no_root_squash)
;把/data和 /home分享出来，并且在192.168.1.0这个网段里并具有root权限
[root @server root]mount –a；生效
[root @server root]exportfs –rv
[root @server root]/etc/rc.d/init.d/nfs start
[root @server root]chkconfig –level 35 nfs on
生效查看分享,并设置自动启动

2.点机node1….node7的设置
[root @server root]#/etc/rc.d/init.d/portmap start [root @server root]# chkconfig --level 35 portmap on
[root @server root]mkdir /data;新建data目录
[root @server root]mount server:/data /data
[root @server root]mount server:/home /home
新建/data目录，并将服务节点分享出来的/data和home分别挂载在本节点的/data 和/home目录下，测试如果成功，将指令写入/etc/fstab当中
[root @server root]vi /etc/fstab
server:/data /data nfs
server:/home /home nfs
在每台节点机上都执行以上操作，以便在每台节点机上启动都能自动mount服务节点资源

六：NIS设置

NIS即网络信息系统。NIS的设定也很简单，不过主要还是要分为NIS服务端和NIS客户端两部分来设定的！请注意，在设定之前，就已经将NFS搞定！这些流程都是有一定程度的相关性的。

1．在主节点服务器(server)上的设定
a)以root用户登陆服务器节点（server）
检查服务器节点是否有安装下列软件
ypserv
ypbind
yp-tools
make
分别用rpm –qa|grep ***查看上面每个软件，少什么包就装什么包
b)编辑/etc/sysconfig/network并加入下列一行：
[root @server root]vi /etc/sysconfig/network
NISDOMAIN=cluster；cluster为NIS服务器名
[root @server root]domainname cluster ；使服务器立该生效
c）编辑/var/yp/Makefile,找到 all:passwd group...这一行，并修改如下：
all:passwd group
d）启动ypserv服务
[root @server root]service ypserv start
e）初始化数据库
[root @server root]/usr/lib/yp/ypinit –m
按[ctrl+d]保存退出。注：若以上配置有问题，会显示出错！如果无错误，再重启ypserv
[root @server root]service ypserv restart
[root @server root]service yppasswdd start
启动密码进程
f)检查进程是否真的运行：
[root @server root]ps auxf|grep yp
[root @server root]tail /var/log/messages

2.在节点机上的设置(node1..node7)
在每个节点上分别以root登陆，并分别在各节点上执行下列操作：

a)检查各个节点是否安装下列包：

portmap
ypbind
yp-tools
authconfig

少什么包就装什么包：
查看服务器主机server是否打开portmap服务：
[root @server root]rpcinfo –p 192.168.1.200

b)在节点机上运行 authconfig工具，配置客户端访问服务器：
[root @server root]authconfig
在出现的图形框内选中＂Use Nis＂打勾，再点“NEXT”，在随后出现的对话框内里Domain:后面输入 cluster 在Server 里输入主服务器（server）的IP地址。192.168.1.200

c)ypbind会自动启动观察/var/log/messages有无报错，

在节点机上运行ypcat passwd看服务器提供了那些用户
[root @server root]ypcat passwd
[root @server root]cd /var/yp
[root @server root]make
更新帐户

d)NIS服务器测试
1试着在服务器上新建帐户test，

看能否用test登陆服务器；再用test看能否登陆各个节点？如果不行！就进到服务器（server）/var/yp目录里，运行make再在各节点上试试看能否登陆各节点？
[root @server root]cd /var/yp
[root @server root]make

2 在节点机上新建帐户test1,看能否在本节点机登陆
注：将试过如果服务器节点没有把/home分享出来的话，各节点能登陆但有问题出现！
还有一个现象就是假如各节点在mount 服务器/home前就新建用户，然后再mount务服器/home 会出现一个现象是，不能用服务器新建用户登陆图形介面。
解决办法是：

[root @server root]umount /home
[root @server root]userdel ***；**代表原来节点建的用户
[root @server root]rm –rf *；删除原来home下的所有文件
[root @server root]mount server:/home /home；重新mount一切都解决

HPC入门教程(OpenPBS )相关推荐

Kafka入门教程与详解
1 Kafka入门教程 1.1 消息队列(Message Queue) Message Queue消息传送系统提供传送服务.消息传送依赖于大量支持组件,这些组件负责处理连接服务.消息的路由和传送.持久 ...
【CV】Pytorch一小时入门教程-代码详解
目录一.关键部分代码分解 1.定义网络 2.损失函数(代价函数) 3.更新权值二.训练完整的分类器 1.数据处理 2. 训练模型(代码详解) CPU训练 GPU训练 CPU版本与GPU版本代码区别 ...
python tornado教程_Tornado 简单入门教程（零）——准备工作
前言: 这两天在学着用Python + Tornado +MongoDB来做Web开发(哈哈哈这个词好高端).学的过程中查阅了无数资料,也收获了一些经验,所以希望总结出一份简易入门教程供初学者参考.完 ...
python向量计算库教程_NumPy库入门教程：基础知识总结
原标题:NumPy库入门教程:基础知识总结视学算法 | 作者知乎专栏 | 来源 numpy可以说是 Python运用于人工智能和科学计算的一个重要基础,近段时间恰好学习了numpy,pandas, ...
mysql query browswer_MySQL数据库新特性之存储过程入门教程
MySQL数据库新特性之存储过程入门教程在MySQL 5中,终于引入了存储过程这一新特性,这将大大增强MYSQL的数据库处理能力.在本文中将指导读者快速掌握MySQL 5的存储过程的基本知识,带领用 ...
python tensorflow教程_TensorFlow入门教程TensorFlow 基本使用T
该楼层疑似违规已被系统折叠隐藏此楼查看此楼 TensorFlow入门教程 TensorFlow 基本使用 TensorFlow官方中文教程 TensorFlow 的特点: 使用图 (graph) 来 ...
air调用java,AIR2.0入门教程:与Java应用交互
在之前的一篇文章中,我介绍了如何使用AIR2.0新增的NativeProcess类与本地进程进行交互和通讯,在那个例子里面我们使用了C++ 的代码,实际上只要是基于命令行的标准输入输出,AIR2.0的 ...
【Arduino】开发入门教程【一】什么是Arduino
Arduino Arduino 是一款便捷灵活.方便上手的开源电子原型平台,包含硬件(各种型号的arduino板)和软件(arduino IDE).它适用于艺术家.设计师.爱好者和对于"互动 ...
python 三分钟入门_Cython 三分钟入门教程
作者:perrygeo 译者:赖勇浩(http://laiyonghao.com) 原文:http://www.perrygeo.net/wordpress/?p=116 我最喜欢的是Python,它 ...

HPC入门教程(OpenPBS )