发布时间 : 星期三 文章PC集群高性能运算系统的机构设计和应用软件的开发 - 图文更新完毕开始阅读4df95ae40975f46527d3e170
哈尔滨石油学院本科生毕业设计（论文）
第2章 高性能运算系统的结构设计
2.1 硬件产品的选择
2.1.1计算节点的选则
节点硬件要求主要包括以下几个方面：较高的CPU主频，CPU的主频越高，时
钟周期越短，执行一条指令的速度也就越快;较高的缓存速度和较大的容量，作为CPU和内存之间的髙速缓存，很大程度提高了CPU的性能；较大的内存容量和较高的速度，内存容量决定了运算规模的大小；较高的总线带宽，决定数据通信速度大小。
1、在高端的服务器和低端的个人微机之间的选择
在处理器方面，服务器要将数据、硬件设备等提供网络共享，在运行网络应用程序时要处理大量的数据，因此要求CPU要有很强的处理能力。相当多的服务器采用对称多处理器技术，多颗CPU共同进行数据运算，大大提高服务器的能力；
在I/O性能方面，服务器的I/O性能很强大，远比微机要强。服务器上采用了SCSI卡、RAID卡、髙速网卡、内存中继器等设备，大大提高了服务器的I/O能力；
在可靠性上，服务器需要常时间连续运行，所以可靠性比微机高的多。 由于我们的集群主要用于地震资料处理，需要很高的运算性能和I/O能
力，同时由于我们提交的并行作业有时需要连续运行一周甚至几周的时间，因此对及其的可靠性要求比较高，因此我们选择服务器产品。本次根据需要选择IBM的HS21 系列服务器产品。
2、CPU的选择
CPU是微机的核心部件，CPU的性能从下面几个指标考虑。
主频，CPU的主频=外频x倍频。主频是衡量CPU工作速度的重要指标，
在同样的条件下，主频越高，CPU的运算速度也越快。外频也叫前端总线频率或系统总线时钟频率，具体的说就是CPU与周边设备数据传输的频率。目前最快的外频已经达到1333MHz。
缓存（Cache），也是影响CPU性能的重要指标，分一级缓存（L1 Cache）
和二级缓存（L2 Cache），目前还有三级缓存和四级缓存。缓存结构复杂，成本较高，一般不能做的太大。目前L1 Cache 约为64KB，分别独立的存放指令和数据，L2缓存从2M、4M到6M不等。通常L2缓存速度与CPU
5
哈尔滨石油学院本科生毕业设计（论文）
相同，CPU通过二级缓存和内存交换指令和速度，因此L2缓存的速度和容量很大程度影响CPU的性能。下面图2-1时CPU与内存、缓存之间的关系示意图：
图2-1
6
Microprocessor Processor core L1 Data cache L1 Instr管理网络 n KVM L2 Unified cache Memory System Main m管理节点 12 G万兆网络交换机 -Supervisor 哈尔滨石油学院本科生毕业设计（论文）
通过性能指标的考虑，我们选择了Intel Xeon 5160 3.0 GHz 1333MHz FSB 2x2MB L2 Cache Dual Core。
3.内存
内存的存取速度、容量和可靠性对节点的性能有很大的影响。
CPU处理的指令和数据就存放在内存中，CPU根据需要从内存中读取指令和数据。
内存RAM又称为随机存取存储器，其中的内容可以随机存取，在计算机断电后，数据马上消失。
RAM进一步细分又可以分为SRAM(Static RAM)和DRAM(Dynamic RAM).由于SRAM不存在数据刷新的问题，其速度约为DRAM的3~5倍。但其成本至少是DRAM的4倍。
目前市场上主流的内存有两种：DDR SDRAM和RDRAM。
DDR SDRAM(Double Data Rate SDRAM,简称DDR),称为双数据传输率同步随机存储器。
DDR建立在以前的SDRAM的基础上，区别是允许时钟脉冲的上升沿和下降沿都可以数据的读写，从而提高了数据的读写。目前内存的频率通常为677MHz。
同时，为了考虑内存的稳定可靠性，我们需要考虑内存的校验模式。内存常用的错误校验方式有ECC(Error Checking and Correcting),即错误检测和纠正。在这个模式下可以检测纠正2、3为甚至4为的错误。它是通过在内存条上增加一条具有检错和纠错功能的电路来实现的。因此为了保证微机集群的可靠性，可以考虑具有ECC 的DDR内存。
通过性能价格等综合考虑，我们决定选择 PC2-5300 CL5 ECC DDR2 FB-DIMM 667 MHz chipkill内存，容量位4GB（2x2GB）。 4、主板的选择
对于组建大型微机集群，我们决定采用服务器主板，因为服务器一般做工精细、可靠。 我们首先介绍一下主板的结构原理。主板是计算机最基本也是最重要的部件之一。其中最重要的是主板的芯片组（chip set）。芯片组是CPU与其他周围设备沟通的桥梁，是主板的灵魂和核心。芯片性能的优劣就决定了主板性能的好坏与级别的高低。由芯片组决定的重要性能有：CPU的类型、主板的系统总线频率（即CPU的外频）、倍频系数、扩展槽的种类和数量、AGP接口的速度（2X，4X，8X）等。目前用的最多的是Intel 公司的芯片组。
主板的PCI总线也比较重要。PCI(Peripheral Component Interconnect)总线是Intel在1991年提出来的，也是目前主流的微机扩展总线标准，其地址总线和数据总线均为32位或64位。
BIOS（Basic Input Output System）也是主板的重要的部分。在BIOS 中包含了一组例行程序，其中很重要的启动功能。BIOS支持的启动设备包括有软盘、硬盘、CD-ROM、USB-CDROM、网络启动等。其中USB-CDROM的启动功能对于不带CDROM的节点机来说，是一个可以用来启动机器。因此主板选择的要点是CPU类型、CPU插口、内存类型、芯片组和前端总线。 5、网卡的选择
网卡是网络适配器（Network Interfaces Card）的简称。对于集群来说，要求网卡具有很高的稳定性、可靠性。否则严重的丢包率会造成网络阻塞。网络技术是微机集群的关键，因此选择较高质量的网卡就显得非常重要。如果需要实现微机集群的网络启动，网卡还要
7
哈尔滨石油学院本科生毕业设计（论文）
具有远程唤醒和远程引导的网卡。远程唤醒就是在一台电脑上通过网络启动另一台已经关闭电源的电脑，这对于管理大型微机集群特别有用。因此我们选择了PRO/1000 PT Dual Port Server adapter by Intel PCI-E 双口千兆网卡。 6、硬盘的选择
虽然由于集群的数据都存储在网络存储上，但在集群并行运算过程中，每个节点都要存储一些中间数据，因此每个节点硬盘的选择也很重要。特备是硬盘的速度，对于节点的运算速度产生很大的影响，因此我们要选择性能好、速度快的硬盘。
从整体的角度上，硬盘接口分为IDE、SATA、SCSI和光纤通道四种，IDE接口硬盘多用于家用产品中，也部分应用于服务器，SCSI接口的硬盘则主要应用于服务器市场，而光纤通道只在高端服务器上，价格昂贵。SATA是种新生的硬盘接口类型，传输速度快，有着广泛的前景。在IDE和SCSI的大类别下，又可以分出多种具体的接口类型，又各自拥有不同的技术规范，具备不同的传输速度，比如ATA100和SATA；Ultra160 SCSI和Ultra320 SCSI都代表着一种具体的硬盘接口，各自的速度差异也较大。
IDE的英文全称为“Integrated Drive Electronics”，即“电子集成驱动器”，它的本意是指把“硬盘控制器”与“盘体”集成在一起的硬盘驱动器。
SCSI的英文全称为“Small Computer System Interface”（小型计算机系统接口），是同IDE（ATA）完全不同的接口，IDE接口是普通PC的标准接口，而SCSI并不是专门为硬盘设计的接口，是一种广泛应用于小型机上的高速数据传输技术。SCSI接口具有应用范围广、多任务、带宽大、CPU占用率低，以及热插拔等优点，但较高的价格使得它很难如IDE硬盘般普及，因此SCSI硬盘主要应用于中、高端服务器和高档工作站中。
光纤通道的英文拼写是Fibre Channel，和SCIS接口一样光纤通道最初也不是为硬盘设计开发的接口技术，是专门为网络系统设计的，但随着存储系统对速度的需求，才逐渐应用到硬盘系统中。光纤通道硬盘是为提高多硬盘存储系统的速度和灵活性才开发的，它的出现大大提高了多硬盘系统的通信速度。光纤通道的主要特性有：热插拔性、高速带宽、远程连接、连接设备数量大等。
光纤通道是为在像服务器这样的多硬盘系统环境而设计，能满足高端工作站、服务器、海量存储子网络、外设间通过集线器、交换机和点对点连接进行双向、串行数据通讯等系统对高数据传输率的要求。
SATA（Serial ATA）口的硬盘又叫串口硬盘，是现在硬盘的发展的趋势。2001年，由Intel、APT、Dell、IBM、希捷、迈拓这几大厂商组成的Serial ATA委员会正式确立了Serial ATA 1.0规范，2002年，虽然串行ATA的相关设备还未正式上市，但Serial ATA委员会已抢先确立了Serial ATA 2.0规范。Serial ATA采用串行连接方式，串行ATA总线使用嵌入式时钟信号，具备了更强的纠错能力，与以往相比其最大的区别在于能对传输指令（不仅仅是数据）进行检查，如果发现错误会自动矫正，这在很大程度上提高了数据传输的可靠性。串行接口还具有结构简单、支持热插拔的优点。
其次，Serial ATA的起点更高、发展潜力更大，Serial ATA 1.0定义的数据传输率可达150MB/s，这比目前最新的并行ATA（即ATA/133）所能达到133MB/s的最高数据传输率还高，而在Serial ATA 2.0的数据传输率将达到300MB/s，最终SATA将实现600MB/s的最高数据传输率。
8