并行计算：第一章 并行计算及并行机结构模型

中国科学技术大学并行计算课程

Parallel Computing

主讲人徐云

Spring, 2014

并行计算

中国科学技术大学并行计算课程

并行计算——结构 算法 编程

第一篇并行计算的基础

第一章第二章并行计算机系统互连与基本通信操作第三章典型并行计算机系统介绍第四章并行计算性能评测

中国科学技术大学并行计算课程

第一章并行计算及并行机结构模型

1.1 1.2* 单处理机与指令级并行1.3* 多核处理器与线程级并行1.4 并行计算机体系结构

1.4.1 并行计算机结构模型1.4.2 并行计算机访存模型

1.4.3 Intel和AMD多核CPU架构

中国科学技术大学并行计算课程

并行计算、计算科学、计算需求

并行计算：并行机上所作的计算，又称高性能计算或超级计算。

计算科学：计算物理、计算化学、计算生物等。 计算是科学发现的三大支柱之一。

科学与工程问题的需求：气象预报、油藏模拟、核武器数值模拟、航天器设计、基因测序等。 需求类型：计算密集、数据密集、网络密集。 美国ASCI计划(1996)：核武器数值模拟。

中国科学技术大学并行计算课程

第一章并行计算及并行机结构模型

1.1 计算与计算机科学

1.2* 单处理机与指令级并行1.3* 多核处理器与线程级并行1.4

1.4.1 并行计算机结构模型1.4.2 并行计算机访存模型

1.4.3 Intel和AMD多核CPU架构

中国科学技术大学并行计算课程

并行计算机结构模型(1)MB VP VP MB P/C P/C LM NIC I/O定制网络

…SM

VP

P/C

P/C

…SM

…

P/C LM NIC

交叉开关 SM SM SM

总线或交叉开关

(a)PVP

(b)SMP

(c)MPPMB MB MB P/C M Bridge LD IOB NIC定制网络 MB P/C M Bridge LD IOB NIC

P/C LM DIR NIC

P/C LM DIR NIC

…

…

(d)DSM国家高性能计算中心(合肥)

商品网络(以太网，ATM,etc.)

(e)COW

中国科学技术大学并行计算课程

并行计算机结构模型(2)SM SM SM DSM DSM DSM SMP SMP

…

SMP

MPP

MPP

…

MPP

SAN/LAN (f) SMP-Cluster

SAN/LAN (g) DSM-Cluster

SM

LM

DSM

SMP

MPP

…

MPP

WAN (h) Grid (Cluster of Clusters)

国家高性能计算中心(合肥)

中国科学技术大学并行计算课程

并行计算机结构模型（3）

SISD computer -Von Neumann's model

SIMD computer

中国科学技术大学并行计算课程

并行计算机结构模型（4）

Symmetric multiprocessor –

MIMD-SM

Massively parallel processor –

MIMD-DM

中国科学技术大学并行计算课程

并行计算机结构模型（5）

Cluster of workstations –

MIMD-DM

中国科学技术大学并行计算课程

并行计算机体系合一结构 SMP、MPP、DSM和COW并行结构渐趋一致。 大量的节点通过高速网络互连起来 节点遵循Shell结构：用专门定制的Shell电路将商用微处理器和节点的其它部分(包括板级Cache、局存、NIC和DISK)连

接起来。优点是CPU升级只需要更换Shell。C M D节点1 Shell P NIC互连网络 C C Shell P NIC互连网络共享磁盘 C Shell P

…

节点N

M节点1

…

节点N NIC

Shell P

NIC

互连网络共享存储器共享磁盘

(a)无共享

(c)共享存储

(b)共享磁盘国家高性能计算中心(合肥) 11

中国科学技术大学并行计算课程

五种结构特性一览表属性结构类型处理器类型互连网络 PVP MIMD专用定制定制交叉开关 SMP MIMD商用总线、交叉开关共享变量单地址空间集中共享 UMAIBM R50, SGI Power Challenge,曙光1号

MPP MIMD商用定制网络

DSM MIMD商用定制网络

COW MIMD商用商用网络(以太ATM)消息传递多地址空间分布非共享 NORMA Berkeley NOW,Alpha Farm

通信机制地址空间系统存储器访存模型代表机器

共享变量单地址空间集中共享 UMACray C90, Cray T-90,银河1号

消息传递多地址空间分布非共享 NORMA Intel Paragon, IBMSP2,曙光1000/2000

共享变量单地址空间分布共享 NUMA Stanford DASH,Cray T 3D

国家高性能计算中心(合肥)

中国科学技术大学并行计算课程

并行计算机访存模型(1) UMA(Uniform Memory Access)模型是均匀存储访问模型的简称。其特点是： 物理存储器被所有处理器均匀共享；所有处理器访问任何存储字取相同的时间；每台处理器可带私有高速缓存；外围设备也可以一定形式共享。处理器 P1 P2

…

Pn

系统互连 (总线,交叉开关,多级网络 )

I/O

SM1共享存储器

…

SMm

国家高性能计算中心(合肥)

中国科学技术大学并行计算课程

NUMA(Nonuniform Memory Access)模型是非均匀存储访问模型的简称。特点是： 被共享的存储器在物理上是分布在所有的处理器中的，其所有本地存储器的集合就组成了全局地址空间； 处理器访问存储器的时间是不一样的；访问本地存储器LM或群内共享存储器CSM较快，而访问外地的存储器或全局共享存储器GSM较慢(此即非均匀存储访问名称的由来); 每台处理器照例可带私有高速缓存，外设也可以某种形式共享。GSM GSM

并行计算机访存模型(2)

…

GSM

全局互连网络

P LM 1 P1互 LM 2 P2连网络 P …… 此处隐藏：1227字，全部文档内容请下载后查看。喜欢就下载吧 ……