高性能计算技术及应用

本书从高性能计算机系统、高性能并行程序设计方法、高性能计算典型应用三个维度，对高性能计算机的方法和技术进行了全面的介绍，对改变大量学生只知道PC机和手机软硬件，只会串行编程、不会使用高性能计算机解决实际问题的现状，具有重要的意义，有助于拓宽学生的视野，提高学生利用高性能计算机解决复杂工程问题的能力，增强学生应对实际工作的自信心。同时，通过本书的教学，也有助于丰富课程体系的内容，对计算机专业和相关领域应用型人才培养起到积极作用。

1 高性能计算概述
1.1 为什么需要高性能计算
1.1.1 永无止境的计算需求
1.1.2 串行计算和并行计算
1.1.3 什么是高性能计算
1.1.4 高性能计算特点
1.2 高性能计算技术
1.2.1 高性能计算机
1.2.2 并行算法
1.2.3 并行程序开发方法
1.3 高性能计算应用
1.3.1 高性能计算应用需求
1.3.2 高性能计算应用现状
1.4 高性能计算发展和挑战
1.4.1 国外高性能计算发展状况
1.4.2 中国高性能计算发展状况
1.4.3 高性能计算的挑战和趋势
本章小结
2 高性能计算硬件基础
2.1 计算系统
2.1.1 基本概念
2.1.2 中央处理器
2.1.3 协处理器
2.1.4 异构计算系统
2.2 存储系统
2.2.1 访存局部性
2.2.2 层次结构
2.2.3 并行I/O
2.2.4 存储结构
2.2.5 典型存储系统
2.3 互联系统
2.3.1 静态互联网络
2.3.2 动态互联网络
2.3.3 高速互联网络
2.4 计算机体系结构
2.4.1 计算机体系结构分类
2.4.2 冯·诺依曼结构计算机
2.4.3 高性能计算机结构模型
2.4.4 高性能计算机访存模型
2.5 典型高性能计算机
2.5.1 “天河二号”
2.5.2 “神威·太湖之光”
2.5.3 “顶点”
2.5.4 “富岳”
2.6 性能评测
2.6.1 性能评测指标
2.6.2 加速比及其定律
2.6.3 效率和可扩展性
2.6.4 性能评测基准
本章小结
3 高性能计算软件基础
3.1 Linux操作系统
3.1.1 Linux简介
3.1.2 Linux系统结构
3.1.3 Linux常用操作
3.1.4 Shell编程基础
3.2 作业管理系统
3.2.1 基本概念
3.2.2 关键技术
3.2.3 常用操作
3.2.4 典型系统
3.3 并行文件系统
3.3.1 PVFS文件系统
3.3.2 Lustre文件系统
3.3.3 GPFS并行文件系统
3.3.4 BeeGFS文件系统
3.4 并行程序开发环境
3.4.1 并行编译器
3.4.2 常用函数库
3.4.3 并行编程环境和工具
本章小结
4 高性能计算系统建设实践
4.1 硬件系统
4.1.1 计算系统
4.1.2 存储系统
4.1.3 互联系统
4.1.4 远程系统
4.2 软件系统
.4.2.1 节点操作系统
4.2.2 集群管理系统
4.2.3 作业管理系统
4.2.4 并行编程环境及工具
4.3 性能优化
4.3.1 性能均衡
4.3.2 功耗监管
4.4 高性能计算系统实践
4.4.1 百万亿次级别高效能计算系统构建
4.4.2 以同构方式构建百万亿次集群
4.4.3 以异构方式构建百万亿次集群
本章小结
5 并行程序设计基础
5.1 进程和线程
5.2 并行计算模型
5.2.1 PRAM模型
5.2.2 BSP模型
5.2.3 LogP模型
5.2.4 其他模型
5.3 并行算法基础
S.3.1 并行算法简介
5.3.2 并行算法设计与分析
5.3.3 并行算法实现
5.3.4 稠密矩阵并行化求解
5.4 并行编程模型
5.4.1 共享存储模型
5.4.2 消息传递模型
5.4.3 数据并行模型
5.4.4 隐式并行模型
5.4.5 混合并行模型
本章小结
6 OpenMP：共享内存并行程序开发
6.1 OpenMP简介
6.1.1 OpenMP版“Hello”程序
6.1.2 执行模型
6.1.3 存储器模型
6.1.4 编译器支持
6.2 编译指导语句
6.3 数据共享属性子句
6.4 任务调度
6.4.1 静态调度(Static)
6.4.2 动态调度(Dynamic)
6.4.3 启发式调度(Guided)
6.4.4 运行时调度(Runtime)
6.5 线程同步
6.5.1 互斥锁同步
6.5.2 事件同步
6.6 运行时库和环境变量
6.6.1 运行时库
6.6.2 环境变量
6.7 矩阵乘法示例
6.7.1 OpenMP矩阵乘法
6.7.2 OpenMP程序实现
6.7.3 程序运算结果
本章小结
7 MPI：分布式内存并行程序开发
7.1 MPI简介
7.2 MPI编程模型
7.2.1 预定义数据类型
7.2.2 MPI消息
7.2.3 MPI接口调用说明
7.2.4 第一个MPI程序
7.3 点对点通信
7.3.1 消息通信模式
7.3.2 阻塞发送和接收
7.3.3 非阻塞发送和接收
7.4 集合通信
7.4.1 消息广播
7.4.2 消息散发
7.4.3 消息收集
7.4.4 消息全收集
7.4.5 消息全互换
7.4.6 消息规约
7.4.7 其他集合通信
7.5 派生数据类型
7.5.1 数据类型图
7.5.2 连续复制数据类型
7.5.3 向量数据类型
7.5.4 索引数据类型
7.5.5 结构数据类型
7.5.6 派生数据类型提交和释放
7.6 MPI程序示例
7.6.1 基于MPI的矩阵向量相乘
7.6.2 MPI程序实现
本章小结
8 CUDA：GPU并行程序开发
8.1 CUDA简介
8.2 CU