本书共分为5篇，第1篇是分布式基础，首先介绍了分布式机器学习的概念、基础设施，以及机器学习并行化技术、框架和软件系统，然后对集合通信和参数服务器PS-Lite进行了介绍；第2篇是数据并行，以PyTorch和Horovod为主对数据并行进行分析；第3篇是流水线并行，还通过引入额外的流水线来提高效率，以GPipe/PyTorch/PipeDream为例进行分析；第4篇是模型并行，首先对NVIDIAMegatron进行分析，讲解如何进行层内模型并行，然后讲解PyTorch如何支持模型并行，最后介绍分布式优化器；第5篇是TensorFlow分布式。