本书主要内容包括：介绍了强化学习的基本概念，如智能体、环境、状态、奖励、动作等；介绍了强化学习的数学和算法原理，如马尔可夫决策过程和贝尔曼方程，并在此基础上讨论了动态规划、值迭代和策略迭代方法；介绍了强化学习的估计与控制问题，并通过实例展示了Q学习的编程；深入探讨了深度学习的概念、架构机制，通过介绍激活函数、损失函数、优化器、卷积层、池化层、全连接层等概念，为后续章节与强化学习算法相结合作铺垫。