抽象动态规划 pdf下载

　　第2版的主要目的是扩大第1版（2013）的第3章和第4章的半契约模型的内容，并以自第1版以来作者在期刊和报告中发表的研究成果作为补充。这本书的数学内容非常优雅且严格，依靠抽象的力量专注于基础知识。该书首次提供了该领域的全面综合知识，同时提出了许多新研究，其中一些研究与当前非常活跃的领域（如近似动态编程）有关。书中散布着许多例子，用严谨的理论统一起来，并将其应用于特定类型的问题，例如折扣、随机短路径、半马尔可夫、序贯博弈、乘法和风险敏感模型。
　　《抽象动态规划（第2版）（国际知名大学原版教材——信息技术学科与电气工程学科系列）》还包括练习（提供完整的解答），并通过示例、反例和理论扩展来补充本文。 就像Bertsekas的其他几本著作一样，这本书写得很好，非常适合自学。它可用作研究生动态编程课程的补充。

1 Introduction
1．1 Structure ofDynamic Programming Problems
1．2 Abstract Dynamic Programming Models
1．2．1 Problem Formulation
1．2．2 Monotonicity and Contraction Properties
1．2．3 Some Examples
1．2．4 Approximation Models-Projected and Aggregation Bellman Equations
1．2．5 Multistep Models-Temporal Difference and ProximalAlgorithms
1．3 Organizationofthe Book
1．4 Notes， Sources， and Exercises

2 Contractive Models
2．1 Bellman's Equation and Optimality Conditions
2．2 Limited Lookahead Policies
2．3 Value Iteration
2．4 Policylteration
2．4．1 Approximate Policylteration
2．4．2 Approximate Policy Iteration Where Policies Converge
2．5 Optimistic Policylteration and A-Policylteration
2．5．1 Convergence ofOptimistic Policylteration
2．5．2 Approximate Optimistic Policylteration
2．5．3 Randomized Optimistic Policylteration
2．6 Asynchronous Algorithms
2．6．1 AsynchronousValuelteration
2．6．2 AsynchronousPolicylteration
2．6．3 Optimistic Asynchronous Policy Iteration with a Uniform Fixed Point
2．7 Notes， Sources， and Exercises

3 Semicontractive Models
3．1 Pathologies of Noncontractive DP Models
3．1．1 Deterministic Shortest Path Problems
3．1．2 Stochastic Shortest Path Problems
3．1．3 The Blackmailer's Dilemma
3．1．4 Linear-QuadraticProblems
3．1．5 An Intuitive View of Semicontractive Analysis
3．2 Semicontractive Models and Regular Policies
3．2．1 S-Regular Policies
3．2．2 Restricted Optimization over S-Regular Policies
3．2．3 Policy Iteration Analysis of Bellman's Equation
3．2．4 Optimistic Policy Iteration and A-Policy Iteration
3．2．5 A MathematicalProgrammingApproach
3．3 Irregular Policies/lnfinite Cost Case
3．4 Irregular Policies/Finite Cost Case-A Perturbation Approach
3．5 Applications in Shortest Path and Other Contexts
3．5．1 Stochastic Shortest Path Problems
3．5．2 Affine Monotonic Problems
3．5．3 Robust Shortest Path Planning
3．5．4 Linear-QuadraticOptimalControl
3．5．5 Continuous-State Deterministic Optimal Control
3．6 Algorithms
3．6．1 AsynchronousValuelteration
3．6．2 Asynchronous Policylteration
3．7 Notes， Sources， and Exercises

4 Noncontractive Models
4．1 Noncontractive Models-Problem Formulation
4．2 Finite Horizon Problems
4．3 Infinite Horizon Problems
4．3．1 Fixed Point Properties and Optimality Conditions
4．3．2 Value Iteration
4．3．3 Exact and Optimistic Policy Iteration-A-Policylteration
4．4 Regularity and Nonstationary Policies
4．4．1 Regularity and Monotonelncreasing Models
4．4．2 Nonnegative Cost Stochastic Optimal Control
4．4．3 Discounted Stochastic OptimalControl
4．4．4 Convergent Models
4．5 Stable Policies for Deterministic Optimal Control
……
Appendix A： Notation and Mathematical Conventions
Appendix B： Contraction Mappings．
References
Index．．

　本书利用不动点理论问题的紧密关联性，阐述以总成本为目标的序贯决策问题的核心理论和算法的最新研究进展，重点讨论以动态规划为基础的抽象映射，并定义了相关的数学特征。本书聚焦于抽象映射的两个基本性质——单调性和（加权超范数）压缩性。事实上，动态规划理论分析和算法的本质主要取决于这两种属性是否存在，而问题的其余结构在很大程度上是无关紧要的。除了极特别的情况，本书将始终假设单调性成立，围绕抽象映射的压缩性特点研究了四类主要模型： 压缩模型、半压缩模型、非压缩模型、受限策略和Borel空间模型。

　　本书第1版，在压缩模型部分，主要讨论折扣随机最优控制问题； 在半压缩模型部分，主要讨论随机最短路问题； 在非压缩模型部分，主要讨论经典动态规划问题； 在受限策略和Borel空间模型部分，主要讨论连续概率空间的随机最优控制问题，令其允许策略和动态规划映射具有某种可测特性。

　　本书第2版，主要是扩展了第1版第3、4章的半压缩模型，在第3章中讨论的半压缩模型中只需使用平稳正则策略。在第4章中，将正则性的概念推广到了非平稳策略，旨在探索贝尔曼方程解集的结构以及最优控制问题的最优性与其他结构性质的联系，如讨论了连续空间确定性最优控制中最优性与经典稳定性、可控性的关系等。

　　本书以动态规划为基础，运用抽象映射的单调性和压缩映射理论研究近似动态规划或动态规划的若干典型问题，主要特点是： 不涉及所讨论问题的随机特性，也不涉及特殊类型的动态规划问题的某些有趣特征。本书中展示的理论方法位居随机运筹学和随机最优控制领域的学科前沿，其严谨的分析方法和处理技巧具有重要的理论价值，在数学与人工智能科学的交叉研究领域具有广阔的应用前景。

　　本书作者Dimitri P.Bertsekas曾在希腊国立雅典技术大学机械和电子工程系学习，并在麻省理工学院获得系统科学专业博士学位。Bertsekas教授先后在斯坦福大学、伊利诺伊大学执教，自1979年以来一直在麻省理工学院电机工程与计算机科学系执教，其研究涉及多个领域，包括优化理论、控制理论、大规模计算和数据通信网络等，目前已著有14本教材和专著。Bertsekas教授凭借其与合作者在运筹优化和计算科学交叉领域的合作专著NeuroDynamic Programming的杰出贡献而获得1997年INFORMS 奖，2001年当选美国国家工程院院士。

　　本书可作为人工智能科学、系统与控制科学、经济与管理科学等相关专业的高年级本科生或研究生的教学参考书，也可供从事相关领域研究工作的专业技术人员参考。

宋士吉、王书宁 教授

清华大学自动化系

2021年10月