动态规划中的解析概念

想了解贝尔曼方程，要先了解许多相关概念。首先，任何最佳化问题都有目标：旅行时间最小化、成本最小化、利润最大化、效用最大化等。用来描述目标的数学函数就称为目标函数。

动态规划将多期规划问题转为不同时间点上较简单的步骤，因此，它需要追踪决策背景情况随时间的变化。作正确决策所需要当前情况的资讯被称作是“状态（State）”（贝尔曼，1957，Ch. III.2）。例如，为了决定每个时间要花多少钱，人们必须要知道他们初始财富的量，此例中财富就是一种“状态变数（State Variables）”，或简称“状态（State）”，当然也可能还有其他的种类。

从任意时点上所挑选以操作的变数通常称为“控制变数（Control Variables）”，或简称“控制（Control）”（控制理论中描述输入的变数）。例如给定现在所具有的财富（状态），人们便可以用以决定当下的消费（控制变数）。挑选当下的控制变数可被视为挑选下个状态，广义而言，下个状态受到当下控制变数及其他因子的影响。举个简单的例子：今天的财富（状态）及消费（控制变数）会决定明天的财富（新的状态），虽然通常也还有其他的因素可以影响明天的财富（例如获得意外之财）。

动态规划方法中利用“找寻某种规则告诉我们各可能状态下的（最佳）控制为何”来达成目标函数最佳化。例如：假设消费（c）只与财富（W）相关，我们想要找到一套规则c(W){\displaystyle c(W)}来以财富描述消费。这些“将控制（Controls）表示成状态（States）的函数”的规则被称为策略函数（Policy Function）。

从定义可知，最佳化目标函数的策略乃是所有可能的策略函数中，其对应到目标函数值最佳者。沿用上述的例子，若某人利用给定的财富来消费以最大化快乐的感觉（这里假定“快乐的感觉”可以被数学函数描述，像是效用函数等），那么各种初始的财富便会对应到一个可能的最大快乐，表示成H(W){\displaystyle H(W)}。这个最大的可能目标函数值（快乐的感觉），即是价值函数（Value Function）。

贝尔曼方程的推导

动态决策问题

贝尔曼最佳化原理

贝尔曼方程

贝尔曼方程在随机问题的应用

解法

经济学上的应用

例子

免责声明：以上内容版权归原作者所有，如有侵犯您的原创版权请告知，我们将尽快删除相关内容。感谢每一位辛勤著写的作者，感谢每一位的分享。