强化学习入门：状态、动作与奖励
强化学习研究如何通过与环境交互学习决策。智能体采取动作，环境返回奖励和新的状态；目标通常是提高累计回报，而不是只追求下一步的奖励。
几个核心概念
- 状态 state：用于描述当前环境的信息。
- 动作 action：智能体可以作出的选择。
- 奖励 reward：环境对一次交互给出的数值反馈。
- 策略 policy：根据状态选择动作的规则，可以是确定的，也可以是概率分布。
- 回合 episode：从初始状态开始，到终止状态结束的一段交互。
例如走迷宫时，可以用当前位置表示状态，用上下左右表示动作，到达出口获得奖励。真实任务中，智能体得到的观测不一定包含完整状态。
即时奖励与长期回报
G_t = r_(t+1) + γ × r_(t+2) + γ² × r_(t+3) + …γ 是折扣因子。较小的 γ 更重视近期奖励；较大的 γ 让远期奖励对目标的影响更大。对于无限持续任务，常使用小于 1 的折扣因子，使有界奖励的折扣回报保持有限。
探索与利用
利用是选择当前看来最好的动作，探索是尝试其他动作以获取信息。ε-greedy 策略以 ε 的概率随机探索，其余时候选择当前估值最高的动作。
探索太少可能错过更好的策略；探索太多则会影响当前表现。探索方式和强度需要结合任务设计。
Q-learning 的一次更新
Q(s, a) 估计在状态 s 采取动作 a 后、随后采用最优策略时的期望折扣回报。表格型 Q-learning 使用一次交互得到的奖励与下一状态来更新估计：
目标 = r + γ × max_a′ Q(s′, a′)
Q(s, a) ← Q(s, a) + α × (目标 − Q(s, a))α 是学习率。如果 s′ 是真正的终止状态，目标只取 r，不再加入后续价值。单纯因时间限制截断的轨迹，则要根据任务定义判断是否仍需估计后续价值。
奖励设计需要检查什么
智能体优化的是给定奖励，奖励不一定完整表达设计者的意图。例如只奖励存活时长，可能让智能体学会拖延而不是完成目标。评估时应检查实际行为，并使用多个随机种子观察结果是否稳定。