Lecture 4 零和博弈与 Minimax 定理

Min-maximizing 策略

假设玩家 1 选择一个混合策略 $x_1^\ast \in X_1$，试图最大化“最坏情况下会发生的事情”：玩家 2 会选择 $x_2$，使得 $(x_1^\ast)^\top Ax_2$ 最小，其中 $A$ 是收益矩阵 $[u(i,j)]_{m_1\times m_2}$。

定义：如果

\[\min_{x_2\in X_2}(x_1^\ast)^\top Ax_2 = \max_{x_1\in X_1}\min_{x_2\in X_2}(x_1)^\top Ax_2\]

那么 $x_1^\ast \in X_1$ 是玩家 1 的一个 minmaximizer。

类似地，如果

\[\max_{x_1\in X_1}(x_1)^\top Ax_2^\ast = \min_{x_2\in X_2}\max_{x_1 \in X_1}(x_1)^\top A{x_2}\]

那么 $x_2^\ast \in X_2$ 是玩家 2 的一个 maxminimizer。

注意，显然有

\[\min_{x_2 \in X_2}(x_1^\ast)^\top Ax_2 \leq (x_1^\ast)^\top Ax_2^\ast \leq \max_{x_1\in X_1}(x_1)^\top Ax_2^\ast\]

Minimax 定理

定理（von Neumann） 设一个 2 人零和博弈 $\Gamma$ 由一个实数 $(m_1 \times m_2)$ 矩阵 $A$ 给出。存在唯一的值 $v^\ast \in \mathbb{R}$，使得存在 $x^\ast = (x_1^\ast, x_2^\ast)\in X$ 满足：

$((x_1^\ast)^\top A)_j \geq v^\ast$，对 $j = 1, \cdots, m_2$。
$(Ax_2^\ast)_j \leq v^\ast$，对 $j = 1, \cdots, m_1$。
并且（因此）$v^\ast = (x_1^\ast)^\top Ax_2^\ast$，且
\[\min_{x_2 \in X_2}(x_1^\ast)^\top Ax_2 = (x_1^\ast)^\top Ax_2^\ast = \max_{x_1\in X_1}(x_1)^\top Ax_2^\ast\]
事实上，上述条件恰好在 $x^\ast = (x_1^\ast, x_2^\ast)$ 是任意纳什均衡时全部成立。等价地，它们恰好在 $x_1^\ast$ 是任意 minmaximizer 且 $x_2^\ast$ 是任意 maxminimizer 时成立。

注：

条件 (1.) 表示 $x_1^\ast$ 保证玩家 1 至少获得期望收益 $v^\ast$；条件 (2.) 表示 $x_2^\ast$ 保证玩家 2 至多承受期望损失 $v^\ast$。
我们把唯一的 $v^\ast$ 称为博弈 $\Gamma$ 的 minimax 值，并把任何这样的 $x^\ast = (x_1^\ast, x_2^\ast)$ 称为一个 minimax 策略组合。
显然，玩家 1 能为自己保证的最大收益应该 $\leq$ 玩家 2 能为自己保证的最小损失，也就是说：
\[\max_{x_1\in X_1}\min_{x_2\in X_2}(x_1)^\top Ax_2 \leq \min_{x_2\in X_2}\max_{x_1\in X_1}(x_1)^\top Ax_2\]
（回看整个定义。）

证明：令 $x^\ast = (x_1^\ast, x_2^\ast) \in X$ 为 2 人零和博弈 $\Gamma$ 的一个 NE，该博弈由矩阵 $A$ 表示。

令 $v^\ast := (x_1^\ast)^\top Ax_2^\ast = U_1(x^\ast) = - U_2(x^\ast)$。

由于 $x_1^\ast$ 和 $x_2^\ast$ 互为“最优反应”，我们知道对于 $i \in \lbrace 1, 2\rbrace$，

\[U_i(x_{-i}^\ast; \pi_{i,j}) \leq U_i(x^\ast)\]

于是有：

$U_1(x_{-1}^\ast; \pi_{1, j}) = (Ax_2^\ast)_j$，因此
\[(Ax_2^\ast)_j \leq U_1(x^\ast) = v^\ast\]
条件 (2.) 得证。
$U_2(x_{-2}^\ast; \pi_{2, j}) = -((x_1^\ast)^\top A)_j$，因此
\[- ((x_1^\ast)^\top A)_j \leq U_2(x^\ast) = - v^\ast \\ s.t.\ ((x_1^\ast)^\top A)_j \geq v^\ast\]
条件 (1.) 得证。
由于第 1 点，并且 $(x_1)^\top Ax_2^\ast$ 是各个 $(Ax_2^\ast)_j$ 的加权平均值，因此
\[\max_{x_1\in X_1}(x_1)^\top Ax_2^\ast \leq v^\ast\]
类似地，由于第 2 点，并且 $(x_1^\ast)^\top Ax_2$ 是各个 $((x_1^\ast)^\top A)_j$ 的加权平均值，因此
\[\min_{x_2\in X_2}(x_1^\ast)^\top Ax_2 \geq v^\ast\]
所以最终得到
\[\max_{x_1\in X_1}(x_1)^\top Ax_2^\ast \leq v^\ast = (x_1^\ast)^\top Ax_2^\ast \leq \min_{x_2\in X_2}(x_1^\ast)^\top Ax_2\]
这与我们之前注意到的不等式方向完全相反：
\[\min_{x_2 \in X_2}(x_1^\ast)^\top Ax_2 \leq (x_1^\ast)^\top Ax_2^\ast \leq \max_{x_1\in X_1}(x_1)^\top Ax_2^\ast\]
因此，
\[\min_{x_2 \in X_2}(x_1^\ast)^\top Ax_2 = (x_1^\ast)^\top Ax_2^\ast = \max_{x_1\in X_1}(x_1)^\top Ax_2^\ast\]
我们没有对所选的具体 NE 作任何额外假设。因此，对于每一个 NE $x^\ast$，令 $v^\prime = (x^\ast)^\top Ax_2^\ast$，有
\[\max_{x_1\in X_1}\min_{x_2 \in X_2}(x_1)^\top Ax_2 = v^\prime = v^\ast = (x_1^\ast)^\top Ax_2^\ast = \min_{x_2\in X_2}\max_{x_1\in X_1}(x_1)^\top Ax_2\]
此外，如果 $x^\ast = (x_1^\ast, x_2^\ast)$ 对某个 $v^\ast$ 满足条件 (1.) 和 (2.)，那么 $x^\ast$ 必然是一个 NE。

关于 Minimax 的有用推论

在一个 minimax 策略组合 $x^\ast = (x_1^\ast, x_2^\ast)$ 中：

如果 $x_2^\ast(j) > 0$，那么 $((x^\ast_1)^\top A)_j = (x^\ast_1)^\top A x_2^\ast = v^\ast$。
如果 $x_1^\ast(j) > 0$，那么 $(Ax^\ast_2)_j = (x_1^\ast)^\top A x_2^\ast = v^\ast$。

作为优化问题的 Minimax

最大化 $v$

满足约束：

\[\begin{align*}&(x_1^\top A)_j \geq v \quad \text{for }j =1, \cdots, m_2, \\&x_1(1) + \cdots + x_1(m_1) = 1, \\&x_1(j) \geq 0 \quad \text{for }j = 1, \cdots, m_1 \end{align*}\]