gym-0.26.1
Pendulum-v1
Dueling DQN

因为还是DQN,所以我们沿用double DQN,然后把 Qnet 换成 VAnet。
其他的不变，详情参考前一篇文章。

class VA(nn.Module):
    """只有一层隐藏层的A网络和V网络"""
    def __init__(self, state_dim, hidden_dim, action_dim):
        super().__init__()
        self.fc1 = nn.Linear(state_dim, hidden_dim)
        self.fc_A = nn.Linear(hidden_dim, action_dim)
        self.fc_V = nn.Linear(hidden_dim, 1)
    
    def forward(self, X):
        A = self.fc_A(F.relu(self.fc1(X)))
        V = self.fc_V(F.relu(self.fc1(X)))
        Q = V + A - A.mean(1).reshape(-1,1)
        return Q

action_dim = 11,和之前一样保持不变，然后看下结果。
运行结果如下:

相比于之前的DQN,学习更加稳定，return在总体上是比之前要高的。

同时q-value也是比之前要大。