论文链接https://arxiv.org/abs/2109.03150v1

Section 1 引言

        越来越多的推荐系统开始将推荐建模为一个马尔可夫决策过程，并使用强化学习来解决这个问题。从而推荐系统场景下的公平性研究便面临着一个从静态评价与一次性干预static evaluation and one-shot intervention到动态监控与不间断控制dynamic monitoring and non-stop control的转变。

        在本文中，我们首先介绍了推荐系统的最新发展，然后讨论了如何将公平性融入到推荐的强化学习技术中。此外，我们认为，为了在推荐公平性方面取得进一步的进展，我们可以在随机博弈stochastic games的一般框架下考虑多智能体（博弈论）优化multi-agent (game-theoretic) optimization、多目标（帕累托）优化multi-objective (Pareto) optimization和基于仿真的优化simulation-based optimization。

Section 2 强化学习的兴起

1. 矩阵补全问题&矩阵分解算法

在推荐系统中，我们经常会拿到一种数据是user—item的表格，然后对应的是每位user对每个item的评分，如下图：

矩阵补全问题顾名思义，即根据现有的单元格值来预测缺失的单元格值。

这种矩阵补全问题通常用矩阵分解算法来解决。由于并没有接触过推荐系统相关的项目，小禾对此也不是很了解，感兴趣的可以参考其他博主博客了解一下这类算法。也许这篇会有帮助（但小禾也没来得及拜读，最近还是专注于公平性研究来读论文中的重点）。

2. 基于强化学习的推荐系统

Reinforcement learning (RL) — an area of machine learning which is concerned with optimal decision making over time in a dy namic environment — offers a promising approach to tackling the problems of personalization and interactivity by capturing users’ evolving interests and optimizing their long-term experiences.

Markov decision process

A hot research topic is to develop offline reinforcement learning meth ods for interactive recommendation which can make effec tive use of previously collected user-item interaction data without expensive online data collection.