短视频推荐系统的核心目标是通过提升用户留存，牵引 DAU 增长。因此留存是各 APP 的核心业务优化指标之一。然而留存是用户和系统多次交互后的长期反馈，很难分解到单个 item 或者单个 list，因此传统的 point-wise 和 list-wise 模型难以直接优化留存。

　　强化学习（RL）方法通过和环境交互的方式优化长期奖励，适合直接优化用户留存。该工作将留存优化问题建模成一个无穷视野请求粒度的马尔科夫决策过程（MDP），用户每次请求推荐系统决策一个动作（action），用于聚合多个不同的短期反馈预估（观看时长、点赞、关注、评论、转发等）的排序模型打分。该工作目标是学习策略（policy），最小化用户多个会话的累计时间间隔，提升 App 打开频次进而提升用户留存。

　　然而由于留存信号的特性，现有 RL 算法直接应用存在以下挑战：1）不确定性：留存信号不只由推荐算法决定，还受到许多外部因素干扰；2）偏差：留存信号在不同时间段、不同活跃度用户群体存在偏差；3）不稳定性：与游戏环境立即返回奖励不同，留存信号通常在数小时至几天返回，这会导致 RL 算法在线训练的不稳定问题。

　　该工作提出 Reinforcement Learning for User Retention algorithm（RLUR）算法解决以上挑战并直接优化留存。通过离线和在线验证，RLUR 算法相比 State of Art 基线能够显著地提升次留指标。RLUR 算法已经在快手 App 全量，并且能够持续地拿到显著的次留和 DAU 收益，是业内首次通过 RL 技术在真实生产环境提升用户留存。该工作已被 接收。

　　如图 1（d）所示，由于动作是连续的，该工作采取 DDPG 算法的 temporal difference（TD）学习方式预估回访时间。

　　由于不同活跃度群体的行为习惯差异大，高活用户留存率高并且训练样本数量也显著多于低活用户，这会导致模型学习被高活用户主导。为解决这个问题，该工作对高活和低活不同群体学习 2 个独立策略，采用不同的数据流进行训练，Actor 最小化回访时间同时最大化辅助奖励。如图 1（c），以高活群体为例，Actor loss 为：

　　由于回访时间信号延迟，一般在几个小时到数天内返回，这会导致 RL 在线训练不稳定。而直接使用现有的 behavior cloning 的方式要么极大限制学习速度要么不能保证稳定学习。因而该工作提出一个新的软正则化方法，即在 actor loss 乘上一个软正则化系数：

　　本文研究如何通过 RL 技术提升推荐系统用户留存，该工作将留存优化建模成一个无穷视野请求粒度的马尔可夫决策过程，该工作提出 RLUR 算法直接优化留存并有效地应对留存信号的几个关键挑战。RLUR 算法已在快手 App 全量，能够拿到显著的次留和 DAU 收益。关于未来工作，如何采用离线强化学习、Decision Transformer 等方法更有效地提升用户留存是一个很有前景的方向。