❶ 推荐系统排序算法--FM模型
在计算广告和推荐系统中，CTR预估(click-through rate)是非常重要的一个环节，判断一个商品的是否进行推荐需要根据CTR预估的点击率来进行。在进行CTR预估时，除了单特征外，往往要对特征进行组合。对于特征组合来说，业界常用的方法有人工特征工程 + LR（Logistic Regression）、GBDT（Gradient Boosting Decision Tree） + LR、FM（Factorization Machine）和FFM（Field-aware Factorization Machine）模型。最近几年也出现了很多基于FM改进的方法，如deepFM，FNN，PNN，DCN，xDeepFM等。
FM(Factorization Machine)主要是为了解决数据稀疏的情况下，特征怎样组合的问题。已一个广告分类的问题为例，根据用户与广告位的一些特征，来预测用户是否会点击广告。数据如下：(本例来自美团技术团队分享的paper)
clicked是分类值，表明用户有没有点击该广告。1表示点击，0表示未点击。而country,day,ad_type则是对应的特征。对于这种categorical特征，一般都是进行one-hot编码处理。
将上面的数据进行one-hot编码以后，就变成了下面这样 ：
因为是categorical特征，所以经过one-hot编码以后，不可避免的样本的数据就变得很稀疏。举个非常简单的例子，假设淘宝或者京东上的item为100万，如果对item这个维度进行one-hot编码，光这一个维度数据的稀疏度就是百万分之一。由此可见， 数据的稀疏性 ，是我们在实际应用场景中面临的一个非常常见的挑战与问题。
one-hot编码带来的另一个问题是 特征空间变大 。同样以上面淘宝上的item为例，将item进行one-hot编码以后，样本空间有一个categorical变为了百万维的数值特征，特征空间一下子暴增一百万。所以大厂动不动上亿维度，就是这么来的。
普通的线性模型，我们都是将各个特征独立考虑的，并没有考虑到特征与特征之间的相互关系。但实际上，大量的特征之间是有关联的。最简单的以电商为例，一般女性用户看化妆品服装之类的广告比较多，而男性更青睐各种球类装备。那很明显，女性这个特征与化妆品类服装类商品有很大的关联性，男性这个特征与球类装备的关联性更为密切。如果我们能将这些有关联的特征找出来，显然是很有意义的。
一般的线性模型为：
从上面的式子很容易看出，一般的线性模型压根没有考虑特征间的关联。为了表述特征间的相关性，我们采用多项式模型。在多项式模型中，特征 与 的组合用 表示。为了简单起见，我们讨论二阶多项式模型。具体的模型表达式如下：
为了简单起见，我们只考虑二阶交叉的情况，具体的模型如下：
式中， 表示样本的特征数量, 表示第 个特征，与线性模型相比，FM的模型就多了后面特征组合的部分。
从FM公式可以看出，组合特征的参数一共有 n(n−1)/2个，任意两个参数都是独立的。然而，在数据稀疏性普遍存在的实际应用场景中，二次项参数的训练是很困难的。其原因是，每个参数 的训练需要大量 和 都非零的样本；由于样本数据本来就比较稀疏，满足 和 都非零”的样本将会非常少。训练样本的不足，很容易导致参数 不准确，最终将严重影响模型的性能。
那么，如何解决二次项参数的训练问题呢？矩阵分解提供了一种解决思路。在model-based的协同过滤中，一个rating矩阵可以分解为user矩阵和item矩阵，每个user和item都可以采用一个隐向量表示。比如在下图中的例子中，我们把每个user表示成一个二维向量，同时把每个item表示成一个二维向量，两个向量的点积就是矩阵中user对item的打分。
类似地，所有二次项参数 可以组成一个对称阵 （为了方便说明FM的由来，对角元素可以设置为正实数），那么这个矩阵就可以分解为 ， 的第 列便是第 维特征的隐向量。换句话说，每个参数 ，这就是FM模型的核心思想。因此，FM的模型方程为（本文不讨论FM的高阶形式）
其中， 是第 维特征的隐向量， 代表向量点积。隐向量的长度为 ，二次项的参数数量减少为 个，远少于多项式模型的参数数量。另外，参数因子化使得 的参数和 的参数不再是相互独立的，因此我们可以在样本稀疏的情况下相对合理地估计FM的二次项参数。具体来说， 和 的系数分别为 和 ，它们之间有共同项 。也就是说，所有包含“ 的非零组合特征”（存在某个 ，使得 ）的样本都可以用来学习隐向量 vivi，这很大程度上避免了数据稀疏性造成的影响。而在多项式模型中， 和 是相互独立的。
显而易见，FM的模型公式是一个通用的拟合方程，可以采用不同的损失函数用于解决回归、二元分类等问题，比如可以采用MSE（Mean Square Error）损失函数来求解回归问题，也可以采用Hinge/Cross-Entropy损失来求解分类问题。当然，在进行二元分类时，FM的输出需要经过sigmoid变换，这与Logistic回归是一样的。直观上看，FM的复杂度是 。但是，通过下面的等式，FM的二次项可以化简，其复杂度可以优化到 。由此可见，FM可以在线性时间对新样本作出预测。
我们再来看一下FM的训练复杂度，利用SGD（Stochastic Gradient Descent）训练模型。模型各个参数的梯度如下：
其中， 是隐向量 的第 个元素。由于 只与 有关，而与 无关，在每次迭代过程中，只需计算一次所有 的 ，就能够方便地得到所有 的梯度。显然，计算所有 的 的复杂度是 ；已知 时，计算每个参数梯度的复杂度是 ；得到梯度后，更新每个参数的复杂度是 ；模型参数一共有 个。因此，FM参数训练的复杂度也是 。综上可知，FM可以在线性时间训练和预测，是一种非常高效的模型。
libFM
论文： Factorization Machines
论文： Factorization Machines with Follow-The-Regularized-Leader for CTR prediction in Display Advertising
推荐系统遇上深度学习(一)--FM模型理论和实践
FM（Factorization Machines）的理论与实践
深入FFM原理与实践-美团
推荐好文： 深度学习在CTR预估中的应用
❷ 常见的推荐算法
根据用户兴趣和行为，向用户推荐所需要的信息，帮助用户在海量的信息中快速发现自己真正需要的东西。 所以推荐系统要解决的问题用户没用明确的需求以及信息存在过载 。推荐系统一般要基于以下来搭建：
1、根据业务来定义自身产品的热门标准
2、用户信息：比如性别、年龄、职业、收入等
3、用户行为
4、社会化关系
1、非个性化推荐
在冷启动方面我们精彩用非个性化推荐来解决问题。常见的有：热门推荐，编辑推荐，最新推荐等。下面是3个场景下的排序介绍：
热门推荐：根据业务类型确定排名核心指标，比如阅读数，其次要考虑避免马太效应，所以增加1个维度：时间。一般情况一个内容的热度是随着时间不断下降的，所以需要设定重力因子G，它决定热度随着时间流逝下降的速度。热度初始值由阅读数决定，我们假设R为阅读书，距离发帖时间的时间为T，重力因子为G，热度为rank。 根据热度随着时间而不断下降，且是非线性的，所以我们用指数函数来表达时间和热度的关系：rank=R/(T)^G，下图为热度的基本曲线：
通过该函数，我们可以随意调整参数来控制曲线的平坦和陡峭，如果G越大，曲线越陡峭说明热度下降越快。如果我们要调整热度初始值，可对R进行调整，比如R1=R^0.8，来缩短每篇文章的初始热度值
编辑推荐：一般由编辑在后台进行设置
最新推荐：如果无其他规则，一般按内容更新时间／创建时间来倒序
2、基于用户基本信息推荐（人口统计学）
根据系统用户的基本信息如：领域、职位、工作年龄、性别和所在地等。根据这些信息给用户推荐感兴趣或者相关的内容。
常见的用户基本信息有：性别，年龄，工作、收入、领域、职位、所在地，手机型号、网络条件、安装渠道、操作系统等等。根据这些信息来关联我们数据源，比如年龄-关联电影表、收入-关联商品类型表，性别-文章关联表等等。然后设定权重，给予个性化的推荐。
步骤1：用户建模，收集用户基本信息，建立兴趣图谱，标签体系树状结构然后配上权重
步骤2：内容建模，细分内容的元数据，将步骤1的用户标签和元数据连接，然后进行推荐
2、基于内容基本的推荐
根据推荐物品或者信息的元数据，发现物品或者信息的相关性， 然后基于用户以往的喜好记录 ，推荐给用户相似的物品。
内容的一些基本属性：tag、领域、主题、类型、关键字、来源等
3、基于协同过滤的推荐
这种算法基于一种物以类聚人以群分的假设， 喜欢相同物品的用户更有可能具有相同的兴趣 。基于协同过滤推荐系统一般应用于有用户评分的系统中，通过分数去刻画用户对于物品的喜好。根据维度可分为2种：
1、基于用户：找到和你相似的人推荐他们看过而你没有看过的内容
比如下面，系统判断甲乙2个用户是相似的，那么会给甲推荐短视频相关内容，会给乙推荐数据分析相关内容
甲：产品经理、运营、数据分析
乙：产品经理、运营、短视频
丙：比特币、创业、硅谷
步骤1:找到和目标用户兴趣相似的用户集合
步骤2:找到集合中用户喜欢的且目标用户没有被推荐过的内容
2、基于物品：以物为本建立各商品之间相似度关系矩阵，用户看了x也会看y
比如下面，甲和乙分别不约而同看了产品经理和数据分析，说明喜欢产品经理和数据分析的用户重合度高，说明两个内容相似。所以给喜欢产品经理的人推荐数据分析，给喜欢数据分析的人推荐产品经理。
这么理解：喜欢产品经理的人有m人，喜欢数据分析有n人，其中m中有80%用户与n中80%的用户是一样的，就意味着喜欢产品经理的用户也会喜欢数据分析。
产品经理：甲、乙，丁
数据分析：甲、乙，戊
增长黑客：甲、丙
喜欢物品A的用户，可能也会喜欢与物品A相似的物品B，通过历史行为计算出2个物品的相似度（比如m人喜欢A，n人喜欢B，有k人喜欢A又喜欢B，那么A和B的相似度可计算为k/m或者n，因为k属于m和n），这个推荐和内容推荐算法区别是内容推荐算法是根据内容的属性来关联， 而基于物品的协同过滤则是根据用户的行为对内容进行关联
4、基于用户社交关系推荐
用户与谁交朋友或者关系好，在一定程度上朋友的需求和自身的需求是相似的。所以向用户推荐好友喜欢的东西。本质上是好友关系链版的基于用户的协调过滤
5、推荐思路的拓展
根据不同使用场景进行不同的推荐，可细分的场景包括用户使用的：时间、地点、心情、网络环境、兴趣、上下文信息以及使用场景。每个场景的推荐内容都不一样，所以往往一个系统都是由多种推荐方式组成，比如加权混合。
加权混合：用线性公式将几种不同的推荐按照一定权重组合起来，具体权重值需要反复测试调整。例子：加权混合=推荐1结果*a+推荐2结果*b+...+推荐n结果*n，其中abn为权重，和为1
下面分享一张来自知乎的图，供学习，侵删：
基于用户信息的推荐 与 基于用户的协同过滤：
两者都是计算用户的相似度， 但基于用户信息的推荐只考虑用户本身信息来计算相似度，而基于用户的协同过滤是基于用户历史偏好来计算相似度
基于内容的信息推荐 与 基于物品的协同过滤：
两者都是计算物品的相似度， 但是基于内容的信息推荐只考虑物品本身的属性特征来计算相似度，而基于物品的协同过滤是基于用户历史偏好来计算相似度
基于用户信息的推荐特点：
1、不需要历史数据，对用户基本信息建模
2、不依赖于物品，所以其他领域可无缝接入
3、因为用户基本信息一般变化不大，所以推荐效果一般
基于内容信息的推荐特点：
1、物品属性有限，很难获得有效又全的数据
2、需要获取用户喜欢的历史内容，再来推荐与内容相似的东西，所以有冷启动问题
基于用户／基于物品的协同过滤推荐特点：
1、需要获取用户的历史偏好，所以有冷启动问题
2、推荐效果依赖于大数据，数据越多，推荐效果就越好
❸ 优先级排序：ICE模型
ICE模型通过将大量的实验想法放在影响范围（Impact），成功概率（Confidence），实现程度（Ease）三个维度下进行粗略的评分，得到增长实验假设的优先级进行排序。
ICE 各项指标的打分依据：
案例：ICE 模型打分表
从上述打分，可以得到“酒店详情页加入“全网最低价”的文案提醒”这个实验想法的优先级最高。可以优先进行增长实验。
大多数实验都没有覆盖足够的用户，绝大多数核心产品团队只关注核心用户。然而
因此如果仅关注核心用户，那么实验的影响力会十分局限。所以扩大增长实验的影响力的本质就是尽可能的覆盖更多的用户。在这里我们可以通过主动扩大群体覆盖面，关注非核心用户和从流量高的页面或路径进行多次实验的方法扩大实验的影响范围。
提升容易程度即降低实验成本，最好的方式就是通过 MVP的方式以最低成本验证实验假设。而设计增长实验MVP时需要考虑如何投入最小资源，最快证明实验假设。实验是否可以提供可信的有效的结果，不能因为过度的实验简化和成本缩减而影响了实验的可信有效程度。
案例：通过 MVP 验证实验假设：根据不同的用户画像，制定个性化注册流程。更好的满足用户需求。
这里要注意的是ICE模型仅仅是一个优先级排序的参考框架。并不是一门绝对精确的排序算法。不要消耗太多的时间成本去追求完美，而要不断的提高实验频率和次数来确保实验性价比。
参考： https://www.yuque.com/kas/pm/kwgh7a#Y0TmG