简单介绍 TF-Ranking

2019-07-02 10:08
3T比特

本文为 AI 研习社编译的技术博客，原标题：

Introducing TF-Ranking

作者 | Jesus Rodriguez

翻译 | Lemon_Sophia

校对 | 邓普斯•杰弗审核 | 酱番梨整理 | 立鱼王

原文链接：

http://towardsdatascience.com/introducing-tf-ranking-f94433c33ff

排序是机器学习场景中最常见的问题之一。从搜索到推荐系统，排名模型是许多主流机器学习体系结构的重要组成部分。在机器学习理论中，排序方法通常使用像learning-to-rank(LTR)或machine learning ranking机器学习排序(LTR)这样的术语。尽管具有相关性，但是在大多数机器学习框架中，大规模开发LTR模型仍然是一个挑战。最近，来自谷歌的人工智能(AI)工程师引入了TF-Ranking，这是一个基于TensorFlow的框架，用于构建高度可伸缩的LTR模型。几周前发表的一篇研究论文详细阐述了TF-Ranking背后的原则。

从概念上讲，排序问题定义为对一组样本（或示例）进行排序的派生，这些示例可以最大化整个列表的效用。这个定义听起来类似于分类和回归问题，但排序问题从根本上是不同的。分类或回归的目标是尽可能准确地预测每个示例的标签或值，而排序的目标是对整个示例列表进行优化排序，以便最先显示相关度最高的示例。为了推断相关性，LTR方法尝试学习一个评分函数（valued scores），该函数将示例特征向量映射到标记数据的实值评分（real-valued scores）。

这种简单的体系结构已经成为大多数排名算法以及RankLib或LightGBM等库的基础。虽然这些库提供了有效的排序方法，但它们是针对小型数据集实现的，这使得它们在依赖于大量训练数据的实际场景中不切实际。除此之外，现有的LTR库还没有为在深度学习场景中常见的稀疏和多维数据集而设计。

现有LTR stacks（LTR栈）的局限性使得LTR方法在深度学习场景中的实现越来越复杂。由于缺乏对主流深度学习框架(如TensorFlow、MxNet、PyTorch或Caffe2)中的排名模型的支持，这个问题变得愈加严峻。

进入 TF-Ranking

TF-Ranking是一个基于tensorflow的框架，它支持在深度学习场景中实现TLR方法。该框架包括实现流行的TLR技术，如成对pairwise或列表listwise损失函数、多项目评分、排名指标优化和无偏学习排名。

TF-Ranking的实现非常复杂，但使用起来也非常简单。该实现的核心组件是一个model_fn函数，它接受特征和标签作为输入，并根据模式(TRAIN、EVAL、PREDICT)返回损失、预测、度量指标和训练操作。使用TF-Ranking构建model_fn函数是基于两个基本组件的组合: 评分函数（scoring function）和排名头（ranking head）。

Scoring Function评分函数： TF-Ranking支持单项和多项评分功能。单项评分函数可以用函数F(X) = [F(x1);f (x2);:::;f(xn)]，其中输入表示单个示例的特征，并计算一个分数作为输出。多项目评分函数扩展了一组示例的这种结构。TF-Ranking将每个示例列表分割成若干张量，张量的形状为[batch_size, group_size, feature_size]。从上面的代码示例中可以看到，评分函数是一个用户指定的闭包，它传递给了这个排名model_fn构建器。

Ranking Head排名头： TF-Ranking使用一个针对特定指标的排名头和排名逻辑的损失。从概念上讲，排名头结构计算排名指标和排名损失，给出分数、标签和可选的示例权重。通过编程的方式，排名头通过工厂方法tf .head.create_ranking_head公开。