导读:本次分享内容为爱奇艺在做视频搜索时 ,遇到的傑爱真实案例和具体问题;以及面对这些问题的时候,我们的奇艺解决方案。这次分享的搜索ppt针对一线的开发人员 ,希望可以给一线的排序开发人员提供一些启示。
01
介绍
首先介绍一下我们支持的模型搜索入口,在我们app的迭代搜索框里 ,支持下图所示的陈英搜索方式:图搜索、台词搜索、傑爱语音搜索。奇艺
今天分享的 ,其实还是排序一个更加通用的搜索方式,即文本查询 。模型通过把用户输入的迭代文本做自然语言处理后进行的关键字查询 ,在此,陈英我们做了很多自然语言处理和语义的理解。
在视频内容层面 ,最重要的是视频本身的描述信息 ,如标题 ,演职人员等信息。还有一个是内容的语义 ,我们当前并不是多模态特征去抽取 ,更多的是通过用户对该视频的观看行为,如搜索 、浏览、评论 、弹幕等各种行为,由此产生的数学结构去抽取语义信息 。所以我们今天更关注在doc层和query层是如何做这些匹配的 。
在介绍具体的匹配过程之前 ,我们先了解一下一个通用的搜索系统的约束条件(下图所示):
此外,我们发现 ,当用户在搜索产生的结果使得自身的的主需求得到满足的时候,可以激发用户一些其他的语义相关的结果。
在这样五个约束条件下,我们如何搭建全网的搜索引擎呢?下图即是我们的整体系统框架。
我们有大量视频资源,通过召回系统,即基于文本匹配的matching system ,得到候选集,经过粗排和精排,最后返回给用户 ,这是大体的流程图,其中最重要的是召回系统和排序系统 。
两个系统的重要模块很多 ,下图列举其中一些 :包括改写纠错 ,基础召回,知识图谱召回,语义匹配召回;排序模块关注特征工程,学习模型的选择 ,模型融合与智能决策 。
在此我们将要展开的是我们是如何进行一步步迭代的 。
--
02
召回策略迭代
1. 基础相关性
首先是基础相关性,搜索引擎处理流程图如下 :