数据中台推荐系统入门(三):推荐系统的评测指标

发布于 2021-04-09 07:53

每天早 07 : 45 按时送达

这是华仔的第113篇原创文章

本文介绍一下推荐系统的相关评测指标。推荐系统的数据指标分为两种。

接下来我们看看这些指标该怎么计算。

首先是曝光次数。统计推荐模块曝光次数的方式有两种:其一是通过前端页面埋点的方式,当用户在推荐模块浏览商品时,由前端工程师异步上传数据到埋点日志服务器,再通过解析埋点日志的方式统计曝光次数;其二是通过后端埋点的方式,当用户在推荐模块浏览商品时,推荐模块调用的是获取推荐商品的接口,由后端工程师记录当时的推荐场景、算法、用户、商品ID的集合等关键信息,将之保存到日志文件,再通过解析日志文件的方式统计曝光次数。由于前端页面埋点有5%的丢失率,而应计算的一些指标(比如交易额)需要比较准确的数据。如果采用后端埋点的方式统计,曝光量会更加准确一些。

与交易额相关的指标(比如支付人数、支付金额、支付件数等),也需要通过后端埋点的方式采集。前文讲过,在电商产品的交易流程中有一个断层——用户一般都是先加购再下单,这就会增加前端埋点和数据解析的难度。简单的做法是在订单中增加下单来源的字段,记录商品的推荐场景、算法ID等信息到购物车中,一般来说,购物车中的数据是保存在内存数据库Redis里面的,当用户下单时再从Redis中取出数据放入订单中,这样就保证了数据整个链条能够被记录下来,功能界面如下图所示。

2)算法运行监测指标。可以通过准确率、召回率、覆盖率这几个指标监测推荐系统算法运行的情况。接下来我们介绍一下这三个指标是如何定义的。

在推荐系统搭建好后可以先组织公司内部人员做测试,比如笔者公司电商产品的定位是女装批发平台,主要客户是女性,在推荐系统上线前,我们就招募了一些公司女同事做了测试。这些女同事平时在我们的电商平台上也会购买一些女装,已经积累了一些数据。

在优化出一个稳定的版本后,我们可以和运营人员合作,邀请几个真实的用户来试用一下。测试用户的年龄、活跃度等相关指标的分布要和真实用户大致相同。可以设计一套方案,让他们参与进来,体验我们的推荐模块,这时可以通过后台收集埋点数据的方式计算这批用户的准确率和召回率。

-----END-------

推荐阅读:

数据中台推荐系统入门(二):两种经典的推荐算法

数据中台:快速入门推荐系统(一)


一起进步

本文来自网络或网友投稿,如有侵犯您的权益,请发邮件至:aisoutu@outlook.com 我们将第一时间删除。

相关素材