Construyendo un recomendador d... 笔记

Construyendo un recomendador de emparejamiento de expertos

本文描述了一个复杂的推荐系统,旨在将需要专业知识的用户与合格的专家进行匹配。与典型的推荐系统不同,该系统面临独特挑战,包括专家容量有限以及错误推荐的代价高昂。系统采用混合检索方法,利用倒数排名融合(Reciprocal Rank Fusion)整合来自多个独立专家查找器的结果。评分机制是多种因素的加权组合,包括显式的方向匹配度、语义相似度、技能重叠度、专家容量、专家质量、专业匹配度以及公平性。专家质量采用饱和指数函数来衡量经验,防止资深专家完全占据主导地位。公平性机制引入曝光的对数衰减,确保较少被推荐的专家仍能获得展示机会。重要的是,该系统以全局分配问题而非个体 Top-N 推荐的方式运行,以避免最热门的专家被过度请求。系统使用贪心分配算法,在尊重专家容量限制的前提下,优先匹配得分更高的组合。数据层聚焦于可辩护的统计数据,以确定哪些技能具有价值。这包括对数据源进行加权并应用时间衰减以反映时效性,使用加权中位数以处理偏态数据分布,并按角色、资历和经验进行分层,以避免将技能价值与资历混淆。对于技能价值,系统采用自助法置信区间而非点估计,从而提供更稳健的度量。一次关键的预演揭示了显著缺陷,包括一项过于激进的排除规则严重限制了专家可用性,以及推荐结果缺乏清晰依据的倾向。此外,“热门”徽章因缺乏有意义的基准线而导致数值虚高。这些发现凸显了在复杂推荐系统中谨慎实施和持续评估的重要性。