xDeepFM架构理解及实现

本文主要是为了讲解xDeepFM的框架,及如何用tensorflow去实现主干部分,如果需要直接拆箱可用,可以参考:xDeepFM,我的部分代码也来自于其中,这边主要是和大家一起对比着看下,xDeepFM到底做了哪些事情?我的工程实现代码等待我司项目上线稳定后开源。

XDeepFM到底extreme在哪里?

首先,我在做论坛帖子推荐的时候遇到这么一个问题(问题真实,问题内容纯属虚构),用户A:带有如下标签[篮球、足球、健身],用户B:带有如下标签[篮球,电脑,蔡徐坤],在使用deepfm做精排的时候,常常会把A和B所看的内容互相推荐,很明显,A是运动达人,而B是二次元达人,这样推荐是存在很大问题的。
我在处理的时候,采取了两种套路:

  • 改变Memorization为attention网络,强化feature直接的联系,让B中的电脑与蔡徐坤进行绑定,而不是让篮球电脑蔡徐坤进行混合绑定,让Memorization去记忆的时候进行权重倾斜
  • Memorization通常为低阶特征交互,那我就升高阶数,svm告诉我们,在越高的维度上我们越有可能把数据集进行越离散的切分,XDeepFM就相当于把DeepFM中的1维+2维,变成了1维+2维+(l+1)维特征组合

XDeepFM如何实现的?

网上大多数版本都是甩出的正方体图+公式,我觉得很不清晰,这边就不贴了,我直接贴代码及解释:

nn_input = tf.reshape(nn_input, shape=[-1, int(field_num), self.hparams.dim])

我们知道,无论是deepfm还是XDeepFM在初始化的时候,都会把feature进行onehotencoding后向量化,然后再压缩成一个[batch,dim*FIELD_COUNT]的input,这边只是将其还原成网上常见的正方体的形式:[batch,field_num,dim]

1
split_tensor0 = tf.split(hidden_nn_layers[0], self.hparams.dim * [1], 2)

这个就是XDeepFM最有意思的地方,我们正常理解都是把特征按照不同的特征进行切分组合,在XDeepFM它却按照dim进行切开然后进行点击,而且是外积,所以大家难以理解的就在这边,用数据来说就是:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
tf.convert_to_tensor(np.arange(1,13).reshape(2,2,3),dtype=tf.int32)

array([[[ 1, 2, 3],
[ 4, 5, 6]],

[[ 7, 8, 9],
[10, 11, 12]]], dtype=int32)
切割完为:
[array([[[ 1],
[ 4]],

[[ 7],
[10]]], dtype=int32),

array([[[ 2],
[ 5]],

[[ 8],
[11]]], dtype=int32),

array([[[ 3],
[ 6]],

[[ 9],
[12]]], dtype=int32)]

这边没有按照[1,2,3]这种方式去切分,而是按照[[1],[4]]这种方式,在dim上进行切分。

dot_result_m = tf.matmul(split_tensor0, split_tensor, transpose_b=True)这一步也是很有意思,没有常规意义上做点击dot,做的外积,生生的把向量铺开了:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
array([[[[  1,   4],
[ 4, 16]],

[[ 49, 70],
[ 70, 100]]],


[[[ 4, 10],
[ 10, 25]],

[[ 64, 88],
[ 88, 121]]],


[[[ 9, 18],
[ 18, 36]],

[[ 81, 108],
[108, 144]]]], dtype=int32)

把刚才的[[1],[4]]按照外积的形式去处理了,并得到了一个[bacth_size,dim,field_nums[0] * field_nums[-1]]的形式。再通过[1,field_nums[-1] * field_nums[0],output]进行卷积处理相当于在dim的每一维上进行融合,融合的是所有特征dim的每一维。最后才sum_pooling操作,外接一个输出层压缩到1个输出值。

CIN为什么要搞这么复杂,比deepfm好在哪?

看代码就知道,刚才CIN的过程可以进行N次,这里面的l代表着从0层开始了l次的特征组合,比起deepfm的2次,对特征的组合更深,能解释的空间更为复杂

CIN很完美吗?

虽然作者在论文刚开始的时候就吐槽了DCN的低端,认为DCN其实就是init层的N次交叉,但是我认为DCN的残差项保证了特征的1~l+1特征都有,而CIN中去除了残差项,虽然更快了,但是相当于丢弃了1~l阶特征的组合结果,不见得可取

实操经验分享?

  • XDeepFM比起循环神经网络是快了不止一个量级的,基于DNN+CNN这种架构下,并行策略保证它很高效的执行速度。
  • 如果是baseline的尝试,建议优先DeepFM,绝大多数情况下,DeepFM已经满足了我们的基础需求。我司实际项目的效果下XDeepFM在离线数据集上目前也只有0.1%的提升,但是代码量及code review的压力却大了很多。
  • 在走XDeepFM的路子时候,可以考虑把DeepFM中的Memorization层加入DIN中的Attention,完全不逊色。

更多代码内容欢迎follow我的个人Github,如果有任何算法、代码疑问都欢迎通过邮箱发消息给我。

打赏的大佬可以联系我,赠送超赞的算法资料