DuoRec小疑问

[TangJiakai]

如下图，为什么要算两次呢，这样会拖慢速度吧？

[yuh-yang]

感谢你的仔细阅读和提问。

这里的实现是 严格 follow 了 DuoRec 的官方 implementation，并不是我们这边额外引入的设计。https://github.com/RuihongQiu/DuoRec/blob/master/recbole/model/sequential_recommender/duorec.py

关于你提到的 为什么 forward(batch_seqs) 会被调用两次，确实从表面看会有一定的重复计算，但这是 有意为之的设计，主要原因在于 对比学习与推荐损失之间的梯度解耦（gradient isolation）。

具体来说：

• 第一处 seq_output = self.forward(batch_seqs)
  用于 推荐任务（rec loss），即基于原始序列预测 next item。

• 后面的

  seq_output1 = self.forward(batch_seqs)
  sem_aug_seqs = self._duorec_aug(batch_seqs, batch_last_items)
  seq_output2 = self.forward(sem_aug_seqs)

  是用于 对比学习（InfoNCE），其中 seq_output1 和 seq_output2 分别对应 原始序列视图 和 语义增强序列视图。

将推荐分支和对比分支分别 forward，有两个好处（也是 DuoRec 原论文/官方代码的动机）：

1. 避免推荐损失与对比损失在同一 forward graph 上相互干扰
   虽然输入相同，但它们服务于不同的优化目标，分开 forward 可以在一定程度上实现梯度上的解耦，使对比学习更稳定。

2. 逻辑上更清晰地对应 DuoRec 的“两视图对比”设定
   即 (original sequence, augmented sequence) 构成正样本对，而推荐任务是一个独立的监督信号。

确实，这样做会带来一定的 额外计算开销，但这是官方实现中的权衡选择，我们在库中优先保证 与原方法的一致性和可复现性。如果在实际应用中更关注训练效率，也可以尝试合并部分 forward（需要非常小心梯度与 loss 的作用范围）。

希望这个解释能帮到你，如果你对进一步的优化方式感兴趣，也欢迎继续讨论 👍

[TangJiakai]

虽然一年多过去了，但是你这个回答还是不对的。
反传是会作用到同样的参数的，不会存在你所说的“梯度解耦”的问题。

[yuh-yang]

        if self.ssl == 'us_x':
            aug_seq_output = self.forward(item_seq, item_seq_len)

            sem_aug, sem_aug_lengths = interaction['sem_aug'], interaction['sem_aug_lengths']
            sem_aug_seq_output = self.forward(sem_aug, sem_aug_lengths)

            sem_nce_logits, sem_nce_labels = self.info_nce(aug_seq_output, sem_aug_seq_output, temp=self.tau,
                                                           batch_size=item_seq_len.shape[0], sim=self.sim)

            loss += self.lmd_sem * self.aug_nce_fct(sem_nce_logits, sem_nce_labels)

我们严格参考了DuoRec官方实现的这一段代码来尽力确保一致性和可复现性。至于解藕问题，的确没有梯度上的解藕，但这是一个explicit的computation graph上的解藕。并且鉴于这里的CL是基于dropout的，我理解再单独forward一次可以保证语义上的的干净，即这是一次完全独立的dropout-forward得到的reprensetation，而不是和rec语义相关的representation。

具体还可以和DuoRec的作者深入讨论哈～