在 CIKM 2024 上，小紅書中臺算法團隊提出了一種創(chuàng)新的聯(lián)合訓練框架 AlignRec，用于對齊多模態(tài)表征學習模型和個性化推薦模型。本文指出，由于多模態(tài)模型與推薦模型在訓練過程中存在步調不一致問題，導致聯(lián)合訓練被推薦信號主導，從而丟失大量多模態(tài)信息。AlignRec 通過分階段對齊的方式，設計了三種針對性的優(yōu)化損失函數(shù)，使得聯(lián)合訓練能夠同時兼顧多模態(tài)信息和推薦信息。實驗結果表明，AlignRec 在多個數(shù)據(jù)集上的性能超過了現(xiàn)有的 SOTA（state-of-the-art）模型。此外，AlignRec 還提供了在當前廣泛使用的公開數(shù)據(jù)集亞馬遜上的預處理特征，這些特征的效果顯著優(yōu)于現(xiàn)有的開源特征。

最近多模態(tài)是個非常熱門的話題，尤其是在大模型以及 AIGC 領域，多模態(tài)基建和技術是走向未來商業(yè)化的奠基石。在過去的多模態(tài)大模型研究方向上，模態(tài)的“對齊”已經被驗證非常重要，分布的不一致?lián)p害不同模態(tài)的理解，我們此次要討論的核心問題是多模態(tài)在推薦中的對齊問題；

在具體介紹論文工作之前，我們先來介紹下我們過去在推薦和電商中的實踐工作：

推薦實踐

上述方法是我們對 BM3論文進行改進 上線的方案，該方案實際上做的是通過損失函數(shù)來實現(xiàn)“對齊”工作。我們的對模型的期望也是保留個性化的同時，能夠對齊行為和多模態(tài)的空間，進一步增加長尾的個性化分發(fā)能力。先說效果：

該模型實驗在推薦發(fā)現(xiàn)頁取得時長、曝光、點擊等核心指標收益，除此之外，在長尾分發(fā)上，0 粉作者筆記點擊和曝光獲得大幅增長，整個召回路增加了全局可分發(fā)筆記數(shù) 6%，分發(fā)筆記集中在 1k-5k 的筆記曝光集合；同時，我們的方法也被復用在了電商場景，分發(fā)長尾同時，獲得 DGMV 等核心指標收益。

很顯然，從上述可以看出，“對齊”的效果立竿見影，在業(yè)界應用上我們已經取得實質性進展，但本質上這樣的設計方案依然并沒有完全解決多模態(tài)推薦問題，因為我們的多模態(tài)模型和推薦模型是相對割裂的，等同于直接拿表征來使用，這樣的設計打通了應用范式，卻無法判斷多模態(tài)模型本身能力對效果的上限，對于選擇合適多模態(tài)表征存在一定的難度。但如果我們引入文本/圖等 Encoder（Transformer）等進行聯(lián)合訓練，會引入如下的問題：

在大規(guī)模的數(shù)據(jù)下，分布式訓練引入圖文 Encoder 會造成資源和性能問題，尤其是注重高時效性的 Streaming Data；
訓練步調不一致，往往多模態(tài)模型需要大量數(shù)據(jù)甚至多個 Epoch 才能收斂，但推薦模型通常采取單輪訓練，這也導致多模態(tài)模型訓練不充分；

所以我們設計聯(lián)合訓練模型，通過設計分階段對齊的方式和中間指標評估，解決上述聯(lián)合訓練問題，并且引入了三種針對性的優(yōu)化損失函數(shù)，使得聯(lián)合訓練能夠同時兼顧多模態(tài)信息和推薦信息，解決聯(lián)合訓練中的“對齊”問題，提升效果上限。

下面我們從相關工作，核心挑戰(zhàn)，模型設計介紹整體工作。

我們在這里通過 (a), (b), (c) 描述了在過往的學術界目前多模態(tài)推薦方向的相關工作，總結主要的發(fā)展路徑：

圖(a)，直接利用，比如把 embedding，多模態(tài)特征作為信號輸入網絡；
圖(b)，利用圖等方式聚合，希望能得到更豐富的多模態(tài)信息表達，這本質上也是增加多模態(tài)側信息的召回率；
圖(c)，聯(lián)合優(yōu)化，把模態(tài)損失和行為損失共同優(yōu)化，但這忽略了本身筆記側的多模態(tài)學習。
在工業(yè)界，現(xiàn)階段推薦系統(tǒng)主要還是依賴于 ID 特征的學習, 大多數(shù)多模態(tài)推薦把多模態(tài)信息作為 sideinfo 去輔助 ID 特征的學習。但是, 多模態(tài)之間以及 ID 模型與多模態(tài)之間都存在著語義鴻溝, 直接使用甚至可能適得其反。

核心挑戰(zhàn)

為了貼合業(yè)界實際，設計一款有效的多模態(tài)與推薦聯(lián)合訓練模型會遇到如下的挑戰(zhàn)：

挑戰(zhàn)1: 如何對齊多模態(tài)表征。包括內容模態(tài)之間（如圖文）的對齊，以及內容模態(tài)與 ID 模態(tài)之間的對齊；
挑戰(zhàn)2: 如何平衡好內容模態(tài)和 ID 模態(tài)之間的學習速度問題。內容模態(tài)可能需要超大規(guī)模的數(shù)據(jù)和時間去訓練, 而 ID 模態(tài)的學習更新可能只需要幾個 epoch。
挑戰(zhàn)3: 如何評估多模態(tài)特征對推薦系統(tǒng)的影響。引入不合適的多模態(tài)信息可能需要更多的精力去做糾正, 甚至可能影響推薦系統(tǒng)的性能。

我們所提出的方法命名為 AlignRec，整體框架如下圖所示, 主要包含3個模塊: Multimodal Encoder Module, Aggregation Module, 以及 Fusion Module, 下面分別進行介紹。

Multimodal Encoder Module