觀察員
-
百度研發(fā)出大模型加持的廣告推薦系統(tǒng)，轉(zhuǎn)化率提升3.6%
（文/張睿佳 編輯/張廣凱）
上月，百度團隊于arXiv上發(fā)表論文，介紹了一種名為COBRA（Cascaded Organized Bi-Represented generAtive Retrieval）的新算法框架，該框架被應(yīng)用于提升生成式模型在廣告推薦系統(tǒng)中的使用效果。
根據(jù)文章介紹，工程師把COBRA投放到真實環(huán)境，在 A/B 測試中增加了3.6%的轉(zhuǎn)化率，ARPU（平均每用戶收入）增加4.15%，目前該框架已經(jīng)被應(yīng)用在百度廣告推薦業(yè)務(wù)上。
利用生成式大模型來提高廣告推薦的準確性，是很多企業(yè)都在做的嘗試。早在去年，谷歌就提出了一種生成式檢索推薦系統(tǒng)范式TIGER。
百度團隊的論文提到，谷歌的TIGER是利用 Transformer 編碼器-解碼器架構(gòu)中的一系列稀疏 ID 作為輸入，直接預(yù)測下一個項目的稀疏 ID。而百度這篇論文的標題就是“當稀疏遇到稠密”，相較TIGER做出了進一步改進。
據(jù)悉，COBRA是一個融合生成式和密集檢索的框架。
在生成式推薦中，模型需要預(yù)測的目標對象（item)是一個個綜合體，并非簡單的token。所以在技術(shù)上，需要明確如何表征，并進行序列建模。
百度最先采用的是純文本表征和LLM建模策略。該策略提升了對用戶意圖的理解能力但是運行成本較高，同時在表征和建模中存在不匹配的問題。
為解決該問題，百度團隊又使用了稠密學(xué)習(xí)和對比學(xué)習(xí)度量，但這個方案缺少興趣探索過程，建模復(fù)雜度較高。
在受到谷歌推出的推薦系統(tǒng)生成檢索的TIGER方法啟發(fā)后，團隊又嘗試了稀疏表征和稀疏ID生成。
這個過程中運用到一個名為“殘差量化變分自編碼器（RQ-VAE）”的技術(shù)。顧名思義，該技術(shù)綜合了殘差學(xué)習(xí)、量化技術(shù)和變分自編碼器三種方法?？梢詼p少信息損失、提高模型的泛化能力，并通過優(yōu)化模型參數(shù)，改善重構(gòu)效果。
但是稀疏表征帶來的信息缺失，使得該方案在捕捉用戶偏好的精細變化時效果較差。
最后，團隊提出了COBRA框架，稀疏稠密級聯(lián)表征和?成度量?體化方案，并達到了SOTA 級別的推薦性能。
在該框架中，稀疏ID負責提供穩(wěn)定的類別基礎(chǔ)信息，稠密向量確保模型捕獲高級語義和細粒度細節(jié)。模型在稀疏ID的指導(dǎo)下動態(tài)地細化稠密向量，可以獲得更加全面的目標對象（item) 特征。同時端到端的訓(xùn)練方法，可以捕獲高級語義和協(xié)同信息。
實測效果上，在利用公開數(shù)據(jù)集（Amazon Product Reviews: Beauty, Sports and Outdoors,Toys and Games) 和工業(yè)數(shù)據(jù)集(Baidu Industrial)，以及離線和在線評估后，證明COBRA 優(yōu)于目前業(yè)內(nèi)最先進的方法。
本文系觀察者網(wǎng)獨家稿件，未經(jīng)授權(quán)，不得轉(zhuǎn)載。
- 責任編輯: 張睿佳
-
多家果鏈大廠跌停：關(guān)稅客戶承擔，不可能虧錢給他做
2025-04-03 16:15 觀網(wǎng)財經(jīng)-科創(chuàng) -
拼多多推出“千億扶持”惠商計劃
2025-04-03 16:10 觀網(wǎng)財經(jīng)-互聯(lián)網(wǎng) -
樂事薯片陷TBHQ致癌爭議，專家稱合規(guī)使用無風(fēng)險
2025-04-03 15:38 觀網(wǎng)財經(jīng)-消費 -
中國市場暴漲65%，全球數(shù)碼相機出貨再現(xiàn)2位數(shù)增長
2025-04-03 14:23 觀網(wǎng)財經(jīng)-科創(chuàng) -
銀行去年“反向討薪”成績單：兩銀行均追回超3000萬
2025-04-03 13:24 金融觀察 -
全球加稅陰霾，A股小幅震蕩
2025-04-03 12:54 股市 -
“再逼中國大陸，他們可能重新定義半導(dǎo)體，就像DeepSeek一樣”
2025-04-03 12:26 觀網(wǎng)財經(jīng)-科創(chuàng) -
“噸級商載、百米起降”再獲億元融資
2025-04-03 12:01 觀網(wǎng)財經(jīng)-科創(chuàng) -
全球首個且唯一！aTTP靶向納米抗體藥物獲CDE優(yōu)先審評資格
2025-04-03 11:55 觀網(wǎng)財經(jīng)-健康 -
-
2024年1.8萬人離開證券業(yè)，中信、國信、廣發(fā)減員超千人
2025-04-03 11:39 金融觀察 -
特朗普這樣捏造他國對美“稅率”？
2025-04-03 11:00 應(yīng)對特朗普沖擊波 -
國產(chǎn)手機芯片龍頭完成股改，高端市場何時能破局？
2025-04-03 10:24 觀網(wǎng)財經(jīng)-科創(chuàng) -
前谷歌學(xué)者羅劍嵐加入智元機器人，任首席科學(xué)家
2025-04-03 09:28 -
智能早報丨美國征稅科技股大跌；AI圖靈測試擊敗人類；港大華為推最強模型
2025-04-03 08:48 觀網(wǎng)財經(jīng)-科創(chuàng) -
又攤上事了，這回還有華爾茲
2025-04-02 21:21 美國一夢 -
獲利9897萬、罰沒3.96億！一股民以虛假申報手段操縱多只股票被罰
2025-04-02 21:10 金融觀察 -
增利不增收的青島啤酒，連續(xù)六年出現(xiàn)季節(jié)性虧損
2025-04-02 20:40 觀網(wǎng)財經(jīng)-消費 -
與清華合作，支持22種中文方言的語音大模型來了！
2025-04-02 20:06 -
業(yè)績狂飆的老鋪黃金，股價卻即將承壓？
2025-04-02 20:03 觀網(wǎng)財經(jīng)-消費
相關(guān)推薦 -
日本這回要對美國咬緊牙關(guān)不松口了 評論 26
“機智！中方出新招，進一步堵住漏洞” 評論 114
“誰都不想掛電話” ，美俄元首兩小時都聊了啥？ 評論 144
“中國提出需求，俄方愿保障：就差技術(shù)方案了” 評論 228
“比美國先進20年，但中國稀土業(yè)要居安思危” 評論 224最新聞 Hot-
“機智！中方出新招，進一步堵住漏洞”
-
“美國7年級學(xué)生相當于中國3年級，中國在嘲笑我們”
-
魯比奧：美國想和平歐洲卻談戰(zhàn)爭，“世界顛倒了”
-
跟風(fēng)美國？日本也要下手
-
菲律賓總統(tǒng)馬科斯：愿與杜特爾特家族和解
-
“誰都不想掛電話” ，美俄元首兩小時都聊了啥？
-
雷蒙多焦慮：美國每天都要有“落后中國”的緊迫感
-
“中國提出需求，俄方愿保障：就差技術(shù)方案了”
-
講個笑話，這就是“全球最大的民主國家”…
-
“G6要告訴美國：要對華施壓，還要被你脅迫，臣妾做不到”
-
“比美國先進20年，但中國稀土業(yè)要居安思危”
-
黃仁勛：全球一半AI人才都是中國人，根本阻擋不了
-
特朗普要查哈里斯
-
英法加譴責以色列：震驚！再不收手就制裁！
-
特朗普還是忍不住，暗示拜登“隱瞞癌癥病情”
-
“全國優(yōu)秀縣委書記”張永寧，任寧德市委書記
-
- 聯(lián)系我們
- 關(guān)于我們
- 版權(quán)聲明
- 服務(wù)條款
- 刊登廣告
- 聯(lián)系微博
- 加入我們
- 網(wǎng)站地圖
- 舉報鏈接
- 舉報制度規(guī)范
- 《網(wǎng)站自律管理承諾書》
Copyright ? 2014-2024 觀察者 All rights reserved。
滬ICP備10213822號-2 互聯(lián)網(wǎng)新聞信息服務(wù)許可證：31220170001
網(wǎng)登網(wǎng)視備（滬）02020000041-1號 互聯(lián)網(wǎng)宗教信息服務(wù)許可證：滬（2024）0000009
廣播電視節(jié)目制作經(jīng)營許可證：（滬）字第03952號
增值電信業(yè)務(wù)經(jīng)營許可證：滬B2-20210968 違法及不良信息舉報電話：021-62376571
滬公網(wǎng)安備 31010502000027號
中國互聯(lián)網(wǎng)舉報中心
上海市互聯(lián)網(wǎng)違法與不良信息舉報中心
