淘寶天貓個(gè)性化推薦技術(shù)演進(jìn)史

2017-5-4    資深UI設(shè)計(jì)者

如果您想訂閱本博客內(nèi)容,每天自動(dòng)發(fā)到您的郵箱中, 請(qǐng)點(diǎn)這里


小編說(shuō):個(gè)性化推薦技術(shù)直面用戶,可以說(shuō)是站在最前線的那個(gè)。如今,從用戶打開(kāi)手機(jī)淘寶客戶端(簡(jiǎn)稱“手淘”)或是手機(jī)天貓客戶端(簡(jiǎn)稱“貓客”)的那一刻起,個(gè)性化推薦技術(shù)就已經(jīng)啟動(dòng),為你我?guī)?lái)一場(chǎng)個(gè)性化的購(gòu)物之旅。本文將細(xì)數(shù)個(gè)性化推薦的一路風(fēng)雨,講講個(gè)性化推薦技術(shù)的演進(jìn)史。

  • 個(gè)性化推薦All-in無(wú)線

無(wú)線個(gè)性化推薦起步于2013年10月。現(xiàn)在往回看,當(dāng)時(shí)的阿里很好地把握住了移動(dòng)端快速發(fā)展的浪潮,以集團(tuán)All-in無(wú)線的形式吹響了移動(dòng)端戰(zhàn)斗的號(hào)角。個(gè)性化推薦團(tuán)隊(duì)也是從All-in無(wú)線這一事件中孵化的。我們從零開(kāi)始搭建了個(gè)性化推薦算法體系及個(gè)性化算法平臺(tái)TPP。TPP這一個(gè)性化算法平臺(tái)對(duì)個(gè)性化推薦團(tuán)隊(duì)的成長(zhǎng)起到了至關(guān)重要的作用。基于TPP,個(gè)性化算法團(tuán)隊(duì)成員們驗(yàn)證算法的速度得到了極大的提高,優(yōu)化算法的速度從而也得到了極大的提高。僅僅花了不到兩個(gè)月的時(shí)間,個(gè)性化推薦的第一版算法就在“有好貨” 中初露鋒芒:結(jié)合基于主動(dòng)學(xué)習(xí)的選品算法平臺(tái)TSP,個(gè)性化推薦團(tuán)隊(duì)一舉打造了“有好貨”針對(duì)高端人群的優(yōu)質(zhì)導(dǎo)購(gòu)體驗(yàn)。

2014年,隨著個(gè)性化推薦算法團(tuán)隊(duì)對(duì)業(yè)務(wù)問(wèn)題有了更好理解,以及技術(shù)研發(fā)的深入,我們逐步開(kāi)發(fā)并上線了排序引擎RTP、標(biāo)簽探索算法PairTag及在線學(xué)習(xí)引擎Olive(如下圖所示)等多項(xiàng)核心技術(shù)。個(gè)性化推薦算法也因此被快速地應(yīng)用到“發(fā)現(xiàn)好店”、“愛(ài)逛街”、“猜你喜歡”及購(gòu)物鏈路等手淘的各個(gè)主要場(chǎng)景中。其中,手淘底部的“猜你喜歡”商品瀑布流推薦是億萬(wàn)用戶每天登錄手淘后必逛的場(chǎng)景,為人們搜尋和發(fā)掘自己喜好的商品提供了便捷的渠道?!安履阆矚g”也一舉成為中國(guó)電商中最大的推薦產(chǎn)品。

Olive流程圖

正是在All-in無(wú)線后的這一年,個(gè)性化推薦開(kāi)始在阿里逐步成長(zhǎng)起來(lái)。

  • 個(gè)性化推薦初逢雙11

2015年,個(gè)性化推薦第一次在雙11中大放異彩。還記得當(dāng)年9月中旬,我們正在維也納參加推薦系統(tǒng)最大的會(huì)議RecSys。逍遙子突然來(lái)電,告知在2015年雙11上要全面開(kāi)啟個(gè)性化推薦,隨行的同事們都很興奮,但我們又不得不面臨缺乏雙11實(shí)戰(zhàn)經(jīng)驗(yàn)的實(shí)際問(wèn)題。當(dāng)然,機(jī)會(huì)和風(fēng)險(xiǎn)往往是并存的。面對(duì)挑戰(zhàn),我們很快開(kāi)始規(guī)劃進(jìn)程和分工?;氐胶贾葜螅瑘F(tuán)隊(duì)全員進(jìn)入備戰(zhàn)狀態(tài),我們的努力在雙11當(dāng)天得到了回報(bào)。2015年11月12日凌晨,推薦算法團(tuán)隊(duì)、手淘及天貓的眾多小伙伴們并不覺(jué)得疲乏,大家的臉上都閃爍著喜悅。個(gè)性化推薦算法在雙11大放光芒,一個(gè)又一個(gè)令人瞠目的數(shù)字足以為證。個(gè)性化推薦的第一戰(zhàn)場(chǎng)“雙11主會(huì)場(chǎng)”更是自雙11開(kāi)展多年以來(lái)首次達(dá)到了個(gè)位數(shù)的跳失率,其引導(dǎo)人數(shù)和人均引導(dǎo)頁(yè)面數(shù)都是前一年的2~3倍。不得不說(shuō),這些令人振奮的結(jié)果都要?dú)w功于之前兩年中個(gè)性化推薦在無(wú)線端的落地。

2015年雙11主會(huì)場(chǎng)個(gè)性化算法(即“天坑一號(hào)”,如下圖)包括三個(gè)層次:樓層順序個(gè)性化、樓層內(nèi)坑位個(gè)性化、坑位素材個(gè)性化。這三個(gè)層次自頂向下,在用戶體驗(yàn)上形成一套完整的方案。其中:

? 樓層順序個(gè)性化使得女神看到的樓層順序可能是女裝、美妝、天貓國(guó)際等,歐巴看到的樓層順序可能是男裝、旅行、數(shù)碼等。

? 樓層內(nèi)坑位內(nèi)容個(gè)性化,使得在同一個(gè)樓層內(nèi),不同用戶看到的商品或店鋪不同,比如同樣都是美食控,喜歡辣味的用戶可能看見(jiàn)麻辣牛肉干,喜歡甜味的用戶可能看見(jiàn)巧克力。

? 坑位內(nèi)容素材個(gè)性化,使得同一個(gè)樓層的同一個(gè)坑位,即便算法預(yù)測(cè)兩個(gè)用戶都需要巧克力,但一個(gè)喜歡費(fèi)列羅而另一個(gè)喜歡德芙,也會(huì)在入口圖上展示不同的品牌。

“天坑一號(hào)”個(gè)性化主會(huì)場(chǎng)示意圖

這三層個(gè)性化中涉及多策略推薦算法、排序?qū)W習(xí)、合圖等多項(xiàng)技術(shù)。整個(gè)項(xiàng)目的進(jìn)展用六個(gè)字來(lái)總結(jié)就是“時(shí)間緊任務(wù)重”。在多個(gè)團(tuán)隊(duì)的辛勤工作及緊密協(xié)作下,我們第一次全方位地將自All-in以來(lái)所積累的個(gè)性化推薦技術(shù)用于如此復(fù)雜的場(chǎng)景之中。

個(gè)性化推薦在“雙11主會(huì)場(chǎng)”取得成功的因素有很多。其中,最值得稱道的莫過(guò)于“首圖個(gè)性化”。在指甲殼大小的空間上,我們對(duì)產(chǎn)品創(chuàng)意素材和文字進(jìn)行精雕細(xì)琢和個(gè)性化投放。這一改變極大地提升了用戶活躍度,并催生了2015年雙11主會(huì)場(chǎng)的個(gè)性化項(xiàng)目。該項(xiàng)目的成功上線成倍地降低了會(huì)場(chǎng)跳失率。更重要的是,個(gè)性化推薦為用戶帶來(lái)了全新的無(wú)線端購(gòu)物體驗(yàn),并且為阿里在電商領(lǐng)域的茁壯成長(zhǎng)帶來(lái)了顯著的助力作用。個(gè)性化推薦算法團(tuán)隊(duì)因此榮獲2015年CEO特別貢獻(xiàn)獎(jiǎng)。下面引用阿里巴巴CEO逍遙子嘉獎(jiǎng)信里的一段話:“這次雙11的一大亮點(diǎn)是,我們基于大數(shù)據(jù)的無(wú)線產(chǎn)品和技術(shù)的創(chuàng)新,使得整個(gè)運(yùn)營(yíng)效率有了大幅度提升。淘系的活躍用戶得到了充分的引導(dǎo)和互動(dòng),得到了大量個(gè)性化的展示和推薦,事實(shí)證明了大數(shù)據(jù)的巨大威力。我們用大數(shù)據(jù)賦能了雙11,賦能了我們自己的運(yùn)營(yíng)能力。”

正是在2015年雙11之后,個(gè)性化推薦的故事開(kāi)始為人們津津樂(lè)道。

  • 個(gè)性化推薦再戰(zhàn)雙11

2015年雙11之后,個(gè)性化推薦團(tuán)隊(duì)乘風(fēng)起航,繼續(xù)發(fā)力。正是這一年的持續(xù)發(fā)展,使得個(gè)性化推薦在2016年雙11中更進(jìn)一步,遍及無(wú)線端的各個(gè)場(chǎng)景。包括主會(huì)場(chǎng)在內(nèi)的幾乎全部活動(dòng)會(huì)場(chǎng)、產(chǎn)品都實(shí)現(xiàn)了個(gè)性化算法投放。個(gè)性化推薦團(tuán)隊(duì)的代表作“海神”以及“魯班”(下圖為魯班批量生產(chǎn)的創(chuàng)意Banner)都是首次在雙11中亮相。

魯班批量生產(chǎn)的創(chuàng)意Banner

在2016年雙11中,面對(duì)更為復(fù)雜的個(gè)性化需求,樂(lè)田及工程師們將全面升級(jí)后的個(gè)性化推薦完美地展現(xiàn)在雙11主會(huì)場(chǎng)中。雖然2016年的雙11主會(huì)場(chǎng)與2015年的“天坑一號(hào)”主會(huì)場(chǎng)極其相似,但這一次個(gè)性化推薦產(chǎn)品做得更為精細(xì)了。其中,GBDT+FTRL、Wide & Deep Learning和AdaptiveLearning這三項(xiàng)最前沿的機(jī)器學(xué)習(xí)技術(shù)被應(yīng)用到了主會(huì)場(chǎng)的三層結(jié)構(gòu)中,極大地提升了在線模型的效果及實(shí)時(shí)預(yù)測(cè)的效率。

除了常規(guī)的個(gè)性化推薦之外,我們?cè)?016年雙11開(kāi)始嘗試融合商家流量分配的個(gè)性化推薦。逍遙子在2015年雙11總結(jié)中提到:“我們還要更上

一層樓,利用大數(shù)據(jù)賦能給所有的商家,幫助他們運(yùn)營(yíng)好消費(fèi)者,這樣才能讓我們?cè)诖髷?shù)據(jù)時(shí)代踐行‘讓天下沒(méi)有難做的生意’的使命?!彪S著個(gè)性化場(chǎng)景的不斷升級(jí),商家很多時(shí)候都對(duì)流量的波動(dòng)束手無(wú)策。對(duì)那些有運(yùn)營(yíng)能力的商家來(lái)說(shuō),我們希望其通過(guò)更多優(yōu)質(zhì)的商品和優(yōu)秀的服務(wù)換來(lái)更多的流量或銷量上的部分確定性。因?yàn)橥扑]各場(chǎng)景大小不一、定位差異大,有導(dǎo)購(gòu)類場(chǎng)景、有成交類場(chǎng)景等,我們需要根據(jù)場(chǎng)景本身的特性來(lái)進(jìn)行流量智能調(diào)控。因此,商家賦能個(gè)性化推薦系統(tǒng) — Matrix應(yīng)運(yùn)而生。Matrix系統(tǒng)主要用于調(diào)節(jié)用戶體驗(yàn)、賣家流量訴求和投資回報(bào)率、電商平臺(tái)健康度等方面的效用,平衡場(chǎng)景的短期收益和長(zhǎng)期收益。在2016年雙11中,Matrix在部分場(chǎng)景的上線為今后的賣家賦能積累了寶貴的經(jīng)驗(yàn)。

賦能商家的Matrix系統(tǒng)流程圖

  • 個(gè)性化推薦的智能未來(lái)

個(gè)性化推薦從無(wú)到有,直到演進(jìn)成為CEO逍遙子口中的“電商基礎(chǔ)設(shè)施”,這一切來(lái)得極為不易。面對(duì)更具挑戰(zhàn)的未來(lái),個(gè)性化推薦可以做得更好、更智能,而基于全局信息的個(gè)性化推薦將會(huì)是達(dá)成這一目標(biāo)的重要途徑。

眾所周知,個(gè)性化推薦涉及多種不同層次、不同粒度的子任務(wù)。從推薦內(nèi)容上來(lái)說(shuō),個(gè)性化推薦分為商品推薦、店鋪推薦、品牌推薦、評(píng)論推薦等;從推薦目標(biāo)上來(lái)說(shuō),個(gè)性化推薦分為點(diǎn)擊率預(yù)測(cè)、轉(zhuǎn)化率預(yù)測(cè)、成交量預(yù)測(cè)等。雖然我們當(dāng)前設(shè)計(jì)的個(gè)性化推薦算法在TPP上實(shí)現(xiàn)了流程一體化,但我們對(duì)每個(gè)推薦場(chǎng)景面臨的子問(wèn)題卻是單獨(dú)建模的。如果能從全局的角度分析用戶的喜好,個(gè)性化推薦必然能夠更上一層樓。

2016年,我們已經(jīng)通過(guò)深度強(qiáng)化學(xué)習(xí)(Deep Reinforcement Learning)技術(shù)對(duì)全局信息共享下基于多任務(wù)學(xué)習(xí)(Multi-task Learning)的個(gè)性化推薦進(jìn)行了初步探索。從數(shù)據(jù)流通鏈路來(lái)看(比如下圖所示的手淘場(chǎng)景數(shù)據(jù)流通圖),我們可以很自然地將全鏈路多場(chǎng)景的推薦任務(wù)理解為推薦系統(tǒng)面向用戶的連續(xù)決策過(guò)程。隨著用戶對(duì)不同推薦場(chǎng)景的持續(xù)瀏覽和交互,推薦系統(tǒng)對(duì)于用戶實(shí)時(shí)需求和意圖的理解會(huì)越來(lái)越清晰,因此也可以更準(zhǔn)確地為用戶推薦更為合適的內(nèi)容。深度強(qiáng)化學(xué)習(xí)已經(jīng)在人工智能領(lǐng)域掀起了新的浪潮,這一技術(shù)必將成為個(gè)性化推薦智能化的最強(qiáng)武器。

手淘場(chǎng)景數(shù)據(jù)流通圖

  • 總結(jié)

個(gè)性化推薦所取得的成就是一個(gè)“意料之外卻情理之中”的結(jié)果。僅僅經(jīng)歷了短短幾年的時(shí)間,淘寶和天貓就從以人工運(yùn)營(yíng)為主分配流量和資源位的方式成功轉(zhuǎn)變?yōu)橐源髷?shù)據(jù)和人工智能為導(dǎo)向的新方式。與此同時(shí),我們初步建立了人工經(jīng)驗(yàn)與算法投放協(xié)同工作的機(jī)制。自2013年年底All-in無(wú)線以來(lái)的沉淀和積累終于逐步轉(zhuǎn)化成了果實(shí)。經(jīng)過(guò)不斷地積累和打磨,個(gè)性化推薦技術(shù)變得越發(fā)成熟和犀利,相信個(gè)性化推薦的未來(lái)會(huì)更好。

藍(lán)藍(lán)設(shè)計(jì)m.bouu.cn )是一家專注而深入的界面設(shè)計(jì)公司,為期望卓越的國(guó)內(nèi)外企業(yè)提供卓越的UI界面設(shè)計(jì)BS界面設(shè)計(jì) 、 cs界面設(shè)計(jì) 、 ipad界面設(shè)計(jì) 、 包裝設(shè)計(jì) 、 圖標(biāo)定制 、 用戶體驗(yàn) 、交互設(shè)計(jì)、 網(wǎng)站建設(shè) 平面設(shè)計(jì)服務(wù)

日歷

鏈接

個(gè)人資料

存檔