Posts

Anchored on Meta’s HSTU paper (“Actions Speak Louder than Words: Trillion-Parameter Sequential Transducers for Generative Recommendations”, ICML 2024), this survey traces how recommendation systems are migrating from feature-engineered DLRMs to end-to-end generative transducers — and why this shift unlocks the same power-law scaling that LLMs enjoy. 1. Why Scaling Laws Matter for RecSys — and Why DLRMs Hit a Wall 1.1 The LLM playbook does not transfer for free In NLP and vision, the recipe is well understood: bigger model + more data + more compute → predictably better loss, governed by Hoffmann/Kaplan power-laws....

目前处在LLM时代，但是除了部分大规模稀疏场景（搜索/推荐/计算广告等）已经规模化DNN之外，大部分场景（中小规模数据集、工业医学生物等）的...

这篇是自己之前在学习Transformer的过程中，综合多方材料，对Transformer模型的梳理。 为什么是个ppt？ 为了加深对模型细节的...

在大公司里通常有专门的团队负责机器学习平台与基础设施（例如在阿里，数据预处理常在 ODPS 完成，训练跑在 PAI/XDL 上）。但在小公司里，特别是那些没有自建完善...

1. Background In many businesses with recurring payments—e.g. installment plans, subscription services, financing, insurance renewals etc.—one key task is to estimate the lifetime value (LTV) of a customer. We call this pLTV (predicted lifetime value). For why we need to estimate LTV: With pLTV, we can acquire more valuable new users from advertise platforms (e.g. Google Ads, Meta Ads etc.) With pLTV, our financial team can estimate the company’s cash flow in the near future and make better decisions In our setting, because the cash flows accrue monthly (or at some periodic cadence), we may want to estimate the predicted LTV at the end of each month, and potentially project out over a long horizon (e....

背景 Jerry.ai是一家欧美主营车险的中介平台，对接几十家车险公司，每年的报价（quoting）请求数上亿。但由于报价系统（quoting...

Twitter去年开源推荐系统代码到现在一年多了，一直没时间去看一看，今天想起来瞄了会，本文简单记录下。 开源： 系统代码：https://gi...

什么是Decoding策略 在使用GPT类产品的时候，不妨问一下自己这些问题： 同一个 prompt，为什么模型有时说的不一样？ Chatbot里面...

在之前的工作中负责过一段时间转化率的建模，这里对转化率建模的技术作一个简单梳理。 我把CVR建模中会遇到的主要问题分成3类（如图）： 多目标建模...

背景 想要用ML模型拟合业务，但实际中经常会遇到类似下面的场景： 二手车价格预估：同一辆车，预估的价格与里程应该是严格负相关的； 保费预估：保额越...