个性化商品搜索（ PPS ）旨在检索与给定查询相关的商品，并将用户在其购买历史中展现出的商品偏好作为参考。由于大型语言模型（ LLM ）在内容理解和推理方面表现出色，一些方法利用 LLM 来理解用户、查询和商品之间的复杂关系，以提高 PPS 的搜索准确性。尽管取得了一定进展，但基于 LLM 的 PPS 解决方案仅仅考虑了文本内容，忽略了对商品搜索起关键作用的多模态内容。

在参加腾讯犀牛鸟计划期间，MAGUS 研究组的张贝贝同学与校内导师和企业导师合作，提出了一种新的框架 —— HMPPS，利用多模态大模型（ MLLM ）实现基于多模态内容的个性化商品搜索。然而，PPS 输入中的冗余和噪声给 MLLM 带来了很大的挑战：不仅影响搜索结果的准确性，还会加大计算开销。为此，我们为 HMPPS 设计了两个基于查询目标的内容精炼模块：1）多视角内容总结模块，该模块围绕与搜索查询相关的多个视角，生成精炼的产品描述，减少文本内容中的噪声和冗余；2）购物历史过滤模块，根据多模态特征和搜索查询过滤用户购物历史，捕获更加精确的用户偏好并降低推理成本。我们在四个公共数据集上进行了广泛的实验，证明了 HMPPS 的有效性。

目前，HMPPS 已在线上搜索系统中完成了部署，并在 A / B 测试中取得了明显的收益。

相关研究论文 " Harnessing Multimodal Large Language Models for Personalized Product Search with Query-aware Refinement " 已经被多媒体领域顶级国际会议 ACM International Conference on Multimedia（ ACM MM，CCF - A类会议 ）录用。