多模态数据下的推荐算法及在线评论行为研究

《多模态数据下的推荐算法及在线评论行为研究》内容曾获评清华大学优秀博士论文，聚焦于信息管理的前沿和消费者生成多模态大数据，综合运用深度学习、因果推荐、行为实验等多种研究方法，对平台经济相关问题开展了系统而深入的研究。本书的特色是聚焦于推荐系统和评论系统两个数字经济平台的典型场景，关注平台管理面临的重要问题，即如何通过优化推荐算法或者改进平台功能，提升用户的满意度，并从算法设计、因果分析等角度展开研究。本书主要面向管理科学与工程专业及其他相关领域的研究人员，包括高校教师和研究生，也面向互联网行业对相关话题感兴趣的从业人员。

以图像和文本为代表的多模态数据为用户线上购买和交友决策过程提供了重要信息参考。本书基于推荐及评论这两个重要的用户决策支持系统，主要研究了基于多模态数据的推荐算法设计以及多模态数据对用户评论行为产生的影响。本书的特色在于聚焦数字经济平台的重要领域，关注了平台的两个核心功能——推荐功能和评论功能，并深入研究了多模态数据在其中所具有的价值和所起到的作用。
全书共6章，内容包括选题背景；与平台推荐和评论系统相关的已有研究成果；基于多模态数据的推荐算法设计；评论系统中用户生成图像对后续消费者决策所产生的影响；未来发展趋势。
《多模态数据下的推荐算法及在线评论行为研究》主要面向高等院校管理科学与工程、信息管理相关专业高年级本科生及研究生，也为推荐算法、多模态数据分析相关研究领域的广大科技工作者和研究同行提供参考。

第1章引言1
1.1多模态数据与人工智能2
1.2基于多模态数据的推荐系统5
1.3本书主要内容与创新7
第2章推荐算法和评论系统相关研究动态13
2.1推荐系统概述14
2.2图像文本融合的推荐算法16
2.2.1基于图像的推荐16
2.2.2多模态数据的表示学习18
2.2.3图像文本认知风格19
2.3双边推荐算法20
2.3.1双边推荐20
2.3.2文本建模22
2.3.3在线交友中的自我呈现23
2.4消费者生成图像的行为影响25
2.4.1图像在电子商务平台的作用25
2.4.2产品评论的影响因素28
2.5本章小结29
第3章基于图像和文本的产品推荐算法30
3.1背景介绍30
3.2模型框架和计算方法32
3.2.1问题描述32
3.2.2DeepMINE模型33
3.2.3参数学习38
3.2.4预测和推荐40
3.3实证研究与结果40
3.3.1数据描述40
3.3.2评估指标和基准模型41
3.3.3实验结果43
3.4本章小结53
第4章基于结构化属性和问答文本的双边推荐算法55
4.1背景介绍55
4.2场景和匹配过程58
4.3研究模型59
4.3.1预备知识59
4.3.2模型概览60
4.3.3结构化属性与文本信息62
4.3.4第一阶段: 请求者的偏好学习62
4.3.5第二阶段: 接收者的偏好学习64
4.3.6目标函数65
4.3.7推荐结果生成66
4.4实验结果及分析67
4.4.1研究背景和数据集描述67
4.4.2Word2vec单词聚类68
4.4.3评价指标69
4.4.4参数设置和基准模型70
4.4.5实验结果71
4.5本章小结80
第5章消费者生成图像对评论打分的行为影响82
5.1背景介绍82
5.2研究假设85
5.3主要场景和数据描述88
5.4模型和主要结果91
5.4.1倾向得分匹配92
5.4.2双重差分模型92
5.4.3CGI对产品评分的总体影响94
5.5CGI不同属性的异质性影响95
5.5.1CGI美学评估模型95
5.5.2人脸检测98
5.5.3CGI视觉属性的异质性影响98
5.5.4CGI评论者的主观性99
5.5.5不同数量CGI的影响101
5.5.6CGI对搜索型产品的影响102
5.6稳健性检验104
5.6.1考虑评论排序机制下首页CGI产生的影响104
5.6.2相对时间模型106
5.6.3其他稳健性检验107
5.7用户实验109
5.7.1实验设计109
5.7.2信度、效度与操纵检查111
5.7.3实验结果112
5.8本章小结115
第6章结语117
6.1内容总结117
6.2本书创新点119
6.3未来趋势120
参考文献122

近年来，随着人工智能、大数据的蓬勃发展，管理领域也在经历着巨大变革，基于数据进行决策的重要性日益凸显。其中，多模态数据（文本、图像、结构化数据等）是大数据多样性特征的重要体现。以图像和文本为代表的多模态数据为用户线上购物和交友决策过程提供了重要信息参考，同时，人工智能（包括大语言模型的不断演进）从技术上为理解多模态数据提供保证，从而为管理决策制定和管理价值发现提供了新的可能性。本书基于推荐及评论这两个重要的用户决策支持工具，围绕多模态数据系统地介绍了不同视角下的推荐算法设计以及其对用户评论行为产生的影响这两个重要方向的研究成果。
推荐算法在不同场景下需要考虑不同的特征。在电商场景下，消费者在进行购物决策过程时会考虑多形式（图像和文本）及多来源（来自商家和用户）的信息，由于消费者认知风格的异质性，其对各类信息的关注程度不尽相同。基于以上特征，本书首先提出了一种结合图像、文本以及用户生成内容的基于深度神经网络的个性化推荐算法。在线上交友平台场景下，不同于产品推荐，平台需要兼顾推荐与被推荐双方的偏好才能实现成功的匹配。除了年龄、教育背景等结构化属性之外，用户发布的文本内容中体现的个人特质及匹配度也扮演了重要角色，因此本书设计了一种基于两阶段匹配过程并融合了结构化和用户生成文本数据的双边推荐算法。在线评论系统是用户网上决策的另一重要信息参考，评论中的消费者生成图像作为应用广泛的营销工具，其对后续消费者的购后满意度（用后续评论打分来衡量）影响如何还未形成定论。本书借鉴计量经济学中的识别方法以及相关理论，明确了非结构化的消费者生成图像对于评论系统中的结构化产品评分带来的影响。
本书内容大多为作者近年来的研究成果，在介绍不同研究专题的同时，也涉及管理领域所常用的不同的研究方法论（机器学习、计量经济学、用户实验），希望能够为相关领域的学术同行提供启迪，也期待对正在开展或即将开展研究工作的研究生在选题、设计与成文方面有所启发。
本书得到国家自然科学基金（72202220）和中国传媒大学中央高校基本科研业务费专项资金（项目编号: CUC23HQ008）的资助，在此表示感谢，同时衷心感谢清华大学出版社在本书编辑出版过程中给予的大力支持和帮助。
由于作者水平有限，如书中存在不足或者不当之处，敬请广大读者批评指正。

管悦2023年10月于中国传媒大学