电子工业出版社-网上书店

如何能牢牢地黏住老用户、吸引新用户、读懂用户的偏好兴趣和喜怒哀乐，这都是对企业发展至关重要甚至关乎生死存亡的问题，解决这个问题的方法就是推荐系统。本书分为上中下三篇，共13章，上篇为用户画像知识工程基础，包括表征建模、画像计算、存储及各种更新维护等管理操作；中篇为推荐系统与用户画像，包括传统协同过滤等经典推荐算法的介绍，以及涉及用户画像的推荐方法；下篇为应用案例分析，包括Netflix、阿里等数据竞赛的经典数据案例，以及在具体工程开发过程的具体案例，分别从系统需求、总体结构、算法设计、运行流程及测试结果等五个方面提供详细案例指导。

目    录
上    篇
第1章  用户画像概述	3
1.1  用户画像数据来源	3
1.1.1  用户属性	5
1.1.2  用户观影行为	5
1.2  用户画像特性	5
1.2.1  动态性	5
1.2.2  时空局部性	6
1.3  用户画像应用领域	6
1.3.1  搜索引擎	6
1.3.2  推荐系统	7
1.3.3  其他业务定制与优化	7
1.4  大数据给用户画像带来的机遇与挑战	8
第2章  用户画像建模	9
2.1  用户定量画像	9
2.2  用户定性画像	10
2.2.1  标签与用户定性画像	10
2.2.2  基于知识的用户定性画像分析	12
2.2.3  用户定性画像的构建	16
2.2.4  定性画像知识的存储	22
2.2.5  定性画像知识的推理	26
2.3  本章参考文献	29
第3章  群体用户画像分析	31
3.1  用户画像相似度	32
3.1.1  定量相似度计算	32
3.1.2  定性相似度计算	34
3.1.3  综合相似度计算	35
3.2  用户画像聚类	36
第4章  用户画像管理	41
4.1  存储机制	41
4.1.1  关系型数据库	42
4.1.2  NoSQL数据库	43
4.1.3  数据仓库	45
4.2  查询机制	46
4.3  定时更新机制	47
4.3.1  获取实时用户信息	47
4.3.2  更新触发条件	48
4.3.3  更新机制	49
中    篇
第5章  视频推荐概述	55
5.1  主流推荐方法的分类	56
5.1.1  协同过滤的推荐方法	56
5.1.2  基于内容的推荐方法	57
5.1.3  基于知识的推荐方法	59
5.1.4  混合推荐方法	60
5.2  推荐系统的评测方法	61
5.3  视频推荐与用户画像的逻辑关系	61
第6章  协同过滤推荐方法	65
6.1  概述	65
6.2  关系矩阵及矩阵计算	67
6.2.1  U-U矩阵	67
6.2.2  V-V矩阵	70
6.2.3  U-V矩阵	72
6.3  基于记忆的协同过滤算法	74
6.3.1  基于用户的协同过滤算法	75
6.3.2  基于物品的协同过滤算法	78
6.4  基于模型的协同过滤算法	81
6.4.1  基于隐因子模型的推荐算法	82
6.4.2  基于朴素贝叶斯分类的推荐算法	85
6.5  小结	88
6.6  本章参考文献	88
第7章  基于内容的推荐方法	91
7.1  概述	91
7.2  CB推荐中的特征向量	94
7.2.1  视频推荐中的物品画像	94
7.2.2  视频推荐中的用户画像	96
7.3  基础CB推荐算法	97
7.4  基于TF-IDF的CB推荐算法	99
7.5  基于KNN的CB推荐算法	102
7.6  基于Rocchio的CB推荐算法	104
7.7  基于决策树的CB推荐算法	106
7.8  基于线性分类的CB推荐算法	107
7.9  基于朴素贝叶斯的CB推荐算法	109
7.10  小结	111
7.11  本章参考文献	111
第8章  基于知识的推荐方法	113
8.1  概述	113
8.2  约束知识与约束推荐算法	114
8.2.1  约束知识示例	114
8.2.2  约束满足问题	115
8.2.3  约束推荐算法流程	117
8.3  关联知识与关联推荐算法	118
8.3.1  关联规则描述	118
8.3.2  关联规则挖掘	121
8.3.3  关联推荐算法流程	123
8.4  小结	124
8.5  本章参考文献	124
第9章  混合推荐方法	125
9.1  概述	125
9.2  算法设计层面的混合方法	126
9.2.1  并行式混合	126
9.2.2  整体式混合	129
9.2.3  流水线式混合	131
9.2.4  典型混合应用系统	133
9.3  混合式视频推荐实例	136
9.3.1  MoRe系统概览	136
9.3.2  MoRe算法介绍	137
9.3.3  MoRe算法混合	139
9.3.4  MoRe实验分析	140
9.4  小结	142
9.5  本章参考文献	142
第10章  视频推荐评测	145
10.1  概述	145
10.2  视频推荐试验方法	146
10.2.1  在线评测	147
10.2.2  离线评测	149
10.2.3  用户调查	150
10.3  视频离线推荐评测指标	151
10.3.1  准确度指标	151
10.3.2  多样性指标	159
10.4  小结	161
10.5  本章参考文献	162
下    篇
第11章  系统层面的快速推荐构建	165
11.1  概述	165
11.2  本章主要内容	166
11.3  系统部署	166
11.3.1  Hadoop2.2.0系统部署	166
11.3.2  Hadoop运行时环境设置	169
11.3.3  Spark与Mahout部署	175
11.4  Mahout推荐引擎介绍	181
11.4.1  Item-based算法	181
11.4.2  矩阵分解	185
11.4.3  ALS算法	187
11.4.4  Mahout的Spark实现	190
11.5  快速实战	193
11.5.1  概述	193
11.5.2  日志数据	194
11.5.3  运行环境	196
11.5.4  基于Mahout Item-based算法实践	201
11.5.5  基于Mahout ALS算法实践	205
11.6  小结	208
11.7  本章参考文献	208
第12章  数据层面的分析与推荐案例	211
12.1  概述	211
12.2  本章主要内容	212
12.3  竞赛内容和意义	212
12.3.1  竞赛简介	212
12.3.2  竞赛任务和意义	213
12.4  客户-商户数据	215
12.4.1  数据描述	215
12.4.2  数据理解与分析	217
12.5  算法流程设计	219
12.5.1  特征提取	219
12.5.2  分类器设计	220
12.5.3  算法流程总结	222
12.6  小结	222
12.7  本章参考文献	223

前    言
随着大数据时代的到来，互联网企业的竞争已经到了寸土必争和群雄逐鹿的时代，如何能牢牢地黏住老用户、吸引新用户、读懂用户的偏好兴趣和喜怒哀乐，这都是对企业发展至关重要甚至关乎生死存亡的问题。而为了解决这个问题，学界和业界一直是蛮拼的，积极从各个领域汲取理论，从人工智能、智能信息处理，细化到数据挖掘和机器学习，再后来就有了一个更加专用的术语——推荐系统。通俗地讲，推荐就是发掘用户集合和对象集合的语义关系，为用户提供语义最相关的TOP-N对象集合，而语义关系就是能读懂用户偏好兴趣的核心。因此，从业务来看，推荐系统是面向具体业务的交叉研究，无业务讲推荐系统，感觉言之无物；从技术来讲，没有永远一招鲜的技术，不同的数据、不同的场景就会有不同的结果；而从知识面上讲，涉及的技术非常广泛，可以大胆预言，推荐系统的研究还会包含更多其他领域的技术，因此是无止境的。
推荐系统在很多实际应用中已经被成功的开发和利用，例如Amazon和淘宝的猜你喜欢买、优酷等视频网站的猜你喜欢看，甚至你在某网站搜索二手房后，你在逛某个论坛时，这些房屋的广告都会追过来，推荐系统及相关技术如影随形。很多大公司专门建立一个独立的推荐系统研发或者数据分析师团队，旨在提高服务智能化和拓展企业利润空间，同时也可以大大增加用户的满意度。而小公司或者初创企业，其实也迫切需要推荐系统，但是往往会遇到投入成本过大的问题。这也是本书的一个初衷，希望可以帮助一些小企业技术人员快速地理解和部署简单的推荐系统，以用户画像为核心，对相关算法有个初步理解和入门。而对于一些高深的推荐算法研究，我们不敢在国内外顶级学者的算法研究面前班门弄斧，更希望从推荐服务提供商的角度多畅谈一下对用户画像的理解，对常见算法有个普及型和稍微深入的介绍，就已经达到本书的目的了。但实际上，用户画像其实是一个比较抽象的概念，粒度如何控制？是给一群人打上文艺男的标签，还是直接给单个人打上文艺微胖男或者文艺知性女的标签? 标签间的关系是什么？一直喜欢看文艺电影的，此时此刻就一定想看文艺电影，是否一定要推荐文艺电影，还是推荐排行榜的美国大片效果更好？如何追求大客户和小客户的体验差异化权衡（大客户小个体模型，小客户大群体模型）？这些都是特别有意思且值得深入研究的地方。但是从通用业务的角度，只要在统计方面发现用户的黏性增加，广告的单击率和转化率提升，这就算一个上线产品的基本成功点了，已经具备可以继续深入优化的基础。
目前市场上的相关书籍，将用户画像的描述或者隐藏在具体的算法中，或者简单以用户偏好的形式带过，往往不是从单独系统性的角度阐述的，或多或少导致用户知道用户画像的意思，但是一方面理解起来深度不够（如用户每个时段的观影稳定性定量是多少），另一方面不知道如何存储、表示和实际使用。因此，本书希望言之有物，以视频网站的用户画像为切入点，在广度上也会覆盖主流常见的推荐算法原理和技术介绍，给出了如何使用面向用户画像的高级推荐算法，并且通过具体案例的详细描述和数据测试流程，对读者的理解与实践产生积极的指导意义。
本书侧重针对视频的个性化推荐系统相关技术，重视对以用户画像为核心的牵引，重视实际操作，点面结合，尤其是借鉴了我们在产业界做的一些具体线上项目流程和实施代码，力求对推荐系统的持续发展提供借鉴和参考价值，贡献绵薄力量。特别需要指出的是，在实践部分，我们不会特别纠结算法的准确率（因为有了基础推荐系统后可以对插件化的算法不断改进和优化），而是重点叙述用什么开源模型，怎么快速搭建起来，有哪些基本配置和模块，关键画像模块怎么构建；很多基本数据，怎么接入系统，怎么用；推荐怎么输出，输出数据是什么，怎么用；结合我们的服务器时间，对数据处理规模和推荐时间性能给出基本的参考。
本书分为上中下三篇，共13章。上篇为用户画像知识工程基础，包括表征建模、画像计算、存储及各种更新维护等管理操作；中篇为推荐系统与用户画像，包括传统协同过滤等经典推荐算法的介绍，以及涉及用户画像的推荐方法；下篇为应用案例分析，包括Netflix、阿里等数据竞赛的经典数据案例，以及我们在具体工程开发过程的具体案例，分别从系统需求、总体结构、算法设计、运行流程及测试结果五个方面提供详细案例指导。
最后，本书虽涉及视频推荐系统的关键技术和相应的详细应用分析，仍难以详尽叙述理论和工程实现的方方面面。由于作者水平有限，不足之处在所难免，敬请广大读者批评指正，欢迎及时与出版社或作者联系，我们将会及时在下一版中予以更新及补充。
本书由中科院信息工程研究所郭莉和谭建龙担任顾问，在编写过程中得到了中科院信息工程研究所萍、胡玥、王斌、刘庆云、时金桥、熊刚，北京交通大学闫子淇，北京邮电大学刘军、郑静，澳大利亚Deakin大学Tianqing Zhu、Shaowu Liu，360奇虎科技的燕凯等各位学者和工程师的帮助和支持，在此向他们表示由衷感谢。在实验环境方面，感谢北京云量数盟给予的实验支持与帮助，感谢辛苗、牛奕涵对本书内容的启发与指导，需要感谢的人太多，也特别感谢和致敬该领域的著名专家学者项亮。此外，本书中的部分内容参考了相关互联网电商企业的推荐系统公开技术资料，再次感谢他们的精彩分享。 
作  者   
2016年1月

科技—计算机—网络与互联网

牛温佳，男，博士，中国科学院信息工程研究所副研究员。主持国家自然科学基金青年基金项目和广西可信软件重点实验室开放课题各一项，作为骨干先后参与了多个重要项目，包括工信部重大专项、973、863和中科院战略先导专项等。

本书配套资源下载

对不起，暂无音视频资源！

用户网络行为画像——大数据中的用户网络行为画像分析与内容推荐应用