电子工业出版社-网上书店

本书深入剖析机器学习中的概率思维，从基础理论出发，结合经典案例，阐述如何将概率思维巧妙地应用于机器学习算法，帮助读者理解数据背后的规律与不确定性。除引言外，全书内容分为5章，包括贝叶斯定理中的概率思维、朴素贝叶斯算法中的概率思维、极大似然估计和最大后验估计、贝叶斯网络、马尔可夫链和隐马尔可夫模型。本书适合机器学习领域的工程师、研究员阅读，也可作为计算机科学、统计学、电子工程、计量经济学等领域的技术人员的参考用书。

目录
引言  概率对于机器学习的重要性	001
第1章  贝叶斯定理中的概率思维	008
1.1  概率基础知识	008
1.2  条件独立	011
1.3  贝叶斯定理的证据思想	014
1.3.1  贝叶斯定理实际应用	014
1.3.2  阐述公式背后的意义	017
1.4  贝叶斯哲学本质	023
1.4.1  趋于真理的过程	023
1.4.2  贝叶斯哲学精神	024
1.5  贝叶斯数学思想	024
第2章  朴素贝叶斯算法中的概率思维	033
2.1  应用贝叶斯定理构建朴素贝叶斯分类器	033
2.2  比较条件概率	036
2.3  朴素贝叶斯的类型	040
第3章  极大似然估计和最大后验估计	041
3.1  极大似然估计	041
3.2  最大后验估计	045
3.3  MLE与MAP估计的区别与联系	047
3.4  使用MAP估计求解硬币翻转问题	048
3.5  贝叶斯推理	051
3.5.1  贝叶斯推理举例	051
3.5.2  贝叶斯推理详细推导	053
3.5.3  期望后验	056
3.6  逻辑回归中的极大似然和最大后验	057
3.7  高斯判别分析	058
第4章  贝叶斯网络	063
4.1  从条件概率到贝叶斯网络定义	064
4.2  贝叶斯网络结构	069
4.3  条件概率表	071
4.4  贝叶斯网络解释	073
第5章  马尔可夫链和隐马尔可夫模型	077
5.1  马尔可夫链：概率序列	078
5.2  马尔可夫假设	081
5.3  求马尔可夫链某个状态的概率	083
5.4  隐马尔可夫模型	086
5.5  隐马尔可夫前向算法和后向算法	093

引  言
概率对于机器学习的重要性
1．生活是由概率“锚定”的
如果天气预报提示今天降水的概率为80%，那么我们今天外出带上雨伞比较保险。事实上，我们在日常生活中经常非正式地、非自觉地根据概率来制订计划或做出决定。在降水概率为80%的这一天，即使有20%的概率不会下雨，我们还是会做出带伞的决定。
概率的重要性使概率研究逐渐成为一门重要的学科。在学术上，概率论是研究人员、股票经纪人等在有不确定因素的情况下做出决策的基本依据。
概率提供关于某个事件发生的可能性的信息。例如，气象学家使用天气模型来预测下雨的可能性；在流行病学中，概率论被用于阐释环境暴露与健康影响风险之间的关系。
让我们用一个简单的经典例子——抛硬币来说明概率是怎么产生的。我们知道有50%的机会得到正面，50%的机会得到反面。这个概率是怎么来的呢？
抛一枚硬币，如果有1次得到正面，那么用次数1除以可能结果的总数就得到“得到正面的概率”。抛一枚硬币，只有2种结果，要么是正面，要么是反面，因此得到正面的概率是50%。
抛一枚硬币10次，结果可能是7次正面和3次反面，即70%正面和30%反面。由于重复次数很少，我们无法准确确定其概率。但是，如果将一枚硬币抛掷1000次甚至更多次，则最终正面和反面的次数接近1︰1分布。
这说明了关于概率的另一个重要定律——大数定律。在试验环境不变的条件下，随机重复试验多次，则随机事件的发生频率将逐渐趋于某个常数。
概率和统计中的大数定律表明，随着样本量的增加，其均值会越来越接近总体的均值。16世纪，意大利数学家Girolamo Cardano提出了大数定律；1713年，瑞士数学家Jakob Bernoulli在他的著作《猜度术》中证明了这个定律；后来其他著名的数学家（如彼得堡数学学派的创始人Pafnuty Lvovich Chebyshev）对这个定律进行了改进。
根据大数定律，给定的样本，尤其是小样本，并不一定能够反映真实的总体特征；不能反映真实总体特征的样本会被后续样本平衡。
2．概率在社会中的重要性
有很多关于概率在社会中应用的例子，如衡量患癌症的可能性。根据加拿大癌症协会的数据，40%的加拿大女性和45%的加拿大男性在其一生中会被诊断出患癌症。这些概率是基于2009年加拿大全国癌症统计数据计算得出的。
这种广泛的信息对于那些计划、提供或研究医疗保健服务的人很有帮助，而且越详细越好。相关人员可以依据这些信息确定在特定年龄患上特定类型癌症的概率。他们还可以考虑个人因素对患癌症概率的影响，这些个人因素也很重要。如果家庭成员中有人患有乳腺癌，那么其他家人患乳腺癌的风险就会增加；如果有人吸烟，那么这个人患肺癌的可能性就会增加（据估计，吸烟者占肺癌病例的88%～90%，而从不吸烟者患肺癌的风险要低得多——约为1%）。这类风险因素也可以纳入概率计算。
概率的另一个应用是汽车保险。保险公司根据车主发生车祸的可能性来确定保险费用，为此，他们使用按性别、年龄、汽车类型和每年行驶公里数划分的车祸频率信息来估计个人发生机动车事故的概率。
3．概率是量化不确定性的数学
概率模型的主要优点之一是它们提供了与预测相关的不确定性的概念。大家可能会了解机器学习模型对其预测的可信程度。例如，如果概率分类器为“狗”类分配90%的概率，用来代替原来的60%，则意味着分类器更加确信图像中的动物是狗。当这些概率与不确定性被应用到机器学习中时，如疾病诊断和自动驾驶，它们会非常有价值。此外，对于与机器学习相关的许多方法，如主动学习，概率结果是可信的。
不可否认，概率模型是机器学习领域的“支柱”，许多人将其作为入门之前学习的先决条件。
众所周知，目前人们使用概率工具和技术设计了许多算法，如朴素贝叶斯和概率图模型。在机器学习的众多应用中，朴素贝叶斯、最大似然估计（也称“极大似然估计”）、最大似然分布、交叉熵、贝叶斯优化等，都是非常重要的概念或方法。
1）使用概率设计模型
在进行概率计算时，有一些专门的算法，如朴素贝叶斯算法，该算法是使用贝叶斯定理构造的，并带有一些简化的假设。
线性回归算法可以看作使预测均方误差最小化的概率模型，而逻辑回归算法可以看作将预测正分类标签的负对数可能性最小化的概率模型。
概率图模型（Probabilistic Graphical Model，PGM）围绕贝叶斯定理进行设计。一个著名的概率图形模型是贝叶斯网络/信念网络，它能够捕获变量之间的条件依存关系。
2）使用概率框架训练模型
可以使用在概率框架下设计的迭代算法来训练许多机器学习模型。
概率建模框架的例子有最大似然估计、最大后验估计。
最常见的是最大似然估计（Maximum Likelihood Estimate，MLE），它是在给定观测数据的情况下估算模型参数（如权重）的框架。
线性回归模型的普通最小二乘法估计和逻辑回归的对数损失估计，使用的就是最大似然估计。
期望最大化算法（简称EM算法）是一种用于最大似然估计的算法，通常用于无监督数据聚类，如估计k个聚类的k均值，也称“k均值聚类算法”。
对于预测类别的模型，最大似然估计提供了最小化观测概率分布和预测概率分布之间的差异的框架，通常用于分类算法，如逻辑回归及深度学习神经网络。
在训练期间，通常使用交叉熵测量概率分布的各种差异。熵、交叉熵及通过KL散度（也称相对熵）测量的分布之间的差异，都来自建立在概率论基础上的信息论领域。
最小化交叉熵损失等来自信息论的“工具”，可以被视为模型估计的另一个概率框架。
3）使用概率框架调整模型
通常使用概率框架调整机器学习模型的超参数，如k-NN中的k或神经网络中的学习率。典型的方法包括使用超参数的网格搜索范围或者随机采样的超参数组合。贝叶斯优化比超参数优化更为有效，它基于最有可能实现更好性能的配置对可能配置的空间进行定向搜索。
4）使用概率测度评估模型
对于那些预测概率的算法，需要一些方法来评估模型的性能。
基于预测概率，有许多度量可以用于评估模型的性能。常见的例子有对数损失（也称“交叉熵”）等。
对于二元分类任务，可以构建受试者操作特征曲线（Receiver Operating Characteristic Curve，ROC曲线），从而探索在解释预测时可使用的不同截止值，进而有不同的权衡。另外，ROC曲线下的面积（AUC）也可以作为聚合度量进行计算。

本书配套资源下载

对不起，暂无音视频资源！