线性回归分析导论（原书第5版）

本书是世界公认的《回归分析》标准教材（aleadingtextbookonregression）。不仅从理论上介绍了当今统计学中用到的传统回归方法，还补充介绍了尖端科学研究中不太常见的回归方法。难能可贵的是，作者有丰富的教学经验和实际应用经验，使得本书理论和应用并重，还给出实际应用中应该注意的问题。新版除利用Minitab,SAS,S-PLUS软件外,还融入了*流行的JMP软件和R软件，来阐释相关技术方法。配套资源很丰富，数据、教学PPT等可免费下载。

目　　录译者序前言第1章　导引1　1.1　回归与建模1　1.2　数据收集4　1.3　回归的用途7　1.4　计算机的角色7第2章　简单线性回归9　2.1　简单线性回归模型9　2.2　回归参数的小二乘估计9　　2.2.1　β0与β1的估计9　　2.2.2　小二乘估计量的性质与回归模型拟合13　　2.2.3　σ2的估计14　　2.2.4　简单线性回归模型的另一种形式15　2.3　斜率与截距的假设检验15　　2.3.1　使用t检验16　　2.3.2　回归显著性检验16　　2.3.3　方差分析18　2.4　简单线性回归的区间估计20　　2.4.1　β0、β1与σ2的置信区间20　　2.4.2　响应变量均值的区间估计21　2.5　新观测值的预测23　2.6　决定系数24　2.7　回归在服务业中的应用25　2.8　使用SAS和R做回归分析27　2.9　对回归用途的若干思考29　2.10　过原点回归31　2.11　极大似然估计35　2.12　回归变量x为随机变量的情形36　　2.12.1　x与y的联合分布36　　2.12.2　x与y的正态联合分布：相关模型37　习题40第3章　多元线性回归47　3.1　多元回归模型47　3.2　模型参数的估计49　　3.2.1　回归系数的小二乘估计49　　3.2.2　小二乘法的几何解释55　　3.2.3　小二乘估计量的性质55　　3.2.4　σ2的估计56　　3.2.5　多元回归中散点图的不适用性57　　3.2.6　极大似然估计58　3.3　多元回归中的假设检验59　　3.3.1　回归显著性检验59　　3.3.2　单个回归系数的检验与回归系数子集的检验61　　3.3.3　X中列为正交列的特例65　　3.3.4　一般线性假设的检验66　3.4　多元回归中的置信区间68　　3.4.1　回归系数的置信区间68　　3.4.2　响应变量均值的置信区间估计69　　3.4.3　回归系数的联合置信区间70　3.5　新观测值的预测72　3.6　病人满意度数据的多元回归模型73　3.7　对基本多元线性回归使用SAS与R74　3.8　多元回归中所隐含的外推法77　3.9　标准化回归系数79　3.10　多重共线性82　3.11　回归系数为什么有错误的正负号84　习题85第4章　模型适用性检验91　4.1　导引91　4.2　残差分析91　　4.2.1　残差的定义91　　4.2.2　残差尺度化方法92　　4.2.3　残差图97　　4.2.4　偏回归图与偏残差图100　　4.2.5　使用Minitab、SAS与R做残差分析102　　4.2.6　残差的其他作图与分析方法104　4.3　PRESS统计量105　4.4　离群点的探测与处理106　4.5　回归模型的失拟108　　4.5.1　失拟的正规检验109　　4.5.2　通过近邻点估计纯误差112　习题116第5章　修正模型不适用性的变换与加权120　5.1　导引120　5.2　方差稳定化变换120　5.3　模型线性化变换123　5.4　选择变换的分析方法127　　5.4.1　对y进行变换：博克斯考克斯方法127　　5.4.2　对回归变量进行变换129　5.5　广义小二乘与加权小二乘131　　5.5.1　广义小二乘131　　5.5.2　加权小二乘133　　5.5.3　若干实用问题133　5.6　带有随机效应的回归模型135　　5.6.1　子抽样135　　5.6.2　含有单一随机效应的回归模型的一般情形140　　5.6.3　混合模型在回归中的重要性142　习题142第6章　杠杆与强影响的诊断149　6.1　探测强影响观测值的重要性149　6.2　杠杆150　6.3　强影响的度量：库克D距离152　6.4　强影响的度量：DFFITS与DFBETAS153　6.5　模型性能的度量155　6.6　探测强影响观测值的群体156　6.7　强影响观测值的处理156　习题157第7章　多项式回归模型158　7.1　导引158　7.2　单变量的多项式模型158　　7.2.1　基本原理158　　7.2.2　分段多项式拟合（样条）162　　7.2.3　多项式与三角式166　7.3　非参数回归167　　7.3.1　核回归167　　7.3.2　局部加权回归168　　7.3.3　后的警告171　7.4　两个或更多变量的多项式模型171　7.5　正交多项式177　习题180第8章　指示变量185　8.1　指示变量的一般概念185　8.2　关于指示变量用途的评注194　　8.2.1　指示变量与指定代码回归194　　8.2.2　用指示变量代替定量回归变量195　8.3　方差分析的回归方法195　习题199第9章　多重共线性203　9.1　导引203　9.2　多重共线性的来源203　9.3　多重共线性的影响205　9.4　多重共线性的诊断209　　9.4.1　考察协方差矩阵209　　9.4.2　方差膨胀因子212　　9.4.3　X′X的特征系统分析213　　9.4.4　其他诊断量216　　9.4.5　生成多重共线性诊断量的SAS代码与R代码217　9.5　处理多重共线性的方法217　　9.5.1　收集额外数据217　　9.5.2　模型重设218　　9.5.3　岭回归218　　9.5.4　主成分回归225　　9.5.5　有偏估计量的比较与评估230　9.6　使用SAS做岭回归与主成分回归231　习题233第10章　变量选择与模型构建236　10.1　导引236　　10.1.1　模型构建问题236　　10.1.2　模型误设的后果237　　10.1.3　评估子集回归模型的准则239　10.2　变量选择的计算方法243　　10.2.1　所有可能的回归243　　10.2.2　逐步回归方法248　10.3　变量选择与模型构建的策略252　10.4　案例研究：使用SAS研究Gorman和Toman沥青数据254　习题266第11章　回归模型的验证269　11.1　导引269　11.2　模型验证的方法269　　11.2.1　模型系数与预测值的分析270　　11.2.2　收集新数据——确认性试验271　　11.2.3　数据分割272　11.3　来自试验设计的数据279　习题280第12章　非线性回归导引282　12.1　线性回归模型与非线性回归模型282　　12.1.1　线性回归模型282　　12.1.2　非线性回归模型282　12.2　非线性模型的起源283　12.3　非线性小二乘285　12.4　将非线性模型变换为线性模型287　12.5　非线性系统中的参数估计289　　12.5.1　线性化289　　12.5.2　参数估计的其他方法294　　12.5.3　初始值295　12.6　非线性回归中的统计推断296　12.7　非线性模型的实例297　12.8　使用SAS与R298　习题301第13章　广义线性模型305　13.1　导引305　13.2　逻辑斯蒂回归模型305　　13.2.1　有二值响应变量的模型305　　13.2.2　逻辑斯蒂回归模型中的参数估计307　　13.2.3　解释逻辑斯蒂回归模型中的参数310　　13.2.4　模型参数的统计推断311　　13.2.5　逻辑斯蒂回归中的诊断检验318　　13.2.6　二值响应数据的其他模型319　　13.2.7　分类回归变量的结果多于两个320　13.3　泊松回归321　13.4　广义线性模型326　　13.4.1　连接函数与线性预测项326　　13.4.2　GLM的参数估计与推断327　　13.4.3　使用GLM进行预测与估计330　　13.4.4　GLM中的残差分析331　　13.4.5　使用R做GLM分析333　　13.4.6　超散布性335　习题335第14章　时间序列数据的回归分析344　14.1　时间序列数据的回归模型导引344　14.2　自相关的探测：杜宾沃森检验344　14.3　时间序列回归模型中的参数估计348　习题361第15章　使用回归分析时的其他论题364　15.1　稳健回归364　　15.1.1　为什么需要稳健回归364　　15.1.2　M-估计量366　　15.1.3　稳健估计量的性质372　15.2　测量误差对回归的影响373　　15.2.1　简单线性回归373　　15.2.2　博克森模型374　15.3　逆估计——校准问题374　15.4　回归自助法377　　15.4.1　回归中的自助抽样378　　15.4.2　自助置信区间378　15.5　分类回归树（CART）382　15.6　神经网络384　15.7　回归试验设计386　习题393附录A　统计用表395附录B　习题数据集406附录C　统计方法的补充内容425附录D　SAS导论453附录E　R导论并用R做线性回归461参考文献464索引479

前　　言回归分析是广泛用于分析多因子数据的方法之一.回归分析使用方程来表达所感兴趣的变量（响应变量）与一系列相关预测变量之间的关系，其中所产生的概念逻辑过程使本书具有广泛的吸引力与实用性.因为回归分析隐含着优雅的数学，同时也有完善的统计学理论，所以回归分析在理论上也是非常有趣的.成功地使用回归分析，就要从理论与常见的实际问题两个方面，将其应用于实际数据.本书适合作为回归分析的入门教材，包含了回归分析中的标准论题，也涉及许多新的论题.本书理论与应用实例并重，使读者不仅理解必要的基本原理，还能将各种回归建模方法应用于具体环境中.本书初成书于回归分析课程的笔记，该课程面向高年级本科生与一年级研究生，学生来自不同的专业：工程学、化学与物理科学、统计学、数学，以及管理学.本书也曾用于面向专业人士的入门培训.本书假定读者学过统计学的入门课程，并熟悉假设检验、置信区间以及正态分布、t分布、卡方分布与F分布，矩阵代数的某些知识也是必要的.在回归分析的现代应用中，计算机扮演了重要的角色.今天，即便是电子表格软件，也可以使用小二乘法来拟合回归方程.因此，本书整合了许多软件的使用方法，给出数据表格与图形输出，并总体上讨论了某些计算机软件包的功能.本书使用了Minitab、JMP、SAS与R来处理各种问题与例子.之所以选择这些软件包，是因为它们广泛用于实践和教学.许多作业习题都要使用统计软件包来求解.本书的所有数据都可以通过出版商以电子形式获得.ftp地址为：ftp://ftp.wiley.com/public/sci_tech_med/introduciton_linear_regression，其中汇总了数据、习题解答、PowerPoint文件，以及与本书相关的其他材料.第5版的改进本书第5版有很多改进，包括：重新组合了课文材料，新的例子，新的习题，关于时间序列回归分析的新的一章，以及关于回归模型试验设计的新材料.进行修订的目的是使本书更好地用作教材与参考书，并更新对某些论题的讨论.第1章从整体上介绍了回归建模，并描述了回归分析的某些典型应用.第2章与第3章提供了简单回归与多元回归中小二乘模型拟合的标准结果，以及基本的推断程序（假设检验、置信区间与预测区间）.第4章讨论了模型适用性检验的基本方法，包括残差分析，其中强调了残差图、离群点的探测与处理、PRESS统计量，以及失拟检验.第5章讨论了如何将数据变换与加权小二乘法用于解决模型不适用这一问题，如何处理违背基本回归假设的情形.本章也介绍了Box-Cox（博克斯考克斯）方法与Box-Tidwell方法，从分析的角度设定数据变换的形式.第6章展示了诊断统计量，并简单讨论了如何处理强影响观测值.第7章讨论了多项式回归模型及其各种变形.本章的论题包括多项式拟合与推断的基本程序，以多项式、分层多项式与分段多项式为中心的讨论，同时拥有多项式与三角函数项的模型，正交多项式，响应曲面方法概述，以及非参数回归方法与光滑回归方法的介绍.第8章介绍了指示变量，同时将回归模型与方差分析模型进行了联系.第9章关注多重共线性问题，包括对多重共线性来源的讨论，多重共线性的危害、诊断量与各种诊断性度量.本章介绍了有偏估计，包括岭回归及其某些变种，以及主成分回归.第10章研究了变量选择与模型构建方法，包括逐步回归程序与所有可能回归.本章也讨论与解释了评估子集模型的某些准则.第11章展示了用于回归模型验证的一系列方法.前11章是本书的核心，这11章贯穿着许多概念与例子.其余四章讨论回归实践中比较重要的各种论题，可以独立阅读.第12章介绍了非线性回归，而第13章简单讨论了广义线性模型.虽然这两章可能不是线性回归教材的标准论题，但是不介绍这两章，对工程学与自然科学的学生与教授将是非常不负责任的.第14章讨论时间序列数据的回归模型.第15章概述了几个重要论题，包括稳健回归、回归变量中测量误差的影响、逆估计即校准问题、自助回归估计值、分类回归树、神经网络，以及回归试验设计.除了正文的内容外，附录C简短地给出了理论性更强的某些其他论题.回归分析的专家与利用本书讲授高级课程的教师会对其中某些论题更感兴趣.计算在许多回归课程中都扮演着重要角色，这些课程广泛使用Minitab、JMP、SAS与R.本教材提供了这些统计软件包的输出.附录D介绍了使用SAS处理回归问题.附录E介绍了R.本书作为教材如何使用本书覆盖了广泛的论题，有很大的灵活性.对于回归分析的入门课程，推荐详细讲授第1至10章，然后选出学生特别感兴趣的论题.举例来说，作者之一（D.C.M.）定期讲授一门面向工程学学生的回归课程，论题包括非线性回归（因为工程学中经常出现的机械模型几乎永远是非线性模型）、神经网络以及回归模型验证，其他的推荐论题有多重共线性（因为学生经常会遇到多重共线性问题）、广义线性模型导论——主要关注逻辑斯蒂回归.G.G.V.讲授过一门面向统计学研究生的回归分析课程，大量使用了附录C中的材料.我们认为，应当将计算机直接整合进课程中.近年来，在大多数课堂上都采用笔记本电脑与计算机投影设备，像在讲座中那样解释回归方法.我们发现，这样可以极大地促进学生对回归方法的理解.我们也要求学生使用回归软件来解题.在大多数情况下，习题都使用了实际数据，或是来自现实世界的议题，以表示回归分析的一般性应用.教师手册包含了所有习题的答案、所有电子版数据集，以及可能适合于考试的习题.致谢感谢在准备本书的过程中提供了反馈与帮助的人.Scott M.Kowalski、Ronald G.Askin、Mary Sue Younger、Russell G.Heikes、John A.Cornell、André I.Khuti、George C.Runger、Marie Gaudard、James W.Wisnowski、Ray Hill与James R.Simpson博士给出了许多建议，他们的建议极大地改良了本书的前几版与第5版.我们特别感激为本书提供反馈的许多研究生与实践专家，他们洞察出问题所在，丰富或拓展了本书的材料.我们也要感谢约翰威利父子公司、美国统计学会以及生物统计学委员会，他们大度地允许我们使用其版权材料.Douglas C.MontgomeryElizabeth A.PeckG.Geoffrey Vining