提高回归模型拟合优度的策略(Ⅰ)——哑变量变换与其他变量变换

本文目的是介绍第一种提高回归模型拟合优度的策略,即哑变量变换与其他变量变换。具体方法包括以下几个方面:①对多值名义自变量采取"哑变量变换";②对定量和有序自变量引入派生变量,包括"对数变换""平方根变换""指数变换""平方变换""立方变换"和"交叉乘积变换"的结果;③对定量因变量分别采取"对数变换""平方根变换""指数变换""倒数变换"和"Logistic变换";④构建回归模型时,在假定"包含截距项"与"不含截距项"的条件下,分别采取"前进法""后退法"和"逐步法"筛选自变量。得到了如下几个结论:①对定量因变量和自变量不做变量变换时,回归模型的拟合优度非常差;②根据资料所具备的条件,对定量因变量采取不同的变量变换方法,其回归模型的拟合优度是不尽相同的;③对多值名义自变量进行"哑变量变换"是常规的做法,但存在不足之处;④对定量自变量引入派生变量是非常有价值的;⑤假定回归模型中不含截距项有助于提高回归模型的拟合优度。     

提高回归模型拟合优度的策略(Ⅱ)——算术均值变换与其他变量变换

本文目的是介绍第二种提高回归模型拟合优度的策略,即算术均值变换与其他变量变换。具体方法包括以下几个方面:①对多值名义自变量采取"算术均值变换";②对定量自变量引入派生变量,包括"对数变换""平方根变换""指数变换""平方变换""立方变换"和"交叉乘积变换"的结果;③对定量因变量分别采取"对数变换""平方根变换""指数变换""倒数变换"和"Logistic变换";④构建回归模型时,在假定"包含截距项"与"不含截距项"的条件下,分别采取"前进法""后退法"和"逐步法"筛选自变量。得到了如下结论:①对定量因变量和自变量不做变量变换时,回归模型的拟合优度非常差;②根据资料所具备的条件,对定量因变量采取不同的变量变换方法,其回归模型的拟合优度是不同的;③对多值名义自变量进行"算术均值变换"是合理的,且有助于提高回归模型拟合优度;④对定量自变量引入派生变量是非常有价值的;⑤假定回归模型中不含截距项有助于提高回归模型的拟合优度。     

提高回归模型拟合优度的策略(Ⅲ)——校正均值变换与其他变量变换

本文目的是介绍第三种提高回归模型拟合优度的策略,即校正均值变换与其他变量变换。具体方法包括以下几个方面:①对多值名义自变量采取"校正均值变换";②对定量自变量引入派生变量,包括"对数变换""平方根变换""指数变换""平方变换""立方变换"和"交叉乘积变换"的结果;③对定量因变量分别采取"对数变换""平方根变换""指数变换""倒数变换"和"Logistic变换";④构建回归模型时,在假定"包含截距项"与"不含截距项"的条件下,分别采取"前进法""后退法"和"逐步法"筛选自变量。得到了如下结论:①对定量因变量和自变量不做变量变换时,回归模型的拟合优度非常低;②根据资料所具备的条件,对定量因变量采取不同的变量变换方法,其回归模型的拟合优度是不同的;③对多值名义自变量进行"校正均值变换"是合理的,且有助于提高回归模型拟合优度;④对定量自变量引入派生变量是非常有价值的;⑤假定回归模型中不含截距项有助于提高回归模型的拟合优度。     

变量变换回归分析(Ⅰ)——拟合含间断点资料的方法

本文目的是介绍一种能很好地拟合具有间断点资料的方法。当资料中具有明确的间断点或整个资料包含多段不同变化趋势的曲线类型时,为了提高曲线回归模型对资料的拟合优度,需要充分发挥"节点"的作用。可基于两种不同视角来利用"节点":其一,人为设定不同数目的节点,利用样条变换方法拟合分段多项式曲线;其二,在客观存在的节点上,求曲线的一阶乃至四阶导数,并据此构建曲线回归模型。得到的结论是:后者的拟合效果优于前者。     

变量变换回归分析（ＩＩ）———拟合近似呈均匀分布资料的方法

本文利用SAS帮助数据库中的一个数据集sashelp.enso,介绍对自变量进行样条变换后的曲线回归分析方法。在SAS/STAT的TRANSREG过程中,涉及到六种样条变换方法,分别为:B-样条变换、B-样条基函数变换、单调B-样条变换、非迭代惩罚B-样条变换、迭代光滑样条变换、非迭代光滑样条变换。获得的结论是:在确保R~2≈0.7且回归模型尽可能精简的条件下,非迭代惩罚B-样条变换与迭代光滑样条变换两种方法是以上六种方法中最好的曲线回归建模方法,这两种方法的拟合效果几乎完全相同。     

变量变换回归分析(Ⅲ)——寻找理想试验点的方法

本文目的是介绍一种特殊的处理多因素试验设计一元定量资料差异性分析方法,即结合分析法。通常情况下,处理多因素试验设计一元定量资料应采用方差分析。但是,此方法无法给出各对影响因素"重要性"的评价,也无法给出因素各水平的"效用值",更无法给出"理想试验点"。本文通过对一个实例的全面解析,显示了SAS中的TRANSREG过程具有很强且多样性的变量变换能力,它集方差分析、回归分析和结合分析于一体,能够很好地处理不符合传统统计学要求的复杂资料,能够实现前述期望达到的目的。     

变量变换回归分析(Ⅳ)——偏好评分资料的结合分析法

本文目的是介绍偏好评分资料的数据结构及其对应的结合分析方法。产生此类资料的场合类似于"多因素析因设计或正交设计",但计量结果变量的取值在一定程度上受到评价者主观或偏好的影响。结合分析模型是基于各属性(或因素)的"分值效用或水平效用"可以"简单叠加"的假定成立的条件下构造出来的,当实际问题符合此假定时,其分析结果是正确的;否则,要慎重使用。必要时,需要选择其他统计模型。本文通过一个实例,并利用SAS中TRANSREG过程演示实现结合分析的详细步骤。     

变量变换回归分析(Ⅱ)——拟合近似呈均匀分布资料的方法

本文利用SAS帮助数据库中的一个数据集sashelp.enso,介绍对自变量进行样条变换后的曲线回归分析方法。在SAS/STAT的TRANSREG过程中,涉及到六种样条变换方法,分别为:B-样条变换、B-样条基函数变换、单调B-样条变换、非迭代惩罚B-样条变换、迭代光滑样条变换、非迭代光滑样条变换。获得的结论是:在确保R~2≈0.7且回归模型尽可能精简的条件下,非迭代惩罚B-样条变换与迭代光滑样条变换两种方法是以上六种方法中最好的曲线回归建模方法,这两种方法的拟合效果几乎完全相同。     

适应性回归分析(Ⅳ)——与非适应性回归分析的比较

本文目的是分析一个已知真实情况的资料,比较适应性回归分析与非适应性回归分析建模的效果。结论如下:当资料中存在与因变量确有关系的自变量时,ADAPTIVEREG过程具有较好的甄别能力;REG过程具有较好的甄别能力,但需要满足一定条件,即采用"前进法"或"逐步法"筛选自变量,同时还需要"假定模型包含截距项"。当资料中不存在与因变量确有关系的自变量时,ADAPTIVEREG过程几乎完全失去了甄别能力;REG过程具有较好的甄别能力,但需要满足一定条件,即采用"前进法"筛选自变量,同时还需要"假定模型包含截距项"。若研究者基于"基本常识"和"专业知识"确定的自变量都与因变量有关系,对因变量进行Logistic变换,并且,假定回归模型中不含截距项时,会在回归模型中保留非常多的自变量。     

适应性回归分析(Ⅱ)——排除噪声变量的干扰

本文目的是通过分析一个带有8个噪声变量的数据集,揭示适应性回归模型的实际应用价值。在数据集包含两个自变量与因变量有密切数量联系的前提条件下,适应性回归模型受噪声变量的影响接近于零;在数据集包含一个自变量与因变量有密切数量联系的前提条件下,适应性回归模型受噪声变量的影响较大,其分析结果出现了一定程度的"失真";在数据集包含零个自变量与因变量有密切数量联系的前提条件下,适应性回归模型受噪声变量的影响非常大,其分析结果是完全不可信的。得出的结论是:适应性回归分析模型不是万能的,其结果的可信度取决于数据集中是否真正包含"客观存在的规律性"。     

适应性回归分析(Ⅲ)——构建具有混合结构的回归模型

本文目的是通过两个实例介绍适应性回归样条算法对具有混杂结构的数据集进行回归建模的实践。当一个数据集包含多个不同的回归模型时,只要给定分类变量的具体取值,SAS中的"ADAPTIVEREG过程"可以比较准确地发掘出其内在规律,并以图形方式呈现模型对资料的拟合效果,还能呈现由"基函数"及其组合所构造出的"回归模型"。图形呈现的结果确实可以给分析者提供一些有价值的"分析线索"或"积极暗示",缩小"探索性研究的空间"。     

适应性回归分析(Ⅰ)——回归模型的构建与求解

本文目的是介绍适应性回归模型的构建与求解方法。众所周知,在自变量数目很多时,就会出现维数灾难,此时,统计学家倾向于采用非参数回归模型取代参数回归模型。然而,当自变量数目大到一定程度时,普通的非参数回归模型也不堪重负,于是,适应性回归样条算法应运而生。此法由以下几种统计技术组成:①特殊的变量变换;②基于向前选择法构建过拟合回归模型,再基于向后选择法"修剪"回归模型;③基于"减少在向前选择的每个步骤中,检验B、V和t的组合的数目"的基本思想,实现快速算法;④借助"GCV"和"LOF"作为"拟合优度"的界值,评价已构建的回归模型的拟合效果。此法为复杂数据结构的回归建模提供了新思路。     

生存资料回归模型分析--Cox比例风险假设的拟合优度法

本文目的是介绍一些检验比例风险假设的方法。图示法是通过绘图然后由人工进行判断是否符合比例风险假设,因而具有一定的主观性。在图示法的基础上,本文介绍了从客观角度检验比例风险假设的一些常用方法,主要包括两类:一类是基于残差的检验;另一类则是构建协变量与时间的交互项并对其进行检验的方法。首先阐述了上述方法的原理,然后基于SAS软件并通过一个实例介绍上述方法的实现。     

回归建模的基础与要领(Ⅱ)——偏态分布计量资料的变换

本文目的是介绍如何将呈偏态分布计量资料变换为近似服从正态分布计量资料的方法。首先,明确指出:在经典统计学中,参数统计分析方法常需要将呈偏态分布计量资料变换为呈正态分布(至少是对称分布)计量资料。其次,介绍常用计量资料变换方法,有如下4种:(1)对数变换法;(2)平方根变换法;(3)倒数变换法;(4)Box-Cox变换法。最后,通过实例,介绍基于SAS软件和Box-Cox变换法实现对正偏态分布和负偏态分布计量资料成功变换为呈正态分布计量资料的方法。需要注意的是:(1)变换不一定都能成功;(2)有时需要将多种变换方法结合使用;(3)变换主要用于计量的结果变量(适用场合为基于参数法的差异性分析、区间估计和回归分析)。     

回归建模的基础与要领(Ⅳ)——样品状态与相互间关系

本文目的是介绍回归建模的基础与要领之四,即"样品状态与相互间关系"。首先,介绍"样品状态",分为"单个体型样品"和"多个体型样品";其次,介绍"样品间相互关系",即"全部样品在空间中分布的相对位置",需要借助"几何方法"来展现。然而,在高维空间中,"几何方法"非常难以实现,取而代之的是"代数方法",即寻找合适的"权重系数",以体现各样品(或试验点)在全部资料中的"重要性"。本文的结论是:无论是直线回归分析还是多重线性回归分析,采取"加权最小平方法"建模比采取"普通最小平方法"建模的效果好;而且,若能选取"合适的权重系数"并采取两次加权最小平方法建模,回归模型的拟合效果会更好。     

回归建模的基础与要领(Ⅲ)——变量状态与相互间关系

本文目的是介绍回归建模的基础与要领之三,即"变量状态与相互间关系"。首先,介绍"因变量状态"与"自变量状态";其次,介绍"自变量间相互关系",即"自变量间相互独立""自变量间有线性关系"和"自变量间有非线性关系";最后,介绍"自变量与因变量间关系",包括"自变量与因变量间无任何数量关系""自变量与因变量间有间接数量关系"和"自变量与因变量间有直接数量关系"。很明显,清楚"变量状态和变量间关系"是构建合理回归模型的重要基础与要领之一。     

回归建模的基础与要领(Ⅰ)——统计模型种类的划分方法

本文目的是介绍如何划分"统计模型的种类"。首先,介绍与"统计模型"有关的基本概念;其次,陈述从"不同角度划分统计模型"的构想;最后,分别基于"统计特性""统计功能"和"预测结果"三个角度,给出更具有实际意义的"统计模型分类结果"。得到的结论是:基于"预测结果"划分统计模型,可以获得"最少种类"的划分结果;而且这种划分方法对实际工作者选择合适的统计模型具有更直接的指导作用。