偏最小二乘回归的原理及应用

[目的]探讨偏最小二乘回归的理论及其应用。[方法]应用医学实例计算,对偏最小二乘回归与主成分回归及一般最小二乘回归进行比较。[结果]偏最小二乘回归对数据的拟合度优于主成分回归和一般最小二乘回归法。[结论]偏最小二乘回归适用于处理有多重共线性的资料,当解释变量个数多、样本量少时尤为有效,是稳健的数据“软”建模的统计方法。     

解释变量非正交时logistic回归系数的估计

目的；研究解释变量非正交时，ｌｏｇｉｓｔｉｃ回归模型参数的估计。方法：引用线性回归系数主成分估计的思想，提出主成分改进的ｌｏｇｉｓｔｉｃ回归系数的加权最小二乘估计。结果：改进的方法能克服多元共线性引起的一般回归系数加权最小二乘估计方差扩大现象，估计值优于一般加权最小二乘估计。结论：用主成分改进的加权最小二乘估计为基础来筛选变量，从而避免变量间共线关系对变量选择的影响。     

应用stata软件实现logistic回归的共线性诊断

logistic回归是进行病因分析等常用的多元统计分析方法。但是人们在应用中发现很多情况下求出的偏回归系数不稳定，解释问题时会得出荒谬的结论，种种迹象表明多元logistic回归也如同多元线性回归一样需要考虑共线性问题。而现有各种统计软件均无直接实现logistic回归共线性诊断的功能，本文应用stata软件实现lOgistic回归的共线性诊断，供有关人员参考、使用。     

多元回归中的多重共线性及其存在的后果

本文以双变量回归模型为基础,讨论了在多元线性回归中完全多重共线性和不完全但高度多重共线性情况下参数及方差的估计问题。结果表明:在完全多重共线性情况下,偏回归系数不能估计,方差为无穷大;在不完全但高度共线性情况下,其偏回归系数的估计是可能的,但其方差和标准误随着变量间的共线性程度增加而变大,从而使得总体有关参数的置信区间变得更大,因而增加接受错误假设的概率。本文还对一个医学研究实例进行了分析,说明在高度多重共线性情况下对参数估计值可能造成的影响。     

两种基于偏最小二乘法的分类模型对肿瘤基因表达数据行多分类的比较研究

目的 比较两种基于偏最小二乘法的分类模型对肿瘤基因表达数据行多分类分析的效果,比较不同差异基因选取方法对分类结果的影响.方法 利用NCI60等4个肿瘤基因表达数据库,通过4种不同方法选取差异表达基因,在此基础上,用两种基于偏最小二乘的方法行多分类分析.一是偏最小二乘线性判别,首先运用偏最小二乘法行降维,再利用降维得到的成分作为输入变量作线性判别分析;二是偏最小二乘判别分析,利用偏最小二乘回归直接进行分类.分类效果采用留一法和10倍交叉验证法进行评价.结果 偏最小二乘判别分析的分类效果略优于偏最小二乘降维后的线性判别.以变量重要性指标选取差异表达基因时分类效果较好,其次是SAM法.结论 在对肿瘤基因表达数据行多分类分析时,偏最小二乘法既是一种高效的降维方法,也是一种实用的分类方法.     

logistic回归中一类基于Wald检验的样本量和功效估计

目的本文以logistic回归为例,介绍一类基于Wald检验的样本量和功效计算方法。方法推导一般情形下的计算方法,给出两类简单情形下的样本量计算公式:(1)模型仅含有一个暴露因素;(2)模型含有一个暴露因素和一个混杂因素,并给出实例分析。在暴露因素为一个二分类变量时,通过模拟研究比较了教科书上常用计算公式与基于Wald检验样本量的区别。对于病例对照研究,给定功效时,可通过最小化样本量来估计最优的病例与对照的比例。结果理论推导和模拟研究均显示,教材中的公式可能高估也可能低估样本量,仅当H_0成立时,三种方法得到的样本量估计相同。结论研究设计中计算样本量的统计量与假设检验采用的统计量建议保持一致。     

多元岭回归方法在医院成本分析中的应用

目的：确定住院病人成本的影响因素,并对其进行定量测量。方法：采用ＳＰＳＳ,ＮｏＳＡ软件用最小二乘法建立住院病人总成本的多元线性回归模型,对其进行共线性诊断;与岭回归方法建立的回归模型进行了对比;在住院病人规模、利用等医院成本影响因素的相关分析;最后用岭回归方法建立了２３个变量的大型多元回归计量经济模型。结果：由于自变量间多元共线性的效应,使用最小二乘法建立的回归模型回归系数有较大的标准误,回归模型结果不稳定,用岭回归方法改善了多元共线性效应,降低了回归系数的标准误,使回归系数结果更为可靠。结论：确定了医院住院病人总成本影响因素,并提出了医院降低成本的途径。     

logistic回归中自变量相对重要性的相对权重估计

目的将相对权重指标扩展应用于logistic回归分析,以更精确评价自变量的相对重要性。方法原始变量通过最小二乘正交变换获得一组独立不相关但与原变量最大相关的新变量集,并对因变量关于新变量集作回归分析获取一组标准回归系数β,再通过分析正交变量对原变量的回归作用返回至原变量集获取一组相关系数λ,最后对这两组估计参数平方乘积和所得结果就是自变量成比例贡献于因变量的重要性。结果相对权重总和等于模型的总变异R2,有效地分配了每个自变量对因变量的贡献大小。结论当存在共线性问题时,相对权重是评价自变量相对重要性的精确量化指标,为许多分类资料分析中希望确定自变量相对重要性的研究者提供一个可行的估计方法 。     

线性模型中自变量相对重要性常见估计方法的模拟比较研究

目的比较和评价不同实验条件下常见估计方法在估计自变量相对重要性时的指标差异,探索影响各方法的估计结果差异的因素。方法通过设置不同相关程度、自变量共线性水平及自变量个数等因子,使用改进后的大规模模拟研究观察不同方法间自变量估计值。结果优势分析、相对权重、乘积尺度的重要性估计值之和与模型R2之差,小于标准回归系数平方、简单相关系数平方。在2400个重要性指标值中,乘积尺度法估计的负值达到229个(9.54%)。相关系数平方估计值小于优势分析法。标准回归系数平方出现较多极端值。自变量间共线性水平可解释平均Kendallτ值4%~25%的变异,样本量可解释20%~77%的变异,而自变量个数可解释14%~60%的变异。结论对自变量重要性估计结果的影响最大的两个因子是样本量和自变量个数,其次有共线性水平和自变量与因变量间的相关程度。标准回归系数平方的估计结果变异性最大,相对权重与优势分析的估计结果是相对"有偏"的。     

偏最小二乘法降维在微阵列数据判别分析中的应用

目的探讨微阵列数据的判别分析方法。方法首先采用偏最小二乘法对高维数据降维,然后再用Fisher’s线性判别。文中同时介绍了偏最小二乘法的基本原理、基本算法,讨论了成分数选择等问题,并以实际微阵列数据展示了其效果。结果偏最小二乘法降维不但实现了数据的可视化,而且取得了较好的后期判别效果。结论偏最小二乘法是一种新的实用的降维方法,可用于微阵列数据判别分析的前期降维。