效度即有效性,是指测量工具或手段能够准确测出所需要测量的事物的程度,测量结果与要考察的内容越吻合,则效度越高,反之,则效度越低。效度分为三种类型:内容效度、准则效度和结构效度。
内容效度指的是测验题目对有关内容或行为取样的适用性,从而确定测验是否是所需测量行为领域的代表性取样,通常采用专家判断法、经验推测法进行说明。准则效度是指量表所得到的数据和其他被选择的变量的值相比是否有意义,通常采用相关分析或差异显著性检验测量,在调查问卷的效度分析中,比较困难选择一个合适的准则,所以这种方法的应用有一定的限制。结构效度是指测量结果体现出来的某种结构与测量值之间的对应程度。结构效度分析所采用的方法是因子分析。因子分析的主要功能是从量表全部变量(题项)中提取一些公因子,各公因子分别与某一群特定变量高度关联,这些公因子即代表了量表的基本结构。通过因子分析可以考察问卷是否能够测量出研究者设计问卷时假设的某种结构,在因子分析的结果中,用于评价结构效度的主要指标有累积贡献率、共同度和因子负荷。累积贡献率反映公因子对量表或问卷的累积有效程度,共同度反映由公因子解释原变量的有效程度,因子负荷反映原变量与某个公因子的相关程度。
本平台采用基于因子分析对问卷的结构效度进行检验,因子分析前需要使用KMO检验和Bartlett’s球形检验来看原有变量是否适合做因子分析。KMO值在0.9以上表示非常适合,0.8-0.9表示适合,0.6-0.8表示一般,0.5-0.6表示不太适合,0.5以下表示极不适合。Bartlett球形检验若拒绝原假设则说明可以做因子分析,若不拒绝原假设,则说明变量可能相互独立,不适合做因子分析。
指标说明:
KMO值:一个用于检验是否适合因子分析的指标,一般大于0.6即可。
Bartlett球形检验:对应的p值小于0.05则说明适合进行因子分析。
特征根:自动识别因子最佳个数的指标,通常大于1作为标准。用户也可以自行设置因子个数。
方差解释率:因子提取的信息量,可理解为权重值。
累积方差解释率:所有因子提取出的信息量,该指标值一般大于50%即可。
最大方差旋转法(Varimax):一种旋转方法,默认使用最大方差旋转法。
共同度(公因子方差):用于衡量分析项是否有意义,一般小于0.4说明该项需要被删除。
因子载荷系数:用于衡量因子和分析项对应关系的指标,该值绝对值大于0.4则说明分析项应隶属于对应的因子。
参考文献:
- 1. 艾尔·巴比:《社会研究方法》,华夏出版社,第11版,2009.
- 2. 曾五一,黄炳艺.调查问卷的可信度和有效度分析[J].统计与信息论坛,2005(06):13-17.
- 3. Jonathan Javid (6 November 2015). “Measurement validity and reliability”. slideshare.net. Retrieved 23 March 2018.