Hello,
这里是
行上行下
,我是
喵君姐姐
~

此次和大家分享的是一个系列——心理学量表开发/修订流程及工具包。
第一期为对心理学量表开发/修订流程及工具包的简单介绍(点击可查看:科研 | 心理学量表开发/修订流程及工具包第一期)。
第二期包括量表理论基础、前期质性资料、条目池建立量表数据清洗与流程概量表第一轮数据处理(点击可查看:科研 | 心理学量表开发/修订流程及工具包第二期
本次为第三期——包括量表第2+轮施测及各类检验指标附录
PS:后台回复关键词“量表开发即可获得所述的PDF原文啦!
Part 1
作者说
大家好,我是张正,一个心理学摸鱼生。
为了帮助和我一样不懂代码/统计废柴的小伙伴进行量表开发修订,特意准备了这个流程和工具包,保证都是低成本且几乎不用搞原理的方法,希望可以帮到大家。
但是我仍然主张研究者在有能力的情况下应当深入了解数据的逻辑,学习统计与测量理论并严格遵循数据伦理。这不仅有助于不断修正研究思路,更是对研究成果的负责和奠基。
工具内容可能会涉及到版权问题,如有冒犯,麻烦邮箱联系删除。
其他需要交流的(例如希望共同完善流程与工具包;获取更新or其他)也可以向邮箱[email protected]发送主题【(交流目的)+姓名】,随缘回复。
遇到问题先看文献,然后带着具体问题和思考成果去问导师,如果没有解决请重复第一步。
Part 2

4 量表第2+轮施测及各类检验指标

4.1验证性因素分析

用来验证自己预先提出的一种结构,比如在设计问卷前我就想好了Q1-Q3这三题反应的是一个人的思维能力(Factor1),Q4-Q6这三题反应的是一个人的体能能力(Factor2),接下来,我们就可以使用CFA来进行判断收集到的数据是否能够按照预先提出的结构来划分。
也就是我们预先的理论架构是否是好的,题目设置是否是好的,收集到的数据能否体现想要的结果,实际上也就是一种效度检验。原文链接:https://blog.csdn.net/qq_39805362/article/details/105755917

使用JASP的情况

【Factor】→【Confirmatory Factor Analysis】→【Estimate】
使用SPSSAU的情况
【问卷研究】→【验证性因素分析】→【将题目拉入因子】→【根据需要添加二阶模型】→【输出结果】
使用Amos-参考百度经验流程-确认潜变量与显变量
https://jingyan.baidu.com/article/066074d6112ef0c3c21cb0f5.html
4.2 信度分析
即可靠性,它是指采用同样的方法对同一对象重复测量时所得结果的一致性程度。信度指标多以相关系数表示。
大致可分为三类:稳定系数(跨时间的一致性),等值系数(跨形式的一致性)和内在一致性系数(跨项目的一致性)。
信度分析的方法主要有以下四种:重测信度法、复本信度法、折半信度法、α信度系数法。

4.2.1 重测信度

称再测信度、稳定性系数,反映测验跨越时间的稳定性和一致性,即应用同一测验方法,对同一组被试者先后两次进行测查,然后计算两次测查所得分数的关系系数。
该信度能表示两次测试结果有无变动,反映了测验分数的稳定程度。相关程度高,表示前后测量一致性高,稳定性好。重测的过程考虑了不同的条件(环境的、人的)带来的测量结果的误差,这种误差与两次施测的情境相关联。

使用SPSS 的情况

【分析】→【相关】→【双变量相关】→【分因子/总分相关>0.5】

使用SPSSAU 的情况

【通用方法】→【相关】→【拉入两次数据结果】→【输出】

4.2.2 组合信度

使用SPSSAU的情况

【问卷研究】→【验证性因素分析】→【将题目拉入因子】→【根据需要添加二阶模型】→【输出组合信度CR值】

使用Excel的情况

https://kdocs.cn/l/cb6HHrR68Xj9 (邱宗满,2019)
4.3 效度分析
指尺度量表达到测量指标准确程度的分析。效度分析的方法很多,传播研究中经常使用的是项目分析法、独立效标测度效度分析法和因素分析法。
项目分析主要是测度量表中的各种项目的难度和辨别度,以选择难易适中的鉴别度较高的量表为有效量表。
独立效标测度分析方法主要以某种独立效度作为效度分析的准则和依据,每一个量表之项目均与此独立效标作相关分析。没有达到显著程度的为无效之项目,而达到显著程度的,为有效之量表。
使用SPSSAU的情况
【问卷研究】→【验证性因素分析】→【将题目拉入因子】→【根据需要添加二阶模型】→【输出结果】
4.3.1 校标关联效度
使用SPSS的情况
【分析】→【相关】→【双变量相关】→【校标与测验量表总分】
使用SPSSAU的情况
【通用方法】→【相关】→【校标与测验量表总分】→【输出】
使用JASP的情况
【Regression】→【(Bayesian)Correlation 】→【Pearson‘s rho】
4.3.2 内容效度
德尔菲法,也称专家调查法,1946 年由美国兰德公司创始实行,其本质上是一种反馈匿名函询法,其大致流程是在对所要预测的问题征得专家的意见之后,进行整理、归纳、统计,再匿名反馈给各专家,再次征求意见,再集中,再反馈,直至得到一致的意见。
内容效度指数CVI(一般不用)
4.3.3 收敛效度  
平均方差抽取量(AVE值):通过因子载荷量计算的表示收敛效度的指标值。

看起来AVE值和CR值的计算公式是一样的,其实差别很大。
CR值用的是因子载荷值加和的平方,题项之间相关性越强,潜在变量对它们的解释能力也越强,因子载荷值加和的平方就越大,内部一致性就越好。
AVE值用的是因子载荷值平方的和,代表潜在变量对所有测量变量的综合解释能力,AVE值越大,潜在变量能够同时解释它所对应的题项能力就越强,
反回来,题项表现潜在变量性质的能力也越强(收敛于一点),收敛效度越好。
原文链接:https://blog.csdn.net/D07Qs2KxkH0KkSxEx/article/details/78819257

使用SPSSAU的情况

【问卷研究】→【验证性因素分析】→【将题目拉入因子】
→【根据需要添加二阶模型】→【输出组合信度CR值】

使用Excel的情况

https://kdocs.cn/l/cb6HHrR68Xj9 (邱宗满,2019)

4.4 其他模型拟合指标

χ²/df 小于3时,模型拟合效果良好。卡方自由度比值是卡方值除以自由度值,卡方值容易受到样本量的影响,样本越大时该值越可能更小,所以小样本时卡方自由度比值容易偏大;
GFI 始终比1小,一般认为大于0.9时,模型拟合效果良好;
RMSEA 小于0.1表示拟合较好;低于0.05拟合良好;
RMR 小于0.05,说明模型拟合效果良好,越接近0越好;
CFI 比较拟合指数,其值位于0和1之间。其值大于或等于0.9表示模型可接受;
NFI 指标反映了假设模型和独立模型之间的差异。独立模型是指变量中不存在任何相关关系的一种简单模型。假设模型和独立模型的差异越大,说明假设模型拟合效果良好。一般NFI大于0.9,假设模型拟合效果良好。
4.5 等值性检验
测量不变性(Measurement Invariance, MI)或测量等值(Measurement Equivalence, ME)有着重要的理论意义和应用价值。
在心理测量领域,编制和修订量表过程中,时常要考虑量表条目是否在不同群体(如,性别和民族)间有着相同的意义和功能(测量系数)。
在跨文化研究方面也存在同样的考虑,如在某种文化背景下提出的概念能否推广到其他文化背景中去。不同文化群体对同一概念是否存在相同的理解。
再者,概念之间的关系强度(结构系数,不同因子/变量间的关系)在不同群体、不同时间是否等价。诸如此类都是研究者经常遇到的实际问题,更为重要的是,这些问题在有些情况下需要研究者在研究之初就要考虑。
目前,检验测量不变性的方法可以分为两大类(Stark, Chernyshenko, & Drasgow, 2006):结构方程模型框架内的多组验证性因素分析(Muti-group Confirmatory Factor Analysis, MCFA)和项目反应理论框架内的项目功能差异分析(Differential Item Functioning, DIF)。
其中结构方程模型框架下的多组验证性因素分析是目前应用领域使用最多、最流行的方法(Meade & Lautenschlager, 2004; Raju et al, 2002; Reise et al, 1993)。除了MCFA,结构方程模型框架内的MIMIC模型也可以用于检验测量等值。

使用Amos的情况

建议参考赵必华(2007)学习实现等值性思路,参考许宏晨(2010)进行流程逐步学习,参考文献在前面,属实亲妈教程。

使用Mplus的情况

我也不会,这玩意属实整不明白。
建议参考博文
测量等值的Mplus检验程序:
http://blog.sina.com.cn/s/blog_7fb03f7d01012p8o.html
测量不变性或等值检验流程:
http://blog.sina.com.cn/s/blog_7fb03f7d01012mqi.html
Part 3

5 附录

Part 4

参考文献及来源

向下滑动阅览
JASP Team. (2021). JASP (Version 0.15.0) [Computer software]
The SPSSAU project (2021). SPSSAU. (Version 21.0)[Online Application Software]. Retrieved from https://www.spssau.com.
胡传鹏, 孔祥祯, Eric-Jan Wagenmakers, Alexander Ly, 彭凯平贝叶斯因子及其在JASP中的实现心理科学进展, 2018, 26(6): 951-965 doi:10.3724/SP.J.1042.2018.00951
孔明, 卞冉, & 张厚粲. (2007). 平行分析在探索性因素分析中的应用心理科学, 30(4), 924-925.
许宏晨. (2010). 结构方程模型多组分析在应用语言学研究中的运用——Amos 17.0 实例演示中国外语教育, (1), 59-67.
赵必华, & 顾海根. (2010). 心理量表编制中的若干问题及题解心理科学, (6), 1467-1469.
赵必华. (2007). 测量等值性检验及 Amos 的实现中国卫生统计, 24(6), 659-661.
周晓宏, & 郭文静. (2008). 探索性因子分析与验证性因子分析异同比较科技和产业, 8(9), 69-71.
PS:后台回复关键词“量表开发即可获得所述的PDF原文啦!
作者:张正 & 杨帆
排版:昆昆

校对:喵君姐姐
,华华


因为微信更改了推送规则,如果不想错过我们的精彩内容,请点『在看』以及星标⭐我们呦!

继续阅读
阅读原文