如何做信度测试?

编码员间信度(inter-coder reliability),是指“独立的编码者评估一则信息或人工制品的特征并达到相同结论的程度”(Lombard, Snyder-Duch, & Bracken, 2004)。

具体执行过程是,邀请所有参与研究的编码员对同样的数据编码,计算编码员之间信度结果,当系数结果达到可接受的水平,则进行正式编码。如果系数结果达不到要求水平,则需要进行编码矫正,重复进行测试编码,直到编码员之间信度达到合理水平,则进行正式编码。

从平台操作的角度而言,需要先从【编码库】中选取部分样本至【信度库】,所有编码员需要在【编码测试】页面中分别完成信度编码(每位编码员都做同样的编码),完成后,由管理员在【信度计算】页面计算信度系数,期间或其后,可以利用【编码追踪】页面检查核对所有编码员的编码结果,了解一致性情况。具体操作方法如下:

第一步:建立测试库。【编码库】-【随机导入到测试库】,即可完成。也可以选中某一条数据,单独导入到测试库,点击数据右侧的【测试库】。可进入到【测试库】查看已导入的数据。

点击查看创建信度库的详细信息,如遇见【随机导入信度库】按钮为灰色,请选择特定一个数据库,不要选择【全部】,因为全部数据模式下,可能存在多种数据格式,无法正常抽样。

第二步:做测试编码。所有编码员进入到【信度测试】-【编码测试】中,阅读文本,完成编码。

第三步:待所有编码员完成测试编码后,在【信度计算】中,选择编码员和信度指标,点击【计算】,得到信度结果。

第四步:【编码跟踪】中便捷查询编码员的测试编码情况,看到编码差异,方便矫正。

第五步:如编码员之间信度达到合理水平,则可以进入正式编码。如系数不佳,则需要重复多次测试编码,直到信度系数达致可信水平。

针对信度系数较低的题目,需对编码员进行重新的培训和指导,重新进行信度测试。

重建测试库的方法是,在【测试库】中【清空测试库】,测试库中的所有内容编码结果将随之全部清空。重新在【编码库】建立测试库,各编码员在新的测试库中重新进行独立的编码。

点击查看机器编码是否需要做信度测试

Lombard, M., Snyder-Duch, J., & Bracken, C. C. (2004). A call for standardization in content analysis reliability. Human Communication Research, 30(3), 434-437.

Is this article helpful?

       

相关文章