信度编码结果可否替代正式内容编码?

不可以。需要先完成信度测试编码,再重新进行正式内容编码。

研究方法上要求,在正式内容编码之前,需要进行编码员之间的信度测试。 无论是传统的内容分析法还是大数据内容分析法,我们都需要两位或以上数目的编码员来进行编码工作,这些独立的编码员对一段信息或记录内容的特征(也就是记录单位)作出判断,并且达到一致的结论。这种一致性以量化方式呈现,称之为编码者间的信度。

怎么做信度测试?

可以利用必要的工具来计算信度指标,如手动(利用公式计算)或计算机程序。 我们以大数据内容分析法中进行编码员之间信度评估为例,具体的操作步骤如下:

第一,依据编码薄制作编码指引,编码指引需明确统一。帮助编码员熟悉议题,理解编码类目,保证所有编码员均理解类目所指代的含义。

第二,进行编码测试。选取少量样本作为测试编码之用的样本,这部分样本的测试编码过程中,各编码员需独立编码,不能相互讨论或指导。若使用了机器编码,则直接执行机器编码的信测测试(DiVoMiner®上只需点击该按钮即可一键完成机器编码的信度测试)。

第三,进行编码校正。测试编码结果如果未能达到理想信度,需重新测试编码。重新测试之前,对编码员再次进行培训和指导,尤其针对编码结果差异较大之类目,需再次给予说明。若有机器编码的部分,则需重新检查并修正编码簿各选项的关键词,尽可能完善类目的选项,再重新执行机器编码信度测试。

第四,正式编码。当所有编码员达至理想信度,即可开始正式编码。

一个完整的信度报告应该包括以下信息:

●信度分析的样本数及理由。

●信度样本与总样本的关系:是总样本的一部分还是额外样本。

●编码员资料:人数(须为2或更多)、背景,研究员是否也是编码员。

●每名编码员的编码数量。

●信度指标的选择和理由。

●每个变量的编码员间之信度。

●编码员的训练时间。

●在总样本的编码过程中遇到不同意见时的处理方式。

●读者可以在哪里得到详细的编码指引、程序和编码表。

●要报告每一个变量的信度水平,不要只报告所有变量的整体信度。

Is this article helpful?

       

相关文章