DiVoMiner®上的信度测试功能,提供了从信度测试的准备工作开始到信度测试完成的整个流程,确保大家在平台上可以逐步进行信度测试,直至完成整个测试流程,而且每一个步骤都是透明可追踪的。
下面详细重点介绍一下计算信度的具体的操作流程:
完成信度编码后,就可以查看信度系数。完成编码后,信度结果即可实时查看了!
待所有编码员完成测试编码后,在【信度计算】中,选择编码员和信度指标,如果想要查看机器编码的结果,勾选添加机器人,点击【计算】,得到信度结果。目前平台上提供了四种常用的信度指标,大家可任意使用哟~
同时,DiVoMiner【仅计算共同编码部分】功能,能完美解决编码员间信度测试进度不一致,又需要查看当前信度结果的问题。
小提示
到底信度结果要达到多少才能算是“理想信度”呢?其实,在学术上关于信度达标的硬性标准未有定论,信度会依据研究需求以及类目难度(主观性类目难度较大)有所浮动。下面是四种信度指标的可接受水平的参考范围,供大家了解。
后续可以利用【编码跟踪】进行编码校正
【编码跟踪】中便捷查询编码员的测试编码情况,看到编码差异,方便校正。
如编码员之间信度达到合理水平,则可以进入正式编码。如系数不佳,则需要重复多次测试编码,直到信度系数达致可信水平。
小提示
针对信度系数较低的题目,需对编码员进行重新的培训和指导,重新进行信度测试。
重建测试库的方法是,在【测试库】中【清空测试库】,测试库中的所有内容编码结果将随之全部清空。重新在【编码库】建立测试库,各编码员在新的测试库中重新进行独立的编码。