12.30 实验评估

使用一个真实的数据集作为任务集合 , 称为China，它包含了中国的 200 个旅游风景点。在ChinaCrowds [1] 平台上进行实验。该平台是目前中国最大的众包平台，并且它具备相应的手机应用以支持相应基于位置的众包任务。采用 1 000 的预算( 每次任务分配的花费是 0.2 RMB)，在每次任务分配过程中 , 安排给每个工人 h= 2 个。为验证提出的推断模型 (IM), 比较推断模型与其他两种常用的核心方法——多数投票法 (MV) 与标准期望最大化算法(EM) [2] 。为验证提出的最优分配算法(AccOpt),将之与随机方法 Random 和空间最优 (SF) [3] 方法比较。

图 3 展示了实验结果。结果表明 IM 比 EM 与MV 方法更为准确。这是由于 MV 不考虑工人质量对结果的影响 , 而 EM 仅考虑工人的平均质量。提出的推断模型由于考虑了工人的自身质量、距离相关质量以及兴趣点的影响力 , 因而取得了***的推断效果。同时对于分配算法可以发现 AccOpt(Random) 取得了*** ( 最差 ) 的准确率，AccOpt比 SF 和 Random 效果更好，是因为它每次都能够最大化整体地提升准确率。