it-swarm.cn

对于在定性和定量测试中使用的用户数量有何建议?

我目前正在从头开始重建整个Intranet,主要是因为背后的技术已经过时,并且已经证明很难找到很多信息。

尽管这不是重点,但我想知道的是,用于约1000个用户群的定性和定量测试的最佳用户数量是多少?

根据您拥有的用户总数,两者都有一般的经验法则吗?还是说定性为5,定量为10?

最好的方法是什么?

9
LiamGu

为什么只需要与5个用户进行测试 中,Jakob Nielsen建议:

最好的结果来自于测试不超过5个用户并运行尽可能多的小型测试。

但是,与其专注于用户数量,不如 专注于任务的数量和质量

可用性测试任务非常关键,以至于有人认为它们比您使用的参与者的数量更为重要:似乎 参与者尝试多少个任务而不是测试参与者的数量是发现问题的关键因素在可用性测试中

10
Antony Quinn

我对此没有参考,但我认为这些数字将取决于用户群的大小。

对于定性测试,您需要有“典型”用户。因此,如果您拥有3个角色,则您的用户可以使用至少3个用户-每个角色一个。实际上,您需要多个,但这是您的最低要求。

对于定量测试,您需要很大一部分用户基础。我不知道这个数字是多少,但是如果您将用户基础和10%作为一个数字,则将需要100个用户。但是,这可能是不现实的-您可能无法管理那么多用户,或者如果您的用户群很小,则产生的用户数量将非常少。

2
ChrisF

其他要考虑的是可用性报告结果的去向。您下游的人员可以修复多少工作-这些修复的效果是什么?

假设我与15个人进行了测试。在前三个之后,我发现了问题A BC。在十五个结束时,我也发现了问题D E FG。

问题是我下游的团队只有时间修复A和B。

更糟糕的是,一旦我们修复了A和B,系统就发生了变化,下一个最严重的可用性问题很可能不是C-G。

因此,我将研究您的产品开发人员的整个周期-仅进行足够的可用性测试来填补工作量。超过此数量可能会造成浪费。

我的经验是,在整个开发过程中使用更少的参与者(甚至只有一个参与者)进行更多的可用性测试要比少数大型测试有效得多。

2
adrianh

对于定量测试,可以更明确地了解样本量对结果的影响,但是所需的用户数量取决于您正在考虑的特定测试或分析(示例可能是确定成功完成任务的参与者的比例) ,估算平均工作时间,将两个版本与SUMI或SUS之类的问卷进行比较...)因此很难给出适用于所有情况的经验法则,但是有一些技术可以找出样本量您需要在特定情况下。

现在,如果您不想解决所有这些麻烦并实际上估计诸如置信区间和统计功效之类的东西,则仍然需要记住两个重要的结论。

第一个是估计的精度,因此要达到给定精度水平所需的用户数量,则not取决于您的用户群,至少这个用户群比您的测试样本大得多。第二个问题是,样本量越大,期望其他测试用户获得的改进幅度就越小。因此,从10升到110是一个巨大的进步,从1000升到1100并不是很大。

这就是为什么民意调查通常都会有大约1000名参与者的样本,即使感兴趣的人群包括数百万人也是如此。实际上,在拥有5、80或2亿人口的国家中,大选前民意调查的样本量通常会非常相似。只要您的样本是随机的并且人口大得多,您只问选民总数的1%,0.1%或0.00001%都没关系。

这两个结论对于百分比以外的其他情况仍然适用:例如,满意度调查表上的评分之间的比较或完成任务所需时间的分析。如果您想进一步发展,那么最好的起点是Jeff Sauro的网站 http://www.measuringusability.com/

1
Gala