组合测试法中的全对偶测试法

在测试设计过程中，大家都会遇到很多变量进行组合的情况，对相互组合的两个或更多变量进行的测试活动就是组合测试，一般情况下都是使用组 合测试法，但这种情况很多测试人员研究得不够深入。测试人员需要开发或了解组合测试法中使用到的工具，通过程序得到用例组合才更加合理和全面，如果不在测 试中一起改变某些变量，就会遗漏由不同的变量组合而触发的错误。

首先介绍下组合测试法的定义，组合测试是一种测试用例生成方法。它将被测系统抽象出来的变量的取值进行组合并生成一组测试用例的过程，一般情况下， 组合测试能够在保证错误遗漏率的前提下采用较少的测试用例测试系统。但是对于如何从全集合的变量组合中抽取出有效的测试用例，会有不同的方法，两因素 （Pairwise）组合测试就是一种比较好的方法去挖掘出有效的测试用例组合。接下来介绍另外一种方法去自动生成较好的测试用例集，那就是全对偶测试法 (All Pairs)。这些组合测试方法也是高级测试工程师必须掌握的。

现在我们假设存在3个变量：V1、V2、V3，V1变量存在3个值：A、B、C；V2变量存在2个值：D、E；V3变量存在2个值：F、G。按照组 合测试法，可以组合出3*2*2 = 12种情况，也就是可以设计出12个测试用例。如果3个变量都存在5个不同的值的话，那就可以组合出5*5*5 = 125种情况，也就是需要设计出125个测试用例。测试专家James Bach使用全对偶测试法(All Pairs)将这125个测试用例压缩成25个测试用例，从理论上来覆盖变量组合的测试覆盖率，全对偶测试法有个基本的原则是每个变量的每个取值都要与至 少一个用例中的每个其他变量的每个取值配对。

为了让业界测试人员更能方便的使用全对偶测试法产生的组合测试的测试用例，James Bach使用Perl语言开发了一个allpairs工具，接下来通过讲解allpairs工具的使用方法来了解全对偶测试法(All Pairs)的实现原理和组合策略。本工具的下载地址：http://www.satisfice.com/tools/pairs.zip。

假设我们有两个参数需要测试，比如操作系统，打印机，先列出每个参数的值：

操作系统：

Win 98

Win XP

Win 7

打印机：

HP 4050

HP 4100

为了测试所有的组合对(pairings)，测试用例包括如下情况：

在两个参数的情况下，所有的组合对(pairings)就是参数之间的所有组合情况。但是如果我们新增一个参数将会发生什么呢？

是否双面打印：

是

否

下面是3个参数进行组合的所有测试用例：

对应三个参数的所有组合情况就是12个测试用例。但是我们需要的是在一组测试用例中能够保证至少一个用例中的每个其他变量的每个取值都配对过。这种情况就可以得到较少的测试用例，我们就可以得到6个测试用例。

事实上，如果这三个参数中的某两个参数的值的任意不同的组合会触发一个bug的话，那表格上的那组测试用例也可以发现该bug。当三个特殊的值组合 在一起触发的某个bug，那表格上的那组测试用例不一定能发现该bug，但是至少我们覆盖了所有的全对偶(all pairs)。

相对于所有组合情况来说，全对偶的测试覆盖率要容易很多。例如，如果你想测试10个参数且都有26个值的功能，所有组合情况将导致存在141,167,095,653,376个测试用例。而全对偶测试法就只要测试1094个测试用例就可以。

为了能较好的使用allpairs工具，测试人员需要在表格上列出所有的参数和参数值，一般可以使用Excel工具来表达：

然后将这个Excel表格拷贝到一个text文件(暂时命名为vars.txt)，在Dos平台上运行Allpairs程序，使用如下的命令：

ALLPAIRS VARS.TXT > TESTCASES.TXT 

如果测试人员也安装了Perl，也可以使用如下的命令：

PERL ALLPAIRS.PL VARS.TXT > TESTCASES.TXT 

TESTCASES.TXT文件里面的数据也适合拷贝到Excel文件中，类似于如下：

上图的第一部分是测试用例的集合，那个”pairrings”列说明的是全对偶方法找到的唯一pairrings的数量。

上图的第二部分是帮助测试人员了解全对偶方法的是怎么完成的。它列出了每个pair，且显示了这个pair在测试用例列表中出现的次数，且列表出了每个pair出现的时候所对应的测试用例的用例号。

James Bach 也在《软件测试经验与教训》中详细的说明任何使用全对偶的测试方法进行组合测试。主要分三大步骤，第一个步骤是 从域划分开始，确定和压缩每个参数所取的值和个数；第二个步骤是 获得全单值，保证覆盖到每个变量的每个重要取值；第三个步骤是 获得全对偶，保证每个变量的每个取值都要与至少一个测试用例中的每个其他变量的每个取值配对。同时他还表示仅仅使用全对偶测试是有风险的，与全单值一样， 测试人员可能知道被广泛应用的特定组合，或可能有麻烦的组合。

当然很多人会问是不是还有其他的工具来自动化生成组合的测试用例，由于全对偶测试法并不是一个最完美的解决办法，但在大部分情况下，对测试来说还是 足够的。考虑10个参数且都有10个值的情况，全对偶测试(All Pairs)需要使用177个测试用例来覆盖组合测试情况。最有可能的最佳的用例个数是100到177之间，James怀疑在130个测试用例左右。但是 与成千上万的测试用例集合相比，177个并不是特别差的情况。当然，对于使用全对偶测试(All Pairs)法产生的所有测试用例集合也可以是可运行的自动化脚本，由于参数和取值之间没有约束关系，所以产生的用例集合有规律，目前淘宝网技术质量部开 发了相关的工具用于通过组合测试法生成页面自动化脚本，该脚本是Ruby语言编写，通过规则和参数化取值来准备数据，使用关键的key标识来组合自动化脚 本的框架，有兴趣的同学可以一同研究。

一般在测试设计过程中，组合测试法不会单独使用，而是会与其他方法进行组合使用，大部分时候是和判定表和边界值组合使用，在关键性的高稳定要求的系 统软件中，组合测试和边界测试的组合覆盖率尤其重要。这个组合测试策略在兼容性测试策略方案上也有很大的作用，在选择操作系统，浏览器版本，其他软件配置 的兼容性测试上给出方向性的指导。

美国Telcordia 技术公司有一个基于web的工具， 它产生的结果集要优于全对偶测试(All Pairs)得到的结果集。例如，存在40个参数且都有3个值的情况，这个工具可以使用21个测试用例来覆盖所有的pairs。全对偶测试(All Pairs)则需要29个测试用例才能达到同样的效果，但是这个工具是收费的，相比较免费的全对偶测试(All Pairs)，测试人员可以自己做出选择。

当然，微软也会有相关的工具来构造组合测试用例，PICT就是一个比较易用的工具。PICT（Pairwise Independent Combinatorial Testing tool）可以有效地按照两两测试的原理，进行测试用例设计。在使用PICT时，需输入与测试用例相关的所有参数，以达到全面覆盖的效果。下载地址：http://download.csdn.net/source/3078728。 使用过程中关键的是需要建立组合测试的模型，以便于用尽可能少的测试用例，覆盖尽可能多的影响因素，详细使用介绍如下：http://www.cnblogs.com/liangshi/archive/2010/07/25/1784666.html。

转自：http://www.infoq.com/cn/news/2011/08/combination-test