Skip to content

Latest commit

 

History

History
163 lines (118 loc) · 5.86 KB

report.md

File metadata and controls

163 lines (118 loc) · 5.86 KB

1 测试背景

1.1 测试目标

对XX算法进行性能测试,客观、公正评估系统的性能现状。

  • 开发正确有效的性能测试脚本,模拟最终用户操作行为,作为测试有效实施的基础;
  • 通过性能测试,客观、公正评估在当前测试环境下,被测系统的各项性能指标表现;
  • 验证被测算法,如不满意,对性能瓶颈进行定位分析,提供性能调优建议。

1.2 测试过程

2013年 11月1日。XXX在XXX使用XXXX工具进行测试。

2 测试方法简介

2.1 测试实施模型

2.2 测试实施基本流程

###2.2.1 测试环境准备 ###2.2.2 测试数据准备 ###2.2.3 测试程序开发 ###2.2.4 测试程序执行 测试准备阶段完毕后,确保测试环境、测试程序、测试过程、测试数据,且均已验证通过后,然后在指定的时间内可对系统施实性能测试。

2.3 测试用例说明

见附件。

3 测试环境

3.1 被测系统

3.1.1 硬件环境

3.1.2软件环境

3.2 测试系统

3.2.1 测试环境搭建

3.2.2 测试软件

4 测试结果分析

4.1 术语解释

执行时间:本测试中所提到的执行时间均为墙钟时间,即从算法开始执行到算法结束测到的系统时间。

最优执行时间:每个测试用例在不同核数下有不同的执行时间,其中最小者成为该测试用例的最优执行时间。

串行时间:每个测试用例在串行情况下的执行时间,成为该测试用例的串行时间。

问题规模:衡量该测试用例计算复杂程度的指标,不同算法的影响因素差别很大,不好直接衡量。这里借用该测试用例的ArcGIS执行时间表示其问题规模。

ArcGIS执行时间:测试用例在ArcGIS环境下的执行时间,与机器性能有关。本次测试在指定的性能较好的机器上测量。

绝对加速比:原意是指被测算法相对于最优秀的串行算法的加速程度,这里用业界最经典的算法ArcGIS来代替最优秀的串行算法,事实上,很多被测算法的串行速度高于ArcGIS的串行速度。这里的绝对加速比指的是相应的ArcGIS执行时间与最优执行时间的比值。同一个算法的不同测试用例,绝对加速比略有不同。

加速比:也称相对加速比。并行算法相对于自身串行算法的加速程度,指串行时间与最优执行时间的比值。同一个算法的不同测试用例,相对加速比略有不同。

权重:每一个算法都有若干个测试用例,他们相对于算法的重要程度或者说代表性不尽相同。譬如,通常情况下,被测算法在大规模数据下的表现比小规模数据下的表现重要,因而会被赋予更高的权重,在计算算法的性能时,也能发挥较大的作用。例如,算法的绝对加速比就是各个测试用例的绝对加速比的加权平均。

并行效率:测试用例的并行效率指的是加速比与核数的商。这里我们用的是相对加速比。算法的并行效率是用例的并行效率的加权平均。

峰值并行效率:测试用例在不同核数下的并行效率的最大值。

平均并行效率:测试用例在所测核数的并行效率的平均值。

4.2 测试数据表

4.2.1 时间数据对比分析表

测试用例 IO时间 计算时间 测量时间

4.2.2 含IO时间的数据分析表

测试用例 ArcGIS时间 用例权重 串行时间 峰值并行效率 平均并行效率 最小并行效率 最优执行时间 绝对加速比 相对加速比 最优核数

4.2.3 不含IO时间数据分析表

测试用例 用例权重 串行时间 峰值并行效率 平均并行效率 最小并行效率 最优执行时间 相对加速比 最优核数

4.3 测试结果分析图

4.3.1 执行时间

执行时间对比 执行时间分析 用例时间曲线

4.3.2 绝对加速比

绝对加速比分析

从以上图表中可以看出,算法的绝对加速比最高可达 ,最低也有 ,加权平均后为 。

4.3.3 相对加速比

相对加速比分析 相对加速比分析(不含IO)

从以上图表中可以看出,算法在含IO情况下的相对加速比最高可达 ,最低也有 ,加权平均后为 。

在不含IO情况下的相对加速比最高可达 ,最低也有 ,加权平均后为 。

4.3.4 并行效率

并行效率 并行效率(不含IO)

从以上图表中可以看出,算法在含IO情况下的峰值并行效率可达 ,平均并行效率为 。

在不含IO情况下的峰值并行效率可达 ,平均并行效率为 。

4.4 正确性验证

见附件。

5 测试结论

总体来看,算法的绝对加速比是 ,相对加速比是 和 (不含IO) ,峰值并行效率是 和 (不含IO),平均并行效率是 和 (不含IO)。

6 调优建议