性能测试计划(完整)(DOC)

网站稿件管理发布系统

文 档 编 号 作 者 审 核 人 批 准 人 Manager_System_001 保 密 等 级 最后修改日期 最后审批日期 最后批准日期 机密 201411 201411 201411 目录

1.

文档介绍 .................................................................................................................... 3 1.1文档目的 ......................................................................................................................................... 3 1.2参考文献 ......................................................................................................................................... 3 1.3编写目的 ......................................................................................................................................... 3 2.

软件概述 .................................................................................................................... 3 2.1项目介绍 ......................................................................................................................................... 3 2.2运行环境 ......................................................................................................................................... 3 2.3项目流程 ......................................................................................................................................... 4 3.

测试资源 .................................................................................................................... 4 3.1软硬件配置..................................................................................................................................... 4 3.2测试工具 ......................................................................................................................................... 6 3.3人力需求 ......................................................................................................................................... 6 3.4测试数据 ......................................................................................................................................... 6 4. 5. 6.

交付物 ........................................................................................................................ 7 测试进度计划 ............................................................................................................. 7 测试启动/结束/暂停/再启动/退出准则 ........................................................................ 8 6.1暂停准则：..................................................................................................................................... 8 6.2暂停/再启动的准则 ...................................................................................................................... 8 6.2.1暂停准则： ................................................................................................................................. 8 6.2.2再启动准则 ................................................................................................................................. 8 6.3测试退出准则 ................................................................................................................................ 8 7.

性能测试目标要求....................................................................................................... 9 7.1性能测试指标 ................................................................................................................................ 9 7.2交易响应时间 ................................................................................................................................ 9 7.3交易吞吐量..................................................................................................................................... 9 7.4并发交易成功率 .......................................................................................................................... 10 7.5资源使用指标 .............................................................................................................................. 10 8.

测试策略 ..................................................................................................................10 8.1基准测试 ....................................................................................................................................... 10 8.2并发测试 ....................................................................................................................................... 10 8.3递增测试 ....................................................................................................................................... 10 8.4场景测试 ....................................................................................................................................... 11 8.5疲劳强度测试 .............................................................................................................................. 11 9. 10.

测试用例开发 ...........................................................................................................11 交易基准测试 ...........................................................................................................12 10.1测试方法 .................................................................................................................................... 14 10.2测试场景 .................................................................................................................................... 14 11.

交易并发测试 ...........................................................................................................15 11.1测试方法 .................................................................................................................................... 15 11.2测试场景 .................................................................................................................................... 15 11.3测试方法 .................................................................................................................................... 16 11.4测试场景 .................................................................................................................................... 16 12. 13.

交易递增测试场景.......................................................................... 错误！未定义书签。 12.1测试场景 ................................................................................................... 错误！未定义书签。 混合交易负载场景.....................................................................................................16

14. 疲劳强度测试 ...........................................................................................................17

1. 文档介绍

1.1文档目的

说明测试方案中所涉及内容的简单介绍，包含：编写目的、项目背景、参考文档、测试点选取，场景设计等… 1.2参考文献

《网站稿件管理发布系统软件需求规格说明书》 1.3编写目的

从文档描述网站稿件管理发布系统性能测试的范围、方法、资源、进度，作为网站稿件管理发布系统性能测试的依据，该文档的目的主要有：

1、 明确测试范围、测试对象 2、 明确测试目标

3、 明确测试环境需求，包括：测试需要的软、硬件环境以及测试人力需求 4、 确定测试方案，测试的方法和步骤 5、 指定测试工作的时间安排

6、 分析测试的风险，寻找规避办法

7、 确定测试需求输出的结果和结果表现形式

2. 软件概述

2.1项目介绍 系统特点

 本系统是一个网站稿件管理发布系统，包括稿件管理和文档上传下载两

个主要功能模块。

 网站编辑用户可以提交稿件，稿件经过批准后可以在网站上发布。  查询稿件可以执行标题检索、全文检索等。  文档上传下载功能可以管理和共享Word文档。 2.2运行环境

 服务器设备

CPU主频1GHz以上，内存1GB以上，硬盘自由空间1GB以上。  支持软件

操作系统：Windows2003 Server或Windows XP 数据库服务器：MySQL-5.1.28 应用服务器：Tomcat6.0 Java：JDK1.6.0_07

应用软件：Liferay Portal 5.1.1 浏览器：IE6+sp2

Word：office 2000或office XP或office 2003

2.3项目流程

3. 测试资源

3.1软硬件配置

性能测试环境（包括测试工具环境）的硬件和软件配置如下表所示：

环境 资源 数量 型号/配置/软件名称/软件版本号 核心系统新安腾主机 1 HP 安腾 CPU：40核，主频 1.6GHz 内存：80G 存储：500*9G IP地址：10.1.1.213 IBM 595 CPU：8核，主频 2.3GHz 内存：16G 存储：20G IP地址：10.1.1.214 笔记本电脑 CPU：双核，主频 1.60GHz 内存：1G/2G IP地址：10.1.119.59/10.1.119.109 笔记本电脑 CPU：双核，主频 1.60GHz 内存：1G IP地址： HP-UX 11.23 Oracle 9i ECshop BEA Tuxedo 9.1 IBM-AIX 5.3.0.0 Oracle 9.2.0.6.0 南天综合前置系统(ＰＢ) BEA Tuxedo 9.0 前置系统服务器主机 硬件环境 LR压力产生器 1 2 LR控制台 1 核心主机操作系统 核心主机数据库 核心主机应用软件 核心主机交易中间件 前置服务器操作系统 前置服务器数据库 软件前置服务器应用软件 1 1 1 1 1 1 1 1 环境 前置服务器交易中间件 LR压力产生器操作系2 统 LR控制台操作系统 LR压力产生器、压力产生器交易中间件客户端 1 3 Windows XP Professioanl(SP2) Windows XP Professioanl(SP2) BEA Tuxedo WorkStation 6.5

3.2测试工具

序号 1 工具名称 LoadRunner 的并发数为500） 用途及说明 性能测试工具，Tuxedo协议（LicenseHP 11．0 英文版 厂商/自产 版本 3.3人力需求

角色 性能测试 经理 测试计划和测试报告编写 3、熟悉应用架构 1、熟悉性能测试体系 2、熟悉性能测试方法和编制测试案例，开发测试脚性能测试 设计人员 测试 4、执行时的系统资源监控技术 5、性能瓶颈分析能力 测试环境和测试数 据准备人员 性能调优 人员 3、熟悉应用架构 核心后台主机系统优化 2、精通数据库调优 和软件环境） 准备基础数据和测试数据 硬件配置 3、熟悉数据库操作 1、熟悉HP主机设置 准备性能测试环境（包括测试1、LoadRunner部署能力 工具环境、被测系统硬件环境2、熟悉核心系统、前置系统软本，设计测试场景，执行性能3、脚本编写和调试能力 LoadRunner测试工具 性能测试需求分析 2、熟悉性能测试体系 姓名 具体职责 性能测试项目管理和协调 技能要求 1、组织协调能力 3.4测试数据

数据对象 登录用户 数据 用户名 密码 稿件名称 稿件版本号 数据文档 user.dat D:\\LR_Project\\Data search_manuscript.dat 位置 查询稿件 稿件标题 稿件内容 增加稿件 显示稿件 查询文档 稿件标题 稿件内容 稿件编号 文档名称 文档名称 文档重命名 文档说明 add_manuscript.dat show_manuscript.dat search_document.dat 上传文档 upload_document.dat 4. 交付物

序号 1 2 3 4 5 交付物名称 性能测试计划 性能测试脚本 性能测试场景 性能测试结果 性能测试报告 责任人 参与者 交付日期 5. 测试进度计划

在测试工作量估算数据的基础上，考虑现有的资源情况，对资源进行具体安排，根据项目整体进度计划，列出进度表，即是谁在什么时间内完成什么任务 序号 名称 1 1.1 稿件管理发布系统 测试设计 责任人 2工作日 工期 5工作日 开始时间 2014-04-28 完成日期 2014-05-02 1.1.1 编写测试计划 准备测试环境 准备测试数据 开发测试脚本 1.2 基准、单交易并发测试 1-2工作日 1.2.1 单交易基准测试 1.2.1 单交易并发测试 1.3 综合场景测试 1.3.1 综合场景测试第1轮 1.3.2 综合场景测试第2轮 1.4 1.5

稳定性测试 测试总结 0-0.5工作日 6. 测试启动/结束/暂停/再启动/退出准则

6.1暂停准则：

 核心系统和前置系统应用软件通过系统功能测试；  测试环境已经准备完毕，包括：

 核心系统和前置系统应用系统已安装完毕

 基础数据以及测试数据已经导入核心系统主机数据库  LoadRunner压力产生器及控制台机器已经准备完毕  测试工具LoadRunner及所需要的License已准备好  测试脚本、测试场景已经准备完毕

以上条件，必须全部满足才能开始性能测试执行。 6.2暂停/再启动的准则 6.2.1暂停准则：

 测试汇总发现问题，需要网站稿件管理发布系统修改代码，或者需要更换应

用服务器

 测试环境受到干扰，比如服务器被临时征用，或服务器的其他使用会对测试

结果造成干扰 6.2.2再启动准则

 测试中发现问题得以解决  测试环境恢复正常 6.3测试退出准则

 满足下列条件之一时，可以结束性能测试执行：

 压到预定最大并发用户数，系统性能能够满足预期测试指标要求；

 到计划结束日期，压到预定最大并发用户数，经过系统调优，系统性能

仍然无法满足预期测试指标要求，但已经无法再实施调优。

7. 性能测试目标要求

7.1性能测试指标

本次性能测试需要测试的性能指标包括：

1、交易响应时间：核心系统处理交易的平均响应时间 2、交易吞吐量：后台主机每秒能够处理的交易笔数（TPS） 3、并发交易成功率 4、批处理效率

5、资源使用指标：前置和核心系统各服务器CPU占用率、内存占用率、I/O占用率；LoadRunner压力产生器CPU占用率、内存占用率 7.2交易响应时间

本次性能测试中的交易响应时间是指在一定的负载压力下，由前置系统记录和进行统计分析的、核心系统处理交易的响应时间，用一定时间段内的统计平均值ART来表示。

本次性能测试中，对所有非批量联机交易的ART指标要求为：

ART ≤ 5秒

7.3交易吞吐量

根据统计数据，网站稿件管理核心系统当前生产环境高峰日交易总量为7500笔。根据二八原则（80%的交易量发生在20%的时间段内），当前生产环境对主机的交易吞吐量指标要求为：

TPS_1 ≥ 10000(交易) * 80%(交易量) / (24(小时) * 20% * 3600(1小时60分

钟*1分钟60秒)) = 0.34 笔/秒 17280

根据规划，网站稿件管理系统未来1年内核心系统的处理能力应达到高峰日交易总量10000笔，则3年后对主机的交易吞吐量指标要求为：

TPS_2 ≥ 10000 * 80% / (24 * 20% * 3600) = 0.46 笔/秒

为获取核心系统主机的最大处理能力，在本次性能测试中可通过不断加压，让核心系统

主机CPU利用率达到85%，记录此时的TPS值，作为新主机处理能力的一个参考值。

为模拟生产上核心主机的异常情况，通过不断加压，让核心系统主机CPU利用率达到接近100%，观察核心系统的工作情况，记录TPS值。

7.4并发交易成功率

指测试结束时成功交易数占总交易数的比率。交易成功率越高，系统越稳定。 对典型交易的场景测试，要求其并发交易成功率 ≥ 99% 。 7.5资源使用指标

在正常的并发测试和批处理测试中，核心系统各服务器主机的资源使用指标要求：

CPU使用率 ≤ 80% 内存使用率 ≤ 80% I/O使用率 ≤80%

8. 测试策略

8.1基准测试

在测试环境经过确认，脚本预验证之后对本次测试涉及的全部联机交易做基准测试。目的是验证测试脚本及后台环境、初步检查交易本身是否存在性能缺陷。

目的：是获取单用户执行时的各项性能指标，为多用户并发和混合场景的性能测试分析提供参考依据； 8.2并发测试

并发测试是指并发不同数目的虚拟用户执行检查点操作，目的是对检查点进行压力加载测试。预测系统投入使用后在一定用户压力情况下的系统响应时间,根据此响应时间分析、确定系统存在的性能瓶颈，为系统的优化和调整提供依据。 8.3递增测试

递增测试是指每隔一定时间段（如5秒、10秒）并发不同数目的虚拟用户执行检查点操作，对检查点进行递增用户压力加载测试，从而模拟系统真

实的使用情景，使用户预知系统投入使用后的性能水平。 8.4综合场景测试

通过对系统体系机构和功能模块的分析以及对系统用户的分布和使用频率的分析，来构造系统综合场景的测试模型，模拟不同用户执行不同操作，如10%的用户执行登录操作，50%的用户执行查询操作，40%的用户执行上传文档操作，最大限度地模拟系统的真实场景，使用户预知系统投入使用后的真实性能水平。从而，对系统做出相应的优化及调整，避免实际情况中出现系统长时间不响应及崩溃的情况。 8.5疲劳强度测试

疲劳强度测试是指对系统核心功能点进行疲劳强度测试，即用系统稳定运行情况下能够支持的最大并发用户数，持续执行一段业务时间（如48小时），记录交易平均响应时间，交易正确率，应用服务器和数据库服务器CPU利用率、内存使用情况等参数，考察应用服务器和数据库服务器是否出现宕机、内存泄漏等情况。该测试通常需要和场景测试进行结合，从而可以最大限度地模拟真实环境下，系统长时间连续运行条件下，系统是否能够保持在稳定运行状态。

9. 测试用例开发

根据测试范围规定的内容，逐条设计测试需求及完成该测试需求的测试过程、测试条件，构造本次测试的测试用例，编写决策树。

表1 时间特性 测试需求 测试过程说明 单用户执行登录系统 登录系统 （login） 10用户并发执行登录系统 20用户并发执行登录系统 查询稿件 单用户执行查询稿件 第1页 共1页 过程标引 E-01 E-02 E-03 E-04 （search_menuscript） 10用户并发执行查询稿件 20用户并发执行查询稿件 单用户执行新增稿件 E-05 E-06 E-07 E-08 E-09 E-10 E-11 E-12 E-13 E-14 E-15 E-16 E-17 E-18 新增稿件 （add_menuscript） 10用户并发执行新增稿件 20用户并发执行新增稿件 单用户执行显示稿件 显示稿件 （show_menuscript） 10用户并发执行显示稿件 20用户并发执行显示稿件 单用户执行上传文档 上传文档 （upload_document） 10用户并发执行上传文档 20用户并发执行上传文档 单用户执行查询文档 查询文档 （search_document） 10用户并发执行查询文档 20用户并发执行查询文档 使用50用户在线共同执行系统稿件模块，15用户执行新增稿件，15用户执行显示稿件，20用户执行查询稿件。整个场景执行1小时。 综合场景一 E-19 综合场景二 使用50用户在线共同执行文档上传下载模块，结合部分稿件模块功能，15用户执行上传文档，E-20 20用户执行查询文档，15用户执行查询稿件。整个场景执行1小时。 使用50用户在线共同访问被测系统，15用户执行查询稿件，15用户执行查询文档，10用户执行显示稿件，5用户执行上传文档，5用户执行增加稿件。整个场景持续运行12小时。 疲劳强度测试 E-21 表2 资源特性 测试需求 登录系统 （login） 第2页 测试过程说明 单用户执行登录系统，并监控服务器的各项资源。 共1页 过程标引 E-22 10用户并发执行登录系统，并监控服务器的各项资源。 20用户并发执行登录系统，并监控服务器的各项资源。 单用户执行查询稿件，并监控服务器的各项资源。 查询稿件 10用户并发执行查询稿件，并监控服务器的各（search_menuscript） 项资源。 20用户并发执行查询稿件，并监控服务器的各项资源。 单用户执行新增稿件，并监控服务器的各项资源。 新增稿件 （add_menuscript） 10用户并发执行新增稿件，并监控服务器的各项资源。 20用户并发执行新增稿件，并监控服务器的各项资源。 单用户执行显示稿件，并监控服务器的各项资源。 显示稿件 （show_menuscript） 10用户并发执行显示稿件，并监控服务器的各项资源。 20用户并发执行显示稿件，并监控服务器的各项资源。 单用户执行上传文档，并监控服务器的各项资源。 上传文档 （upload_document） 10用户并发执行上传文档，并监控服务器的各项资源。 20用户并发执行上传文档，并监控服务器的各项资源。 单用户执行查询文档，并监控服务器的各项资源。 查询文档 （search_document） 10用户并发执行查询文档，并监控服务器的各项资源。 20用户并发执行查询文档，并监控服务器的各项资源。 使用50用户在线共同执行系统稿件模块，15用户执行新增稿件，15用户执行显示稿件，20用户执行查询稿件。整个场景执行1小时。，并监控服务器的各项资源。 E-23 E-24 E-25 E-26 E-27 E-28 E-29 E-30 E-31 E-32 E-33 E-34 E-35 E-36 E-37 E-38 E-39 综合场景一 E-40 综合场景二 使用50用户在线共同执行文档上传下载模块，结合部分稿件模块功能，15用户执行上传文档，20用户执行查询文档，15用户执行查询稿件。E-41 整个场景执行1小时。，并监控服务器的各项资源。 疲劳强度测试 使用50用户在线共同访问被测系统，15用户执行查询稿件，15用户执行查询文档，10用户执行显示稿件，5用户执行上传文档，5用户执行增加稿件。整个场景持续运行12小时。，并监控服务器的各项资源。 E-42 10. 交易基准测试

10.1测试方法

使用一个Vuser，分别运行每个交易的脚本，设置脚本的迭代次数1次，验证所有脚本是否运行正确、所有交易事务是否成功返回，并获取每个交易的平均交易响应时间ATR(Average Transaction Response Time)。 10.2测试场景

加编号 场景名 执行用户数 压方式 1 登录系统 login 查询稿件 search_menuscript 新增稿件 add_menuscript 显示稿件 show_menuscript 上传文档 upload_document 查询文档 search_document 1Vuser 同时 1min 同时 Pacing:2s-4s Thinktime:忽略 1 获取单用户执行的响应时间和服务器资源，为之后的测试提供依据 持续 时间 退出方式 思考时间/迭代延迟 负载生成器数量 备注 2 3 4 5 6

11. 交易并发测试

11.1测试方法

使用10个Vuser，分别为每个交易执行并发，验证所有脚本是否运行正确、所有交易事务是否成功返回，并获取每个交易的平均交易响应时间ATR(Average Transaction

Response Time)。

11.2测试综合场景

思考编号 场景名 并发用户数 加压方式 持续 时间 退出方式 时间/迭代延迟 1 登录系统 login 查询稿件 search_menuscript 新增稿件 add_menuscript 显示稿件 show_menuscript 上传文档 upload_document 查询文档 search_document 10 同时 运行完成 同时 忽略 1 负载生成器数量 设置第一项，让100%VU到达集合点时一起并发执行。 集合点策略 2 3 4 5 6

11.3测试方法

使用20个Vuser，分别为每个交易执行并发，验证所有脚本是否运行正确、所有交易事务是否成功返回，并获取每个交易的平均交易响应时间ATR(Average Transaction

Response Time)。

11.4测试场景

思考编号 场景名 并发用户数 加压方式 持续 时间 退出方式 时间/迭代延迟 1 登录系统 login 查询稿件 search_menuscript 新增稿件 add_menuscript 显示稿件 show_menuscript 上传文档 upload_document 查询文档 search_document 20 同时 运行完成 同时 忽略 1 负载生成器数量 设置第一项，让100%VU到达集合点时一起并发执行。 集合点策略 2 3 4 5 6

12. 混合交易负载场景

制作单个交易的性能测试脚本，将同一模块内功能相近的脚本放在同一个测试场景中，并发用户数为50，平均设定每个交易的比例，设定负载序列，按照负载序列逐渐增加并发用户数。

场景一 序模块号 名称 1 功能点 执行用户数 50 用户加载方式 每2秒加载1个 Duration Pacing Think time 备注 查询稿件 稿件 （20VU） 2 显示稿件 1h RandomRandom50%-15:6s-9s 0% （15VU） 3

新增稿件 （15VU） 场景二 序模块号 名称 1 文档2 +稿件 3

功能点 查询文档 （20VU） 上传文档 （15VU） 查询稿件 （15VU） 50 执行用户数 用户加载方式 Duration Pacing Think time 备注 每2秒加载1个 1h RandomRandom50%-15:6s-9s 0% 13. 疲劳强度测试

使用50用户系统稳定运行的情况下，以一定的负载压力来长时间运行系统的测试，主要目的是确定被测系统系统长时间处理较大业务量时的性能，获取响应时间和服务器各项资源。

场景一 序模块号 名称 1 2 功能点 查询稿件 （15VU） 查询文档 （15VU） 50 执行用户数 用户加载方式 Duration Pacing Think 负载生成器数量 time 备注 稿件 显示稿件 3 +文（10VU） 档 增加稿件 （5VU） 上传文档 （5VU） 每2秒加载2个 12h RandomRandom50%-15:3s-9s 0% 2 必要时可以采用联机测试