JA/QA/VCLTesttool quickhowto

VCL TestToolによるテストの仕方

ダウンロード

テストするパッケージ

http://ftp.kddilabs.jp/office/openoffice/extended/

VCL TestTool

http://qa.openoffice.org/ooQAReloaded/AutomationTeamsite/ooQA-TeamAutomationBin.html

TestTool 環境

http://ooopackages.good-day.net/pub/OpenOffice.org/qa/testautomation/

からテストするパッケージのマイルストーンと同じものをダウンロードする。（たとえば、３．１ rc1であればOOo310 m9なので「OOo_OOO310_m9_testautomation.tar.bz2 」または「OOo_OOO310_m9_testautomation.zip 」をダウンロードする）

設定

テストするOpenOffice.orgは通常のインストールを行ないます。

VCL TestToolは解凍して適当なフォルダに配置します。

TestTool環境も解凍して適当なフォルダに配置します。

（日本語名や半角スペースを含まないファイルパスを推奨）

以下は、Ubuntuで

OpenOffice.org:/opt/openoffice.org3/program

VCL TestTool：~/VCLTestTool_Linux_src680m226

TestTool環境：~/OOO310_mXX/testautomation（XXはマイルストーン）

に配置したものとして説明します。

VCLTestToolの設定

~/VCLTestTool_Linux_src680m226/testtool.binを実行します

「Extras」－「設定」から各種設定を行ないます。

「汎用」タブ

OOoProgramDir：OpenOffice.orgのprogramディレクトリのpathを設定します

GUI Pratform:各プラットフォームに割り当てられている数字を設定します。Linuxの場合は03です

各プラットフォームに割り当てられている番号は以下の通りです。

Win95	100
Win98	395
WinNT	351 or 400
WinSE	410
WinME	490
Win2000	500
WinXP	501
Solaris SPARC	01
Linux	03
Solaris x86	05
Mac OS X	12
Linux PPC	13
SCO UNIX	02
AIX	04
Irix	06
HP UNIX	07
FreeBSD	08
NetBSD	14
Linux 64 bit	15
Linux SPARC	16
eComStation	17

「Profile」タブ

Log base directory：/home/<username>/OOO310_mXX/testautomation/errorlog

Base directory：/home/<username>/OOO310_mXX/testautomation

QUASTeを利用する場合

QUASTeを利用してテスト結果を報告する場合、あと２つの設定を行なう必要があります。

「Crashreport」タブ

Allow contact：チェックを入れる

Email:自分のメールアドレスを入力する

.testtoolrcを編集する

上記の各設定を行うと、ホームフォルダに「.testtoolrc」が作成されます。（WindowsXpの場合はC:\Documents and Settings\<username>\Application Data\testtool.ini）

このファイルに以下の項目を追加します。{YOUR-PCNAME} はテストを実行するPCの名前（Host名）を入力します

[Others]

PCname={YOUR-PCNAME}

TestScriptを実行する

Testtoolから各testscriptを呼び出し実行します。

テスト項目を入手する

リリース用のテスト項目は以下のサイトから取得することができます。

http://quaste.services.openoffice.org/

左のメニューリストから「Autotests overview」をクリックします

テストするバージョンを指定します（3.1rc1の場合「OOO310」と「m9」）

ページ下の「Download category list for scripts」をクリックするとリストをダウンロードできます

このリストの中の[Tests release]の項目に含まれているものを使用します

手動で実行する

testtoolの「ファイル」－「開く」で実行したい「*.bas」ファイルを開きます。

「プログラム」－「スタート」で実行され、結果は「Log base Directory」に保存されます。

これを上記で入手したリストに従い各ファイルを読み込み実行します

自動で実行する

Tests release用のすべての*.basファイルを連続して自動で実行することもできます。その場合には幾つかの設定が必要です。

/home/<username>/OOO310_mXX/testautomation/tools/run_tests/run_tests.sh を編集し、以下の2項目を設定します

sLocation=/home/<username>/OOO310_mXX/testautomation/

sTestTool=/home/<username>/VCLTestTool_Linux_src680m226/testtool.bin

ダウンロードしたrelease用テストスクリプトのリストから[Tests release]の項目だけを残して、ホームディレクトリに保存します。

$/home/<username>/OOO310_mXX/testautomation/tools/run_tests/run_tests.sh </home/<username>/OOO310_mXX.txt

を実行するとリスト内のすべてのスクリプトを自動的に実行します。

結果を解析する

結果を解析する方法として、QUASTeサイトに結果を送信する方法と、make_summary.plを用いて結果を集計する方法があります。

QUASTeに結果を送信する

~/OOO310_mXX/testsutomation/errorlog/ に作成される「ooo310mXX」フォルダ内のファイルをzipで圧縮します。

QUASTeサイトにログインして、右のメニューの「Upload of testresults」からzipファイルをアップロードします。

Create temp-directory....successExtract archive to temp-directory....successGet all main-result-files from archive...success

のような表示が出れば成功です

make_summary.plを使って集計する

以下のようにmake_summaru.plを使って結果を集計できます。

$ OOO310_mXX/testautomation/tools/analyze/make_summary.pl ~/OOO310_mXX/testautomation/errorlog/*.res

（実際には1行）

端末上に以下のような集計結果が表示されます。

Filename	Errors	Warnings	Warnings_during_initialization
============================	======	========	=============================
c_updt1.res	0	0	0
c_updt2.res	0	0	0
ch2_lvl1_wizard.res	0	1	0
・・・・
・・・・
oasis_graphics_update.res	0	0	0
resetoffice.res	0	0	0
w_updt.res	0	1	0
============================	======	========	=============================
Total 30 files	6	9	0

この結果をメールに貼り付けるか、Issueに登録することで報告を完了できます。