JA/QA/VCLTesttool quickhowto
Contents
VCL Test Toolによるテストの仕方 OpenOffice.org3系列用
テスト環境構築の前準備を行います
テスト前にOpenOffice.orgをインストールしている場合は、アンインストールし、インストールされていたフォルダも削除しておきます。
- アンインストールの方法
Windows XP、Windows Vista | 「コントロールパネル」の「プログラムの追加と削除」から行ないます。 |
Debian | (アンインストール:sudo apptitude purge ^nopenoffice) |
Fedora | (アンインストール:sudo yum remove openoffice.org3 ooobasis openoffice.org3) もしくは、GUIで提供されているソフトウェアの追加と削除機能から削除する |
- 標準インストールした場合は、以下のフォルダ を削除します。
Windows XP、Windows Vista | C:\Program Files\OpenOffice.org3以下 |
Debian、Fedora | /opt/openoffice.org3/以下 |
- OpenOffice.orgの現在の設定を保存する必要が場合は、以下のフォルダをリネームして保存しておきます。
Windows XP、Windows Vista | C:\Documents and Settings\<ユーザー名>\Application Data\OpenOffice.org |
Debian、Fedora | ~/.openoffice.org |
このようにすることによって、テスト終了後このフォルダを復旧させることによって現在の設定を復元することができます。
- VCLテストは自動実行のため、テスト開始後、数時間放置する事になります。
自動テスト実行中にスクリーンセーバーや、PCが休止状態になりますと
テストがうまく実行できない場合がありますので、スクリーンセーバーをOFF、モニタの電源管理をOFFに設定しておいてください。
テストで使用するファイルをダウンロードします
- テスト対象 : テスト対象のOpenOffice.orgパッケージ
OpenOffice.orgパッケージをMirrorサイトよりダウンロードします。
(サイト例1)http://ftp-srv3.kddilabs.jp/hdfs/openoffice/extended/
(サイト例2)http://ftp.jaist.ac.jp/pub/openoffice/extended/
※以下、テスト対象を OOO310 m17 とし説明します。
- テストツール : VCLテストツール群:(テストを実行するツール)
(サイト例)http://qa.openoffice.org/ooQAReloaded/AutomationTeamsite/ooQA-TeamAutomationBin.html
日本語、スペースを含まないディレクトリに配置をします。
(ファイル配置例)
Windows XP、Windows Vista | C:\VCLTest\VCLTestTool_Win_src680m226\ |
Debian、Fedora | ~/VCLTest/VCLTestTool_Linux_src680m226/ |
※以下、このファイル配置を基準とし説明します。
- テストケース : 上記のVCLテストツール群が実行するスクリプト群など
(サイト例)http://ooopackages.good-day.net/pub/OpenOffice.org/qa/testautomation/
ダウンロードするのはOOo_OOO310_m17_testautomation.zip もしくはOOo_OOO310_m17_testautomation.tar.bz2 です。これを解凍し日本語、スペースを含まないディレクトリに配置をします。
(ファイル配置例)
Windows XP、Windows Vista | C:\VCLTest\OOo_OOO310_m17_testautomation\ |
Debian、Fedora | ~/VCLTest/ OOo_OOO310_m17_testautomation/ |
※以下、このファイル配置を基準とし説明します。
テストするOpenOffice.orgを標準インストールします
※インストール時にアドミニストレータ権限が必要です。
Windows XP、Windows Vista | ダウンロードしたパッケージexeをダブルクリックで実行ウィザードに従って実行 |
Debian | 解凍する(tar zxvf<パッケージ.tar.gz>)
解凍フォルダ内のDEBフォルダに移動し、インストール(sudo dpkg -i *.deb) デスクトップ環境モジュールに移動(cd desktop-integration )インストール(sudo dpkg -i *.deb) |
Fedora | 解凍する(tar zxvf <パッケージ.tar.gz>)
解凍したパッケージに移動し、setup実行(sudo ./setup)ウィザードに従って実行 JREなしのパッケージの場合は手動でインストールする(rpm -ihv *.rpm) |
VCLTestツールの設定を行います
- VCL TestToolを起動します。
Windows XP、Windows Vista | C:\VCLTest\VCLTestTool_Win_src680m226\testtool.exe |
Debian、Fedora | ~/VCLTest/VCLTestTool_Linux_src680m226/testtool.bin |
- 「Extras」→「設定」を選択します。
汎用タブ
- OooProgramDir
OpenOffice.orgのprogramがあるディレクトリのpathを設定します。
Windows XP、Windows Vista | C:\Program Files\OpenOffice.org3\program |
Debian、Fedora | /opt/openoffice.org3/program |
- GUI Pratform
各プラットフォームに割り当てられている数字を設定します。
(下図参照)
Windows XP | 501 | Linux PPC | 13 |
Debian | 03 | Linux 64 bit | 15 |
Fedora | 03 | Linux SPARC | 16 |
Solaris SPARC | 01 | Windows 95 | 100 |
SCO UNIX | 02 | Windows 98 | 395 |
Linux | 03 | Windows NT3 | 351 |
AIX | 04 | Windows NT4 | 400 |
Solaris x86 | 05 | Windows SE | 410 |
Irix | 06 | Windows ME | 490 |
HP | 07 | Windows 2000 | 500 |
FreeBSD | 08 | Windows Server 2003 | 502 |
Mac OS X | 12 | eComStation | 17 |
Profileタブ
- Log Base Directory
ログ格納用のフォルダ「logs」を、C:\VCLTest\OOo_OOO310_m17_testautomationの直下に作成し
Log Base DirectoryにC:\VCLTest\OOo_OOO310_m17_testautomation\logsを設定します。(Linuxの場合は~/VCLTest/ OOo_OOO310_m17_testautomation/logs)
- Base directory
VCLTesttoolのテストケースを配置したフォルダを設定します。 Base directoryにC:\VCLTest\OOo_OOO310_m17_testautomation\ を設定します。
- 汎用タブ、Profileタブの設定をすると、ホームフォルダに設定ファイルが作成されます。
Windows XP、Windows Vista | C:¥Documents and Settings¥<ユーザー>¥Application Data¥testtool.ini |
Debian、Fedora | /home/<ユーザー>/.testtoolrc |
このファイルの最終行に次の設定を追加します。
[Others] PCname=<コンピューター名>
※この設定を追加し忘れますと、自動テスト結果ログに警告がでますので忘れずに設定しましょう。
VCLTestスクリプトが手動で実行できる事を確認します
- VCLtesttoolを起動します。
Windows XP、Windows Vista | C:\VCLTest\VCLTestTool_Win_src680m226\¥testtool.exe |
Debian、Fedora | ~/VCLTest/VCLTestTool_Linux_src680m226/testtool.bin |
- 実行するスクリプトを選択します。
標準メニューのファイル→開くを選択し、実行したいスクリプトを開きます。
(例)C:\VCLTest\OOo_OOO310_m17_testautomation¥chart2¥required¥ch2_updt_calc.bas
- 標準メニュー→プログラム→スタートを選択します。
- 実行結果のログファイルを確認します。
実行が成功すると、実行結果ログが作成されます。
実行結果ログは、VCLTestツールのProfileタブ設定で、Log Base Directoryに設定したフォルダに作成されます。
- ログファイル、データファイルをいったん削除しておきます。
VCLテストスクリプトを自動で実行する前に、実行時に作成されたログファイル、データファイルをいったん削除しておきます。
Windows XP、
Windows Vista |
C:\Documents and Settings\<ユーザー名>\Application Data\OpenOffice.org フォルダ以下全て
C:\VCLTest\OOo_OOO310_m17_testautomation\logs\ フォルダ内のファイル全て |
Debian、Fedora | ~/.OpenOffice.org フォルダ以下全て
~/VCLTest/OOo_OOO310_m17_testautomation/logs/ フォルダ内のファイル全て |
VCLTestスクリプトを自動で実行します
- 自動実行スクリプトをテキストエディタで編集します。
Windows XP、Windows Vista | C:\VCLTest\OOo_OOO310_m17_testautomation\OOO310_m17\testautomation\tools¥run_tests¥run_tests.vbs |
Debian、Fedora | ~/VCLTest/OOo_OOO310_m17_testautomation/OOO310_m17/testautomation/tools/run_tests/run_tests.sh |
- 自動実行スクリプトに、テストケースとテストツールのパスを設定します。
テストケース:sLocation=C:\VCLTest\OOo_OOO310_m17_testautomation\
テストツール:sTestTool=C:\VCLTest\VCLTestTool_Win_src680m226\testtool.exe
- 実行スクリプトの一覧は、C:\VCLTest\OOo_OOO310_m17_testautomation\tools\run_tests内のOOO310_m17.txtを利用します。
実行したいスクリプトのみを残し、他の記述は削除してください。基本的にはOOO310_m17.txtを開き、[Tests release]項目以外の記述は削除し、*.basのみを残します。
ファイルの改行コードをプットフォームによって合わせる必要がありますので行末のスペースを削除してください。
スクリプト実行時間の目安は、スクリプトの右側に記載があります。
- 自動テストを実行します。
自動実行スクリプトが置かれているフォルダ内に移動し下記のコマンドを入力します。(「<」の入力を忘れないでください。)
Windows XP、Windows Vista | コマンドプロンプトから入力します。
cscript.exe runtests.vbs <OOO310_m17.txt |
Debian、Fedora | ターミナルから入力します。
./run_tests.sh <OOO310_m17.txt |
実行結果を解析します
- make_summary.plを使って集計します。
※perl実行環境がある場合のみ使用できます。
「C:/VCLTest/OOo_OOO310_m17_testautomation/OOO310_m17/testautomation/tools/analyze/make_summary.pl C:/VCLTest/OOo_OOO310_m17_testautomation/OOO310_m17/testautomation/logs/*.res」
上記のコマンドで、下図の集計結果がターミナルに表示されます。(一部抜粋)
- 集計結果が端末上に表示されるので、Errorsの項目に0以外の数値が表示されているスクリプトについて、エラー原因を解析しましょう。
解析方法の参照:http://wiki.services.openoffice.org/wiki/User:Foral/automation/testcase