Latest revision as of 18:08, 12 January 2011

VCL Test Toolによるテストの仕方 OpenOffice.org3系列用

テスト環境構築の前準備を行います

テスト前にＯｐｅｎＯｆｆｉｃｅ．ｏｒｇをインストールしている場合は、アンインストールし、インストールされていたフォルダも削除しておきます。

アンインストールの方法

Windows XP、Windows Vista	「コントロールパネル」の「プログラムの追加と削除」から行ないます。
Debian	（アンインストール：sudo apptitude purge ^nopenoffice）
Fedora	（アンインストール：sudo yum remove openoffice.org3 ooobasis openoffice.org3)　もしくは、GUIで提供されているソフトウェアの追加と削除機能から削除する

標準インストールした場合は、以下のフォルダを削除します。

Windows XP、Windows Vista	C:\Program Files\OpenOffice.org3以下
Debian、Fedora	/opt/openoffice.org3/以下

OpenOffice.orgの現在の設定を保存する必要が場合は、以下のフォルダをリネームして保存しておきます。

Windows XP、Windows Vista	C:\Documents and Settings\<ユーザー名>\Application Data\OpenOffice.org
Debian、Fedora	~/.openoffice.org

このようにすることによって、テスト終了後このフォルダを復旧させることによって現在の設定を復元することができます。

VCLテストは自動実行のため、テスト開始後、数時間放置する事になります。
自動テスト実行中にスクリーンセーバーや、PCが休止状態になりますと
テストがうまく実行できない場合がありますので、スクリーンセーバーをOFF、モニタの電源管理をOFFに設定しておいてください。

テストで使用するファイルをダウンロードします

テスト対象：テスト対象のOpenOffice.orgパッケージ
OpenOffice.orgパッケージをMirrorサイトよりダウンロードします。
(サイト例1)http://ftp-srv3.kddilabs.jp/hdfs/openoffice/extended/
(サイト例2)http://ftp.jaist.ac.jp/pub/openoffice/extended/
※以下、テスト対象を　OOO310　m17　とし説明します。

テストツール： VCLテストツール群:（テストを実行するツール）
(サイト例)http://qa.openoffice.org/ooQAReloaded/AutomationTeamsite/ooQA-TeamAutomationBin.html
日本語、スペースを含まないディレクトリに配置をします。

(ファイル配置例）

Windows XP、Windows Vista	C:\VCLTest\VCLTestTool_Win_src680m226\
Debian、Fedora	~/VCLTest/VCLTestTool_Linux_src680m226/

※以下、このファイル配置を基準とし説明します。

テストケース：上記のVCLテストツール群が実行するスクリプト群など
(サイト例)http://ooopackages.good-day.net/pub/OpenOffice.org/qa/testautomation/
ダウンロードするのはOOo_OOO310_m17_testautomation.zip もしくはOOo_OOO310_m17_testautomation.tar.bz2 です。これを解凍し日本語、スペースを含まないディレクトリに配置をします。

(ファイル配置例）

Windows XP、Windows Vista	C:\VCLTest\OOo_OOO310_m17_testautomation\
Debian、Fedora	~/VCLTest/ OOo_OOO310_m17_testautomation/

※以下、このファイル配置を基準とし説明します。

テストするOpenOffice.orgを標準インストールします

　　※インストール時にアドミニストレータ権限が必要です。

Windows XP、Windows Vista	ダウンロードしたパッケージexeをダブルクリックで実行ウィザードに従って実行
Debian	解凍する（tar zxvf<パッケージ.tar.gz>）解凍フォルダ内のDEBフォルダに移動し、インストール（sudo dpkg -i .deb）デスクトップ環境モジュールに移動（cd desktop-integration ）インストール（sudo dpkg -i .deb）
Fedora	解凍する（tar zxvf <パッケージ.tar.gz>）解凍したパッケージに移動し、setup実行（sudo ./setup）ウィザードに従って実行 JREなしのパッケージの場合は手動でインストールする（rpm -ihv *.rpm）

VCLTestツールの設定を行います

VCL　TestToolを起動します。

Windows XP、Windows Vista	C:\VCLTest\VCLTestTool_Win_src680m226\testtool.exe
Debian、Fedora	~/VCLTest/VCLTestTool_Linux_src680m226/testtool.bin

「Extras」→「設定」を選択します。

汎用タブ

OooProgramDir

OpenOffice.orgのprogramがあるディレクトリのpathを設定します。

Windows XP、Windows Vista	C:\Program Files\OpenOffice.org3\program
Debian、Fedora	/opt/openoffice.org3/program

GUI　Pratform

各プラットフォームに割り当てられている数字を設定します。

　（下図参照）

Windows XP	501	Linux PPC	13
Debian	03	Linux 64 bit	15
Fedora	03	Linux SPARC	16
Solaris SPARC	01	Windows 95	100
SCO UNIX	02	Windows 98	395
Linux	03	Windows NT3	351
AIX	04	Windows NT4	400
Solaris x86	05	Windows SE	410
Irix	06	Windows ME	490
HP	07	Windows 2000	500
FreeBSD	08	Windows Server 2003	502
Mac OS X	12	eComStation	17

Ｐｒｏｆｉｌｅタブ

Log Base Directory

　ログ格納用のフォルダ「logs」を、C:\VCLTest\OOo_OOO310_m17_testautomationの直下に作成し
　Log Base DirectoryにC:\VCLTest\OOo_OOO310_m17_testautomation\logsを設定します。（Linuxの場合は~/VCLTest/ OOo_OOO310_m17_testautomation/logs）

Base directory

　VCLTesttoolのテストケースを配置したフォルダを設定します。　Base directoryにC:\VCLTest\OOo_OOO310_m17_testautomation\ 　を設定します。

汎用タブ、Profileタブの設定をすると、ホームフォルダに設定ファイルが作成されます。

Windows XP、Windows Vista	C:￥Documents and Settings￥<ユーザー>￥Application Data￥testtool.ini
Debian、Fedora	/home/<ユーザー>/.testtoolrc

このファイルの最終行に次の設定を追加します。

[Others] PCname=<コンピューター名>

　※この設定を追加し忘れますと、自動テスト結果ログに警告がでますので忘れずに設定しましょう。

VCLTestスクリプトが手動で実行できる事を確認します

VCLtesttoolを起動します。

Windows XP、Windows Vista	C:\VCLTest\VCLTestTool_Win_src680m226\￥testtool.exe
Debian、Fedora	~/VCLTest/VCLTestTool_Linux_src680m226/testtool.bin

実行するスクリプトを選択します。

　　　標準メニューのファイル→開くを選択し、実行したいスクリプトを開きます。

　　　（例）C:\VCLTest\OOo_OOO310_m17_testautomation￥chart2￥required￥ch2_updt_calc.bas

標準メニュー→プログラム→スタートを選択します。

実行結果のログファイルを確認します。

　　　実行が成功すると、実行結果ログが作成されます。
　　　実行結果ログは、VCLTestツールのＰｒｏｆｉｌｅタブ設定で、Log Base Directoryに設定したフォルダに作成されます。

ログファイル、データファイルをいったん削除しておきます。

　　　VCLテストスクリプトを自動で実行する前に、実行時に作成されたログファイル、データファイルをいったん削除しておきます。

Windows XP、 Windows Vista	C:\Documents and Settings\<ユーザー名>\Application Data\OpenOffice.org フォルダ以下全て C:\VCLTest\OOo_OOO310_m17_testautomation\logs\　フォルダ内のファイル全て
Debian、Fedora	~/.OpenOffice.org フォルダ以下全て ~/VCLTest/OOo_OOO310_m17_testautomation/logs/　フォルダ内のファイル全て

VCLTestスクリプトを自動で実行します

自動実行スクリプトをテキストエディタで編集します。

Windows XP、Windows Vista	C:\VCLTest\OOo_OOO310_m17_testautomation\OOO310_m17\testautomation\tools￥run_tests￥run_tests.vbs
Debian、Fedora	~/VCLTest/OOo_OOO310_m17_testautomation/OOO310_m17/testautomation/tools/run_tests/run_tests.sh

自動実行スクリプトに、テストケースとテストツールのパスを設定します。
テストケース：sLocation=C:\VCLTest\OOo_OOO310_m17_testautomation\
テストツール：sTestTool=C:\VCLTest\VCLTestTool_Win_src680m226\testtool.exe

実行スクリプトの一覧は、C:\VCLTest\OOo_OOO310_m17_testautomation\tools\run_tests内のOOO310_m17.txtを利用します。
実行したいスクリプトのみを残し、他の記述は削除してください。基本的にはOOO310_m17.txtを開き、[Tests release]項目以外の記述は削除し、*.basのみを残します。
ファイルの改行コードをプットフォームによって合わせる必要がありますので行末のスペースを削除してください。
スクリプト実行時間の目安は、スクリプトの右側に記載があります。

自動テストを実行します。
自動実行スクリプトが置かれているフォルダ内に移動し下記のコマンドを入力します。（「<」の入力を忘れないでください。）

Windows XP、Windows Vista	コマンドプロンプトから入力します。 cscript.exe runtests.vbs <OOO310_m17.txt
Debian、Fedora	ターミナルから入力します。 ./run_tests.sh <OOO310_m17.txt

実行結果を解析します

make_summary.plを使って集計します。
※perl実行環境がある場合のみ使用できます。
「C:/VCLTest/OOo_OOO310_m17_testautomation/OOO310_m17/testautomation/tools/analyze/make_summary.pl C:/VCLTest/OOo_OOO310_m17_testautomation/OOO310_m17/testautomation/logs/*.res」
上記のコマンドで、下図の集計結果がターミナルに表示されます。（一部抜粋）

集計結果が端末上に表示されるので、Errorsの項目に0以外の数値が表示されているスクリプトについて、エラー原因を解析しましょう。
解析方法の参照：http://wiki.services.openoffice.org/wiki/User:Foral/automation/testcase

Difference between revisions of "JA/QA/VCLTesttool quickhowto"

Latest revision as of 18:08, 12 January 2011

Contents

VCL Test Toolによるテストの仕方 OpenOffice.org3系列用

テスト環境構築の前準備を行います

テストで使用するファイルをダウンロードします

テストするOpenOffice.orgを標準インストールします

VCLTestツールの設定を行います

汎用タブ

Ｐｒｏｆｉｌｅタブ

VCLTestスクリプトが手動で実行できる事を確認します

VCLTestスクリプトを自動で実行します

実行結果を解析します

Views

Personal tools

Navigation

Tools

Print/export

Search

@@ Line 7: / Line 7: @@
 *アンインストールの方法
 {| class="prettytable"
-| Windows2000/XP
+| Windows XP、Windows Vista
 | 「コントロールパネル」の「プログラムの追加と削除」から行ないます。
@@ Line 19: / Line 19: @@
 |}
 * 標準インストールした場合は、以下のフォルダ を削除します。
 {| class="prettytable"
-| Windows2000/XP
+| Windows XP、Windows Vista
 | C:\Program Files\OpenOffice.org3以下
 |-
 | Debian、Fedora
-| /opt/OpemOffice.org3/以下
+| /opt/openoffice.org3/以下
 |}
 * OpenOffice.orgの現在の設定を保存する必要が場合は、以下のフォルダをリネームして保存しておきます。
 {| class="prettytable"
-| Windows2000/XP
+| Windows XP、Windows Vista
 | <nowiki>C:\Documents and Settings\<ユーザー名>\Application Data\OpenOffice.org</nowiki>
 |-
 | Debian、Fedora
-| ~/.OpenOffice.org
+| ~/.openoffice.org
 |}
 このようにすることによって、テスト終了後このフォルダを復旧させることによって現在の設定を復元することができます。
 * VCLテストは自動実行のため、テスト開始後、数時間放置する事になります。<br/> 自動テスト実行中にスクリーンセーバーや、PCが休止状態になりますと<br/> テストがうまく実行できない場合がありますので、スクリーンセーバーをOFF、モニタの電源管理をOFFに設定しておいてください。
@@ Line 49: / Line 53: @@
-* テストツール ： VCLテストツール群:（テストを実行するツール）<br/> (サイト例)<br/> http://qa.openoffice.org/ooQAReloaded/AutomationTeamsite/ooQA-TeamAutomationBin.html<br/> 日本語、スペースを含まないディレクトリに配置をします。<br/>  <br/> (ファイル配置例）
+* テストツール ： VCLテストツール群:（テストを実行するツール）<br/> (サイト例)http://qa.openoffice.org/ooQAReloaded/AutomationTeamsite/ooQA-TeamAutomationBin.html<br/> 日本語、スペースを含まないディレクトリに配置をします。<br/>  <br/> (ファイル配置例）
 {| class="prettytable"
-| Windows2000/XP
+| Windows XP、Windows Vista
 | C:\VCLTest\VCLTestTool_Win_src680m226\
@@ Line 64: / Line 68: @@
 * テストケース ： 上記のVCLテストツール群が実行するスクリプト群など<br/> (サイト例)[http://ooopackages.good-day.net/pub/OpenOffice.org/qa/testautomation/ http://ooopackages.good-day.net/pub/OpenOffice.org/qa/testautomation/]<br/> ダウンロードするのは[http://ooopackages.good-day.net/pub/OpenOffice.org/qa/testautomation/OOo_OOO310_m17_testautomation.zip OOo_OOO310_m17_testautomation.zip] もしくは[http://ooopackages.good-day.net/pub/OpenOffice.org/qa/testautomation/OOo_OOO310_m18_testautomation.tar.bz2 OOo_OOO310_m17_testautomation.tar.bz2] です。これを解凍し日本語、スペースを含まないディレクトリに配置をします。<br/>  <br/> (ファイル配置例）
 {| class="prettytable"
-| Windows2000/XP
+| Windows XP、Windows Vista
 | C:\VCLTest\OOo_OOO310_m17_testautomation\
@@ Line 79: / Line 83: @@
 {| class="prettytable"
-| Windows XP,Vista
+| Windows XP、Windows Vista
 | ダウンロードしたパッケージexeをダブルクリックで実行ウィザードに従って実行
@@ Line 98: / Line 102: @@
 ==VCLTestツールの設定を行います==
-VCL　TestToolを起動します。
+*VCL　TestToolを起動します。
 {| class="prettytable"
@@ Line 110: / Line 114: @@
 |}
-「Extras」→「設定」を選択します。
-（１）汎用タブ
+*「Extras」→「設定」を選択します。
+===汎用タブ===
@@ Line 119: / Line 124: @@
 *OooProgramDir
-OpenOffice.orgのprogramのディレクトリのpathを設定します。<br/>   ・Windows2000/XP：C:\Program Files\OpenOffice.org3\program<br/>   ・Linux：/opt/OpenOffice.org3/program
+OpenOffice.orgのprogramがあるディレクトリのpathを設定します。<br/>
+{| class="prettytable"
+| Windows XP、Windows Vista
+| C:\Program Files\OpenOffice.org3\program
+|-
+| Debian、Fedora
+| /opt/openoffice.org3/program
+|}
 *GUI　Pratform
@@ Line 199: / Line 213: @@
 |}
-（２）Ｐｒｏｆｉｌｅタブ
+===Ｐｒｏｆｉｌｅタブ===
@@ Line 215: / Line 229: @@
-（３） （１）（２）の設定を行いますとホームフォルダに設定ファイルが作成されます。
+*汎用タブ、Profileタブの設定をすると、ホームフォルダに設定ファイルが作成されます。
 {| class="prettytable"
@@ Line 223: / Line 237: @@
 |-
 | Debian、Fedora
-| /home/ユーザー/.testtoolrc
+| /home/<ユーザー>/.testtoolrc
 |}
-・このファイルの最終行に次の設定を追加します。
+このファイルの最終行に次の設定を追加します。
-　※この設定を追加し忘れますと、自動テスト結果ログに警告がでますので忘れずに設定しましょう。
 <nowiki>[Others]</nowiki>
 <nowiki>PCname=<コンピューター名></nowiki>
+<br/>  　※この設定を追加し忘れますと、自動テスト結果ログに警告がでますので忘れずに設定しましょう。
 ==VCLTestスクリプトが手動で実行できる事を確認します==
-（１）VCLtesttoolを起動します。
+*VCLtesttoolを起動します。
 {| class="prettytable"
@@ Line 245: / Line 260: @@
 |}
-*
-（２）実行するスクリプトを選択します。
-　　　標準メニューのファイル→開きますから。実行したいスクリプトを開きます。
+*実行するスクリプトを選択します。
+　　　標準メニューのファイル→開くを選択し、実行したいスクリプトを開きます。
 　　　（例）C:\VCLTest\OOo_OOO310_m17_testautomation￥chart2￥required￥ch2_updt_calc.bas
-（３）標準メニュー→プログラム→スタートを選択します。
+*標準メニュー→プログラム→スタートを選択します。
-（４）実行結果のログファイルを確認します。
+*実行結果のログファイルを確認します。
-　　　実行結果ログは「４．VCLTestツールを設定します。」の「（２）Ｐｒｏｆｉｌｅタブ」設定で
+　　　実行が成功すると、実行結果ログが作成されます。<br/>　　　実行結果ログは、VCLTestツールのＰｒｏｆｉｌｅタブ設定で、Log Base Directoryに設定したフォルダに作成されます。
-　　　「Log Base Directory」に指定したフォルダに作成されます。
+*ログファイル、データファイルをいったん削除しておきます。
-（５）「７．VCLテストスクリプトを自動で実行する」の前に、今回手動で動かした際に
+　　　VCLテストスクリプトを自動で実行する前に、実行時に作成されたログファイル、データファイルをいったん削除しておきます。
-　　　作成された設定ファイル、ログファイルをいったん削除しておきます。
 {| class="prettytable"
@@ Line 286: / Line 299: @@
 ==VCLTestスクリプトを自動で実行します==
-　（１）自動実行スクリプトを編集します。
+*自動実行スクリプトをテキストエディタで編集します。
 {| class="prettytable"
-| Windows XP、
+| Windows XP、Windows Vista
+| C:\VCLTest\OOo_OOO310_m17_testautomation\OOO310_m17\testautomation\tools￥run_tests￥run_tests.vbs
-Windows Vista
-| C:\VCLTest\OOo_OOO310_m17_testautomation\OOO310_m17\testautomation\
-tools￥run_tests￥run_tests.vbs
 |-
 | Debian、Fedora
-| C:/VCLTest/OOo_OOO310_m17_testautomation/OOO310_m17/testautomation/
+| ~/VCLTest/OOo_OOO310_m17_testautomation/OOO310_m17/testautomation/tools/run_tests/run_tests.sh
-tools/run_tests/run_tests.sh
 |}
-*
-（２）自動実行スクリプトに、テストケースとテストツールのパスを設定します。
-　テストケース：sLocation=C:\VCLTest\OOo_OOO310_m17_testautomation\
-　テストツール：sTestTool=C:\VCLTest\VCLTestTool_Win_src680m226\testtool.exe
-（３）実行スクリプトの一覧は、C:\VCLTest\OOo_OOO310_m17_testautomation\tools\run_tests内
-　　　　　　のOOO310_m17.txtを利用します。
-・実行したいスクリプトのみを残し、他の記述は削除してください。
-<nowiki>　基本的にはOOO310_m17.txtを開き、[Tests release]項目以外の</nowiki>
-　記述は削除し、*.basのみを残します。
-・ファイルの改行コードをプットフォームによって合わせる必要がありますので
+*自動実行スクリプトに、テストケースとテストツールのパスを設定します。<br/>   テストケース：sLocation=C:\VCLTest\OOo_OOO310_m17_testautomation\<br/>   テストツール：sTestTool=C:\VCLTest\VCLTestTool_Win_src680m226\testtool.exe
-　行末のスペースを削除してください。
+*実行スクリプトの一覧は、C:\VCLTest\OOo_OOO310_m17_testautomation\tools\run_tests内のOOO310_m17.txtを利用します。<br/>   実行したいスクリプトのみを残し、他の記述は削除してください。基本的にはOOO310_m17.txtを開き、[Tests release]項目以外の記述は削除し、*.basのみを残します。<br/>   ファイルの改行コードをプットフォームによって合わせる必要がありますので行末のスペースを削除してください。<br/>   スクリプト実行時間の目安は、スクリプトの右側に記載があります。
-・スクリプト実行時間の目安は、スクリプトの右側に記載があります。
+*自動テストを実行します。<br/>   自動実行スクリプトが置かれているフォルダ内に移動し下記のコマンドを入力します。（「<」の入力を忘れないでください。）
-（４）自動テストを実行します。
-自動実行スクリプトが置かれているフォルダ内に移動し
 {| class="prettytable"
@@ Line 350: / Line 333: @@
 |}
 ==実行結果を解析します==
-（１）make_summary.plを使って集計します。
+*make_summary.plを使って集計します。<br/>   ※perl実行環境がある場合のみ使用できます。<br/>   <center>「C:/VCLTest/OOo_OOO310_m17_testautomation/OOO310_m17/testautomation/tools/analyze/make_summary.pl C:/VCLTest/OOo_OOO310_m17_testautomation/OOO310_m17/testautomation/logs/*.res」</center><br/>   上記のコマンドで、下図の集計結果がターミナルに表示されます。（一部抜粋）
-　　　※perl実行環境がある場合のみ使用できます。
-<center>「C:/VCLTest/OOo_OOO310_m17_testautomation/OOO310_m17/testautomation/tools/analyze/ make_summary.pl C:/VCLTest/OOo_OOO310_m17_testautomation/OOO310_m17/testautomation/logs/*.res」</center>
-上記のコマンドで、下図の集計結果がターミナルに表示されます。（一部抜粋）
 [[File:Summary.jpg]]
-（２）集計結果が端末上に表示されるので、Errorsに数字が入っている
+*集計結果が端末上に表示されるので、Errorsの項目に0以外の数値が表示されているスクリプトについて、エラー原因を解析しましょう。<br/>   解析方法の参照：http://wiki.services.openoffice.org/wiki/User:Foral/automation/testcase
+[[Category:JA]]
-　　　スクリプトについて、エラー原因を解析しましょう
-参照：http://wiki.services.openoffice.org/wiki/User:Foral/automation/testcase