Hu.openoffice.org/Minőségbiztosítás

Az OpenOffice.org minőségbiztosításának támogatására, a tesztelésére egy automatizált eszköz került bevezetésre az elmúlt év során, a VCLtesttool. Ennek alkalmazására készülünk a magyar változat esetében is.

Az OOo 3.0.1_090109 változat teszteléséről készült Minőségbiztosítás - Tesztelés összefoglaló, ahol az alábbiakban leírt testtool használatáról és a tesztelési eredményekről készült összefoglaló olvasható.

Az alábbi összefoglaló az OOo honlapján és a wikiben található információkat foglalja össze.

A VCLTesttool egy különálló program az OOo felhasználói felület (GUI) automatizált tesztelésére. A testtool TCP/IP interfészen keresztül kommunikál, és a összes a gépre, ill. helyi hálózatra telepített OOo tesztelésére alkalmas. A teszteket Basicben írt scriptek tartalmazzák, amelyek buildenként letölthetők (link alul). A testtool scriptek akkor működnek, ha az összes erőforrás (felhasználói felületi elem) rendelkezésre áll. Használható MWS-ek és CWS-ek tesztelésére is.

A teszteket négy kategóriába sorolják:

0: Az összes build és minden változat esetében futtatandó tesztek

1: Az első build esetében futtatandó tesztek (plusz a 0-s összes)

2: A második build esetében futtatandó tesztek (plusz a 0-s összes)

3: A harmadik build esetében futtatandó tesztek (plusz a 0-s összes)

Nekünk a cat0 tesztek elégségesek lehetnek, a saját változat tesztelésekor, majdnem az összes menüelemet és párbeszédablakot megnyitják. Ha nagy probléma nélkül lefutnak, akkor nem lehet baj.

A tesztek, öt perctől majd egy óra hosszúságúak.

(A QUASTe-n láthatók az idők, az összes teszt ~3 nap alatt lemehet.)

A testtool beállítható úgy, hogy képernyőképet készít (BMP formátumban ~500 kB/kép átlagosan) minden megnyitott párbeszédablakról, ez használható annak ellenőrzésére, hogy a fordítás minden ponton megtörtént-e, igaz elég sok emberi erőforrást igényel, manuális feldolgozást - minden képernyőképet át kell nézni. Ehhez a .testtolrc vagy a testtol.ini fájlba kell betenni a következő sorokat:

[Screenshot]
Current=1
All=1

A képernyőképek nem az eredménykönyvtárba, hanem a felhasználó profilkönyvtárába kerülnek, pl: ~/.openoffice.org/3/user/work/

A results fájlban ennek kell megjelennie:

** There will be screenshots taken from every dialog

3 tesztet lefuttatva tesztelve a Writer, Math és Calc egy részét. 750MB méretű képernyő kép készült. (pl. Calc teszt első fele 815 képernyő képet készített, minden függvényről külön képernyőkép)

A testtool használata

A testtool indítása után, beállítások az Extra>Settings menüpont alatt, a tesztelendő OOo program könyvtár, a scriptek könyvtárának, és a logok könyvtárának beállítása.

Teszt script megnyitás File>Open, .bas kiterjesztésűek a tesztek, .res kiterjesztésűek az eredmény fájlok, egy teszt fájl betöltése, F5 futtatás, de előtte győződj meg arról, hogy a tesztelendő OOo nem fut. (win alatt gyorsindító legyen kikapcsolva)

Ha képernyővédő valakinek fut, akkor az is legyen kikapcsolva (az OOo fog képernyővédőként futni.)

Ha az OOo beindul nézz a címsorra:

„Untitled 1 - OpenOffice.org Writer TTS:localhost[12479]”

Ne dolgozz, amíg a teszt fut, ne használd az egeret, a teszt leállását okozhatja.

A teszt eredmények elemzése:

Ne legyen narancs vagy piros szín az eredmény fájlban.

A teszt végének így kell kinéznie:

Date : 09/05/2006; Time: 02:57:20 PM; Duration : 0h 16m 33s

***************************************************
** No errors have occurred
** No warnings have occurred
** No warnings occurred during initialization
***************************************************

Ha hibát találsz egy tesztben futtasd újra, és ha reprodukálható eredményt kapsz akkor lépj.

Linkek:

VCLTesttool letölthető innen, külön az összes támogatott platformra:

http://qa.openoffice.org/ooQAReloaded/AutomationTeamsite/ooQA-TeamAutomationBin.html

De az OOo telepíthető a testtollal, opcionálisan választható, így a Basis/program könyvtárba települ. Winre minimum kell: a testtool.exe és a testtool.ini, (linuxra: testtool script és a .testtoolrc).

Wiki, az általános információkkal: http://wiki.services.openoffice.org/wiki/VCLTesttool

A saját gépeden az eredmények közötti gyors keresést segíti, az alábbi Java-program:

http://vcltesttoolglue.sourceforge.net/README.html

Általános információ:

http://qa.openoffice.org/qatesttool/OOo_testtool.pdf

Teszt scriptek írása:

http://qa.openoffice.org/qatesttool/OOo_tt_CookBook.pdf

A meglévő scriptek, buildenként, innen letölthetők:

http://ooopackages.good-day.net/pub/OpenOffice.org/qa/testautomation/

Másik lehetőség a Mercurial (hg) használata:

hg clone http://hg.services.openoffice.org/DEV300 <munkakönyvtár>
cd <munkakönyvtár> 

A megfelelő milestone (pl. OOO330_m3) checkout-olása:

hg update -rOOO330_m3

Az eredményeket ide lehet feltenni: http://quaste.services.openoffice.org/

A magyar hibák bejelenthetők az OpenScope.org-on is. Bejelentés

Infók a QUASTe-ről: QUASTe

Kiegészítő információ: VCLTesttool