Hu.openoffice.org/Minőségbiztosítás/Tesztelés

OOo 3.0.1_090109 tesztelése a VLCtesttool alkalmazásával

Összefoglaló

A tesztelés célja a VCLtesttool alkalmazhatóságának felmérése az OOo FSF változat tesztelésére és a problémák kiszűrése a végleges változat kiadása előtt.

A fordítás ellenőrzésére képernyő képeket készítettem, mindenhol a scriptekben meglévő lehetőségek felhasználásával, a Base tesztek nem készítenek képernyőképet, vagy csak én nem találtam meg, hogyan aktiváljam az opciót.

Tesztelési környezet

Opensuse 10.3, AMD Athlon XP+ 1700, 256MB memória, Java 1.6.0_06

A tesztelt OOo változat

OOo_3.0.1_090109_LinuxIntel_install_hu_rpm.tar.gz

A teszt lefutásához szükséges idő

3 napot fordítottam mindegyik változat tesztelésére.

Folyamatos teszteléssel, a testtoolglue-t nem használtam, nem sikerült elsőre konfigurálnom és nem akartam több időt ráfprdítani.

A következő teszteléskor már próbálom használni mert most folyamatosan kellett figyelni, hogy mikor ért véget a teszt, hogy kezdjem a következőt.

Több változat teszteléséhez jó lenne több résztvevőt is bevonni, a tesztelési idő rövidítésére -- de ez most az álom kategóriája.

Első lépés

OOo 3.0.1RC1 Sun változat tesztelése:

26 cat0 és többi kategóriából néhány teszt elvégezve, de az eredményeket nem értékeltem ki, feltöltöttem a QUASTe alá.

Azért nem az összes cat0 mert a teszt scriptek kiválasztását nem elég tisztán értettem,

két kövtár van minden tesztelendő területnél reqired és optional,

A SUN verziót levettem mielőtt a FSF változatot feltettem.

Alapvetően azért végeztem el, hogy legyen összehasonlítási alap a második lépéshez.

6 db hiba

9 figyelmeztetés.

Második lépés

OOo 3.0.1m14 FSF(ooo-build alapú rendszer):

27 cat0 teszt:

133 db hiba

24 figyelmeztetés

Sokat nem jelentenek magukban az adatok, de egy átfogó képet adnak a tesztelésről:

	Teszt script neve	Futási idő	Hiba #	Figyelmeztetés #
1	w_updt	02:36:10	21	8
2	oasis-graphics_update	00:02:23	0	0
3	m_updt	00:40:57	2	2
4	i_updt_1	00:37:20	2	1
5	i_updt_2	00:30:48	2	0
6	i_opt	00:16:08	0	0
7	f_wizards	00:07:25	5	0
8	f_window_functions.res	00:05:52	0	0
9	f_topten	00:07:53	1	0
10	f_tools_options	00:02:29	0	0
11	f_tools_customize	00:15:55	9	5
12	f_standard_toolbar	00:11:46	0	0
13	f_security_dialogs	00:00:32	0	0
14	f_script_organisers	00:00:42	1	0
15	f_printer_administration	00:02:12	0	0
16	f_help_browser	00:00:31	0	0
17	f_first	00:16:20	1	1
18	f-basic_dialogs	00:04:12	1	0
19	dba_xforms_main	00:03:22	0	0
20	dba_ReportBuilder	00:06:08	11	0
21	dba_Main	00:44:25	65	5
22	d_updt	01:01:48	4	1
23	d_opt	01:58:19	1	1
24	ch2_updt_calc	00:32:02	0	0
25	ch2_lvl1_wizard	00:02:27	0	0
26	c_updt_2	00:30:37	4	0
27	c_updt_1	00:47:05	3	0
Összesen:		11:45:48	133	24

A Writer és a Base tesztek hoztak elő sok hibát ezeket megismétlem.

A Writer tesztet megismételve, a hibák száma lecsökkent 16-ra, a figyelmeztetéseké 5-re, hogy ez mitől van most még nem tiszta előttem.

A Base tesztelés előtt megakartam nézni a használt java változatot, és amikor kiválasztottam volna akkor hirtelen összeomlott az OOo, terminálból indítva az OOo-t a következő hibát írta ki az összeomláskor:

/opt/openoffice.org3/program/soffice: symbol lookup error: /opt/openoffice.org3/program/../basis-link/program/../ure-link/lib/libxml2.so.2: undefined symbol: gzopen64

A telepítéskor is jelentkezett hasonló hiba üzenet, ez lehetett a Base, a tündérek és néhány más hiba forrása is, mivel ezt nem tudom elhárítani és csak újra buildelt OOo-val lehetne leellenőrizni, itt abba hagytam a tesztek ismétlését az OOo ezen változatával.

Egyes tesztek végén ha azok hibát hoztak elő és rövidebbek voltak megismételtem őket, ekkor az eredményfájlokban mindkét teszt eredménye ott van, de változás nem történt a hibák ugyan azok voltak.

Ugyan ez történt, ha egy teszt megszakadt, akkor az is szerepel benne minden teszt eredménye. (Volt áramszünet a Calc tesztelése közben)

Egyes hibákat elkezdtem ellenőrizni kézzel a testtool felhasználásával.

Megpróbáltam rájönni a scriptek felépítésére a meglévő dokumentáció alapján.

Tesztelés kiértékelése:

A tesztelés során sok hiba lépett fel az összeset nem írom ide, hanem példán keresztül mutatom be, az eredményeket, és a manuális visszaellenőrzés eredményét.

Példa, Calc első teszt:

c_updt1.bas lefuttatása eredményeként létrejött eredmény fájl a c-updt1.res:

Ennek a végén a teszt összesítés:

Duration : 0h 46m 5s

***************************************************

Figyelmeztetés: ** 3 hiba történt

** Nem volt figyelmeztetés

** Nem volt figyelmeztetés az inicializálás során

A három hiba részletesebben:

dbf fájl megnyitása, mentés dbf formátumban és a képhez makró hozzárendelés.

Mindhárom hibát reprodukálni tudtam a script eredményfájl lépéseit követve az OOo mindhárom esetben összeomlott.

Az eredmény fájlból részletek:

--------- FILE Menu (c_upd_filemenu.inc) ---------

...

tFileOpenDBF

Opening new spreadsheet document for getting defined starting environment

Open File-Open-dialog

Enter filename spreadsheet/required/input/tFileOpen_DBF.dbf

Click on Open

Check if there is no Text document opened

Check existence of import dialog

/home/r4zoli/.openoffice.org/3/user/work/screenshots36/calc/58870.bmp

A válaszra várakozás közben kiszolgáló-időtúllépés lépett fel. Sorozatszám: 309

global::system::inc::PleaseRecover: No office running while trying to recover:

Needed to close window: (1/1) on TestExit

…

…

tFileSaveAsDBF

Open new Spreadsheet document

Fill two cells (10, Test)

Open 'SaveAs' dialog

Enter filename 'dbf-Test_update'

Choose file typ dBase

Click on Save button

Commit overwrite warning if file already exists

Check alien file format warning

Commit if exists

Check existence of export encoding dialog

/home/r4zoli/.openoffice.org/3/user/work/screenshots36/calc/58870.bmp

Accept dialog by OK

A válaszra várakozás közben kiszolgáló-időtúllépés lépett fel. Sorozatszám: 462

global::system::inc::PleaseRecover: No office running while trying to recover:

Needed to close window: (1/1) on TestExit

--------- EDIT Menu Part II (c_upd_editmenu2.inc) ---------

…......

tEditImageMap

Open new Spreadsheet document

Open Insert graphic dialog via 'Insert – Picture – From File'

Set filename ' global/input/graf_inp/borabora.jpg'

Close dialog with 'OK'

Open ImageMap – dialog via 'Edit – ImageMap'

/home/r4zoli/.openoffice.org/3/user/work/screenshots36/calc/2318696448.bmp

Click on Open button

Close 'Open'-dialog with Cancel

Click on 'Save'-button

Close 'Save'-dialog with Cancel

Click on 'Ellipse'button and draw an ellipse by mouse

Click on 'Active'-button

Click on 'Macro...'-button

A válaszra várakozás közben kiszolgáló-időtúllépés lépett fel. Sorozatszám: 1590

global::system::inc::PleaseRecover: No office running while trying to recover:

Needed to close window: (1/1) on TestExit

Ugyanezt a manuális tesztet elvégeztem a FSF 3.0.0 win változata alatt is, eredmény:

A problémás műveleteket el lehetett végezni.

Az opensuse 10.3 alatt az disztribúció alatt szállított OOo 3.0.0.3.6-n végzett manuális teszt eredménye:

A problémás műveleteket el lehetett végezni.

Képernyő képek elemzése:

A készült képernyő képek manuálisan kerülnek egyesével megnyitásra és a ellenőrzésre megvizsgálva a dialógus ablakokon látható szövegek teljességét és lefordítottságát. Ez még hátra van.

Összefoglalva:

A VCLtesttool jól használható, de hibátlanul települő változat kell a tesztelés megkezdéséhez, és mivel több funkció is java függő, először a java beállítást kell megnézni, ha az nem jó a tesztelést el sem érdemes kezdeni.

Angol tudás és az OOo felhasználói felület részletes ismerete nélkül nem igazán lehet a hibákat előkeresni. De a lefuttatott tesztek a szúrópróba szerűen elvégzett manuális ellenőrzések minden esetben valós hibákra utalnak, és ami lényeges megismételhetők.