Sistem QUASTe
Pogosto zastavljena vprašanja o QUASTe
Splošno
Kaj je 'QUASTe'?
QUASTe zbira, potrjuje in primerja vse rezultate preizkušanja z orodjem VCL-Testtool pri preizkušanju gradenj OpenOffice.org in tvori enostavno berljive strani z rezultati. Vsakdo, ki ga zanima kakovost posamezne gradnje paketa OpenOffice.org, ima možnost, da preveri rezultate samodejnih in seveda ročnih preizkusov. QUASTe je razvil Helge Delfs v programskem jeziku PHP, s komponentami in moduli za odprtokodni sistem upravljanja z vsebinami Joomla.
Kaj pomeni 'QUASTe'?
QUASTe je okrajšava za 'Quality Assurance Statuspage' ('stran stanja zagotavljanja kakovosti'), hkrati pa beseda 'Quaste' v nemškem jeziku pomeni 'čop(ek)', tako da se je to ime izkazalo za ustrezno, saj se tukaj/v tem primeru 'vse niti poganjajo skupaj/naenkrat'. (Oglejte si vnos v Wikipediji o Quaste).
Katero licenco uporablja 'QUASTe'?
Ker so moduli in komponente QUASTe napisane za Joomlo, bodo kmalu na voljo za prenos pod licenco GPL.
IRC
Na voljo je kanal za klepet IRC, kjer lahko pridobite podporo za QUASTe ali pa razpravljate o funkcionalnostih ali hroščih.
Strežnik: irc.freenode.net
Kanal: #quaste.openoffice.org
Za predstavnika za QA
Kako objavimo stanje kakovosti CWS v EIS
Običajno se ob zaključku vseh zahtevanih samodejnih preizkusov z VCLTesttool in dodatku rezultatov v QUASTe pošlje vsesplošno stanje (zeleno ali rdeče) programu EIS. Če je potrebno ponovno pognati samodejne preizkuse v celoti ali le del njih za izbrani CWS, se stanje trenutno ne posodobi samodejno v EIS. Zato mora biti predstavnik za QA (QA-Representative) prijavljen v QUASTe in mora ročno posodobiti stanje.
- Prijavite se v sistem EIS (http://eis.services.openoffice.org)
- sledite povezavam do *svojega* CWS
- na strani overview (Pregled) => izberite 'Tests' ('Preizkusi')
- v vrstici 'status' click' izberite povezavo za TestName: 'AutomationCAT0'
Nato se bo odprla stran 'QUASTe Analyze page'
- tukaj so prikazani trenutne podrobnosti o samodejnih preizkusih v primerjavi z MWS
- preverite trenutno stanje kakovosti in izberite, če ste se odločili, da so rezultati 'ok' (uspeli) ali 'failed' (neuspeli)
- s klikom na ustrezni gumb se stanje pošlje v sistem EIS
Gumba (v EIS poslano stanje 'zeleno' ali 'rdeče') ponujajo možnost, da override stanje v EIS ali da ročno pošljete stanje, če ga ni bilo mogoče poslati samodejno npr. zaradi omrežnih ali drugih težav. Le predstavnik za QA ima možnost objaviti to stanje (prijava je obvezna), kar je razlog, zakaj ni vidno vsem, ki brskajo po QUASTe.
Za uporabnike
Definicija pojma "Release Test"
Preizkusi izdaj ('release tests') so tisti, ki jih je potrebno izvesti za vsako gradnjo. Ti preizkusi se morajo končati brez napak za vsako gradnjo in seveda za vsak CWS ('child workspace').
Definicija pojma "Required Test"
Zahtevani preizkusi ('required tests') so tisti, ki jih je potrebno izvesti za določeno gradnjo. Od modela kategorije je odvisno, kateri preizkusi so zahtevani.
Definicija pojma "Optional Test"
Neobvezni preizkusi ('optional tests') so tisti, ki jih ni potrebno izvesti za določeno gradnjo glede na model kategorije.
Napake / opozorila / zapisniki napak QAErrorlogs
Errorlog |
Errorlog (zapisnik napak) izdela testtool, če je prišlo do splošne napake. Gre za možen namig na sesutje, ne deklariran ali ne najden kontrolnik. Zapisniki napak so obarvana rdeče. |
Warnlog |
Warnlog (zapisnik opozoril) je namig na failure ali hrošča, ki se je prikradel v pisarniški paket. Ustvarjen je med izvajanjem preizkusov s programom VCLTesttool, če npr. funkcionalnost ne deluje pričakovano s samodejnim preizkusom. Prikazano je v oranžni barvi. |
QAErrorlog |
To je niz, ustvarjen v Logfile, ki prikazuje določene težave, kot so:
1. najden je hrošč, težava je že vnesena v sistem, vendar še ne bo odpravljena v trenutno preizkušeni različici. 2. sklic na pogoj, ki mora biti izpolnjen, da bi preizkus izvedli pravilno. (Prazne mape v nekem primeru ali določena pot do datoteke ali kaj drugega) |
Model kategorije
Na voljo so številni samodejni preizkusi. Pri takšnem številu preizkusov bi trajalo skoraj en teden, da bi povsem preizkusili eno gradnjo. Ko se izvedejo vsi samodejni preizkusi, morajo preizkuševalci preveriti rezultate ... kar prav tako vzame nekaj časa. Zaradi tega je ekipa QA Automation Team odločila ustvariti preizkusni cikel, ki pokriva merodajno število preizkusov, ki se izvedejo na vsaki gradnji. Rezultat tega so 4 različne kategorije:
- 0 : Preizkusi se izvajajo na vseh gradnjah in izdajah
- 1 : Preizkusi se izvajajo na prvi gradnji (ter preizkusi iz kategorije 0)
- 2 : Preizkusi se izvajajo na drugi gradnji (ter preizkusi iz kategorije 0)
- 3 : Preizkusi se izvajajo na tretji gradnji (ter preizkusi iz kategorije 0)
Da bi bilo enostavno za vse vpletene, pravila, katere vrste preizkusa je vključena v določeno kategorijo, niso strogo dokumentirana. Z izjemo kategorije 0, ki obsega vse samodejne preizkuse, potrebne za preizkušanje uradnih izdaj (večinoma preizkusi virov ali posodobitev). Za vse preostale tri kategorije je potrebno poudariti, da imajo približno trajanje. Ta model skrajša cikel preizkušanja za vsako gradnjo na največ 2,5 dni. Seznam vseh samodejnih preizkusov in njihovih kategorij se nahaja tukaj => Vsi trenutni preizkusi
Opomba: Tega ne uporabljamo za končne izdaje. Zanje uporabljamo drugo tabelo, ki se nahaja tukaj (v angl.).
Kaj pomenijo vrednosti VTTDI?
Oglejte si stran o indeksu VTTDI, kjer najdete podrobno razložene vrednosti indeksa VTTDI.
Kako objavim rezultate mojih preizkusov?
Preden dodate rezultate preizkušanja, ki jih ustvari VCLTesttool na vašem računalniku, bi bilo dobro, da preverite, kateri rezultati preizkušanja manjkajo. Najboljši način preizkušanja določene gradnje je organizirano preizkušanje v ekipi, s katerim se izognete podvajanju dela. Če želite vedeti, kateri preizkusi manjkajo za določeno platformo, si oglejte stran 'Rezultati preizkusov po modulih' (v angl.).
Če niste seznanjeni s samodejnim preizkušanjem, obiščite Domača stran ekipe Automation Team in izvedite več o samodejnem preizkušanju z 'VCL Testtool'.
Predpostavljamo, da ste že prenesli 'program VCL Testtool' in checked out the qatesttool-project, lahko začnemo.
1. Ko je enkrat samodejni preizkus dokončan, boste njegove povzetke za ustvarjanje rezultatov v QUASTe našli v mapi errorlog v obliki datotek z besedilom (.txt).
2. Postavite te datoteke v paket zip
3. Pojdite na spletno stran QUASTe (v angl.)
4. Prijavite se s svojim uporabniškim imenom in geslom OpenOffice.org
5. Ko ste prijavljeni, na desni strani spletne strani QUASTe vidite več menijskih izbir
6. Kliknite menijsko izbiro 'Upload my testresults' ('Prenesi moje rezultate preizkušanja')
7. Prebrskajte do prej ustvarjene datoteke zip in pritisnite gumb 'Upload' ('Prenesi')
8. Čakajte ...
Ko so vse datoteke uspešno dodane v zbirko podatkov QUASTe, boste prejeli sporočilo. Če opazite sporočilo o napaki, obiščite stran o QUASTe, kjer najdete pomoč pri tovrstnih sporočilih.
Kako odstranim rezultate preizkusov?
Izbrišete lahko le rezultate preizkusov, ki ste jih ustvarili sami, lahko pa si seveda ogledate rezultate preizkusov drugih uporabnikov.
Namig: Trenutno lahko odstranite le rezultate preizkušanja z napakami.
Če želite odstraniti rezultate preizkušanja iz zbirke podatkov QUASTe, morate biti prijavljeni. Ko se prijavite, pojdite na stran 'Rezultati preizkušanja po modulih. Ta stran zdaj prikazuje dodatna stolpca glede na prikaz ob neprijavi. Prvi dodatni stolpec vsebuje ime uporabnika, ki je ustvaril rezultate preizkusov, drugi pa potrditveno polje. Če želite odstraniti rezultat preizkušanja, potrdite slednje polje in kliknite 'red-cross-icon' na dnu strani. Če želite odstraniti več rezultatov preizkušanja, enostavno potrdite več polj in kliknite 'red-cross-icon'. Po potrditvi bodo rezultati preizkušanja odstranjeni!
Možne napake
Error while adding testresults for testplan: xyz.bas
Vzrok je ta, da ste lastnik tega samodejnega preizkusa ali pa ste poganjali samodejni preizkus in so bile pri dodajanju rezultatov preizkusa v zbirko podatkov QUASTEe napake. Oglejte si vsebino tega e-sporočila in preverite, če lahko najdete kakšno podrobnost o tej napaki.
There is a testrun already available
'You can only update current testrun if you restart as user: '<username>' on machine: '<machinename>
Če se je izvrševanje preizkusa dokončalo in je zapisano v zbirko podatkov, obstajajo nekatere odvisnosti.
- Če podobnega izvršenega preizkusa ni, bo ta dodan.
- Če podoben preizkus že obstaja, bo posodobljen, vendar:
- le če je samodejni preizkus zagnan na istem milestone glede na jezik, računalnik in uporabnika. Če se ti parametri ne ujemajo, rezultati preizkusa ne bodo posodobljeni niti zapisani v zbirko podatkov. Preizkuševalec bo prejel e-sporočilo o napaki o tem.
Takšno vedenje se je izkazalo za najboljšo rešitev, saj rezultati preizkusa drug preizkuševalec ne more prepisati. S tem se izognemo več rezultatom preizkusa in prihranimo prostor v zbirki podatkov. Obvestilo: Pri porazdeljenem preizkušanju morate vedeti, kaj bo naslednji preizkus in kateri preizkus je že uspešno opravljen. S tem si prihranite čas ...
Incomplete testruns only allowed if complete previous testrun exists
Preden je možno poslati nepopoln preizkus, mora v zbirki podatkov že obstajati v celoti izveden preizkus. V celoti izveden preizkus pomeni, da morajo vsi preizkusni primeri, ki so del preizkusa in prijavljeni v QUASTe, biti izvedeni in poslani v QUASTe. Kasneje je možno zagnati nepopolne preizkuse (npr. vsebujejo le nabor preizkusnih primerov), da objavite spremembe preizkusa (glejte tudi There is a testrun already available, v angl.). QUASTe običajno prepozna, če je preizkusni primer preimenovan ali odstranjen iz preizkusa, vendar mora v nekaterih primerih razvijalec preizkusa popraviti spremembe v hrbtenici sistema QUASTe. Če naletite na težave s preizkusom, to sporočite lastniku preizkusa.
Testcase: XYZ not found in resultfile but in database
Vzrok za ta sporočila je lahko različen, vendar je to enostavno popraviti. If you have this testcase enabled for multiple autotests and f.E. excluded for this autotest you must 'disable' this testcase for this autotest in 'QUASTe Autotest-Mananger'. Oglejte si 'How to disable testcases or tests for a specific Masterworkspace' (v izdelavi) The other case could be that this testcase isn't called by bas-file. See if this testcase is excluded either in bas-file or in inc-file. If so and this testcase isn't needed anymore you have to remove this testcase from includefile and run 'Update test information' in 'QUASTe Autotest-Manager': How to update autotest information in QUASTe' (v izdelavi) Če niste registrirani v QUASTe ali niste lastnik datoteke, stopite v stik z lastnikom datoteke, da vnese popravke.
No valid mail-address or machine-name found
Če ste začeli izvajati samodejne preizkuse in jih želite dodati v QUASTe, morate poslati tudi ime preizkusnega računalnika in veljaven e-poštni naslov. Oba sta del datoteke testtool.ini (na sistemih unix je slednja .testtoolrc). Preverite svojo datoteko testtool.ini (ki jo najdete v svoji domači mapi), da so naslednji vnosi dejansko izpolnjeni:
[Others]
PCname={IME-VAŠEGA-RAČUNALNIKA}
[Crashreporter]
ReturnAddress={veljaven e-poštni naslov}
Če te vrednosti ne obstajajo, jih morate obvezno dodati.
Namig: Če ne želite ponovno izvesti preizkusov, lahko popravite povzetke rezultatov (datoteke .txt) v svoji mapi z zapisniki napak in dodate svoje podatke v naslednjih vrsticah:
hostname={IME-VAŠEGA-RAČUNALNIKA}
username={veljaven e-poštni naslov} => običajno vaš e-poštni naslov OpenOffice.org (uporabnik@openoffice.org)
Enostavno ponovno re-zip spremenjene datoteke in znova prenesite na strežnik!
QA-Representative: If you want to update previous testresults please click link 'Retry'
To e-sporočilo boste prejeli, če nameravate dodati nekaj rezultatov preizkusa v zbirko podatkov QUASTe, če tam že obstajajo rezultati prejšnjega preizkusa. Ti rezultati prejšnjega preizkusa ne bodo posodobljeni samodejno s strani QUASTe, če jih je dodal drug preizkuševalec. Vendar v tem e-sporočilu prejmete povezavo, ki vas popelje na spletno stran, kjer so ti rezultati podrobno izpisani, in kot QA-representative se lahko odločite, če naj bodo rezultati prejšnjih preizkusov posodobljeni z vašimi podatki ali pa naj ostanejo v zbirki podatkov.
No testcases found for testplan. Please contact script owner.
To e-sporočilo bo QUASTe poslal, če obstaja datoteka z rezultati, ki naj bi vsebovala celotno izvedbo preizkusa, vendar za ta samodejni preizkus v zbirki podatkov QUASTe ni mogoče najti testcases. Morda gre za resno težavo v izvorni datoteki samodejnega preizkusa. Obvestite lastnika skripta, da naj preuči to težavo. Seznam odgovornih za preizkusne skripte najdete tukaj (v angl.).
Glejte tudi:
Koristne povezave
- domača stran projekta QA na OOo: http://qa.openoffice.org
- dopisni seznam projekta QA: http://qa.openoffice.org/servlets/SummarizeList?listName=dev
- poizvedba po obstoječih hroščih v sistemu IssueTracker: http://qa.openoffice.org/issues/query.cgi
- vpis nove zadeve v IssueTracker: http://qa.openoffice.org/issue_handling/pre_submission.html
- kategorija QA na wikiju OOo: Quality Assurance
Znane težave
- Errormails about existing testresults send to CWS-Owner
Če trenutno preizkušeno delovišče je v obliki CWS in nekdo želi dodati rezultate v zbirko podatkov za preizkus, ki že obstaja, prejme lastnik CWS e-sporočilo, v katerem se lahko odloči, ali bodo rezultati preizkusa posodobljeni ali ne!
- Possibility to compare results of cws/cws
Možno mora biti primerjanje rezultatov preizkusov dveh CWS-jev, kot je npr. primerjanje rezultatov preizkušanja MWS in CWS.
- Response-file for automated script update
Če je drevo izvorne kode samodejno posodobljeno, mora biti ustvarjena datoteka odziva, ki navaja, ali so bile napake!
- Handle testcase specifications
QUASTe bi moral znati obravnavati specifikacije Testcase. Ustvarjanje, ogledovanje, urejanje specifikacij testcase in vrednotenje rezultatov preizkusov bi moralo biti možno.