Difference between revisions of "SL/QUASTe"

From Apache OpenOffice Wiki
Jump to: navigation, search
m (Kaj pomenijo vrednosti VTTDI?)
(Napake / opozorila / zapisniki napak QAErrorlogs)
Line 59: Line 59:
 
| Errorlog  
 
| Errorlog  
 
|- style="background:white; color:black"
 
|- style="background:white; color:black"
| Errorlog (zapisnik napak) izdela testtool, če je prišlo do splošne napake. It is a possible hint to a crash, undeclared or not-found control. Errorlogs so obarvani rdeče.
+
| Errorlog (zapisnik napak) izdela testtool, če je prišlo do splošne napake. Gre za možen namig na sesutje, ne deklariran ali ne najden kontrolnik. Zapisniki napak so obarvana rdeče.
 
|- style="background:orange; color:black"
 
|- style="background:orange; color:black"
 
| Warnlog  
 
| Warnlog  
Line 67: Line 67:
 
| QAErrorlog  
 
| QAErrorlog  
 
|- style="background:white; color:black"
 
|- style="background:white; color:black"
| To je niz, ustvarjen v Logfile, ki prikazuje specific težave, kot so:
+
| To je niz, ustvarjen v Logfile, ki prikazuje določene težave, kot so:
1. a bug has been found, issue has been written but it will not be fixed in currently tested version.
+
1. najden je hrošč, težava je že vnesena v sistem, vendar še ne bo odpravljena v trenutno preizkušeni različici.
  
2. a reference to a condition that should be fulfiled to run test correctly. (Empty directorys in some case or a specific path or whatever)
+
2. sklic na pogoj, ki mora biti izpolnjen, da bi preizkus izvedli pravilno. (Prazne mape v nekem primeru ali določena pot do datoteke ali kaj drugega)
 
|}
 
|}
  

Revision as of 22:08, 20 December 2009

Pogosto zastavljena vprašanja o QUASTe

Splošno

Kaj je 'QUASTe'?

QUASTe zbira, potrjuje in primerja vse rezultate preizkušanja z orodjem VCL-Testtool pri preizkušanju gradenj OpenOffice.org in tvori enostavno berljive strani z rezultati. Vsakdo, ki ga zanima kakovost posamezne gradnje paketa OpenOffice.org, ima možnost, da preveri rezultate samodejnih in seveda ročnih preizkusov. QUASTe je razvil Helge Delfs v programskem jeziku PHP, s komponentami in moduli za odprtokodni sistem upravljanja z vsebinami Joomla.

Kaj pomeni 'QUASTe'?

QUASTe je okrajšava za 'Quality Assurance Statuspage' ('stran stanja zagotavljanja kakovosti'), hkrati pa beseda 'Quaste' v nemškem jeziku pomeni 'čop(ek)', tako da se je to ime izkazalo za ustrezno, saj se tukaj/v tem primeru 'vse niti poganjajo skupaj/naenkrat'. (Oglejte si vnos v Wikipediji o Quaste).

Katero licenco uporablja 'QUASTe'?

Ker so moduli in komponente QUASTe napisane za Joomlo, bodo kmalu na voljo za prenos pod licenco GPL.

IRC

Na voljo je kanal za klepet IRC, kjer lahko pridobite podporo za QUASTe ali pa razpravljate o funkcionalnostih ali hroščih.
Strežnik: irc.freenode.net
Kanal: #quaste.openoffice.org


Za predstavnika za QA

Kako objavimo stanje kakovosti CWS v EIS

Običajno se ob zaključku vseh zahtevanih samodejnih preizkusov z VCLTesttool in dodatku rezultatov v QUASTe pošlje vsesplošno stanje (zeleno ali rdeče) programu EIS. Če je potrebno ponovno pognati samodejne preizkuse v celoti ali le del njih za izbrani CWS, se stanje trenutno ne posodobi samodejno v EIS. Zato mora biti predstavnik za QA (QA-Representative) prijavljen v QUASTe in mora ročno posodobiti stanje.

  • Prijavite se v sistem EIS (http://eis.services.openoffice.org)
  • sledite povezavam do *svojega* CWS
  • na strani overview (Pregled) => izberite 'Tests' ('Preizkusi')
  • v vrstici 'status' click' izberite povezavo za TestName: 'AutomationCAT0'

Quaste eis link.jpg

Nato se bo odprla stran 'QUASTe Analyze page'

  • tukaj so prikazani trenutne podrobnosti o samodejnih preizkusih v primerjavi z MWS
  • preverite trenutno stanje kakovosti in izberite, če ste se odločili, da so rezultati 'ok' (uspeli) ali 'failed' (neuspeli)
  • s klikom na ustrezni gumb se stanje pošlje v sistem EIS

Quaste eis status.jpg

Gumba (v EIS poslano stanje 'zeleno' ali 'rdeče') ponujajo možnost, da override stanje v EIS ali da ročno pošljete stanje, če ga ni bilo mogoče poslati samodejno npr. zaradi omrežnih ali drugih težav. Le predstavnik za QA ima možnost objaviti to stanje (prijava je obvezna), kar je razlog, zakaj ni vidno vsem, ki brskajo po QUASTe.

Za uporabnike

Definicija pojma "Release Test"

Preizkusi izdaj ('release tests') so tisti, ki jih je potrebno izvesti za vsako gradnjo. Ti preizkusi se morajo končati brez napak za vsako gradnjo in seveda za vsak CWS ('child workspace').

Definicija pojma "Required Test"

Zahtevani preizkusi ('required tests') so tisti, ki jih je potrebno izvesti za določeno gradnjo. Od modela kategorije je odvisno, kateri preizkusi so zahtevani.

Definicija pojma "Optional Test"

Neobvezni preizkusi ('optional tests') so tisti, ki jih ni potrebno izvesti za določeno gradnjo glede na model kategorije.

Napake / opozorila / zapisniki napak QAErrorlogs

Errorlog
Errorlog (zapisnik napak) izdela testtool, če je prišlo do splošne napake. Gre za možen namig na sesutje, ne deklariran ali ne najden kontrolnik. Zapisniki napak so obarvana rdeče.
Warnlog
Warnlog (zapisnik opozoril) je namig na failure ali hrošča, ki se je prikradel v pisarniški paket. Ustvarjen je med izvajanjem preizkusov s programom VCLTesttool, če npr. funkcionalnost ne deluje pričakovano s samodejnim preizkusom. Prikazano je v oranžni barvi.
QAErrorlog
To je niz, ustvarjen v Logfile, ki prikazuje določene težave, kot so:

1. najden je hrošč, težava je že vnesena v sistem, vendar še ne bo odpravljena v trenutno preizkušeni različici.

2. sklic na pogoj, ki mora biti izpolnjen, da bi preizkus izvedli pravilno. (Prazne mape v nekem primeru ali določena pot do datoteke ali kaj drugega)

Model kategorije

Na voljo so številni samodejni preizkusi. Pri takšnem številu preizkusov bi trajalo skoraj en teden, da bi povsem preizkusili eno gradnjo. Ko se izvedejo vsi samodejni preizkusi, morajo preizkuševalci preveriti rezultate ... kar prav tako vzame nekaj časa. Zaradi tega je ekipa QA Automation Team odločila ustvariti preizkusni cikel, ki pokriva merodajno število preizkusov, ki se izvedejo na vsaki gradnji. Rezultat tega so 4 različne kategorije:

  • 0 : Preizkusi se izvajajo na vseh gradnjah in izdajah
  • 1 : Preizkusi se izvajajo na prvi gradnji (ter preizkusi iz kategorije 0)
  • 2 : Preizkusi se izvajajo na drugi gradnji (ter preizkusi iz kategorije 0)
  • 3 : Preizkusi se izvajajo na tretji gradnji (ter preizkusi iz kategorije 0)

Da bi bilo enostavno za vse vpletene, pravila, katere vrste preizkusa je vključena v določeno kategorijo, niso strogo dokumentirana. Z izjemo kategorije 0, ki obsega vse samodejne preizkuse, potrebne za preizkušanje uradnih izdaj (večinoma preizkusi virov ali posodobitev). Za vse preostale tri kategorije je potrebno poudariti, da imajo približno trajanje. Ta model skrajša cikel preizkušanja za vsako gradnjo na največ 2,5 dni. Seznam vseh samodejnih preizkusov in njihovih kategorij se nahaja tukaj => Vsi trenutni preizkusi

Opomba: Tega ne uporabljamo za končne izdaje. Zanje uporabljamo drugo tabelo, ki se nahaja tukaj (v angl.).

Kaj pomenijo vrednosti VTTDI?

Oglejte si stran o indeksu VTTDI, kjer najdete podrobno razložene vrednosti indeksa VTTDI.

Kako objavim rezultate mojih preizkusov?

Preden dodate rezultate preizkušanja, ki jih ustvari VCLTesttool na vašem računalniku, bi bilo dobro, da preverite, kateri rezultati preizkušanja manjkajo. Najboljši način preizkušanja določene gradnje je organizirano preizkušanje v ekipi, s katerim se izognete podvajanju dela. Če želite vedeti, kateri preizkusi manjkajo za določeno platformo, si oglejte stran 'Testresults grouped by application' (v angl.).

Če niste seznanjeni s samodejnim preizkušanjem, obiščite Domača stran ekipe automation Team in izvedite več o samodejnem preizkušanju z 'VCL Testtool'.

Assuming you've downloaded a 'VCL Testtool Binary' in checked out the qatesttool-project, lahko začnemo.

1. Once an automated test has been finished its extracts for creating results on QUASTe will be found in the errorlog-directory in the form of txt-files.

2. Postavite te datoteke v paket zip

3. Pojdite na spletno stran QUASTe (v angl.)

4. Prijavite se s svojim uporabniškim imenom in geslom OpenOffice.org

5. Ko ste prijavljeni, na desni strani spletne strani QUASTe vidite več menijskih izbir

6. Kliknite menijsko izbiro 'Upload my testresults' ('Prenesi moje rezultate preizkušanja')

7. Prebrskajte do prej ustvarjene datoteke zip in pritisnite gumb 'Upload' ('Prenesi')

8. Čakajte ...


Ko so vse datoteke uspešno dodane v zbirko podatkov QUASTe, boste prejeli sporočilo. Če opazite sporočilo o napaki, obiščite stran o QUASTe, kjer najdete pomoč pri tovrstnih sporočilih.

Kako odstranim rezultate preizkusov?

One can only delete testresults initially created by himself but of course testresults submitted by other users can be viewed.

Namig: Trenutno lahko odstranite le rezultate preizkušanja z napakami.

Če želite odstraniti rezultate preizkušanja iz zbirke podatkov QUASTe, morate biti prijavljeni. Ko se prijavite, pojdite na stran 'Testresults grouped by application. Ta stran zdaj prikazuje dodatna stolpca glede na prikaz ob neprijavi. Prvi dodatni stolpec vsebuje ime uporabnika, ki je ustvaril rezultate preizkusov, drugi pa potrditveno polje. Če želite odstraniti rezultat preizkušanja, potrdite slednje polje in kliknite 'red-cross-icon' na dnu strani. Če želite odstraniti več rezultatov preizkušanja, enostavno potrdite več polj in kliknite 'red-cross-icon'. Po potrditvi bodo rezultati preizkušanja odstranjeni!

Možne napake

Error while adding testresults for testplan: xyz.bas

This is either because you are owner of this autotest or you were running this autotest and there some errors while adding the testresults to QUASTe database. Take a look into the content of this mail and see if you can find out some details about this error.

There is a testrun already available

'You can only update current testrun if you restart as user: '<username>' on machine: '<machinename>

If a testrun has been finished and is written into database there are some dependencies.

  • If there is no similar testrun found the testrun will be added.
  • If there is already a similar testrun it will be updated, but:
    • only if the autotest was started on the same milestone depending on language, Machine and User. If these parameters not match the testresults will not be updated nor written to database. The tester will receive an errormail about this.

This behaviour found to be the best solution because testresults will not be overwritten by another tester. This avoids multiple testresults and saves space in database. Notice: On distributed testing one has to know what should be pass next and which test is already passed. This saves time.....

Incomplete testruns only allowed if complete previous testrun exists

Before it is possible to submit an incomplete testrun there must always exist a complete testrun in database. A complete testrun means all testcases belong to a test and checked in to QUASTe have to be run and submitted to QUASTe. Afterwards it is possible to start incomplete tests (e.g. contain only a collection of testcases) to submit changes in a test (see also There is a testrun already available). Normally QUASTe recognizes if a testcase has been renamed or removed from a test but in some cases the developer of a test has to fix changes via QUASTe-Backend. If you encounter problems with a test please contact the owner of a test.

Testcase: XYZ not found in resultfile but in database

This message could have different reasons, but it is easy to fix. If you have this testcase enabled for multiple autotests and f.E. excluded for this autotest you must 'disable' this testcase for this autotest in 'QUASTe Autotest-Mananger'. See 'How to disable testcases or tests for a specific Masterworkspace' (to be done) The other case could be that this testcase isn't called by bas-file. See if this testcase is excluded either in bas-file or in inc-file. If so and this testcase isn't needed anymore you have to remove this testcase from includefile and run 'Update test information' in 'QUASTe Autotest-Manager': How to update autotest information in QUASTe' (to be done) If you are not registered to QUASTe or you are not the owner of the file please contact file owner to commit these changes.


No valid mail-address or machine-name found

If you're starting automated tests and want them to be added to QUASTe it is required that you submit the name of the testing machine and a valid mail-address. Both are part of the testtool.ini (on unix .testtoolrc) Please check your testtool.ini (found in your home-directory) if the following entrys are filled with details:

[Others]

PCname={IME-VAŠEGA-RAČUNALNIKA}

[Crashreporter]

ReturnAddress={veljaven e-poštni naslov}

Če te vrednosti ne obstajajo, jih morate obvezno dodati.

Namig: Če ne želite ponovno izvesti preizkusov, lahko popravite povzetke rezultatov (datoteke .txt) v svoji mapi z zapisniki napak in dodate svoje podatke v naslednjih vrsticah:

hostname={IME-VAŠEGA-RAČUNALNIKA}

username={veljaven e-poštni naslov} => običajno vaš e-poštni naslov OpenOffice.org (uporabnik@openoffice.org)

Enostavno ponovno re-zip spremenjene datoteke in znova prenesite na strežnik!


QA-Representative: If you want to update previous testresults please click link 'Retry'

You will receive this email if you are going to add some testresults to QUASTe database if there are previous testresults already. This previous testresults will not be updated automatically by QUASTe if they were added by some other tester. However in this mail you receive is a link that leads you to a webpage were those results are listed in detail and you as a QA-representative can decide if previous results shall be updated with you data or should be leaved in the database.

No testcases found for testplan. Please contact script owner.

This email will be sent by QUASTe if there is a resultfile that seems to contain a full testrun but there are no testcases found for this autotest in QUASTe-database. Possibly it is a severe problem in original autotest-file. Please contact the owner of the script to investigate this problem. A list of responsibilities for testscripts can be found here.

Glejte tudi:

Koristne povezave

- domača stran projekta QA na OOo: http://qa.openoffice.org
- dopisni seznam projekta QA: http://qa.openoffice.org/servlets/SummarizeList?listName=dev
- poizvedba po obstoječih hroščih v sistemu IssueTracker: http://qa.openoffice.org/issues/query.cgi
- vpis nove zadeve v IssueTracker: http://qa.openoffice.org/issue_handling/pre_submission.html
- kategorija QA na wikiju OOo: Quality Assurance


Znane težave

- Errormails about existing testresults send to CWS-Owner
If current tested Workspace is as CWS and someone wants to add results to database for a test that already exists the CWS Owner gets a mail in which he can decide whether testresults are updated or not !

- Possibility to compare results of cws/cws
It should be possible to compare testresults of 2 CWS'se like comparing of MWS and CWS testresults.

- Response-file for automated script update
If sourcetree is updated automatically there should be a response file created telling if there were errors or not !

- Handle testcase specifications
QUASTe should be able to handle Testcase specifications. Generating, viewing, editing of testcase specifications and evaluating of testresults should be possible

Personal tools