Difference between revisions of "SL/QUASTe"

From Apache OpenOffice Wiki
Jump to: navigation, search
m (What is the understanding of VTTDI?)
 
(28 intermediate revisions by one other user not shown)
Line 23: Line 23:
 
== Za predstavnika za QA ==
 
== Za predstavnika za QA ==
  
=== Kako objavimo stanje kakovosti CWS v EIS ===
+
=== Kako objavimo stanje kakovosti CWS v [[SL/EIS|EIS]] ===
  
 
Običajno se ob zaključku vseh zahtevanih samodejnih preizkusov z VCLTesttool in dodatku rezultatov v QUASTe pošlje vsesplošno stanje (zeleno ali rdeče) programu EIS. Če je potrebno ponovno pognati samodejne preizkuse v celoti ali le del njih za izbrani CWS, se stanje trenutno ne posodobi samodejno v EIS. Zato mora biti predstavnik za QA (QA-Representative) prijavljen v QUASTe in mora ročno posodobiti stanje.  
 
Običajno se ob zaključku vseh zahtevanih samodejnih preizkusov z VCLTesttool in dodatku rezultatov v QUASTe pošlje vsesplošno stanje (zeleno ali rdeče) programu EIS. Če je potrebno ponovno pognati samodejne preizkuse v celoti ali le del njih za izbrani CWS, se stanje trenutno ne posodobi samodejno v EIS. Zato mora biti predstavnik za QA (QA-Representative) prijavljen v QUASTe in mora ročno posodobiti stanje.  
Line 47: Line 47:
  
 
=== Definicija pojma "Required Test" ===
 
=== Definicija pojma "Required Test" ===
Zahtevani preizkusi ('required tests') so tisti, ki jih je potrebno izvesti za določeno gradnjo. Od [http://wiki.services.openoffice.org/wiki/QUASTe#Category_model modela kategorije] je odvisno, kateri preizkusi so zahtevani.
+
Zahtevani preizkusi ('required tests') so tisti, ki jih je potrebno izvesti za določeno gradnjo. Od [http://wiki.services.openoffice.org/wiki/SL/QUASTe#Model_kategorije modela kategorije] je odvisno, kateri preizkusi so zahtevani.
  
 
=== Definicija pojma "Optional Test" ===
 
=== Definicija pojma "Optional Test" ===
Neobvezni preizkusi ('optional tests') so tisti, ki jih ni potrebno izvesti za določeno gradnjo glede na [http://wiki.services.openoffice.org/wiki/QUASTe#Category_model model kategorije].
+
Neobvezni preizkusi ('optional tests') so tisti, ki jih ni potrebno izvesti za določeno gradnjo glede na [http://wiki.services.openoffice.org/wiki/SL/QUASTe#Model_kategorije model kategorije].
  
 
=== Napake / opozorila / zapisniki napak QAErrorlogs ===
 
=== Napake / opozorila / zapisniki napak QAErrorlogs ===
Line 59: Line 59:
 
| Errorlog  
 
| Errorlog  
 
|- style="background:white; color:black"
 
|- style="background:white; color:black"
| Errorlog (zapisnik napak) izdela testtool, če je prišlo do splošne napake. It is a possible hint to a crash, undeclared or not-found control. Errorlogs so obarvani rdeče.
+
| Errorlog (zapisnik napak) izdela testtool, če je prišlo do splošne napake. Gre za možen namig na sesutje, ne deklariran ali ne najden kontrolnik. Zapisniki napak so obarvana rdeče.
 
|- style="background:orange; color:black"
 
|- style="background:orange; color:black"
 
| Warnlog  
 
| Warnlog  
 
|- style="background:white; color:black"
 
|- style="background:white; color:black"
| Warnlog (zapisnik opozoril) je namig na failure ali hrošča, ki se je occured v pisarniškem paketu. Ustvarjen je med testrun by VCLTesttool, če npr. feature ne deluje pričakovano s samodejnim preizkusom. Prikazano je v oranžni barvi.
+
| Warnlog (zapisnik opozoril) je namig na failure ali hrošča, ki se je prikradel v pisarniški paket. Ustvarjen je med izvajanjem preizkusov s programom VCLTesttool, če npr. funkcionalnost ne deluje pričakovano s samodejnim preizkusom. Prikazano je v oranžni barvi.
 
|- style="background:#d0ffd0; color:black"
 
|- style="background:#d0ffd0; color:black"
 
| QAErrorlog  
 
| QAErrorlog  
 
|- style="background:white; color:black"
 
|- style="background:white; color:black"
| To je niz, ustvarjen v Logfile, ki prikazuje specific težave, kot so:
+
| To je niz, ustvarjen v Logfile, ki prikazuje določene težave, kot so:
1. a bug has been found, issue has been written but it will not be fixed in currently tested version.
+
1. najden je hrošč, težava je že vnesena v sistem, vendar še ne bo odpravljena v trenutno preizkušeni različici.
  
2. a reference to a condition that should be fulfiled to run test correctly. (Empty directorys in some case or a specific path or whatever)
+
2. sklic na pogoj, ki mora biti izpolnjen, da bi preizkus izvedli pravilno. (Prazne mape v nekem primeru ali določena pot do datoteke ali kaj drugega)
 
|}
 
|}
  
 
===  Model kategorije ===
 
===  Model kategorije ===
  
Na voljo so številni samodejni preizkusi. Pri takšnem številu preizkusov bi trajalo skoraj en teden, da bi povsem preizkusili eno gradnjo. Ko se izvedejo vsi samodejni preizkusi, morajo preizkuševalci preveriti rezultate ... kar prav tako vzame nekaj časa. Zaradi tega je ekipa QA Automation Team odločila ustvariti preizkusni cikel, ki pokriva meaningful število preizkusov, ki se izvedejo na vsaki gradnji.
+
Na voljo so številni samodejni preizkusi. Pri takšnem številu preizkusov bi trajalo skoraj en teden, da bi povsem preizkusili eno gradnjo. Ko se izvedejo vsi samodejni preizkusi, morajo preizkuševalci preveriti rezultate ... kar prav tako vzame nekaj časa. Zaradi tega je ekipa QA Automation Team odločila ustvariti preizkusni cikel, ki pokriva merodajno število preizkusov, ki se izvedejo na vsaki gradnji.
 
Rezultat tega so 4 različne kategorije:
 
Rezultat tega so 4 različne kategorije:
  
Line 83: Line 83:
 
*3 : Preizkusi se izvajajo na tretji gradnji (ter preizkusi iz kategorije 0)
 
*3 : Preizkusi se izvajajo na tretji gradnji (ter preizkusi iz kategorije 0)
  
To make it easy for all involved the rules what type of test is included in what category is not strict documented. Except category 0 which holds all automated tests required for release testing (mostly resource or update-tests). For all other 3 category's it should be observed they have the approximate duration. Ta model skrajša cikel preizkušanja za vsako gradnjo na največ 2,5 dni.
+
Da bi bilo enostavno za vse vpletene, pravila, katere vrste preizkusa je vključena v določeno kategorijo, niso strogo dokumentirana. Z izjemo kategorije 0, ki obsega vse samodejne preizkuse, potrebne za preizkušanje uradnih izdaj (večinoma preizkusi virov ali posodobitev). Za vse preostale tri kategorije je potrebno poudariti, da imajo približno trajanje. Ta model skrajša cikel preizkušanja za vsako gradnjo na največ 2,5 dni.
 
Seznam vseh samodejnih preizkusov in njihovih kategorij se nahaja tukaj => [http://quaste.services.openoffice.org/index.php?option=com_quaste&task=tests_overview&Itemid=11 Vsi trenutni preizkusi]
 
Seznam vseh samodejnih preizkusov in njihovih kategorij se nahaja tukaj => [http://quaste.services.openoffice.org/index.php?option=com_quaste&task=tests_overview&Itemid=11 Vsi trenutni preizkusi]
  
'''Opomba: Tega ne uporabljamo za release-workspaces. Ti uporabljajo drugo matrix, ki se nahaja [[OOoAutomationReleaseTestMatrix tukaj]].'''
+
'''Opomba: Tega ne uporabljamo za končne izdaje. Zanje uporabljamo drugo tabelo, ki se nahaja [[OOoAutomationReleaseTestMatrix|tukaj]] (v angl.).'''
  
 
===  Kaj pomenijo vrednosti VTTDI? ===
 
===  Kaj pomenijo vrednosti VTTDI? ===
  
Oglejte si [http://wiki.services.openoffice.org/wiki/VTTDI stran o VTTDI], kjer najdete podrobnosti o vrednostih VTTDI.
+
Oglejte si [http://wiki.services.openoffice.org/wiki/SL/QAAutomation stran o indeksu VTTDI], kjer najdete podrobno razložene vrednosti indeksa VTTDI.
  
 
=== Kako objavim rezultate mojih preizkusov? ===
 
=== Kako objavim rezultate mojih preizkusov? ===
  
Preden dodate rezultate preizkušanja, ki jih ustvari VCLTesttool na vašem računalniku, bi bilo dobro, da preverite, kateri rezultati preizkušanja manjkajo. Najboljši način preizkušanja določene gradnje would be to organize testing within your team to avoid double work. Če želite vedeti, kateri preizkusi manjkajo za določeno platformo, si oglejte stran [http://wiki.services.openoffice.org/wiki/QUASTe_-_First_steps#Testresults_grouped_by_application 'Testresults grouped by application'] (v angl.).
+
Preden dodate rezultate preizkušanja, ki jih ustvari VCLTesttool na vašem računalniku, bi bilo dobro, da preverite, kateri rezultati preizkušanja manjkajo. Najboljši način preizkušanja določene gradnje je organizirano preizkušanje v ekipi, s katerim se izognete podvajanju dela. Če želite vedeti, kateri preizkusi manjkajo za določeno platformo, si oglejte stran [http://wiki.services.openoffice.org/wiki/QUASTe_-_First_steps#Testresults_grouped_by_application 'Rezultati preizkusov po modulih'] (v angl.).
  
Če niste seznanjeni s samodejnim preizkušanjem, obiščite [http://qa.openoffice.org/ooQAReloaded/AutomationTeamsite/ooQA-TeamAutomation.html Home of automation Team] in izvejte več o samodejnem preizkušanju z 'VCL Testtool'.
+
Če niste seznanjeni s samodejnim preizkušanjem, obiščite [http://qa.openoffice.org/ooQAReloaded/AutomationTeamsite/ooQA-TeamAutomation.html Domača stran ekipe Automation Team] in izvedite več o samodejnem preizkušanju z 'VCL Testtool'.
  
Assuming you've downloaded a [http://qa.openoffice.org/ooQAReloaded/AutomationTeamsite/ooQA-TeamAutomationBin.html 'VCL Testtool Binary'] and checked out the [http://qa.openoffice.org/servlets/ProjectSource qatesttool-project] we can start.
+
Predpostavljamo, da ste že prenesli [http://qa.openoffice.org/ooQAReloaded/AutomationTeamsite/ooQA-TeamAutomationBin.html 'program VCL Testtool'] in checked out the [http://qa.openoffice.org/servlets/ProjectSource qatesttool-project], lahko začnemo.
  
1. Once an automated test has been finished its extracts for creating results on QUASTe will be found in the errorlog-directory in the form of txt-files.
+
1. Ko je enkrat samodejni preizkus dokončan, boste njegove povzetke za ustvarjanje rezultatov v QUASTe našli v mapi errorlog v obliki datotek z besedilom (.txt).
  
2. Simply put these files in a zip-Archive
+
2. Postavite te datoteke v paket zip
  
 
3. Pojdite na spletno stran [http://quaste.services.openoffice.org QUASTe]
 
3. Pojdite na spletno stran [http://quaste.services.openoffice.org QUASTe]
Line 108: Line 108:
 
4. Prijavite se s svojim uporabniškim imenom in geslom OpenOffice.org
 
4. Prijavite se s svojim uporabniškim imenom in geslom OpenOffice.org
  
5. Ko ste prijavljeni, you find some menu entrys on right part of QUASTe webpage
+
5. Ko ste prijavljeni, na desni strani spletne strani QUASTe vidite več menijskih izbir
  
6. Kliknite menijsko izbiro 'Upload my testresults'
+
6. Kliknite menijsko izbiro 'Upload my testresults' ('Prenesi moje rezultate preizkušanja')
  
7. Prebrskajte do prej ustvarjene datoteke zip in pritisnite gumb 'Upload'
+
7. Prebrskajte do prej ustvarjene datoteke zip in pritisnite gumb 'Upload' ('Prenesi')
  
 
8. Čakajte ...
 
8. Čakajte ...
  
  
Once all files have been successfully added to QUASTe Database you will receive a message. If you find some error-messages please visit [http://wiki.services.openoffice.org/wiki/QUASTe QUASTe-FAQ] to get some help about these messages.
+
Ko so vse datoteke uspešno dodane v zbirko podatkov QUASTe, boste prejeli sporočilo. Če opazite sporočilo o napaki, obiščite [http://wiki.services.openoffice.org/wiki/SL/QUASTe stran o QUASTe], kjer najdete pomoč pri tovrstnih sporočilih.
  
 
=== Kako odstranim rezultate preizkusov? ===
 
=== Kako odstranim rezultate preizkusov? ===
  
One can only delete testresults initially created by himself but of course testresults submitted by other users can be viewed.
+
Izbrišete lahko le rezultate preizkusov, ki ste jih ustvarili sami, lahko pa si seveda ogledate rezultate preizkusov drugih uporabnikov.
  
Namig: Currently only testresults with errors occured can be removed.
+
Namig: Trenutno lahko odstranite le rezultate preizkušanja z napakami.
  
If you want to remove your testresults from QUASTe-Database you must be logged in. Once logged in goto page  [http://wiki.services.openoffice.org/wiki/QUASTe%2C_First_steps#Testresults_grouped_by_application 'Testresults grouped by application]. This page now shows 2 additional columns by comparison if not logged in. First additional column holds the username who created the testresults and the second shows a checkbox. If you now want to remove a testresult check this checkbox and click the 'red-cross-icon' at the end of the page. If you want to remove more than one testresult simply check more than 1 checkboxes and click the 'red-cross-icon' After confirmation the testresults will be removed !
+
Če želite odstraniti rezultate preizkušanja iz zbirke podatkov QUASTe, morate biti prijavljeni. Ko se prijavite, pojdite na stran [http://wiki.services.openoffice.org/wiki/QUASTe%2C_First_steps#Testresults_grouped_by_application 'Rezultati preizkušanja po modulih]. Ta stran zdaj prikazuje dodatna stolpca glede na prikaz ob neprijavi. Prvi dodatni stolpec vsebuje ime uporabnika, ki je ustvaril rezultate preizkusov, drugi pa potrditveno polje. Če želite odstraniti rezultat preizkušanja, potrdite slednje polje in kliknite 'red-cross-icon' na dnu strani. Če želite odstraniti več rezultatov preizkušanja, enostavno potrdite več polj in kliknite 'red-cross-icon'. Po potrditvi bodo rezultati preizkušanja odstranjeni!
  
 
== Možne napake ==
 
== Možne napake ==
Line 131: Line 131:
 
=== Error while adding testresults for testplan: xyz.bas ===
 
=== Error while adding testresults for testplan: xyz.bas ===
  
This is either because you are owner of this autotest or you were running this autotest and there some errors while adding the testresults to QUASTe database. Take a look into the content of this mail and see if you can find out some details about this error.
+
Vzrok je ta, da ste lastnik tega samodejnega preizkusa ali pa ste poganjali samodejni preizkus in so bile pri dodajanju rezultatov preizkusa v zbirko podatkov QUASTEe napake. Oglejte si vsebino tega e-sporočila in preverite, če lahko najdete kakšno podrobnost o tej napaki.
  
 
=== There is a testrun already available ===
 
=== There is a testrun already available ===
 
<span id="16"></span>
 
<span id="16"></span>
'You can only update current testrun if you restart as user: '<username>' on machine: '<machinename>''
+
'You can only update current testrun if you restart as user: '<uporabniškoime>' on machine: '<imeračunalnika>''
  
If a testrun has been finished and is written into database there are some dependencies.
+
Če se je izvrševanje preizkusa dokončalo in je zapisano v zbirko podatkov, obstajajo nekatere odvisnosti.
* If there is no similar testrun found the testrun will be added.
+
* Če podobnega izvršenega preizkusa ni, bo ta dodan.
* If there is already a similar testrun it will be updated, but:
+
* Če podoben preizkus že obstaja, bo posodobljen, vendar:
** only if the autotest was started on the same milestone depending on language, Machine and User. If these parameters not match the testresults will not be updated nor written to database. The tester will receive an errormail about this.
+
** le če je samodejni preizkus zagnan na istem mejniku glede na jezik, računalnik in uporabnika. Če se ti parametri ne ujemajo, rezultati preizkusa ne bodo posodobljeni niti zapisani v zbirko podatkov. Preizkuševalec bo prejel e-sporočilo o napaki o tem.
This behaviour found to be the best solution because testresults will not be overwritten by another tester. This avoids multiple testresults and saves space in database.
+
Takšno vedenje se je izkazalo za najboljšo rešitev, saj rezultati preizkusa drug preizkuševalec ne more prepisati. S tem se izognemo več rezultatom preizkusa in prihranimo prostor v zbirki podatkov.
Notice: On distributed testing one has to know what should be pass next and which test is already passed. This saves time.....
+
Obvestilo: Pri porazdeljenem preizkušanju morate vedeti, kaj bo naslednji preizkus in kateri preizkus je že uspešno opravljen. S tem si prihranite čas ...
  
 
=== Incomplete testruns only allowed if complete previous testrun exists ===
 
=== Incomplete testruns only allowed if complete previous testrun exists ===
 
<span id="15"></span>
 
<span id="15"></span>
Before it is possible to submit an incomplete testrun there must always exist a complete testrun in database. A complete testrun means all testcases belong to a test and checked in to QUASTe have to be run and submitted to QUASTe. Afterwards it is possible to start incomplete tests (e.g. contain only a collection of testcases) to submit changes in a test (see also [http://wiki.services.openoffice.org/wiki/QUASTe#There_is_a_testrun_already_available There is a testrun already available]). Normally QUASTe recognizes if a testcase has been renamed or removed from a test but in some cases the developer of a test has to fix changes via QUASTe-Backend. If you encounter problems with a test please contact the owner of a test.
+
Preden je možno poslati nepopoln preizkus, mora v zbirki podatkov že obstajati v celoti izveden preizkus. V celoti izveden preizkus pomeni, da morajo vsi preizkusni primeri, ki so del preizkusa in prijavljeni v QUASTe, biti izvedeni in poslani v QUASTe. Kasneje je možno zagnati nepopolne preizkuse (npr. vsebujejo le nabor preizkusnih primerov), da objavite spremembe preizkusa (glejte tudi napako [http://wiki.services.openoffice.org/wiki/SL/QUASTe#There_is_a_testrun_already_available There is a testrun already available] zgoraj). QUASTe običajno prepozna, če je preizkusni primer preimenovan ali odstranjen iz preizkusa, vendar mora v nekaterih primerih razvijalec preizkusa popraviti spremembe v hrbtenici sistema QUASTe. Če naletite na težave s preizkusom, to sporočite lastniku preizkusa.
  
 
=== Testcase: XYZ not found in resultfile but in database ===
 
=== Testcase: XYZ not found in resultfile but in database ===
  
This message could have different reasons, but it is easy to fix. If you have this testcase enabled for multiple autotests and f.E. excluded for this autotest you must 'disable' this testcase for this autotest in 'QUASTe Autotest-Mananger'. See 'How to disable testcases or tests for a specific Masterworkspace' (to be done)
+
Vzrok za ta sporočila je lahko različen, vendar je to enostavno popraviti. Če imate ta testcase omogočen za multiple samodejne preizkuse in npr. excluded za ta samodejni preizkus, morate 'disable' (onemogočiti) ta testcase za ta samodejni preizkus v 'QUASTe Autotest-Manager'. Oglejte si 'How to disable testcases or tests for a specific Masterworkspace' (v izdelavi).
The other case could be that this testcase isn't called by bas-file. See if this testcase is excluded either in bas-file or in inc-file. If so and this testcase isn't needed anymore you have to remove this testcase from includefile and run 'Update test information' in 'QUASTe Autotest-Manager': How to update autotest information in QUASTe' (to be done)
+
Druga možnost je, da tega testcase ne prikliče bas-file. Oglejte si, če je ta testcase izključen iz datoteke bas-file ali inc-file. Če je tako in tega testcase več ne potrebujete, morate odstraniti ta testcase iz includefile in pognati 'Update test information' v 'QUASTe Autotest-Manager': How to update autotest information in QUASTe' (v izdelavi)
If you are not registered to QUASTe or you are not the owner of the file please contact file owner to commit these changes.
+
Če niste registrirani v QUASTe ali niste lastnik datoteke, stopite v stik z lastnikom datoteke, da vnese popravke.
  
  
 
=== No valid mail-address or machine-name found ===
 
=== No valid mail-address or machine-name found ===
 
<span id="2"></span>
 
<span id="2"></span>
If you're starting automated tests and want them to be added to QUASTe it is required that you submit the name of the testing machine and a valid mail-address. Both are part of the testtool.ini (on unix .testtoolrc) Please check your testtool.ini (found in your home-directory) if the following entrys are filled with details:  
+
Če ste začeli izvajati samodejne preizkuse in jih želite dodati v QUASTe, morate poslati tudi ime preizkusnega računalnika in veljaven e-poštni naslov. Oba sta del datoteke testtool.ini (na sistemih unix je slednja .testtoolrc). Preverite svojo datoteko testtool.ini (ki jo najdete v svoji domači mapi), da so naslednji vnosi dejansko izpolnjeni:  
  
 
[Others]
 
[Others]
Line 176: Line 176:
  
 
Enostavno ponovno re-zip spremenjene datoteke in znova prenesite na strežnik!
 
Enostavno ponovno re-zip spremenjene datoteke in znova prenesite na strežnik!
 
  
 
=== QA-Representative: If you want to update previous testresults please click link 'Retry' ===
 
=== QA-Representative: If you want to update previous testresults please click link 'Retry' ===
 
<span id="17"></span>
 
<span id="17"></span>
You will receive this email if you are going to add some testresults to QUASTe database if there are previous testresults already. This previous testresults will not be updated automatically by QUASTe if they were added by some other tester. However in this mail you receive is a link that leads you to a webpage were those results are listed in detail and you as a QA-representative can decide if previous results shall be updated with you data or should be leaved in the database.
+
To e-sporočilo boste prejeli, če nameravate dodati nekaj rezultatov preizkusa v zbirko podatkov QUASTe, če tam že obstajajo rezultati prejšnjega preizkusa. Ti rezultati prejšnjega preizkusa ne bodo posodobljeni samodejno s strani QUASTe, če jih je dodal drug preizkuševalec. Vendar v tem e-sporočilu prejmete povezavo, ki vas popelje na spletno stran, kjer so ti rezultati podrobno izpisani, in kot QA-predstavnik se lahko odločite, če naj bodo rezultati prejšnjih preizkusov posodobljeni z vašimi podatki ali pa naj ostanejo v zbirki podatkov.
  
 
=== No testcases found for testplan. Please contact script owner. ===
 
=== No testcases found for testplan. Please contact script owner. ===
 
<span id="13"></span>
 
<span id="13"></span>
This email will be sent by QUASTe if there is a resultfile that seems to contain a full testrun but there are no testcases found for this autotest in QUASTe-database. Possibly it is a severe problem in original autotest-file. Please contact the owner of the script to investigate this problem. A list of responsibilities for testscripts can be [http://quaste.services.openoffice.org/index.php?option=com_quaste&task=tests_overview&Itemid=11 found here.]
+
To e-sporočilo bo QUASTe poslal, če obstaja datoteka z rezultati, ki naj bi vsebovala celotno izvedbo preizkusa, vendar za ta samodejni preizkus v zbirki podatkov QUASTe ni mogoče najti testcases. Morda gre za resno težavo v izvorni datoteki samodejnega preizkusa. Obvestite lastnika skripta, da naj preuči to težavo. Seznam odgovornih za preizkusne skripte [http://quaste.services.openoffice.org/index.php?option=com_quaste&task=tests_overview&Itemid=11 najdete tukaj (v angl.).]
  
 
== Glejte tudi: ==
 
== Glejte tudi: ==
Line 190: Line 189:
 
* [[QUASTe_-_First_steps|Prvi koraki - QUASTe]]
 
* [[QUASTe_-_First_steps|Prvi koraki - QUASTe]]
  
* [[CWS|Kako uporabljati Childworkspaces]]
+
* [[CWS|Kako uporabljati otroška delovišča]]
  
 
== <b>Koristne povezave</b><br> ==
 
== <b>Koristne povezave</b><br> ==
Line 198: Line 197:
 
- poizvedba po obstoječih hroščih v sistemu IssueTracker: http://qa.openoffice.org/issues/query.cgi<br>
 
- poizvedba po obstoječih hroščih v sistemu IssueTracker: http://qa.openoffice.org/issues/query.cgi<br>
 
- vpis nove zadeve v IssueTracker: http://qa.openoffice.org/issue_handling/pre_submission.html<br>
 
- vpis nove zadeve v IssueTracker: http://qa.openoffice.org/issue_handling/pre_submission.html<br>
- kategorija QA na wikiju OOo: [[:Category:Quality_Assurance|Quality Assurance]]<br>
+
- kategorija QA na wikiju OOo: [[:Category:Quality_Assurance|Zagotavljanje kakovosti]]<br>
  
  
 
== Znane težave ==
 
== Znane težave ==
 
- '''Errormails about existing testresults send to CWS-Owner'''<br>
 
- '''Errormails about existing testresults send to CWS-Owner'''<br>
If current tested Workspace is as CWS and someone wants to add results to database for a test that already exists the CWS Owner gets a mail in which he can decide whether testresults are updated or not !
+
Če trenutno preizkušeno delovišče je v obliki CWS in nekdo želi dodati rezultate v zbirko podatkov za preizkus, ki že obstaja, prejme lastnik CWS e-sporočilo, v katerem se lahko odloči, ali bodo rezultati preizkusa posodobljeni ali ne!
  
 
- '''Possibility to compare results of cws/cws'''<br>
 
- '''Possibility to compare results of cws/cws'''<br>
It should be possible to compare testresults of 2 CWS'se like comparing of MWS and CWS testresults.
+
Možno mora biti primerjanje rezultatov preizkusov dveh CWS-jev, kot je npr. primerjanje rezultatov preizkušanja MWS in CWS.
  
 
- '''Response-file for automated script update'''<br>
 
- '''Response-file for automated script update'''<br>
If sourcetree is updated automatically there should be a response file created telling if there were errors or not !
+
Če je drevo izvorne kode samodejno posodobljeno, mora biti ustvarjena datoteka odziva, ki navaja, ali so bile napake!
  
 
- '''Handle testcase specifications'''<br>
 
- '''Handle testcase specifications'''<br>
QUASTe should be able to handle Testcase specifications. Generating, viewing, editing of testcase specifications and evaluating of testresults should be possible
+
QUASTe bi moral znati obravnavati specifikacije Testcase. Ustvarjanje, ogledovanje, urejanje specifikacij testcase in vrednotenje rezultatov preizkusov bi moralo biti možno.
  
[[Category:Quality_Assurance]][[Category:Sl.openoffice.org]]
+
[[Category:SL]]

Latest revision as of 09:24, 30 March 2010

Pogosto zastavljena vprašanja o QUASTe

Splošno

Kaj je 'QUASTe'?

QUASTe zbira, potrjuje in primerja vse rezultate preizkušanja z orodjem VCL-Testtool pri preizkušanju gradenj OpenOffice.org in tvori enostavno berljive strani z rezultati. Vsakdo, ki ga zanima kakovost posamezne gradnje paketa OpenOffice.org, ima možnost, da preveri rezultate samodejnih in seveda ročnih preizkusov. QUASTe je razvil Helge Delfs v programskem jeziku PHP, s komponentami in moduli za odprtokodni sistem upravljanja z vsebinami Joomla.

Kaj pomeni 'QUASTe'?

QUASTe je okrajšava za 'Quality Assurance Statuspage' ('stran stanja zagotavljanja kakovosti'), hkrati pa beseda 'Quaste' v nemškem jeziku pomeni 'čop(ek)', tako da se je to ime izkazalo za ustrezno, saj se tukaj/v tem primeru 'vse niti poganjajo skupaj/naenkrat'. (Oglejte si vnos v Wikipediji o Quaste).

Katero licenco uporablja 'QUASTe'?

Ker so moduli in komponente QUASTe napisane za Joomlo, bodo kmalu na voljo za prenos pod licenco GPL.

IRC

Na voljo je kanal za klepet IRC, kjer lahko pridobite podporo za QUASTe ali pa razpravljate o funkcionalnostih ali hroščih.
Strežnik: irc.freenode.net
Kanal: #quaste.openoffice.org


Za predstavnika za QA

Kako objavimo stanje kakovosti CWS v EIS

Običajno se ob zaključku vseh zahtevanih samodejnih preizkusov z VCLTesttool in dodatku rezultatov v QUASTe pošlje vsesplošno stanje (zeleno ali rdeče) programu EIS. Če je potrebno ponovno pognati samodejne preizkuse v celoti ali le del njih za izbrani CWS, se stanje trenutno ne posodobi samodejno v EIS. Zato mora biti predstavnik za QA (QA-Representative) prijavljen v QUASTe in mora ročno posodobiti stanje.

  • Prijavite se v sistem EIS (http://eis.services.openoffice.org)
  • sledite povezavam do *svojega* CWS
  • na strani overview (Pregled) => izberite 'Tests' ('Preizkusi')
  • v vrstici 'status' click' izberite povezavo za TestName: 'AutomationCAT0'

Quaste eis link.jpg

Nato se bo odprla stran 'QUASTe Analyze page'

  • tukaj so prikazani trenutne podrobnosti o samodejnih preizkusih v primerjavi z MWS
  • preverite trenutno stanje kakovosti in izberite, če ste se odločili, da so rezultati 'ok' (uspeli) ali 'failed' (neuspeli)
  • s klikom na ustrezni gumb se stanje pošlje v sistem EIS

Quaste eis status.jpg

Gumba (v EIS poslano stanje 'zeleno' ali 'rdeče') ponujajo možnost, da override stanje v EIS ali da ročno pošljete stanje, če ga ni bilo mogoče poslati samodejno npr. zaradi omrežnih ali drugih težav. Le predstavnik za QA ima možnost objaviti to stanje (prijava je obvezna), kar je razlog, zakaj ni vidno vsem, ki brskajo po QUASTe.

Za uporabnike

Definicija pojma "Release Test"

Preizkusi izdaj ('release tests') so tisti, ki jih je potrebno izvesti za vsako gradnjo. Ti preizkusi se morajo končati brez napak za vsako gradnjo in seveda za vsak CWS ('child workspace').

Definicija pojma "Required Test"

Zahtevani preizkusi ('required tests') so tisti, ki jih je potrebno izvesti za določeno gradnjo. Od modela kategorije je odvisno, kateri preizkusi so zahtevani.

Definicija pojma "Optional Test"

Neobvezni preizkusi ('optional tests') so tisti, ki jih ni potrebno izvesti za določeno gradnjo glede na model kategorije.

Napake / opozorila / zapisniki napak QAErrorlogs

Errorlog
Errorlog (zapisnik napak) izdela testtool, če je prišlo do splošne napake. Gre za možen namig na sesutje, ne deklariran ali ne najden kontrolnik. Zapisniki napak so obarvana rdeče.
Warnlog
Warnlog (zapisnik opozoril) je namig na failure ali hrošča, ki se je prikradel v pisarniški paket. Ustvarjen je med izvajanjem preizkusov s programom VCLTesttool, če npr. funkcionalnost ne deluje pričakovano s samodejnim preizkusom. Prikazano je v oranžni barvi.
QAErrorlog
To je niz, ustvarjen v Logfile, ki prikazuje določene težave, kot so:

1. najden je hrošč, težava je že vnesena v sistem, vendar še ne bo odpravljena v trenutno preizkušeni različici.

2. sklic na pogoj, ki mora biti izpolnjen, da bi preizkus izvedli pravilno. (Prazne mape v nekem primeru ali določena pot do datoteke ali kaj drugega)

Model kategorije

Na voljo so številni samodejni preizkusi. Pri takšnem številu preizkusov bi trajalo skoraj en teden, da bi povsem preizkusili eno gradnjo. Ko se izvedejo vsi samodejni preizkusi, morajo preizkuševalci preveriti rezultate ... kar prav tako vzame nekaj časa. Zaradi tega je ekipa QA Automation Team odločila ustvariti preizkusni cikel, ki pokriva merodajno število preizkusov, ki se izvedejo na vsaki gradnji. Rezultat tega so 4 različne kategorije:

  • 0 : Preizkusi se izvajajo na vseh gradnjah in izdajah
  • 1 : Preizkusi se izvajajo na prvi gradnji (ter preizkusi iz kategorije 0)
  • 2 : Preizkusi se izvajajo na drugi gradnji (ter preizkusi iz kategorije 0)
  • 3 : Preizkusi se izvajajo na tretji gradnji (ter preizkusi iz kategorije 0)

Da bi bilo enostavno za vse vpletene, pravila, katere vrste preizkusa je vključena v določeno kategorijo, niso strogo dokumentirana. Z izjemo kategorije 0, ki obsega vse samodejne preizkuse, potrebne za preizkušanje uradnih izdaj (večinoma preizkusi virov ali posodobitev). Za vse preostale tri kategorije je potrebno poudariti, da imajo približno trajanje. Ta model skrajša cikel preizkušanja za vsako gradnjo na največ 2,5 dni. Seznam vseh samodejnih preizkusov in njihovih kategorij se nahaja tukaj => Vsi trenutni preizkusi

Opomba: Tega ne uporabljamo za končne izdaje. Zanje uporabljamo drugo tabelo, ki se nahaja tukaj (v angl.).

Kaj pomenijo vrednosti VTTDI?

Oglejte si stran o indeksu VTTDI, kjer najdete podrobno razložene vrednosti indeksa VTTDI.

Kako objavim rezultate mojih preizkusov?

Preden dodate rezultate preizkušanja, ki jih ustvari VCLTesttool na vašem računalniku, bi bilo dobro, da preverite, kateri rezultati preizkušanja manjkajo. Najboljši način preizkušanja določene gradnje je organizirano preizkušanje v ekipi, s katerim se izognete podvajanju dela. Če želite vedeti, kateri preizkusi manjkajo za določeno platformo, si oglejte stran 'Rezultati preizkusov po modulih' (v angl.).

Če niste seznanjeni s samodejnim preizkušanjem, obiščite Domača stran ekipe Automation Team in izvedite več o samodejnem preizkušanju z 'VCL Testtool'.

Predpostavljamo, da ste že prenesli 'program VCL Testtool' in checked out the qatesttool-project, lahko začnemo.

1. Ko je enkrat samodejni preizkus dokončan, boste njegove povzetke za ustvarjanje rezultatov v QUASTe našli v mapi errorlog v obliki datotek z besedilom (.txt).

2. Postavite te datoteke v paket zip

3. Pojdite na spletno stran QUASTe

4. Prijavite se s svojim uporabniškim imenom in geslom OpenOffice.org

5. Ko ste prijavljeni, na desni strani spletne strani QUASTe vidite več menijskih izbir

6. Kliknite menijsko izbiro 'Upload my testresults' ('Prenesi moje rezultate preizkušanja')

7. Prebrskajte do prej ustvarjene datoteke zip in pritisnite gumb 'Upload' ('Prenesi')

8. Čakajte ...


Ko so vse datoteke uspešno dodane v zbirko podatkov QUASTe, boste prejeli sporočilo. Če opazite sporočilo o napaki, obiščite stran o QUASTe, kjer najdete pomoč pri tovrstnih sporočilih.

Kako odstranim rezultate preizkusov?

Izbrišete lahko le rezultate preizkusov, ki ste jih ustvarili sami, lahko pa si seveda ogledate rezultate preizkusov drugih uporabnikov.

Namig: Trenutno lahko odstranite le rezultate preizkušanja z napakami.

Če želite odstraniti rezultate preizkušanja iz zbirke podatkov QUASTe, morate biti prijavljeni. Ko se prijavite, pojdite na stran 'Rezultati preizkušanja po modulih. Ta stran zdaj prikazuje dodatna stolpca glede na prikaz ob neprijavi. Prvi dodatni stolpec vsebuje ime uporabnika, ki je ustvaril rezultate preizkusov, drugi pa potrditveno polje. Če želite odstraniti rezultat preizkušanja, potrdite slednje polje in kliknite 'red-cross-icon' na dnu strani. Če želite odstraniti več rezultatov preizkušanja, enostavno potrdite več polj in kliknite 'red-cross-icon'. Po potrditvi bodo rezultati preizkušanja odstranjeni!

Možne napake

Error while adding testresults for testplan: xyz.bas

Vzrok je ta, da ste lastnik tega samodejnega preizkusa ali pa ste poganjali samodejni preizkus in so bile pri dodajanju rezultatov preizkusa v zbirko podatkov QUASTEe napake. Oglejte si vsebino tega e-sporočila in preverite, če lahko najdete kakšno podrobnost o tej napaki.

There is a testrun already available

'You can only update current testrun if you restart as user: '<uporabniškoime>' on machine: '<imeračunalnika>

Če se je izvrševanje preizkusa dokončalo in je zapisano v zbirko podatkov, obstajajo nekatere odvisnosti.

  • Če podobnega izvršenega preizkusa ni, bo ta dodan.
  • Če podoben preizkus že obstaja, bo posodobljen, vendar:
    • le če je samodejni preizkus zagnan na istem mejniku glede na jezik, računalnik in uporabnika. Če se ti parametri ne ujemajo, rezultati preizkusa ne bodo posodobljeni niti zapisani v zbirko podatkov. Preizkuševalec bo prejel e-sporočilo o napaki o tem.

Takšno vedenje se je izkazalo za najboljšo rešitev, saj rezultati preizkusa drug preizkuševalec ne more prepisati. S tem se izognemo več rezultatom preizkusa in prihranimo prostor v zbirki podatkov. Obvestilo: Pri porazdeljenem preizkušanju morate vedeti, kaj bo naslednji preizkus in kateri preizkus je že uspešno opravljen. S tem si prihranite čas ...

Incomplete testruns only allowed if complete previous testrun exists

Preden je možno poslati nepopoln preizkus, mora v zbirki podatkov že obstajati v celoti izveden preizkus. V celoti izveden preizkus pomeni, da morajo vsi preizkusni primeri, ki so del preizkusa in prijavljeni v QUASTe, biti izvedeni in poslani v QUASTe. Kasneje je možno zagnati nepopolne preizkuse (npr. vsebujejo le nabor preizkusnih primerov), da objavite spremembe preizkusa (glejte tudi napako There is a testrun already available zgoraj). QUASTe običajno prepozna, če je preizkusni primer preimenovan ali odstranjen iz preizkusa, vendar mora v nekaterih primerih razvijalec preizkusa popraviti spremembe v hrbtenici sistema QUASTe. Če naletite na težave s preizkusom, to sporočite lastniku preizkusa.

Testcase: XYZ not found in resultfile but in database

Vzrok za ta sporočila je lahko različen, vendar je to enostavno popraviti. Če imate ta testcase omogočen za multiple samodejne preizkuse in npr. excluded za ta samodejni preizkus, morate 'disable' (onemogočiti) ta testcase za ta samodejni preizkus v 'QUASTe Autotest-Manager'. Oglejte si 'How to disable testcases or tests for a specific Masterworkspace' (v izdelavi). Druga možnost je, da tega testcase ne prikliče bas-file. Oglejte si, če je ta testcase izključen iz datoteke bas-file ali inc-file. Če je tako in tega testcase več ne potrebujete, morate odstraniti ta testcase iz includefile in pognati 'Update test information' v 'QUASTe Autotest-Manager': How to update autotest information in QUASTe' (v izdelavi) Če niste registrirani v QUASTe ali niste lastnik datoteke, stopite v stik z lastnikom datoteke, da vnese popravke.


No valid mail-address or machine-name found

Če ste začeli izvajati samodejne preizkuse in jih želite dodati v QUASTe, morate poslati tudi ime preizkusnega računalnika in veljaven e-poštni naslov. Oba sta del datoteke testtool.ini (na sistemih unix je slednja .testtoolrc). Preverite svojo datoteko testtool.ini (ki jo najdete v svoji domači mapi), da so naslednji vnosi dejansko izpolnjeni:

[Others]

PCname={IME-VAŠEGA-RAČUNALNIKA}

[Crashreporter]

ReturnAddress={veljaven e-poštni naslov}

Če te vrednosti ne obstajajo, jih morate obvezno dodati.

Namig: Če ne želite ponovno izvesti preizkusov, lahko popravite povzetke rezultatov (datoteke .txt) v svoji mapi z zapisniki napak in dodate svoje podatke v naslednjih vrsticah:

hostname={IME-VAŠEGA-RAČUNALNIKA}

username={veljaven e-poštni naslov} => običajno vaš e-poštni naslov OpenOffice.org (uporabnik@openoffice.org)

Enostavno ponovno re-zip spremenjene datoteke in znova prenesite na strežnik!

QA-Representative: If you want to update previous testresults please click link 'Retry'

To e-sporočilo boste prejeli, če nameravate dodati nekaj rezultatov preizkusa v zbirko podatkov QUASTe, če tam že obstajajo rezultati prejšnjega preizkusa. Ti rezultati prejšnjega preizkusa ne bodo posodobljeni samodejno s strani QUASTe, če jih je dodal drug preizkuševalec. Vendar v tem e-sporočilu prejmete povezavo, ki vas popelje na spletno stran, kjer so ti rezultati podrobno izpisani, in kot QA-predstavnik se lahko odločite, če naj bodo rezultati prejšnjih preizkusov posodobljeni z vašimi podatki ali pa naj ostanejo v zbirki podatkov.

No testcases found for testplan. Please contact script owner.

To e-sporočilo bo QUASTe poslal, če obstaja datoteka z rezultati, ki naj bi vsebovala celotno izvedbo preizkusa, vendar za ta samodejni preizkus v zbirki podatkov QUASTe ni mogoče najti testcases. Morda gre za resno težavo v izvorni datoteki samodejnega preizkusa. Obvestite lastnika skripta, da naj preuči to težavo. Seznam odgovornih za preizkusne skripte najdete tukaj (v angl.).

Glejte tudi:

Koristne povezave

- domača stran projekta QA na OOo: http://qa.openoffice.org
- dopisni seznam projekta QA: http://qa.openoffice.org/servlets/SummarizeList?listName=dev
- poizvedba po obstoječih hroščih v sistemu IssueTracker: http://qa.openoffice.org/issues/query.cgi
- vpis nove zadeve v IssueTracker: http://qa.openoffice.org/issue_handling/pre_submission.html
- kategorija QA na wikiju OOo: Zagotavljanje kakovosti


Znane težave

- Errormails about existing testresults send to CWS-Owner
Če trenutno preizkušeno delovišče je v obliki CWS in nekdo želi dodati rezultate v zbirko podatkov za preizkus, ki že obstaja, prejme lastnik CWS e-sporočilo, v katerem se lahko odloči, ali bodo rezultati preizkusa posodobljeni ali ne!

- Possibility to compare results of cws/cws
Možno mora biti primerjanje rezultatov preizkusov dveh CWS-jev, kot je npr. primerjanje rezultatov preizkušanja MWS in CWS.

- Response-file for automated script update
Če je drevo izvorne kode samodejno posodobljeno, mora biti ustvarjena datoteka odziva, ki navaja, ali so bile napake!

- Handle testcase specifications
QUASTe bi moral znati obravnavati specifikacije Testcase. Ustvarjanje, ogledovanje, urejanje specifikacij testcase in vrednotenje rezultatov preizkusov bi moralo biti možno.

Personal tools