Difference between revisions of "FR/QARC"

Revision as of 07:55, 2 January 2009

L'assurance qualité sur les versions Release candidates représente la touche finale avant que le version soit délivrée comme stable. Ces tests sont obligatoires pour fournir une version officielle et doivent être réalisés par au moins deux testeurs.

Où trouver la version

La version est, en principe, disponible ici http://download.openoffice.org/300/ Si cette page n'est pas à jour (ce qui peut arriver en période de fêtes), les versions développeur et les Release Candidates (RC) peuvent être trouvées directement sur un des miroirs du projet OpenOffice.org. La liste des miroirs est ici. En choisir un proche de vous et aller dans le répertoire .../extended/. La version MacOS pour PowerPC se trouve quant à elle sur le serveur Good-Day.

Période de test

Actuellement (janvier 2009) il y a deux RC à tester :

- OOo 3.0.1 RC1 (toutes versions) ; date limite : 19/01/2009 (la date de release prévue étant le 22/01/2009).

- et toujours OOo 3.0 RC4 principalement pour système 64 bits ; date limite : 1/03/2009.

Les dates limites peuvent être repoussées si nécessaires.

Chaque fois qu'un bug bloquant est trouvé ("stopper"), les tests sont repris à zéro sur une nouvelle RC.

Installation

Cette version étant identique à une version finale, elle s'installe en lieu et place d'une version stable.

Test à réaliser

Tests manuels

Les tests se font sur un site spécial appelé TCM. Ce site permet de gérer les différents tests réalisés d'une version à l'autre et ce dans toutes les langues participantes. Ces tests peuvent être faits en ligne ou hors ligne et demandez à JBF pour la création de votre compte. Il y a en tout 25 scénarios de tests à réaliser qui vérifient essentiellement les fonctionnalités d'enregistrement, d'import et d'export et les locales.

Pour participer, une fois les tests attribués, suivez cette procédure :

- vous vous rendez ici http://www.sunvirtuallab.com:8001/tcm2/opensource/tcm_login.cgi?tcm_config=newooo

- vous entrez votre login OOo et votre mot de passe, 123 si vous ne l'avez pas modifié

- vous vous rendez sur le menu OpenOffice.org Test Result Update

- vous cliquez sur openoffice.org(la_dernière_version)

- un tableau contenant les colonnes suivantes s'affiche :

assignement ID, Tester, Category, Language, Platform, Start Date, Complete date, Action

- cherchez votre nom de connexion, le "Assignment ID", correspond à une série de tests que je vous ai attribués. Il y a un nouveau numéro pour chaque série. L'état d'avancement des tests qui vous sont attribués est donné par les nombres dans les colonnes P (pass/succès), F (fail/échec), S (skip/sauté), U (untested/pas encore testé) et T (total).

- cliquez sur le nombre de la colonne U de votre nom de connexion, une page contenant les tests restant à réaliser s'affiche, avec tout à fait à droite des boutons radios indiquant le statut du test :

   * pass : le test est passé avec succès
   * fail : le test échoue, vous avez alors une case pour entrer le numéro de l'issue sur IZ : Bug ID :
   * skip : vous ne pouvez pas faire le test pour une raison ou une autre
   * untested : vous n'avez pas encore fait le test

Note : avant d'entrer une issue, venez discuter du problème sur la liste qa-test et si vous ne voulez pas affronter IZ, commentez le test dans la case réservée à cet effet, je rentrerai l'issue.

- les boutons en bas de la page vous permettent de la mettre à jour :

   * update : mettre à jour les modifs que vous avez faites sur les boutons radio
   * set all pass : mettre les boutons radios de tous les tests sur pass
   * set all fail : mettre les boutons radios de tous les tests sur fail
   * set all skip : mettre les boutons radios de tous les tests sur skip

- vous pouvez revenir sur des tests déjà réalisés en cliquant sur le nombre dans la colonne P, F ou S selon le cas.

Procédure de test hors ligne

Il faut tout de même vous rendre sur le site pour télécharger la feuille de résultat :

- vous vous rendez ici : http://www.sunvirtuallab.com:8001/tcm2/opensource/tcm_login.cgi?tcm_config=newooo

- vous entrez votre loginOOo et votre mot de passe, 123 si vous ne l'avez pas modifié

- vous vous rendez sur OpenOffice.org Test Result Update

- vous cliquez sur openoffice.org(la_dernière_version)

- un tableau contenant les colonnes suivantes s'affiche :

assignement ID, Tester, Category, Language, Platform, Start Date, Complete date, Action

- repérez les tests qui vous sont attribués et sur la même ligne, dans la colonne Action, télécharger la feuille de résultat au format .cgi. (lien download).

- téléchargez les tests correspondants ici : http://fr.openoffice.org/servlets/ProjectDocumentList?folderID=427

- inscrivez vos résultats dans la feuille téléchargée sans modifier l'ordre ni les balises présentes, elle se présente comme ceci :

assignmentID|caseID|result|bugID|comments

   * assignementID : votre numéro d'attribution de tests
   * caseID : numéro du test
   * result : vous mettez suivant le cas skip, pass ou fail
   * bugID : numéro du ou des bugs (si plusieurs, séparer les numéros par une virgule)
   * comments : vos commentaires

- retournez ensuite sur le site, sur la page openoffice.org(la_dernière_version), tout en bas, vous pouvez mettre en ligne vos résultats de tests à l'aide du bouton Browse pour naviguer jusqu'au fichier et upload pour le charger.

Si vous rencontrez des problèmes, avant de rentrer une issue sur IZ, venez en parler sur la liste. Si vous ne voulez pas affronter IZ (uniquement en anglais) je rentrerai l'issue, mais il me faut alors vos commentaires sur le cas test.

Voilà, toute vos questions sont les bienvenues sur la liste qa-test@fr.openoffice.org :)

• Tests automatisés

Les tests se font à l'aide d'un outil livré avec la version, le TestTool et les tests Release sanity à télécharger. Ces tests sont réalisés par l'équipe QA de Sun pour 9 langues dont le français, mais vous pouvez bien sûr vous joindre à cette équipe, un seul système d'exploitation étant testé par langue. Pour réaliser ces tests, suivez cette procédure.

Où remonter les bugs

Il est très important que tout bug tel qu'un crash de OOo ou une perte de données soit très rapidement remontés sur la liste qa-test at fr.openoffice.org pendant cette période. Ceci afin qu'un correctif soit apporté au plus vite et qu'une nouvelle RC soit mise en production et testée. De tels bugs sont directement remontés sur la liste releases at openoffice.org afin que le comité en charge des versions prenne la décision au plus vite.

QATrack

QATrack est l'outil qui nous permet de suivre toute la phase d'assurance qualité de la RC et de savoir exactement quelle version mise en ligne sera validée. C'est donc un outil de coordination entre les équipes QA, NLC, Website et Marketing. Un nouvel outil est en cours de développement doté de nouvelles fonctionnalités avec notamment un suivie des issues sur IZ.