FR/qa-test/TestTool

From Apache OpenOffice Wiki
< FR
Revision as of 09:04, 18 October 2009 by Sgauti (Talk | contribs)

Jump to: navigation, search
Wiki Francophone OOo

LaMouette BigJump.png

Sommaire:

Catégories:

Site principal Francophone


Présentation, Installation et Utilisation

Présentation

TestTool est un exécutable qui teste OOo tout seul. Il est capable d'enchaîner de nombreux essais. Il rédige lui-même les comptes rendus des essais qu'il fait.
Pour fonctionner, l'exécutable TestTool doit aussi avoir son "Environnement" : c'est un gros paquet de fichiers, qu'on appelle en abrégé TestTool-Env ; il est livré dans une arborescence de dossiers dont la racine s'appelle qatesttool.

Remarque : Le TestTool a été testé sur différents systèmes :

  • Linux (Debian, Mandrake/Mandriva,..), Win 2000, Win XP et Mac OS X

Installation

2.1 - Installer l'exécutable TestTool

L'exécutable TestTool est à télécharger ici [1] Il en existe un qui est livré avec OOo, mais il ne doit pas être utilisé car il n'est pas maintenu.

Vous pouvez lancer le TestTool à partir de l'exécutable dans le répertoire téléchargé.

2.2 - Télécharger TestTool-Env

L'environnement se télécharge à partir de ce site [2]

2.3 - Paramétrer TestTool

Avant de pouvoir utiliser le TestTool, il est nécessaire de le paramètrer :

  • Paramétrer TestTool

Une fois le TestTool lancé, rendez-vous sous Outils > Options. Sélectionnez l'onglet Profile

  • Onglet Profile

Testtool-option-profile.jpg

Cela crée un profile pour le module de test automatique. Vous devez donc renseigner :

1. Profile: DEV320m2 (pour la version actuelle)

2. Log base directory: tous le fichiers de résultat créés pendant les tests seront écrit dans ce répertoire

3. Base directory: le répertoire contenant tous les tests à réaliser (l'environnement téléchargé).

4. Default HID directory par défaut automatiquement n'a pas besoin d'être modifié la plupart du temps.


  • Onglet CrashReport

Testtool-option-crashreport.jpg

Cochez 'Allow contact' et saisissez votre adresse OpenOffice.org dans le champ 'EMail'. Cette adresse sera utilisée par le TestTool pour envoyer le crashreport. Cette adresse est également importante pour envoyer les résultats sur QUASTe (Quality Assurance Statuspage)


  • Onglet 'Misc'

Testtool-option-misc.jpg

Sur cet onglet, vous paramétrez les options à utiliser par le TestTool pour communiquer avec OpenOffice.org. La plupart du temps, ces valeurs peuvent rester sur celles par défaut. Si VCLTestTool ne démarre pas, c'est que le 'Port TestTool' ou que le 'Port distant Uno' est bloqué ou réservé par le système. 'OOo Program Dir' doit être positionné sur le répertoire programme de votre installation OOo. La plupart du temps ce champ peut rester vide car le TestTool doit être capable de trouver l'installation. D'expérience, il vaut mieux lui indiquer, par exemple : <INSTALLDIR>/OpenOffice.org 3/program

toutes les modifications faire sur les options du VCLTestTool sont enregistrées dans

    • ${HOME}/.testtoolrc (UNIX-Systems) ou
    • "$HOME/Library/Application Support/.testtoolrc" (Mac OS X) ou
    •  %APPDATA%\testtool.ini (Windows-Systems).

Cliquez sur le bouton 'OK' de la boîte de dialogue Options et quittez le VCLTestTool.

Vous êtes maintenant prêt !

2.4 - Sauvegarder vos réglages personnels

ATTENTION : Pendant son fonctionnement TestTool modifie fréquemment la configuration de OOo. Vous allez donc perdre vos réglages personnels ! Pour pallier cet inconvénient, sauvegardez votre configuration avant d'utiliser TestTool : vous pourrez ainsi restaurer vos règlages après avoir terminé les essais :

  • Faites une copie de sauvegarde du dossier OOo situé dans votre profil utilisateur.
  • Lancez TestTool en tant que simple utilisateur (pas en admin).

Une autre solution consiste à créer un utilisateur spécifique pour le TestTool

3 - Utilisation

3.1 - Tester TestTool :-)

  • Fermez OOo et le démarrage rapide de OOo (n'existe pas sous Linux, l'environnement KDE propose un paquet ooqs2-kde).
  • Lancez le porgramme TestTool
  • Menu "Fichier / Ouvrir" (Ctrl+O) et sélectionnez par exemple le programme "qatesttool\framework\first\first.bas" ou le programme "qatesttool\framework\first\topten.bas"
  • Menu "Programme / Démarrer" (F5) (Chaque programme dure environ 15 mn)


Et après ?

  • Il y a plus de 200 autres programmes .bas dans le TestTool-Env. Ces tests sont regroupés en Catégories : Cat0 ; Cat1 ; Cat2 ; Cat3. La Cat0 est à effectuer sur toutes les versions. Les autres dépendent d'où nous en sommes dans le release process. Les catégories à réaliser sont annoncées sur la listes qa-test.


Remarque : Lors de l'utilisation de TestTool-Env, de nombreux fichiers seront enregistrés dans le dossier "user/work" du dossier OOo de votre profil utilisateur. Dans ce dossier il y a aussi le fichier "crashrep.txt" qui apparemment devrait contenir les rapports de crash de OOo, mais jusqu'à maintenant, il est resté vide.

3.2 - Lancer testtool en batch

ATTENTION : Ce script dure entre 60 et 80H. Il est conseillé de sauvegarder sa confiugration de OOo avant de le lancer
Il existe un script permettant de lancer plusieurs tests (fichiers .bas) automatiquement :

  • Sous Linux, il faut lancer le programme : qatesttool\script\unix\OOoTestRun_unix.sh ou ooo_releasetests.sh
  • Sous Win, il faut lancer le programme : qatesttool\script\win32\OOoTestRun_win32.bat ou ooo_releasetests.bat


Pour pouvoir utiliser ce script, il faut modifier les deux variables au début du fichier pour indiquer le chemin d'installation de OOo et le chemin d'installation du testtool-env. Exemple :

  • set tool="C:\Program Files\OpenOffice.org 2.0\program\testtool"
  • set work=C:\QA-TEST


(Dans mon cas, le dossier QA-TEST contient le sous-dossier "qatesttool" contenant le testtool-env téléchargé via CVS)

Sous Linux pour la 2.0.3rc3, j'ai :

  • sLocation=/CVS/TestTool/qa (Ce chemin contient le dossier "qatesttool" téléchargé via CVS)
  • sTestTool=/opt/openoffice.org2.0/program/testtool.bin


Pour finir il faut indiquer la liste des fichiers .bas à lancer dans la variable 'testList', Pour éviter de les saisir manuellement et pour avoir une estimation de la durée total des tests, il existe un outil permettant de sélectionner facilement les scripts à executer :

3.3 - Lancer testtool en batch (Version améliorée)

Yves propose une version améliorée du script évoqué précédemment. Ce script modifié, permet de fixer un temps MAXIMUM au delà duquel la macro stoppera. Il permet aussi, lors de la relance, de passer tous les tests déjà effectués (si .res existe). Ce script modifié est disponible ici et il suffit de le placer dans le même dossier que le script original :

3.4 - Lancer testtool en batch sous Mac OSX

La plupart des informations mentionnées ci-dessus sont valables pour tous les systèmes, mais vous trouverez dans la page suivante des informations complémentaires pour faire fonctionner le testtool sous Mac OSX :

  • TestToolMacOSX

4 - Question subsidiaire: ce que je télécharge avec cvs sous Linux peut être recopié tel quel sous Windows?

oui ; lorsqu'il y a des scripts différents, ils sont présents dans les deux versions : exemple, pour faire tourner testtool en batch :

  • qatesttool\script\unix\OOoTestRun_unix.sh ou ooo_releasetests.sh
  • qatesttool\script\win32\OOoTestRun_win32.bat ou ooo_releasetests..bat


J'ai quand même eu un blême avec un fichier .bas :

  • je l'avais zieuté, et y avait rajouté une ligne de commentaire sauvegardée avec je ne sais plus quel éditeur de texte qui n'a pas aimé les fins de ligne à la unix ; résultat : l'interpréteur basic de testtool voyait des double fin de ligne à chaque ligne, et donc plantait sur les lignes continuées.
  • Petit ménage des fins de lignes sur ce fichier, et retour à la normale.

5 - Analyser les résultats

Le test complet comporte environ 200 scripts pour une durée totale théorique de 81H (La durée est quasiment indépendante de la puissance de la machine, car il y a de très nombreuses pauses). Chaque script créé un fichier de résultat avec l'extension « .res » ou il indique les problèmes rencontrés. La difficulté réside donc dans l'analyse de ces scripts.

Actuellement, nous utilisons l'outil QUASTe [3] pour analyser les résultats créés par le TestTool.


Bob a réalisé une macro sous OOo permettant de faire la synthèse des résultats (fichiers .res d'un même répertoire) en ne retenant que les warning et les erreurs :


6 - Résumé des opérations

  • Installer la dernière version de OOo (OOo 2.0.3 RC3 à ce jour)
  • Choisissez l'installation complète pour avoir les outils de test.
  • Utiliser l'exécutable TestTool qui est dedans.
  • Récupérer via CVS le qatesttool tagué : HEAD
  • Tester avec first.bas
  • Préparer le lancement automatique des scripts à l'aide de la macro
  • Executer tous les scripts demandés (Pour la version 2.03, les scripts à lancer sont indiqués sur cette page http://qa.openoffice.org/qatesttool/all_tests_ooo203.html)
  • Faire la synthèse des scripts à l'aide de la macro de Bob
  • Placer les résultats (fichiers .res et synthèse) dans un zip et dans le dossier http://fr.openoffice.org/servlets/ProjectDocumentList?folderID=609
    • Pour faciliter les recherches, il faudrait nommer le fichier .zip sous la forme suivante : VersionOOo_OS_Auteur (ex : 2.03rc5_Win2000_Francis.zip ou 2.0.3rc5_Win-XP-SP1-JRE_Patrice)
    • Il existe une FAQ expliquant comment déposer un document dans Doc&Files : http://fr.openoffice.org/FAQ/general_fr/g43fr.htm
Personal tools