1. Introduction (AndreSchaaff)

• Point sur l'existence des services : registry, data access, computation
• Définition du Workflow: coordination of services
• Vers une suite de services coordonnés communiquant pour échanger des données
• {CS, PP, ES, AS} ont initié le groupe dans un point de vue interopérabilité.
• le groupe de travail a été accepté par OV France et financé par l'ASOV pour une initialisation des travaux.

2. Tour de table

Motivation des participants

Participant	Laboratoire\Equipe	Motivation
Thomas Boch	Observatoire de Strasbourg-CDS	Ingénieur en informatique au CDS, je participe notamment au développement du logiciel Aladin. Dans le cadre du projet VO-TECH, je m'intéresse aux workflows et plus particulièrement aux liens entre workflows et outils de visualisation.
Loïc Chevallier	Observatoire de Paris-Meudon/LUTH	Chercheur postdoctorant au Centre d'Astrophysique Nicolas Copernic (CAMK, Varsovie, Pologne). * Science : Etude des noyaux actifs de galaxies (AGN) : -- J'ai besoin de spectres observés science-ready (déjà réduits) et le workflow permettrait d'automatiser une partie des tâches (typiquement la réduction de données observées brutes pour en former un spectre ou une image) sans perdre de temps à 1) apprendre les outils nécessaires, 2) réaliser plusieurs fois la même opération à partir de ces outils, 3) écrire des outils de reformatage des données car souvent plusieurs logiciels sont nécessaires pour arriver au résultat, et ils communiquent mal entre eux. Les outils existent (package logiciel développés pour des instruments) et notre expertise (étapes de traitement, outils personnels intermédiaires aux packages) pourrait être codée dans du workflow. -- Possibilité de calculer de nouveaux modèles avec les codes TITAN et NOAR (temps de calcul >> 1h), notamment ces deux codes se complètent et un processus itératif est à mettre en place pour fournir le modèle (convergence de l'itération à tester). -- Mise à disposition de modèles de nuages photoionisés (codes TITAN et NOAR) : grille de modèles. -- Utilisation d'outils d'analyse des modèles en ligne (accès aux résultats plus facilement). * Test de validation des méthodes numériques : benchmarks entres codes de photoionisation (codes TITAN+NOAR, XSTAR, Cloudy, etc.), entre méthodes de transfert de rayonnement (solutions exactes ARTY, méthodes ALI, etc.). * Développement d'outils : inclusion automatisée de données atomiques dans notre code TITAN (recherche sur différentes bases de données, mise en place d'une chaîne de traitement pour l'ensemble des données nécessaires).
Jean-Julien Claudon	Observatoire de Strasbourg-CDS	Ingénieur d'étude au CDS dans le cadre de l'ACI MDA, je développe l'application Aïda qui intégre des outils de traitement d'images hétérogènes pour les mettre à disposition de façon uniforme, et permettre leur enchainement en workflow.
André Csillaghy	HES de la Suisse du N-O
Bernard Debray	Obs. de Besançon	Ingénieur à l'Observatoire de Besançon. A Besançon, est développé un modèle de notre Galaxie accessible sur le web et utilisé largement dans la communauté astronomique internationale. Cet outil doit être disponible en web service dans un avenir proche et nous souhaitons alors voir comment le workflow pourrait permettre de combiner l'utilisation du modèle avec celle d'autres outils du VO (simulations de galaxies, "télescope virtuel", ...) ou faciliter des utilisations répétées du modèle.
Pierre Didelon	CEA	Ingénieur de dévellopement au CEA/SAp, j'interviens sur des aspects informatiques dans divers projets du service au grés des besoins et des orientations. A chaque nouveau projet on a toujours besoin de chaines de traitement de données et on redéfinit à chaque fois absolument tout, dans un langage différent ou non. Je serait donc interéssé par tout dévellopement permettant une réutilisation de certaines parties, au moins la mise en place de l'enchainement de tâches, la gestion et le couplage de E/S... etc L'adoption d'une norme, d'un standard ou d'un MOU minimum permettrait sans doute d'éviter une répétition de tâches de bases, d'optimiser l'implementation, de partager les charges et les expériences. L'example de VOTable comme standard pour l'IVOA est encourageant dans cet optique.
Franck Le Petit	LUTH	Responsable du portail numérique de l'Observatoire de Paris. La mise en place des simulations numériques dans les OV nécessite que l'on puisse les coupler entre elles et avec d'autres applications. Aussi est-il dès à présent nécessaire de chercher à préparer les codes à entrer dans une architecture Workflow.
Mireille Louys	CDS-LSIIT
Nicolas Moreau	Observatoire de Paris	Ingénieur informatique au LERMA à l'observatoire de Paris, je travaille sur une base de données atomiques et moléculaires. L'arrivée prochaine du protocole SLAP (Simple Lines Access Protocol) développé au sein de l'IVOA va fournir un protocole d'interrogation et d'échange standardisés dans notre domaine. Il sera alors possible d'intégrer notre base de données au sein de workflows. C'est dans cette optique que je suis intéressé par leur fonctionnement et leur mise en oeuvre.
Anais Oberto	Observatoire de Strasbourg-CDS	Ingénieur développement, intéressée pour le développement de worflow entre différentes applications déjà en cours au sein même du service Simbad, mais également entre les différents services du CDS.
Philippe Prugniel	CRAL-Galaxies
Renaud Savalle	LAM
André Schaaff	Observatoire de Strasbourg-CDS	Je m'intéresse aux workflows au travers de plusieurs projets : - MDA (ACI MD), suivi du développement de l'application AÏDA qui permet de créer des workflows d'applications (écrites en MATLAB, C++, etc.) de traitement d'images - VOTech : j'ai encadré un stage qui avait pour sujet la création de librairies Java (elles sont intégrées dans AÏDA) pour la représentation graphique de workflows - j'anime un groupe de travail interne au CDS dont la réflexion porte sur la définition de workflows mettant en oeuvre les services du CDS
Eric Slezak	OCA	Spécialiste dans l'analyse des images et des catalogues en astronomie, je cherche à valoriser les nombreux algorithmes et procédures que nous avons développés dans notre équipe pour différentes applications afin que cette expertise puisse bénéficier au plus grand nombre. La complexité croissante des informations recueillies par les détecteurs de nouvelle génération et leur croisement dans une perspective multicapteur, multirésolution et multispectrale recquiert de pouvoir proposer des solutions performantes pour construire les chaines de traitement nécessaires et gagner ainsi en efficacité dans l'analyse de l'information.
Christian Surace	LAM-OAMP	Responsable du département d'informatique scientifique, je cherche à optimiser les réalisations faites dans le cadre des développements logiciels du laboratoires. - Codage "container/composants/interfaces - Gestion de modules cohérents - Optimisaiton codage - interface VO Il est pour moi intéressant de mettre en place une architecture Workflow pour une utilisation optimale des modules et des Web Services qui seront disponibles.
Marc Wenger	Observatoire de Strasbourg-CDS

Suite du CR en cours de rédaction

3. Discussion

Definition du Workflow :

• Framework d'enchainement de taches (ASTROGRID)/ INRIA SOPHIA - Logiciel de sélection d'outils et de gestion (Framework - OPALE)
• ou Enchainement de tâches.
• ou Cas d'utilisation et reflexion plus que réalisation et framework

• Un ensemblde de taches délocalisés, avec une automatisation
• Intelligence dans les choix des algorithmes
• Controle du flux

Questions

• Q?: workflow vs pipeline? quelles différences
• Q?: Quels buts scientifiques
• Q?: inclure les grilles de calculs
• Q?: benchmarks entre différents codes
• Q?: definir input params, output params

4.présentations

Presentation Astrogrid (Thomas Boch, CDS)

• Architecture: Portal, Registry, Jes, MySpace, Command-line CEA, Datacenter CEA
• Astrogrid Glossary:
  • • Portal...
    • Workbench: Java App w/same functionality and programmatic access
    • CEA: Common Execution Architecture
    • JES: Job Execution System
    • MySpace: espace de stockage distribue
    • Flow: a set of parallel (cf presentation)
    • ACR: Astronomical Client Runtime
    • Groovy: a script language, super-set of Java
    • '''sucre syntaxique''' to easy certain operations
    • used as a glue in workflow
• Creation and visualisation of an Astrogrid workflow: demo of TimeMovieMaker
• Portal: Graphical layer but limited interaction -> Workbench
• [Low-level description wo/high level definition lang]
• [Proprietary interface requiring high level expertise with Astrogrid libraries (CEA)]

• Q&A:
  1. AS: Changer le nom du fichier de sortie? TB: Manuellement dans la description du workflow (.wf file)
  2. CS: pas de possibilité d'intervenir sur le WorkFlow ? TB : non
  3. CS?: possiblité d'encapsuler les programmes (RS: oui voir EUROVO Tutorial)
  4. CS: pas de possibilité d'utiliser des prog sur son ordi. Astrogrid framework ne peut se connecter à un ordinateur local sans installation préalable de CEA (expertise nécessaire).

Workflow au CDS (AÏDA, JLOW, ...) (A. Schaaff et Jean-Julien Claudon)

(http://www.jgraph.com)

• AIDA: Astronomical Image processing Distribution Architecture - AIDA : Logiciel de traitement graphique de Workflow - Basé sur JGraph
• Un groupe de reflexion interne pour préparer les use-cases impliquant les services CDS (Simbad, Aladin, VizieR)
• Development utilisant JLOW Java Libraries fOr Workflow - inclus dans VOTech, au CDS (stagiaire+vacations), souetenu par l'Action Masses de Donnees en Astronomie
• Client: basé sur of JGraph, serialization XML
• JLOW : librairie de visualisation de Workflow
• AIDA Web Interface, Methodes d'accès aux clusters/grids
• complémentaire d' AstroGrid etc. * Prochaines étapes :
• montée en charge
• authentification
• VOStore
• implémentation d'AIDA sur des possibilités de traitements d'images.
• Etoffer les cas d'utilisation et services

Demo d' AIDA v0.1 (Jean-Julien Claudon)

* The tools browser is used to access a family of tasks * The tasks list is retrieved from the AIDA server * Demo of SegMarsiaa1: segmentation of a multiband image

• Input: Fill-in 3 r,g,i images to segment, number of classes, max nb of iterations
• Display with ImageMagick
• Output: segmentation map, execution statistics * Demo of passbool. Visualization of workspace * Q&As
  1. Possbilité d'ajouter des serveurs locaux
  2. Possibilté de choisir plusieurs images d'entrées de certaines taches.
  3. Création d'un Workflow.
  4. possibilité d'interrompre pour visulaiser ?? pas encore.
  5. wrapping of existing code ?? oui mais pas encore trivial , la connaissance minimale de l'interface est nécessaire
  6. Control loops/boucle de controle ?? Not yet/ce n'est pas encore le cass mais pourrait être une évolution.
  7. possibilité de cible d'exécution ?? Execution target: link with Resource Planning tools ?? Not yet
  8. debug ?? gestion erreur compliquée/Crash Recovery on workflow server ?
  9. kill d'une tache ?? necessite l'identification d'une tache, ce n'est pas encore le cas.
  10. Choices for visualization of symbols and links A) chosen formalism from existing tools, but lacking inputs

WEBCOM-G (CS)

Framework from Galway (Irland part of VO)

* Advantages

• Can do Parallelization and wait for pending task
• Constraint: one input/one output per task

* Q&As

1. 1. Possibilité d'interrompre pour visulaiser ?? oui
   2. Wrapping of existing code ?? oui mais pas encore trivial , la connaissance minimale de l'interface est nécessaire
   3. Control loops/boucle de controle ?? oui
   4. Possibilité de cible d'exécution ?? oui
   5. Debug/gestion erreur/Crash Recovery on workflow server ? oui
   6. Tuer une tache en cours ?? ??

FASE: Future Astronomical Software Environment (CS)

• Convergence VO and new software
• Definition of standards for next development environments
• A long term project, useful for its specifications

Workflow with RHESSI (André Csillaghy, HES de la Suisse du N-O)

• Goal: combine interactive tools (IDL) to distributed systems to fill a gap.
• Approach : bring newer projects into a Web-based tool
• For missions: TBC
• Stateful classes
• A series of WS ''ochestrated'' with JOpera
• Distribution
• Delegation
• Responsability of integration?
• Conclusion: associating a collaborative framework to the grid via WS

* Q&As

1. 1. Minimaliser les transferts de données.
   2. Chaque boite peut être configurée (WSDL, Web Services)
   3. futur d'IDL ?? passage à Python pour les projets futurs.
   4. Délégation vers la grille ??? pas tout de suite, mais prévue
   5. Sauvegarde des données ..??
   6. '''State'''

5. Discussion

* Actions?

• • JJG) Tutorial of AIDA?
  • All) Science use cases * ES: provide 2-3 incremental test-cases - end of 12/05? * PP: a workflow associate chimical element to a spectrum * ML: WF for comparison synthetic model and observation * PP: Pegase HR avail. as SSA (format=meta) * WEBCOM-G (Galway, collaboration@LAM for testing) and AIDA - convergence? - end of 12/05?
  • ??) Create sub Working Groups?

* Communication Tools

• • We are using the VO-France Twiki
  • Possibly Mailing lists or use Notification feature of Twiki instead

* Main Themes (CS)

• • Coordination
  • Patterns
  • Requirements
  • Parameters - using Characterization and UCDs
  • Granularity
  • ML: Model Characterization completed with UCD = semantic desc.
  • PP: Data Model after processing: cannot use the Observation Data Model but its prerequisites
  • ES: Characterization of a smoothed image

Lessons learnt from previous projects (RS)

Actions

Action	Title	Assigned to	Date
A1.1	Proposer un tutorial d'une encapsulation de programmes de WEB Services.	TBC	TBC
A1.2	Définition de cas d'utilsiation	N/A
A1.2.1	Imagerie1 ou 2 cas d'utilisation simple d'abord	ES	fin 2005
A1.2.2	Spectro 1 ou 2 cas d'utilisation	PP	fin 2005
A1.2.3	Comparaison entre spectre synthétique et spectre théorique	TBC	fin 2005
A1.2.4	UseCase model simple pour les modélisations	TBC	fin 2005
A1.3	Technique	TBC	N/A
A1.3.1	Intégrer les modifications de AIDA / Webcom-G / RHESSI / PEGASE	TBC	fin 2005
A1.3.2	mettre en place les API d'encapsulation	TBC	fin 2005?
A1.4	'''Tests implémentation'''	N/A	N/A
A1.4.1	AIDA et imagerie	TBC	TBC
A1.4.2	WebCom G et VO/Xcorrelation/GALEX	TBC	TBC
A1.4.3	MovieMaker	TBC	TBC
A1.5	'''Next meeting : Telecon'''	All attendees	'''Jeudi 12 janvier 14h00 1H00'''
A1.6	Environnement collaboratif : utiliser le TWIKI,Liste de diffusions: Workflow	TBD

Biblio/Weblio =

(RS)

• Decision Info No 650/17 Oct 2005, pp34-37
• Khoros now Accusoft http://www.khoral.com/
• Agilium
• INRIA-Sophia: OPALE from project Decision (Dervieux, Nguyen)
• BPEL - format of description of workflow used by Astrogrid (with own extensions)