1. Introduction (AndreSchaaff)

  • Point sur l'existence des services : registry, data access, computation
  • Définition du Workflow: coordination of services
  • Vers une suite de services coordonnés communiquant pour échanger des données
  • {CS, PP, ES, AS} ont initié le groupe dans un point de vue interopérabilité.
  • le groupe de travail a été accepté par OV France et financé par l'ASOV pour une initialisation des travaux.

2. Tour de table

Motivation des participants

Participant Laboratoire\Equipe Motivation
Thomas Boch Observatoire de Strasbourg-CDS Ingénieur en informatique au CDS, je participe notamment au développement du logiciel Aladin.
Dans le cadre du projet VO-TECH, je m'intéresse aux workflows et plus particulièrement aux liens entre workflows et outils de visualisation.
Loïc Chevallier Observatoire de Paris-Meudon/LUTH Chercheur postdoctorant au Centre d'Astrophysique Nicolas Copernic (CAMK, Varsovie, Pologne).
* Science : Etude des noyaux actifs de galaxies (AGN) :
-- J'ai besoin de spectres observés science-ready (déjà réduits) et le workflow permettrait d'automatiser une partie des tâches (typiquement la réduction de données observées brutes pour en former un spectre ou une image) sans perdre de temps à 1) apprendre les outils nécessaires, 2) réaliser plusieurs fois la même opération à partir de ces outils, 3) écrire des outils de reformatage des données car souvent plusieurs logiciels sont nécessaires pour arriver au résultat, et ils communiquent mal entre eux. Les outils existent (package logiciel développés pour des instruments) et notre expertise (étapes de traitement, outils personnels intermédiaires aux packages) pourrait être codée dans du workflow.
-- Possibilité de calculer de nouveaux modèles avec les codes TITAN et NOAR (temps de calcul >> 1h), notamment ces deux codes se complètent et un processus itératif est à mettre en place pour fournir le modèle (convergence de l'itération à tester).
-- Mise à disposition de modèles de nuages photoionisés (codes TITAN et NOAR) : grille de modèles.
-- Utilisation d'outils d'analyse des modèles en ligne (accès aux résultats plus facilement).
* Test de validation des méthodes numériques : benchmarks entres codes de photoionisation (codes TITAN+NOAR, XSTAR, Cloudy, etc.), entre méthodes de transfert de rayonnement (solutions exactes ARTY, méthodes ALI, etc.).
* Développement d'outils : inclusion automatisée de données atomiques dans notre code TITAN (recherche sur différentes bases de données, mise en place d'une chaîne de traitement pour l'ensemble des données nécessaires).
Jean-Julien Claudon Observatoire de Strasbourg-CDS Ingénieur d'étude au CDS dans le cadre de l'ACI MDA, je développe l'application Aïda qui intégre des outils de traitement d'images hétérogènes pour les mettre à disposition de façon uniforme, et permettre leur enchainement en workflow.
André Csillaghy HES de la Suisse du N-O  
Bernard Debray Obs. de Besançon Ingénieur à l'Observatoire de Besançon. A Besançon, est développé un modèle de notre Galaxie accessible sur le web et utilisé largement dans la communauté astronomique internationale. Cet outil doit être disponible en web service dans un avenir proche et nous souhaitons alors voir comment le workflow pourrait permettre de combiner l'utilisation du modèle avec celle d'autres outils du VO (simulations de galaxies, "télescope virtuel", ...) ou faciliter des utilisations répétées du modèle.
Pierre Didelon CEA Ingénieur de dévellopement au CEA/SAp, j'interviens sur des aspects informatiques dans divers projets du service au grés des besoins et des orientations. A chaque nouveau projet on a toujours besoin de chaines de traitement de données et on redéfinit à chaque fois absolument tout, dans un langage différent ou non. Je serait donc interéssé par tout dévellopement permettant une réutilisation de certaines parties, au moins la mise en place de l'enchainement de tâches, la gestion et le couplage de E/S... etc L'adoption d'une norme, d'un standard ou d'un MOU minimum permettrait sans doute d'éviter une répétition de tâches de bases, d'optimiser l'implementation, de partager les charges et les expériences. L'example de VOTable comme standard pour l'IVOA est encourageant dans cet optique.
Franck Le Petit LUTH Responsable du portail numérique de l'Observatoire de Paris. La mise en place des simulations numériques dans les OV nécessite que l'on puisse les coupler entre elles et avec d'autres applications. Aussi est-il dès à présent nécessaire de chercher à préparer les codes à entrer dans une architecture Workflow.
Mireille Louys CDS-LSIIT  
Nicolas Moreau Observatoire de Paris Ingénieur informatique au LERMA à l'observatoire de Paris, je travaille sur une base de données atomiques et moléculaires. L'arrivée prochaine du protocole SLAP (Simple Lines Access Protocol) développé au sein de l'IVOA va fournir un protocole d'interrogation et d'échange standardisés dans notre domaine. Il sera alors possible d'intégrer notre base de données au sein de workflows. C'est dans cette optique que je suis intéressé par leur fonctionnement et leur mise en oeuvre.
Anais Oberto Observatoire de Strasbourg-CDS Ingénieur développement, intéressée pour le développement de worflow entre différentes applications déjà en cours au sein même du service Simbad, mais également entre les différents services du CDS.
Philippe Prugniel CRAL-Galaxies  
Renaud Savalle LAM  
André Schaaff Observatoire de Strasbourg-CDS Je m'intéresse aux workflows au travers de plusieurs projets :
- MDA (ACI MD), suivi du développement de l'application AÏDA qui permet de créer des workflows d'applications (écrites en MATLAB, C++, etc.) de traitement d'images
- VOTech : j'ai encadré un stage qui avait pour sujet la création de librairies Java (elles sont intégrées dans AÏDA) pour la représentation graphique de workflows
- j'anime un groupe de travail interne au CDS dont la réflexion porte sur la définition de workflows mettant en oeuvre les services du CDS
Eric Slezak OCA Spécialiste dans l'analyse des images et des catalogues en astronomie, je cherche à valoriser les nombreux algorithmes et procédures que nous avons développés dans notre équipe pour différentes applications afin que cette expertise puisse bénéficier au plus grand nombre. La complexité croissante des informations recueillies par les détecteurs de nouvelle génération et leur croisement dans une perspective multicapteur, multirésolution et multispectrale recquiert de pouvoir proposer des solutions performantes pour construire les chaines de traitement nécessaires et gagner ainsi en efficacité dans l'analyse de l'information.
Christian Surace LAM-OAMP Responsable du département d'informatique scientifique, je cherche à optimiser les réalisations faites dans le cadre des développements logiciels du laboratoires.
- Codage "container/composants/interfaces
- Gestion de modules cohérents
- Optimisaiton codage
- interface VO
Il est pour moi intéressant de mettre en place une architecture Workflow pour une utilisation optimale des modules et des Web Services qui seront disponibles.
Marc Wenger Observatoire de Strasbourg-CDS  

Suite du CR en cours de rédaction

3. Discussion

Definition du Workflow :

  • Framework d'enchainement de taches (ASTROGRID)/ INRIA SOPHIA - Logiciel de sélection d'outils et de gestion (Framework - OPALE)
  • ou Enchainement de tâches.
  • ou Cas d'utilisation et reflexion plus que réalisation et framework

  • Un ensemblde de taches délocalisés, avec une automatisation
  • Intelligence dans les choix des algorithmes
  • Controle du flux

Questions

  • Q?: workflow vs pipeline? quelles différences
  • Q?: Quels buts scientifiques
  • Q?: inclure les grilles de calculs
  • Q?: benchmarks entre différents codes
  • Q?: definir input params, output params

4.présentations

Presentation Astrogrid (Thomas Boch, CDS)

  • Architecture: Portal, Registry, Jes, MySpace, Command-line CEA, Datacenter CEA
  • Astrogrid Glossary:
      • Portal...
      • Workbench: Java App w/same functionality and programmatic access
      • CEA: Common Execution Architecture
      • JES: Job Execution System
      • MySpace: espace de stockage distribue
      • Flow: a set of parallel (cf presentation)
      • ACR: Astronomical Client Runtime
      • Groovy: a script language, super-set of Java
      • '''sucre syntaxique''' to easy certain operations
      • used as a glue in workflow
  • Creation and visualisation of an Astrogrid workflow: demo of TimeMovieMaker
  • Portal: Graphical layer but limited interaction -> Workbench
  • [Low-level description wo/high level definition lang]
  • [Proprietary interface requiring high level expertise with Astrogrid libraries (CEA)]

  • Q&A:
    1. AS: Changer le nom du fichier de sortie? TB: Manuellement dans la description du workflow (.wf file)
    2. CS: pas de possibilité d'intervenir sur le WorkFlow ? TB : non
    3. CS?: possiblité d'encapsuler les programmes (RS: oui voir EUROVO Tutorial)
    4. CS: pas de possibilité d'utiliser des prog sur son ordi. Astrogrid framework ne peut se connecter à un ordinateur local sans installation préalable de CEA (expertise nécessaire).

Workflow au CDS (AÏDA, JLOW, ...) (A. Schaaff et Jean-Julien Claudon)

(http://www.jgraph.com)

  • AIDA: Astronomical Image processing Distribution Architecture - AIDA : Logiciel de traitement graphique de Workflow - Basé sur JGraph
  • Un groupe de reflexion interne pour préparer les use-cases impliquant les services CDS (Simbad, Aladin, VizieR)
  • Development utilisant JLOW Java Libraries fOr Workflow - inclus dans VOTech, au CDS (stagiaire+vacations), souetenu par l'Action Masses de Donnees en Astronomie
  • Client: basé sur of JGraph, serialization XML
  • JLOW : librairie de visualisation de Workflow
  • AIDA Web Interface, Methodes d'accès aux clusters/grids
  • complémentaire d' AstroGrid etc. * Prochaines étapes :
  • montée en charge
  • authentification
  • VOStore
  • implémentation d'AIDA sur des possibilités de traitements d'images.
  • Etoffer les cas d'utilisation et services

Demo d' AIDA v0.1 (Jean-Julien Claudon)

* The tools browser is used to access a family of tasks * The tasks list is retrieved from the AIDA server * Demo of SegMarsiaa1: segmentation of a multiband image
  • Input: Fill-in 3 r,g,i images to segment, number of classes, max nb of iterations
  • Display with ImageMagick
  • Output: segmentation map, execution statistics * Demo of passbool. Visualization of workspace * Q&As
    1. Possbilité d'ajouter des serveurs locaux
    2. Possibilté de choisir plusieurs images d'entrées de certaines taches.
    3. Création d'un Workflow.
    4. possibilité d'interrompre pour visulaiser ?? pas encore.
    5. wrapping of existing code ?? oui mais pas encore trivial , la connaissance minimale de l'interface est nécessaire
    6. Control loops/boucle de controle ?? Not yet/ce n'est pas encore le cass mais pourrait être une évolution.
    7. possibilité de cible d'exécution ?? Execution target: link with Resource Planning tools ?? Not yet
    8. debug ?? gestion erreur compliquée/Crash Recovery on workflow server ?
    9. kill d'une tache ?? necessite l'identification d'une tache, ce n'est pas encore le cas.
    10. Choices for visualization of symbols and links A) chosen formalism from existing tools, but lacking inputs

WEBCOM-G (CS)

Framework from Galway (Irland part of VO)

* Advantages

  • Can do Parallelization and wait for pending task
  • Constraint: one input/one output per task

* Q&As

    1. Possibilité d'interrompre pour visulaiser ?? oui
    2. Wrapping of existing code ?? oui mais pas encore trivial , la connaissance minimale de l'interface est nécessaire
    3. Control loops/boucle de controle ?? oui
    4. Possibilité de cible d'exécution ?? oui
    5. Debug/gestion erreur/Crash Recovery on workflow server ? oui
    6. Tuer une tache en cours ?? ??

FASE: Future Astronomical Software Environment (CS)

  • Convergence VO and new software
  • Definition of standards for next development environments
  • A long term project, useful for its specifications

Workflow with RHESSI (André Csillaghy, HES de la Suisse du N-O)

  • Goal: combine interactive tools (IDL) to distributed systems to fill a gap.
  • Approach : bring newer projects into a Web-based tool
  • For missions: TBC
  • Stateful classes
  • A series of WS ''ochestrated'' with JOpera
  • Distribution
  • Delegation
  • Responsability of integration?
  • Conclusion: associating a collaborative framework to the grid via WS

* Q&As

    1. Minimaliser les transferts de données.
    2. Chaque boite peut être configurée (WSDL, Web Services)
    3. futur d'IDL ?? passage à Python pour les projets futurs.
    4. Délégation vers la grille ??? pas tout de suite, mais prévue
    5. Sauvegarde des données ..??
    6. '''State'''

5. Discussion

* Actions?

    • JJG) Tutorial of AIDA?
    • All) Science use cases * ES: provide 2-3 incremental test-cases - end of 12/05? * PP: a workflow associate chimical element to a spectrum * ML: WF for comparison synthetic model and observation * PP: Pegase HR avail. as SSA (format=meta) * WEBCOM-G (Galway, collaboration@LAM for testing) and AIDA - convergence? - end of 12/05?
    • ??) Create sub Working Groups?

* Communication Tools

    • We are using the VO-France Twiki
    • Possibly Mailing lists or use Notification feature of Twiki instead

* Main Themes (CS)

    • Coordination
    • Patterns
    • Requirements
    • Parameters - using Characterization and UCDs
    • Granularity
    • ML: Model Characterization completed with UCD = semantic desc.
    • PP: Data Model after processing: cannot use the Observation Data Model but its prerequisites
    • ES: Characterization of a smoothed image

Lessons learnt from previous projects (RS)

Actions

Action TitleSorted ascending Assigned to Date
A1.5 '''Next meeting : Telecon''' All attendees '''Jeudi 12 janvier 14h00 1H00'''
A1.4 '''Tests implémentation''' N/A N/A
A1.4.1 AIDA et imagerie TBC TBC
A1.2.3 Comparaison entre spectre synthétique et spectre théorique TBC fin 2005
A1.2 Définition de cas d'utilsiation N/A
A1.6 Environnement collaboratif : utiliser le TWIKI,Liste de diffusions: Workflow TBD
A1.2.1 Imagerie1 ou 2 cas d'utilisation simple d'abord ES fin 2005
A1.3.1 Intégrer les modifications de AIDA / Webcom-G / RHESSI / PEGASE TBC fin 2005
A1.3.2 mettre en place les API d'encapsulation TBC fin 2005?
A1.4.3 MovieMaker TBC TBC
A1.1 Proposer un tutorial d'une encapsulation de programmes de WEB Services. TBC TBC
A1.2.2 Spectro 1 ou 2 cas d'utilisation PP fin 2005
A1.3 Technique TBC N/A
A1.2.4 UseCase model simple pour les modélisations TBC fin 2005
A1.4.2 WebCom G et VO/Xcorrelation/GALEX TBC TBC

Biblio/Weblio =

(RS)
  • Decision Info No 650/17 Oct 2005, pp34-37
  • Khoros now Accusoft http://www.khoral.com/
  • Agilium
  • INRIA-Sophia: OPALE from project Decision (Dervieux, Nguyen)
  • BPEL - format of description of workflow used by Astrogrid (with own extensions)
Topic revision: r1 - 2008-10-10 - TWikiAdminUser
 
This site is powered by the TWiki collaboration platform Powered by PerlCopyright © 2008-2019 by the contributing authors. All material on this collaboration platform is the property of the contributing authors.
Ideas, requests, problems regarding TWiki? Send feedback