Professional Documents
Culture Documents
Cette F.A.Q. a t ralise partir des connaissances de membres de Developpez.com en vue de rpondre des questions frquemment poses par les utilisateurs. Elle traite exclusivement des questions relatives Talend Open Studio. Nous esprons que cette F.A.Q. saura rpondre un maximum de vos questions. Nous vous souhaitons une bonne lecture. L'quipe de Developpez.com.
La FAQ Talend
1. 2. 3. 4.
Premier pas avec Talend (7) ..................................................................................................................................................... 4 Utilisation gnrale / Dveloppement de job (17) .................................................................................................................... 8 Gestion de projets / jobs (8) ....................................................................................................................................................14 Excution de job (7) ................................................................................................................................................................17
-3Les sources prsentes sur cette pages sont libres de droits, et vous pouvez les utiliser votre convenance. Par contre la page de prsentation de ces sources constitue une oeuvre intellectuelle protge par les droits d'auteurs. Copyright 2009 Developpez LLC. Tout droits rservs Developpez LLC. Aucune reproduction, mme partielle, ne peut tre faite de ce site et de l'ensemble de son contenu : textes, documents et images sans l'autorisation expresse de Developpez LLC. Sinon vous encourez selon la loi jusqu' 3 ans de prison et jusqu' 300 000 E de dommages et intrts.
http://business-intelligence.developpez.com/faq/talend/
La FAQ Talend
Sommaire > Premier pas avec Talend Comment bien dbuter avec Talend ?
Auteurs : jsd03 , Tout d'abord allez sur le site internet de Talend en vous rendant sur ces liens : Site officiel Tlchargement dernire version documentation, essentiel pour prendre en main la bte :) tutoriels officiels pour mettre en pratique les explications de la documentation ainsi que les tutoriels developpez.com
Lire la
-4Les sources prsentes sur cette pages sont libres de droits, et vous pouvez les utiliser votre convenance. Par contre la page de prsentation de ces sources constitue une oeuvre intellectuelle protge par les droits d'auteurs. Copyright 2009 Developpez LLC. Tout droits rservs Developpez LLC. Aucune reproduction, mme partielle, ne peut tre faite de ce site et de l'ensemble de son contenu : textes, documents et images sans l'autorisation expresse de Developpez LLC. Sinon vous encourez selon la loi jusqu' 3 ans de prison et jusqu' 300 000 E de dommages et intrts.
http://business-intelligence.developpez.com/faq/talend/
La FAQ Talend
Exemple :
+-workspace +--projet1 +---businessProcess (les Business Models) +---code (les Routines) +---configuration (les fichiers de configuration) +---context (les contextes) +---documentations (les documentations crs dans les jobs) +---images (les images des tMap par exemple) +---joblets (les joblets pour les version TIS) +---metadata (les metadata) +---process (les jobs) +---sqlPatterns (les patterns sql) +---temp (les fichiers temporaires) +-- projet2 +---businessProcess +---code +---...
Voici la liste des fichiers pour un projet Talend : Fichiers Java gnrs pour un projet, rpertoire : workspace\.Java\src\projet1 Fichiers Java gnrs pour un job, rpertoire : workspace\.Java\src\projet1\job1 Fichier spcifique talend pour un projet (fichier .item et .properties), rpertoire : workspace\projet1 Fichier spcifique un job (fichier .item et .properties), rpertoire : workspace\projet1\process\job1
Quelles sont les types de bases de donnes pouvant tre traites avec TOS ?
Auteurs : jsd03 , Avec la version 3.0.1, il est possible de faire des traitements avec un nombre impressionnant de bases de donnes savoir : AS400 Access DB Generic DB JDBC
-5Les sources prsentes sur cette pages sont libres de droits, et vous pouvez les utiliser votre convenance. Par contre la page de prsentation de ces sources constitue une oeuvre intellectuelle protge par les droits d'auteurs. Copyright 2009 Developpez LLC. Tout droits rservs Developpez LLC. Aucune reproduction, mme partielle, ne peut tre faite de ce site et de l'ensemble de son contenu : textes, documents et images sans l'autorisation expresse de Developpez LLC. Sinon vous encourez selon la loi jusqu' 3 ans de prison et jusqu' 300 000 E de dommages et intrts.
http://business-intelligence.developpez.com/faq/talend/
La FAQ Talend
DB2 FireBird Greenplum HSQLDb Informix Ingres Interbase JavaDB LDAP MS SQL Server MaxDB MySQL Netezza Oracle ParAccel PostgresPlus SQLite Sybase Teradata Vertica
Par contre il est bon de noter que certains types de base de donnes ont plus de composants que d'autres et permettent des traitements plus complets comme Oracle, MySQL et MS SQL Server.
-6Les sources prsentes sur cette pages sont libres de droits, et vous pouvez les utiliser votre convenance. Par contre la page de prsentation de ces sources constitue une oeuvre intellectuelle protge par les droits d'auteurs. Copyright 2009 Developpez LLC. Tout droits rservs Developpez LLC. Aucune reproduction, mme partielle, ne peut tre faite de ce site et de l'ensemble de son contenu : textes, documents et images sans l'autorisation expresse de Developpez LLC. Sinon vous encourez selon la loi jusqu' 3 ans de prison et jusqu' 300 000 E de dommages et intrts.
http://business-intelligence.developpez.com/faq/talend/
La FAQ Talend
Pour
installer
manuellement
un
composant,
tlchargez
le
l'adresse
suivante
http://www.talendforge.org/exchange/ puis dcompressez l'archive dans le dossier plugins \org.talend.designer.components.localprovider_X.X.X_rXXXXX (o XXX est la version de TOS que vous utilisez) N'oubliez pas de redmarrer Talend.
-7Les sources prsentes sur cette pages sont libres de droits, et vous pouvez les utiliser votre convenance. Par contre la page de prsentation de ces sources constitue une oeuvre intellectuelle protge par les droits d'auteurs. Copyright 2009 Developpez LLC. Tout droits rservs Developpez LLC. Aucune reproduction, mme partielle, ne peut tre faite de ce site et de l'ensemble de son contenu : textes, documents et images sans l'autorisation expresse de Developpez LLC. Sinon vous encourez selon la loi jusqu' 3 ans de prison et jusqu' 300 000 E de dommages et intrts.
http://business-intelligence.developpez.com/faq/talend/
La FAQ Talend
Sommaire > Utilisation gnrale / Dveloppement de job Comment crer et excuter une routine ?
Auteurs : Rgent , Tout d'abord pour crer une routine, il faut crer un nouveau fichier de Routine dans la partie "Code" en cliquant droit sur "Routine > Create routine" du volet de gauche. Ensuite dans le fichier cr, il suffit de faire comme si c'tait une classe java avec des mthodes statiques. Exemple :
/** * helloExample: retourn "hello" + message. * * * {talendTypes} String * * {Category} User Defined * * {param} string("developpez") input: la chaine de caractre afficher. * * {example} helloExemple("developpez") # Hello developpez. */ public static void helloExample(String message) { if (message == null) { message = "Talend"; } return "Hello " + message ; }
Comme vous pouvez le voir, il faut bien dfinir tous les paramtres d'entre avant entre les commentaires car sinon vous ne pourrez pas accder cette fonction. Ensuite aprs avoir enregistr cette nouvelle routine, pour l'utiliser, il suffit d'y faire appel de cette faon :
nomDeLaRoutine.helloExample("tout le monde")
On peut aussi retrouver ces routines dans la catgorie "user defined " des fonctions prsentes dans Talend.
-8Les sources prsentes sur cette pages sont libres de droits, et vous pouvez les utiliser votre convenance. Par contre la page de prsentation de ces sources constitue une oeuvre intellectuelle protge par les droits d'auteurs. Copyright 2009 Developpez LLC. Tout droits rservs Developpez LLC. Aucune reproduction, mme partielle, ne peut tre faite de ce site et de l'ensemble de son contenu : textes, documents et images sans l'autorisation expresse de Developpez LLC. Sinon vous encourez selon la loi jusqu' 3 ans de prison et jusqu' 300 000 E de dommages et intrts.
http://business-intelligence.developpez.com/faq/talend/
La FAQ Talend
Cela vous sera utile par exemple en cas de problme de conversion de type String vers Long, les "" ne sont pas considres comme gale 0, et il faut donc modifier la classe ParserUtils pour permettre cette conversion.
La FAQ Talend
context.NomVariableDeContexte
ou encore
context.getProperty("NomVariableDeContexte")
Suivant o vous faite appel votre variable de contexte, il faudra utiliser l'une ou l'autre mthode
Quelle est la diffrence entre "On Component OK" et "On subjob OK" ?
Auteurs : jsd03 , - On Component OK : si aucune erreur est survenue dans sur le composant d'o le lien est fait, la chane se poursuit - On subjob OK : si aucune erreur n'est survenue dans le groupe de composants (ou subjob) sur lequel le lien est fait. C'est dire le premier composant d'un groupe de composants (un groupe de composants est matrialis par un cadre gris qui regroupe les composants. D'ailleurs ce carr a un petit plus vert en haut droite pour rduire le groupe) la chane se continue.
- 10 Les sources prsentes sur cette pages sont libres de droits, et vous pouvez les utiliser votre convenance. Par contre la page de prsentation de ces sources constitue une oeuvre intellectuelle protge par les droits d'auteurs. Copyright 2009 Developpez LLC. Tout droits rservs Developpez LLC. Aucune reproduction, mme partielle, ne peut tre faite de ce site et de l'ensemble de son contenu : textes, documents et images sans l'autorisation expresse de Developpez LLC. Sinon vous encourez selon la loi jusqu' 3 ans de prison et jusqu' 300 000 E de dommages et intrts.
http://business-intelligence.developpez.com/faq/talend/
La FAQ Talend
La sortie "On subjob OK/KO" ne peut tre mise que sur le premier composant d'un subjob ou sur un composant unique (qui forme a lui seul un groupe)
Cela signifie que si mon champ est gal la chaine de caractre "forum developpez", le champ cible aura pour valeur "OK" sinon il aura pour valeur "KO". Pour une variable de type int/Interger
row1.monChamp == 2009 ? 1 : 0
Cela signifie que si mon champ est gal 2009, le champ cible aura pour valeur 1 sinon il aura pour valeur "KO". Ceci est trs utile dans un tMap pour donner une valeur un champ en sortie suivant les champs en entre.
Relational.ISNULL(row1.monChamp)?"nul":"pas nul"
Cette mthode peut tre couple avec la fonction equals pour vrifier si le champ n'est pas vide : Si le champ est de type String
- 11 Les sources prsentes sur cette pages sont libres de droits, et vous pouvez les utiliser votre convenance. Par contre la page de prsentation de ces sources constitue une oeuvre intellectuelle protge par les droits d'auteurs. Copyright 2009 Developpez LLC. Tout droits rservs Developpez LLC. Aucune reproduction, mme partielle, ne peut tre faite de ce site et de l'ensemble de son contenu : textes, documents et images sans l'autorisation expresse de Developpez LLC. Sinon vous encourez selon la loi jusqu' 3 ans de prison et jusqu' 300 000 E de dommages et intrts.
http://business-intelligence.developpez.com/faq/talend/
La FAQ Talend
Comment dfinir le type et la longueur des champs par dfaut pour les schmas de tous les jobs ?
Auteurs : jsd03 , Cliquez successivement sur "Window > preferences". Dans la fentre des prfrences Talend, cliquez sur "Talend > Specific Setting > Default Type and Length". Vous pourrez alors configurer le type et la longueur des champs par dfaut pour les schmas de tous les jobs de votre projet.
- 12 Les sources prsentes sur cette pages sont libres de droits, et vous pouvez les utiliser votre convenance. Par contre la page de prsentation de ces sources constitue une oeuvre intellectuelle protge par les droits d'auteurs. Copyright 2009 Developpez LLC. Tout droits rservs Developpez LLC. Aucune reproduction, mme partielle, ne peut tre faite de ce site et de l'ensemble de son contenu : textes, documents et images sans l'autorisation expresse de Developpez LLC. Sinon vous encourez selon la loi jusqu' 3 ans de prison et jusqu' 300 000 E de dommages et intrts.
http://business-intelligence.developpez.com/faq/talend/
La FAQ Talend
Mais en fait il n'en est rien, il faut en fait remplacer les back slash par des slash
"//serveur/folder/fileName.extension"
Exemple :
"//localhost/partage/monFichier.txt"
- 13 Les sources prsentes sur cette pages sont libres de droits, et vous pouvez les utiliser votre convenance. Par contre la page de prsentation de ces sources constitue une oeuvre intellectuelle protge par les droits d'auteurs. Copyright 2009 Developpez LLC. Tout droits rservs Developpez LLC. Aucune reproduction, mme partielle, ne peut tre faite de ce site et de l'ensemble de son contenu : textes, documents et images sans l'autorisation expresse de Developpez LLC. Sinon vous encourez selon la loi jusqu' 3 ans de prison et jusqu' 300 000 E de dommages et intrts.
http://business-intelligence.developpez.com/faq/talend/
La FAQ Talend
Sommaire > Gestion de projets / jobs Comment exporter des objets d'un projet ?
Auteurs : jsd03 , Cliquer droit sur Jobs Designs > Export Items. Ensuite on peut : soit exporter les objets du projet dans un dossier soit exporter les objets du job directement dans une archive.
Ensuite, il suffit de slectionner les objets exporter. Et cliquer sur le bouton [Finish].
- 14 Les sources prsentes sur cette pages sont libres de droits, et vous pouvez les utiliser votre convenance. Par contre la page de prsentation de ces sources constitue une oeuvre intellectuelle protge par les droits d'auteurs. Copyright 2009 Developpez LLC. Tout droits rservs Developpez LLC. Aucune reproduction, mme partielle, ne peut tre faite de ce site et de l'ensemble de son contenu : textes, documents et images sans l'autorisation expresse de Developpez LLC. Sinon vous encourez selon la loi jusqu' 3 ans de prison et jusqu' 300 000 E de dommages et intrts.
http://business-intelligence.developpez.com/faq/talend/
La FAQ Talend
Une fois la version change, vous ne pourrez plus diter une version prcdente du job mais uniquement la visualiser et l'excuter. Pour visualiser une version prcdente d'un job, il suffit d'ouvrir ce job, aller dans l'onglet du job puis dans la partie Version. Ici vous avez la liste des Versions cres. Double cliquez sur la version que vous souhaitez visualiser.
File system : cochez le projet exporter (vous pouvez personnaliser la slection en droulant l'arborescence du projet) slectionnez un dossier de sortie dans le champ "To directory" personnalisez l'export en slectionnant les options appropries.
- 15 Les sources prsentes sur cette pages sont libres de droits, et vous pouvez les utiliser votre convenance. Par contre la page de prsentation de ces sources constitue une oeuvre intellectuelle protge par les droits d'auteurs. Copyright 2009 Developpez LLC. Tout droits rservs Developpez LLC. Aucune reproduction, mme partielle, ne peut tre faite de ce site et de l'ensemble de son contenu : textes, documents et images sans l'autorisation expresse de Developpez LLC. Sinon vous encourez selon la loi jusqu' 3 ans de prison et jusqu' 300 000 E de dommages et intrts.
http://business-intelligence.developpez.com/faq/talend/
La FAQ Talend
Cliquez successivement sur "File > Import". Droulez l'arborescence "General", puis double cliquez sur "File system". Dans la fentre qui s'affiche slectionnez le dossier extrait dans le champ "From directory". Cochez le nom du dossier dans la liste pour tout importer (vous pouvez faire des imports personnaliss en ne slectionnant que les objets ncessaires). Slectionnez ensuite le dossier de destination en choisissant le nom du projet courant. Dcochez les deux fichiers .project et talend.project sinon le projet se nommera comme celui que vous avez export. Pour terminer, cochez l'option "Overwrite existing resources without warning" pour viter les prompts lors de l'import pour demander si on veut craser les objets dj prsents dont les routines, sqlpatern... Cliquez sur le bouton [Finish] pour lancer l'importer. Il ne vous reste plus qu' rafrachir votre projet et le tour est jou.
- 16 Les sources prsentes sur cette pages sont libres de droits, et vous pouvez les utiliser votre convenance. Par contre la page de prsentation de ces sources constitue une oeuvre intellectuelle protge par les droits d'auteurs. Copyright 2009 Developpez LLC. Tout droits rservs Developpez LLC. Aucune reproduction, mme partielle, ne peut tre faite de ce site et de l'ensemble de son contenu : textes, documents et images sans l'autorisation expresse de Developpez LLC. Sinon vous encourez selon la loi jusqu' 3 ans de prison et jusqu' 300 000 E de dommages et intrts.
http://business-intelligence.developpez.com/faq/talend/
La FAQ Talend
Ensuite, aprs avoir export votre script, ditez le fichier *.bat ou *.sh (suivant le systme d'exploitation sur lequel vous allez excuter le script) et rajoutez la suite de la ligne :
--context_param maVariable=maValeur
Comment viter les problmes de mmoire lors d'un lookup dans un tMap ?
Auteurs : jsd03 , Lors d'un traitement important de donnes dans un tMap avec un ou plusieurs lookup il convient de slectionner l'option "Store on disk" du lookup l'intrieur du tMap. Pour viter les problmes de mmoire (Java Heap Space). Pour cela cliquez sur le bouton qui ressemble un disque dur gris dans l'entre qui correspond aux lookup. Puis fermer le tMap en appuyant sur "OK". Maintenant au lieu de faire le traitement en mmoire, Talend le fera sur le disque en crant des fichiers temporaires. Dans l'onglet "Component" des proprits du tMap, il ne reste plus qu'a indiquer o seront crs les fichiers temporaires qui seront utiliss pour le traitement des donnes au moment du lookup.
- 17 Les sources prsentes sur cette pages sont libres de droits, et vous pouvez les utiliser votre convenance. Par contre la page de prsentation de ces sources constitue une oeuvre intellectuelle protge par les droits d'auteurs. Copyright 2009 Developpez LLC. Tout droits rservs Developpez LLC. Aucune reproduction, mme partielle, ne peut tre faite de ce site et de l'ensemble de son contenu : textes, documents et images sans l'autorisation expresse de Developpez LLC. Sinon vous encourez selon la loi jusqu' 3 ans de prison et jusqu' 300 000 E de dommages et intrts.
http://business-intelligence.developpez.com/faq/talend/
La FAQ Talend
1 2
Se rfrer au post prcdent : Comment viter les problmes de mmoire lors d'un lookup dans un tMap ? Editer les paramtres d'excution du job en local. Pour cela cliquez successivement sur Window > Preferences. Dans la fentre qui s'affiche, cliquez successivement, dans l'arborescence, sur Talend > Run/Debug. Ici, spcifiez une valeur de -Xmx suprieur. Par exemple -Xmx2048 Editer le fichier nomDuJob.sh ou nomDuJob.bat (suivant si vous excutez le job sur un environnement Unix ou Windows) aprs avoir export votre job en script et remplacez la valeur -Xmx1024 par -Xmx2048 par exemple.
- 18 Les sources prsentes sur cette pages sont libres de droits, et vous pouvez les utiliser votre convenance. Par contre la page de prsentation de ces sources constitue une oeuvre intellectuelle protge par les droits d'auteurs. Copyright 2009 Developpez LLC. Tout droits rservs Developpez LLC. Aucune reproduction, mme partielle, ne peut tre faite de ce site et de l'ensemble de son contenu : textes, documents et images sans l'autorisation expresse de Developpez LLC. Sinon vous encourez selon la loi jusqu' 3 ans de prison et jusqu' 300 000 E de dommages et intrts.
http://business-intelligence.developpez.com/faq/talend/
La FAQ Talend
- 19 Les sources prsentes sur cette pages sont libres de droits, et vous pouvez les utiliser votre convenance. Par contre la page de prsentation de ces sources constitue une oeuvre intellectuelle protge par les droits d'auteurs. Copyright 2009 Developpez LLC. Tout droits rservs Developpez LLC. Aucune reproduction, mme partielle, ne peut tre faite de ce site et de l'ensemble de son contenu : textes, documents et images sans l'autorisation expresse de Developpez LLC. Sinon vous encourez selon la loi jusqu' 3 ans de prison et jusqu' 300 000 E de dommages et intrts.
http://business-intelligence.developpez.com/faq/talend/