IBM InfoSphere DataStage avance - Parallel Framework v11dot5

1: Introduction à l'architecture du framework parallèle
Décrire l'architecture de traitement parallèle
Décrire le parallélisme de pipeline et de partition
Décrire le rôle du fichier de configuration
Concevoir un travail qui crée des données de test robustes

2: Compiler et exécuter des tâches
Décrire les parties principales du fichier de configuration
Décrire le processus de compilation et l'OSH générés par le processus de compilation
Décrire le rôle et les parties principales du Score
Décrire le processus d'exécution du travail

3: Partitionner et collecter des données
Comprendre comment le partitionnement fonctionne dans le "frame"
Affichage des partitions dans le scénario
Sélection d'algorithmes de partitionnement
Générer des séquences de nombres (clés de substitution) dans un environnement partitionné et parallèle

4: Tri des données
Trier les données dans le cadre parallèle
Rechercher les tris insérés dans la partition
Réduire le nombre de tris insérées
Optimiser les travaux Fork-Join
Utiliser les étapes de tri pour déterminer la dernière ligne d'un groupe
Décrire la clé de tri et la logique de la clé de partition dans le cadre parallèle

5: Mise en mémoire tampon dans des travaux parallèles
Décrire comment la mise en mémoire tampon fonctionne dans les travaux parallèles
Ajuster les tampons dans les travaux parallèles
Éviter les conflits de buffer

6: Types de données de cadre parallèle
Décrire les ensembles de données virtuels
Décrire les schémas
Décrire les mappages et les conversions de type de données
Décrivez comment les données externes sont traitées
Gérer les NULL
Travailler avec des données complexes

7: Composants réutilisables
Créer un fichier de schéma
Lire un fichier séquentiel à l'aide d'un schéma
Décrire la propagation de colonne d'exécution (RCP)
Activer et désactiver RCP
Créer et utiliser des conteneurs partagés

8: Optimisation équilibrée
Activer la fonctionnalité d'optimisation équilibrée dans Designer
Décrire le flux de travail d'optimisation équilibrée
Énumérer les différentes options d'optimisation équilibrée.
Transférer le traitement de scène vers une source de données
Transférer le traitement de scène vers une cible de données
Optimiser un travail accédant au système de fichiers Hadoop HDFS
Comprendre les limites des optimisations équilibrées