Présentation de l'interface utilisateur du générateur de jobs
Restez organisé à l'aide des collections
Enregistrez et classez les contenus selon vos préférences.
Le générateur de jobs est une interface utilisateur visuelle permettant de créer et d'exécuter des pipelines Dataflow dans la console Google Cloud , sans avoir à écrire de code.
L'image suivante montre des détails provenant de l'interface utilisateur du générateur de jobs. Dans cette image, l'utilisateur crée un pipeline pour lire les données depuis Pub/Sub et les écrire dans BigQuery :
Présentation
Le générateur de tâches prend en charge la lecture et l'écriture des types de données suivants :
Messages Pub/Sub
Données de table BigQuery
Fichiers CSV, JSON et texte dans Cloud Storage
Données de table PostgreSQL, MySQL, Oracle et SQL Server
Il est compatible avec les transformations de pipeline, y compris le filtrage, le mappage, SQL, group-by, join et explode (aplatissement de tableau).
Avec le générateur de jobs, vous pouvez :
Diffuser des données en streaming depuis Pub/Sub vers BigQuery avec des transformations et une agrégation par fenêtre
Écrire des données de Cloud Storage vers BigQuery
Utiliser la gestion des exceptions pour filtrer les données erronées (file d'attente de lettres mortes)
Manipuler ou agréger des données à l'aide de SQL avec la transformation SQL
Ajouter, modifier ou supprimer des champs de données avec des transformations de mappage
Planifier des jobs par lot récurrents
Le générateur de jobs peut également enregistrer les pipelines en tant que fichiers Apache Beam YAML et charger les définitions de pipeline à partir de fichiers Beam YAML. Cette fonctionnalité vous permet de concevoir votre pipeline dans le générateur de tâches, puis de stocker le fichier YAML dans Cloud Storage ou dans un dépôt de gestion des sources pour le réutiliser. Les définitions de job YAML peuvent également être utilisées pour lancer des jobs à l'aide de gcloud CLI.
Envisageons d'utiliser le générateur de tâches pour les cas d'utilisation suivants :
Vous souhaitez créer un pipeline rapidement sans écrire de code.
Vous souhaitez enregistrer un pipeline au format YAML pour le réutiliser.
Votre pipeline peut être exprimé à l'aide des sources, des récepteurs et des transformations compatibles.
L'exemple Word Count est un pipeline par lots qui lit du texte de Cloud Storage, segmente les lignes en mots individuels et compte le nombre de fois où chacun de ces mots apparaît.
Cliquez sur add_boxCréer un job à partir d'un modèle.
Dans le panneau latéral, cliquez sur editGénérateur de tâches.
Cliquez sur Charger des plansexpand_more.
Cliquez sur Nombre de mots. Le générateur de jobs est renseigné avec une représentation graphique du pipeline.
Pour chaque étape du pipeline, le générateur de jobs affiche une fiche qui spécifie les paramètres de configuration de cette étape. Par exemple, la première étape lit les fichiers texte à partir de Cloud Storage. L'emplacement des données sources est prérempli dans la zone Emplacement du texte.
Recherchez la fiche intitulée Nouveau récepteur. Vous devrez peut-être faire défiler la page.
Dans la zone Emplacement du texte, saisissez le préfixe du chemin d'accès Cloud Storage pour les fichiers texte de sortie.
Cliquez sur Run Job (Exécuter la tâche). Le générateur de jobs crée un job Dataflow, puis accède au graphique de job. Au démarrage du job, le graphique de job affiche une représentation graphique du pipeline. Cette représentation graphique est semblable à celle affichée dans le générateur de jobs. À chaque étape du pipeline, l'état est mis à jour dans le graphique de job.
Le panneau Informations sur le job affiche l'état général du job. Si le job se termine correctement, le champ État du job est défini sur Succeeded.
Sauf indication contraire, le contenu de cette page est régi par une licence Creative Commons Attribution 4.0, et les échantillons de code sont régis par une licence Apache 2.0. Pour en savoir plus, consultez les Règles du site Google Developers. Java est une marque déposée d'Oracle et/ou de ses sociétés affiliées.
Dernière mise à jour le 2025/09/04 (UTC).
[[["Facile à comprendre","easyToUnderstand","thumb-up"],["J'ai pu résoudre mon problème","solvedMyProblem","thumb-up"],["Autre","otherUp","thumb-up"]],[["Difficile à comprendre","hardToUnderstand","thumb-down"],["Informations ou exemple de code incorrects","incorrectInformationOrSampleCode","thumb-down"],["Il n'y a pas l'information/les exemples dont j'ai besoin","missingTheInformationSamplesINeed","thumb-down"],["Problème de traduction","translationIssue","thumb-down"],["Autre","otherDown","thumb-down"]],["Dernière mise à jour le 2025/09/04 (UTC)."],[[["\u003cp\u003eThe Job Builder is a visual, code-free UI in the Google Cloud console for building and running Dataflow pipelines.\u003c/p\u003e\n"],["\u003cp\u003eThe Job Builder supports various data sources (Pub/Sub, BigQuery, Cloud Storage files), sinks, and transforms (filter, join, map, group-by, explode).\u003c/p\u003e\n"],["\u003cp\u003ePipelines built in the Job Builder can be saved as Apache Beam YAML files for reuse, storage, or modification.\u003c/p\u003e\n"],["\u003cp\u003eUsers can validate their pipelines for syntax errors before launching using the built-in validation feature, which will look for issues with Python filters or SQL expressions.\u003c/p\u003e\n"],["\u003cp\u003eUsers can create new batch or streaming pipelines, adding sources, transforms and sinks as desired, then run or save it for later.\u003c/p\u003e\n"]]],[],null,["# Job builder UI overview\n\nThe job builder is a visual UI for building and running Dataflow\npipelines in the Google Cloud console, without writing code.\n\nThe following image shows a detail from the job builder UI. In this image, the\nuser is creating a pipeline to read from Pub/Sub to BigQuery:\n\nOverview\n--------\n\nThe job builder supports reading and writing the following types of data:\n\n- Pub/Sub messages\n- BigQuery table data\n- CSV files, JSON files, and text files in Cloud Storage\n- PostgreSQL, MySQL, Oracle, and SQL Server table data\n\nIt supports pipeline transforms including filter, map, SQL, group-by, join, and explode (array flatten).\n\nWith the job builder you can:\n\n- Stream from Pub/Sub to BigQuery with transforms and windowed aggregation\n- Write data from Cloud Storage to BigQuery\n- Use error handling to filter erroneous data (dead-letter queue)\n- Manipulate or aggregate data using SQL with the SQL transform\n- Add, modify, or drop fields from data with mapping transforms\n- Schedule recurring batch jobs\n\nThe job builder can also save pipelines as\n[Apache Beam YAML](https://beam.apache.org/documentation/sdks/yaml/)\nfiles and load pipeline definitions from Beam YAML files. By using this feature, you can design your pipeline in the job builder\nand then store the YAML file in Cloud Storage or a source control repository\nfor reuse. YAML job definitions can also be used to launch jobs using the gcloud CLI.\n\nConsider the job builder for the following use cases:\n\n- You want to build a pipeline quickly without writing code.\n- You want to save a pipeline to YAML for re-use.\n- Your pipeline can be expressed using the supported sources, sinks, and transforms.\n- There is no [Google-provided template](/dataflow/docs/guides/templates/provided-templates) that matches your use case.\n\nRun a sample job\n----------------\n\nThe Word Count example is a batch pipeline that reads text from Cloud Storage, tokenizes the text lines into individual words, and performs a frequency count on each of the words.\n\nIf the Cloud Storage bucket is outside of your [service perimeter](/vpc-service-controls/docs/overview), create an [egress rule](/vpc-service-controls/docs/ingress-egress-rules) that allows access to the bucket.\n\nTo run the Word Count pipeline, follow these steps:\n\n1. Go to the **Jobs** page in the Google Cloud console.\n\n [Go to Jobs](https://console.cloud.google.com/dataflow)\n2. Click add_box**Create job from\n template**.\n\n3. In the side pane, click edit **Job builder**.\n\n4. Click **Load blueprints** expand_more.\n\n5. Click **Word Count**. The job builder is populated with a graphical\n representation of the pipeline.\n\n For each pipeline step, the job builder displays a card that specifies the\n configuration parameters for that step. For example, the first step reads\n text files from Cloud Storage. The location of the source data is\n pre-populated in the **Text location** box.\n\n1. Locate the card titled **New sink**. You might need to scroll.\n\n2. In the **Text location** box, enter the Cloud Storage location path prefix for the output text files.\n\n3. Click **Run job** . The job builder creates a Dataflow job and then\n navigates to the [job graph](/dataflow/docs/guides/job-graph). When the job\n starts, the job graph shows a graphical representation of the pipeline. This\n graph representation is similar to the one shown in the job builder. As each\n step of the pipeline runs, the status is updated in the job graph.\n\nThe **Job info** panel shows the overall status of the job. If the job completes\nsuccessfully, the **Job status** field updates to `Succeeded`.\n\nWhat's next\n-----------\n\n- [Use the Dataflow job monitoring interface](/dataflow/docs/guides/monitoring-overview).\n- [Create a custom job](/dataflow/docs/guides/job-builder-custom-job) in the job builder.\n- [Save and load](/dataflow/docs/guides/job-builder-save-load-yaml) YAML job definitions in the job builder.\n- Learn more about [Beam YAML](https://beam.apache.org/documentation/sdks/yaml/)."]]
