Interroger et afficher les entrées de journal

Ce document explique comment interroger, afficher et analyser les entrées de journal à l'aide de la console Google Cloud . Deux interfaces sont à votre disposition : l'explorateur de journaux et l'analyse de journaux. Vous pouvez interroger, afficher et analyser les journaux avec les deux interfaces. Toutefois, elles utilisent des langages de requête différents et offrent des fonctionnalités différentes. Pour résoudre les problèmes et explorer les données de journaux, nous vous recommandons d'utiliser l'explorateur de journaux. Pour générer des insights et des tendances, nous vous recommandons d'utiliser Log Analytics. Vous pouvez interroger vos journaux et enregistrer vos requêtes en exécutant des commandes de l'API Logging. Vous pouvez également interroger vos journaux à l'aide de la Google Cloud CLI.

Explorateur de journaux

L'explorateur de journaux est conçu pour vous aider à résoudre les problèmes et à analyser les performances de vos services et applications. Par exemple, un histogramme affiche le taux d'erreurs. Si vous constatez un pic d'erreurs ou un événement intéressant, vous pouvez localiser et afficher les entrées de journal correspondantes. Lorsqu'une entrée de journal est associée à un groupe d'erreurs, elle est annotée avec un menu d'options qui vous permet d'accéder à plus d'informations sur le groupe d'erreurs.

Le même langage de requête est compatible avec l'API Cloud Logging, Google Cloud CLI et l'explorateur de journaux. Pour simplifier la création de requêtes lorsque vous utilisez l'explorateur de journaux, vous pouvez créer des requêtes à l'aide de menus, en saisissant du texte et, dans certains cas, en utilisant les options incluses dans l'affichage d'une entrée de journal individuelle.

L'explorateur de journaux ne prend pas en charge les opérations d'agrégation, comme le décompte du nombre d'entrées de journal contenant un modèle spécifique. Pour effectuer des opérations d'agrégation, activez l'analyse sur le bucket de journaux, puis utilisez l'Analyse de journaux.

Pour en savoir plus sur la recherche et l'affichage des journaux avec l'explorateur de journaux, consultez Afficher les journaux à l'aide de l'explorateur de journaux.

Analyse de journaux

L'Analyse de journaux vous permet d'exécuter des requêtes qui analysent vos données de journaux. Vous pouvez ensuite afficher ou représenter les résultats de la requête sous forme de graphique. Les graphiques vous permettent d'identifier les tendances et les schémas dans vos journaux au fil du temps. La capture d'écran suivante illustre les fonctionnalités de création de graphiques dans Log Analytics :

Interface utilisateur pour l'Analyse de journaux.

Par exemple, supposons que vous résolviez un problème et que vous souhaitiez connaître la latence moyenne des requêtes HTTP envoyées à une URL spécifique au fil du temps. Lorsqu'un bucket de journaux est mis à niveau pour utiliser l'analyse de journaux, vous pouvez écrire une requête SQL ou utiliser le générateur de requêtes pour interroger les journaux stockés dans votre bucket de journaux.

Ces requêtes SQL peuvent également inclure la syntaxe de canalisation. En regroupant et en agrégeant vos journaux, vous pouvez obtenir des insights sur vos données de journaux, ce qui peut vous aider à réduire le temps de dépannage.

L'analyse de journaux vous permet d'interroger des vues de journaux ou une vue d'analyse. Les vues de journaux ont un schéma fixe qui correspond à la structure de données LogEntry. Étant donné que le créateur d'une vue Analytics détermine le schéma, l'un des cas d'utilisation des vues Analytics consiste à transformer les données de journaux du format LogEntry en un format qui vous convient mieux.

Vous pouvez également utiliser BigQuery pour interroger vos données. Par exemple, supposons que vous souhaitiez utiliser BigQuery pour comparer les URL de vos journaux à un ensemble de données public d'URL malveillantes connues. Pour rendre vos données de journaux visibles dans BigQuery, mettez à niveau votre bucket pour utiliser l'analyse de journaux, puis créez un ensemble de données associé.

Vous pouvez continuer à résoudre les problèmes et à afficher les entrées de journal individuelles dans les buckets de journaux mis à niveau à l'aide de l'explorateur de journaux.

Restrictions

  • Pour mettre à niveau un bucket de journaux existant afin d'utiliser l'analyse de journaux, les restrictions suivantes s'appliquent :

    • Le bucket de journaux a été créé au niveau du projet Google Cloud .
    • Le bucket de journaux est déverrouillé, sauf s'il s'agit du bucket _Required.
    • Aucune mise à jour n'est en attente pour le bucket.

  • Les entrées de journal écrites avant la mise à niveau d'un bucket ne sont pas immédiatement disponibles. Toutefois, une fois l'opération de remplissage terminée, vous pouvez analyser ces entrées de journaux. Le processus de remplissage peut prendre plusieurs heures.

  • Vous ne pouvez pas utiliser la page Log Analytics pour interroger les vues de journaux lorsque des contrôles d'accès au niveau du champ sont configurés pour le bucket de journaux. Toutefois, vous pouvez envoyer des requêtes depuis la page Explorateur de journaux et interroger un ensemble de données BigQuery associé. Comme BigQuery ne respecte pas les contrôles d'accès au niveau des champs, si vous interrogez un ensemble de données associé, vous pouvez interroger tous les champs des entrées de journal.

  • Si vous interrogez plusieurs buckets de journaux configurés avec différentes clés Cloud KMS, la requête échoue, sauf si les contraintes suivantes sont respectées :

    • Les buckets de journaux se trouvent au même emplacement.
    • Un dossier ou une organisation qui est une ressource parente des buckets de journaux est configuré avec une clé par défaut.
    • La clé par défaut se trouve au même emplacement que les buckets de journaux.

    Lorsque les contraintes précédentes sont respectées, la clé Cloud KMS du parent chiffre toutes les données temporaires générées par une requête d'analyse de journaux.

  • Les entrées de journal en double ne sont pas supprimées avant l'exécution d'une requête. Ce comportement est différent de celui qui se produit lorsque vous interrogez des entrées de journal à l'aide de l'explorateur de journaux, qui supprime les entrées en double en comparant les champs "Nom du journal", "Horodatage" et "ID d'insertion". Pour en savoir plus, consultez Résoudre les problèmes : des entrées de journaux en double figurent dans les résultats de Log Analytics.

Tarifs

Cloud Logging ne facture pas le routage des journaux vers une destination compatible, mais la destination peut appliquer des frais. À l'exception du bucket de journaux _Required, Cloud Logging facture le streaming de journaux dans les buckets de journaux et le stockage au-delà de la période de conservation par défaut du bucket de journaux.

Cloud Logging ne facture pas la copie des journaux, la création de scopes de journaux ou de vues d'analyse, ni les requêtes émises sur les pages Explorateur de journaux ou Analyse de journaux.

Pour en savoir plus, consultez les documents suivants :

Aucun coût d'ingestion ni de stockage BigQuery ne s'applique lorsque vous mettez à niveau un bucket pour utiliser l'Analyse de journaux, puis que vous créez un ensemble de données associé. Lorsque vous créez un ensemble de données associé pour un bucket de journaux, vous n'ingérez pas vos données de journaux dans BigQuery. En revanche, vous bénéficiez d'un accès en lecture aux données de journaux stockées dans votre bucket de journaux via l'ensemble de données associé.

Des frais d'analyse BigQuery s'appliquent lorsque vous exécutez des requêtes SQL sur des ensembles de données associés BigQuery, y compris lorsque vous utilisez la page BigQuery Studio, l'API BigQuery et l'outil en ligne de commande BigQuery.

Blogs

Pour en savoir plus sur l'analyse de journaux, consultez les articles de blog suivants :

Étapes suivantes