이 페이지는 Cloud Translation API를 통해 번역되었습니다.

플랫폼 로그를 사용하여 가져오기 주제 문제 해결

이 가이드에서는 Cloud Storage 가져오기 주제, Azure Event Hubs 가져오기 주제, Amazon MSK 가져오기 주제, Confluent Cloud 가져오기 주제 등 가져오기 주제를 사용할 때 플랫폼 로그를 사용하여 문제를 해결하는 방법을 설명합니다. Google Cloud

플랫폼 로그 정보

지원되는 Google Cloud 서비스는 해당 서비스의 작업과 관련된 이벤트와 활동을 캡처하는 자체 플랫폼 로그 집합을 생성합니다. 이러한 플랫폼 로그에는 성공적인 작업, 오류, 경고, 기타 주목할 만한 이벤트를 비롯해 서비스 내에서 발생하는 상황에 관한 세부정보가 포함됩니다.

플랫폼 로그는 Cloud Logging의 일부이며 동일한 기능을 공유합니다. 예를 들어 플랫폼 로그의 중요한 기능 목록은 다음과 같습니다.

로그는 일반적으로 추가 쿼리 및 필터링을 허용하는 JSON 객체로 구조화됩니다.
콘솔의 로깅을 사용하여 플랫폼 로그를 볼 수 있습니다.
플랫폼 로그를 Cloud Monitoring 및 기타 모니터링 도구와 통합하여 대시보드, 알림, 기타 모니터링 메커니즘을 만들 수도 있습니다.
로그 스토리지는 수집된 볼륨 및 보관 기간에 따라 비용이 발생합니다.

플랫폼 로그에 대한 자세한 내용은 Google Cloud Platform 로그를 참고하세요.

시작하기 전에

사용 중인 주제를 만들기 위한 기본 요건을 완료했는지 확인합니다.

필수 역할 및 권한

시작하기 전에 로깅에 액세스할 수 있는지 확인합니다. 로그 뷰어 (roles/logging.viewer) Identity and Access Management (IAM) 역할이 필요합니다. Logging 액세스에 대한 자세한 내용은 IAM으로 액세스 제어를 참고하세요.

다음은 IAM 액세스 권한을 확인하고 부여하는 방법에 대한 설명입니다.

현재 액세스 권한 보기를 통해 각 주 구성원의 액세스 권한을 확인합니다.
프로젝트의 관련 주 구성원에게 역할을 부여합니다.

가져오기 주제 수집 실패 정보

가져오기 주제에서 데이터가 성공적으로 수집되지 않는 문제가 발생할 수 있습니다.

Cloud Storage 가져오기 주제

Cloud Storage 가져오기 주제에서 데이터가 성공적으로 수집되지 않는 문제가 발생할 수 있습니다. 예를 들어 Cloud Storage 가져오기 주제를 사용하는 경우 Cloud Storage 객체 또는 객체의 일부를 수집하는 데 문제가 발생할 수 있습니다.

다음 목록은 플랫폼 로그를 생성하는 Cloud Storage 가져오기 주제에서 수집이 실패하는 이유를 설명합니다.

메일 크기
- 개별 메일은 10MB를 초과할 수 없습니다. 이러한 경우 전체 메시지가 건너뜁니다.
- Avro 또는 Pub/Sub Avro 형식을 사용하는 경우 Avro 블록은 16MB를 초과할 수 없습니다. 더 큰 Avro 블록은 건너뜁니다.
메시지 속성
- 메시지에는 최대 100개의 속성이 있을 수 있습니다. 메시지가 수집되면 추가 속성이 삭제됩니다.
- 속성 키는 256바이트를 초과할 수 없으며 값은 1,024바이트를 초과할 수 없습니다. 값이 최대 크기보다 크면 수집 시 전체 키-값 쌍이 메시지에서 삭제됩니다.
  
  메시지 키와 속성 사용에 관한 가이드라인에 대한 자세한 내용은 속성을 사용하여 메시지 게시를 참고하세요.
Avro 형식
- Avro 객체의 형식이 올바른지 확인합니다. 형식이 잘못되면 메시지가 수집되지 않습니다.
데이터 형식
- 지원되는 Avro 버전을 사용하고 있는지 확인합니다. 지원되지 않는 형식은 처리되지 않습니다.

Azure Event Hubs, Amazon MSK, Confluent Cloud 주제 가져오기

Azure Event Hubs, Amazon MSK, Confluent Cloud 가져오기 주제에서 데이터가 성공적으로 수집되지 않는 문제가 발생할 수 있습니다.

다음 목록은 플랫폼 로그를 생성하는 가져오기 주제에서 수집이 실패하는 이유를 설명합니다.

메일 크기
- 개별 메일은 10MB를 초과할 수 없습니다. 이러한 경우 전체 메시지가 건너뜁니다.
메시지 속성
- 메시지에는 최대 100개의 속성이 있을 수 있습니다. 메시지가 수집되면 추가 속성이 삭제됩니다.
- 속성 키는 256바이트를 초과할 수 없으며 값은 1,024바이트를 초과할 수 없습니다. 값이 최대 크기보다 크면 수집 시 전체 키-값 쌍이 메시지에서 삭제됩니다.
  
  메시지 키와 속성 사용에 관한 가이드라인에 대한 자세한 내용은 속성을 사용하여 메시지 게시를 참고하세요.

플랫폼 로그 사용 설정

플랫폼 로그는 가져오기 주제에 대해 기본적으로 사용 중지되어 있습니다. 가져오기 주제를 만들거나 업데이트할 때 플랫폼 로그를 사용 설정할 수 있습니다. 플랫폼 로그를 사용 중지하려면 가져오기 주제를 업데이트하세요.

가져오기 주제를 만드는 동안 플랫폼 로그 사용 설정

가져오기 주제를 만들 때 플랫폼 로그를 사용 설정하려면 다음 단계를 따르세요.

콘솔

Google Cloud 콘솔에서 주제 페이지로 이동합니다.

주제로 이동
주제 만들기를 클릭합니다.
주제 세부정보 페이지가 열립니다.
주제 ID 필드에 가져오기 주제의 ID를 입력합니다.
주제 이름 지정에 대한 자세한 내용은 이름 지정 가이드라인을 참고하세요.
기본 구독 추가를 선택합니다.
수집 사용 설정을 선택합니다.
다른 기본 설정은 유지합니다.
주제 만들기를 클릭합니다.

gcloud

In the Google Cloud console, activate Cloud Shell.

Activate Cloud Shell

At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.
플랫폼 로그를 사용 설정하려면 --ingestion-log-severity 플래그가 WARNING 또는 INFO, DEBUG와 같은 낮은 심각도 수준으로 설정되어 있는지 확인합니다. 사용 중인 주제에 대해 gcloud pubsub topics create 명령어를 실행합니다.
예를 들어 Cloud Storage 가져오기 주제에서 플랫폼 로그를 사용 설정하려면 gcloud pubsub topics create 명령어에 --ingestion-log-severity=WARNING 플래그를 포함합니다.
```
gcloud pubsub topics create TOPIC_ID \
    --cloud-storage-ingestion-bucket=BUCKET_NAME \
    --cloud-storage-ingestion-input-format=INPUT_FORMAT \
    --ingestion-log-severity=WARNING
```

가져오기 주제를 업데이트하는 동안 플랫폼 로그 사용 설정

가져오기 주제를 업데이트할 때 플랫폼 로그를 사용 설정하려면 다음을 실행하세요.

콘솔

Google Cloud 콘솔에서 주제 페이지로 이동합니다.

주제로 이동
사용 중인 가져오기 주제 (Cloud Storage 가져오기 주제, Azure Event Hubs 가져오기 주제, Amazon MSK 가져오기 주제 또는 Confluent Cloud 가져오기 주제)를 클릭합니다.
주제 세부정보 페이지에서 수정을 클릭합니다.
플랫폼 로그 사용 설정을 선택합니다.
업데이트를 클릭합니다.

gcloud

In the Google Cloud console, activate Cloud Shell.

Activate Cloud Shell

At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.
플랫폼 로그를 사용 설정하려면 수집-로그-심각도가 WARNING 또는 INFO, DEBUG와 같은 더 낮은 심각도 수준으로 설정되어 있는지 확인합니다. 사용 중인 주제의 설정을 지정하는 모든 가능한 플래그를 사용하여 gcloud pubsub topics update 명령어를 실행합니다.
- Cloud Storage 가져오기 주제
  - Cloud Storage 가져오기 주제의 설정을 잃지 않으려면 주제를 업데이트할 때마다 원래 create 명령어에 있던 동일한 값을 다시 포함해야 합니다. 일부를 생략하면 Pub/Sub에서 설정을 기본값으로 재설정합니다.
- Azure Event Hubs 가져오기 주제
- Amazon MSK 가져오기 주제
- Confluent Cloud 가져오기 주제
예를 들어 기존 Cloud Storage 가져오기 주제의 로그를 업데이트하려면 gcloud pubsub topics create 명령어에 --ingestion-log-severity=WARNING 플래그를 포함하고 Cloud Storage 가져오기 주제의 설정을 지정하는 가능한 모든 플래그 값을 포함합니다.
```
gcloud pubsub topics update TOPIC_ID \
    --cloud-storage-ingestion-bucket=BUCKET_NAME \
    --cloud-storage-ingestion-input-format=INPUT_FORMAT \
    --cloud-storage-ingestion-text-delimiter=TEXT_DELIMITER \
    --cloud-storage-ingestion-minimum-object-create-time=MINIMUM_OBJECT_CREATE_TIME \
    --cloud-storage-ingestion-match-glob=MATCH_GLOB
    --ingestion-log-severity=WARNING
```

플랫폼 로그 사용 중지

사용 중인 가져오기 주제의 플랫폼 로그를 사용 중지하려면 다음을 수행하세요.

콘솔

Google Cloud 콘솔에서 주제 페이지로 이동합니다.

주제로 이동
사용 중인 가져오기 주제 (Cloud Storage 가져오기 주제, Azure Event Hubs 가져오기 주제, Amazon MSK 가져오기 주제 또는 Confluent Cloud 가져오기 주제)를 클릭합니다.
주제 세부정보 페이지에서 수정을 클릭합니다.
플랫폼 로그 사용 설정을 선택 해제합니다.
업데이트를 클릭합니다.

gcloud

In the Google Cloud console, activate Cloud Shell.

Activate Cloud Shell

At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.
플랫폼 로그를 사용 중지하려면 수집-로그-심각도가 DISABLED로 설정되어 있는지 확인합니다. 사용 중인 주제의 설정을 지정하는 모든 가능한 플래그를 사용하여 gcloud pubsub topics update 명령어를 실행합니다.
- Cloud Storage 가져오기 주제
  - Cloud Storage 가져오기 주제의 설정을 잃지 않으려면 주제를 업데이트할 때마다 원래 create 명령어에 있던 동일한 값을 다시 포함해야 합니다. 일부를 누락하면 Pub/Sub에서 설정을 원래 기본값으로 재설정합니다.
- Azure Event Hubs 가져오기 주제
- Amazon MSK 가져오기 주제
- Confluent Cloud 가져오기 주제
예를 들어 기존 Cloud Storage 가져오기 주제에서 로그를 사용 중지하려면 gcloud pubsub topics update 명령어에 --ingestion-log-severity=DISABLED 플래그를 포함하고 Cloud Storage 가져오기 주제의 설정을 지정하는 가능한 모든 플래그를 포함합니다.
```
gcloud pubsub topics update TOPIC_ID \
    --cloud-storage-ingestion-bucket=BUCKET_NAME \
    --cloud-storage-ingestion-input-format=INPUT_FORMAT \
    --cloud-storage-ingestion-text-delimiter=TEXT_DELIMITER \
    --cloud-storage-ingestion-minimum-object-create-time=MINIMUM_OBJECT_CREATE_TIME \
    --cloud-storage-ingestion-match-glob=MATCH_GLOB
    --ingestion-log-severity=DISABLED
```

플랫폼 로그 보기

사용 중인 가져오기 주제의 플랫폼 로그를 보려면 다음 단계를 따르세요.

Google Cloud 콘솔

Google Cloud 콘솔에서 로그 탐색기로 이동합니다.

로그 탐색기로 이동
Google Cloud 프로젝트를 선택합니다.
필요한 경우 업그레이드 메뉴에서 기존 로그 뷰어를 로그 탐색기로 전환합니다.
쿼리 표시 전환을 클릭합니다.
사용 중인 가져오기 주제(Cloud Storage 가져오기 주제, Azure Event Hubs 가져오기 주제, Amazon MSK 가져오기 주제 또는 Confluent Cloud 가져오기 주제)의 항목만 표시되도록 로그를 필터링하려면 쿼리 필드에 "resource.type=pubsub_topic AND severity=WARNING"을 입력하고 쿼리 실행을 클릭합니다.
쿼리 결과 창에서 시간 수정을 클릭하여 결과를 반환할 기간을 변경합니다.

로그 탐색기 사용에 대한 자세한 내용은 로그 탐색기 사용을 참고하세요.

gcloud CLI

gcloud CLI를 사용하여 사용 중인 가져오기 주제의 플랫폼 로그를 검색하려면 gcloud logging read 명령어를 사용합니다.

사용 중인 가져오기 주제 (Cloud Storage 가져오기 주제, Azure Event Hubs 가져오기 주제, Amazon MSK 가져오기 주제 또는 Confluent Cloud 가져오기 주제)의 플랫폼 로그로 결과를 제한하도록 필터를 지정합니다.

gcloud logging read "resource.type=pubsub_topic AND severity=WARNING"

Cloud Logging API

entries.list Cloud Logging API 메서드를 사용합니다.

Cloud Storage 가져오기 주제의 플랫폼 로그만 포함되도록 결과를 필터링하려면 filter 필드를 사용합니다. 다음은 샘플 JSON 요청 객체입니다.

{
"resourceNames":
  [
    "projects/my-project-name"
  ],
  "orderBy": "timestamp desc",
  "filter": "resource.type=\"pubsub_topic\" AND severity=WARNING"
}

플랫폼 로그 형식 보기 및 이해

다음 섹션에는 샘플 플랫폼 로그가 포함되어 있으며 플랫폼 로그의 필드를 설명합니다.

모든 플랫폼 로그 관련 필드가 jsonPayload 객체 내에 포함되어 있습니다.

Cloud Storage

Avro 실패

{
  "insertId": "1xnzx8md4768",
  "jsonPayload": {
    "@type": "type.googleapis.com/google.pubsub.v1.IngestionFailureEvent",
    "cloudStorageFailure": {
      "objectGeneration": "1661148924738910",
      "bucket": "bucket_in_avro_format",
      "objectName": "counts/taxi-2022-08-15T06:10:00.000Z-2022-08-15T06:15:00.000Z-pane-0-last-00-of-01",
      "avroFailureReason": {}
    },
    "topic": "projects/my-project/topics/avro_bucket_topic",
    "errorMessage": "Unable to parse the header of the object. The object won't be ingested."
  },
  "resource": {
    "type": "pubsub_topic",
    "labels": {
      "project_id": "my-project",
      "topic_id": "avro_bucket_topic"
    }
  },
  "timestamp": "2024-10-07T18:55:45.650103193Z",
  "severity": "WARNING",
  "logName": "projects/my-project/logs/pubsub.googleapis.com%2Fingestion_failures",
  "receiveTimestamp": "2024-10-07T18:55:46.678221398Z"
}

로그 필드	설명
`insertId`	로그 항목의 고유 식별자입니다.
`jsonPayload.@type`	이벤트 유형을 식별합니다. 항상 `type.googleapis.com/google.pubsub.v1.IngestionFailureEvent`입니다.
`jsonPayload.cloudStorageFailure.objectGeneration`	Cloud Storage 객체의 생성 번호입니다.
`jsonPayload.cloudStorageFailure.bucket`	객체가 포함된 Cloud Storage 버킷입니다.
`jsonPayload.cloudStorageFailure.objectName`	Cloud Storage 객체의 이름입니다.
`jsonPayload.cloudStorageFailure.avroFailureReason`	더 구체적인 Avro 파싱 오류 세부정보를 포함합니다. 이 필드는 비워 둡니다.
`jsonPayload.topic`	메시지가 전송될 Pub/Sub 주제입니다.
`jsonPayload.errorMessage`	사람이 읽을 수 있는 오류 메시지입니다.
`resource.type`	리소스 유형입니다. 항상 `pubsub_topic`입니다.
`resource.labels.project_id`	Google Cloud 프로젝트 ID입니다.
`resource.labels.topic_id`	Pub/Sub 주제 ID입니다.
`timestamp`	로그 항목 생성 타임스탬프입니다.
`severity`	심각도 수준이 `WARNING`입니다.
`logName`	로그의 이름입니다.
`receiveTimestamp`	로그 항목 수신 타임스탬프입니다.

텍스트 실패

{
  "insertId": "1kc4puoag",
  "jsonPayload": {
    "@type": "type.googleapis.com/google.pubsub.v1.IngestionFailureEvent",
    "cloudStorageFailure": {
      "bucket": "bucket_in_text_format",
      "apiViolationReason": {},
      "objectName": "counts/taxi-2022-08-15T06:10:00.000Z-2022-08-15T06:15:00.000Z-pane-0-last-00-of-01",
      "objectGeneration": "1727990048026758"
    },
    "topic": "projects/my-project/topics/large_text_bucket_topic",
    "errorMessage": "The message has exceeded the maximum allowed size of 10000000 bytes. The message won't be published."
  },
  "resource": {
    "type": "pubsub_topic",
    "labels": {
      "topic_id": "large_text_bucket_topic",
      "project_id": "my-project"
    }
  },
  "timestamp": "2024-10-09T14:09:07.760488386Z",
  "severity": "WARNING",
  "logName": "projects/my-project/logs/pubsub.googleapis.com%2Fingestion_failures",
  "receiveTimestamp": "2024-10-09T14:09:08.483589656Z"
}

로그 필드	설명
`insertId`	로그 항목의 고유 식별자입니다.
`jsonPayload.@type`	이벤트 유형을 식별합니다. 항상 `type.googleapis.com/google.pubsub.v1.IngestionFailureEvent`입니다.
`jsonPayload.cloudStorageFailure.objectGeneration`	Cloud Storage 객체의 생성 번호입니다.
`jsonPayload.cloudStorageFailure.bucket`	객체가 포함된 Cloud Storage 버킷입니다.
`jsonPayload.cloudStorageFailure.objectName`	Cloud Storage 객체의 이름입니다.
`jsonPayload.cloudStorageFailure.apiViolationReason`	API 위반에 관한 세부정보를 포함합니다. 이 필드는 비워 둡니다.
`jsonPayload.topic`	Pub/Sub 주제입니다.
`jsonPayload.errorMessage`	사람이 읽을 수 있는 메시지입니다.
`resource.type`	리소스 유형, 항상 `pubsub_topic`입니다.
`resource.labels.project_id`	Google Cloud 프로젝트 ID입니다.
`resource.labels.topic_id`	Pub/Sub 주제 ID입니다.
`timestamp`	로그 항목 생성 타임스탬프입니다.
`severity`	심각도 수준이 `WARNING`입니다.
`logName`	로그의 이름입니다.
`receiveTimestamp`	Cloud Logging에서 로그 항목을 수신한 시간입니다.

Amazon MSK

API 위반

  {
  "insertId": "k3breb2q",
  "jsonPayload": {
    "@type": "type.googleapis.com/google.pubsub.v1.IngestionFailureEvent",
    "awsMskFailure": {
      "apiViolationReason": {},
      "clusterArn": "arn:aws:kafka:us-east-1:291552718126:cluster/cluster-ingestion/abb9faea-4070-4eb76-9c21-f98abca92eaf-2",
      "kafkaTopic": "msk-topic",
      "partitionId": "1",
      "offset": "11"
    },
    "errorMessage": "The value of an attribute in the message exceeded the maximum allowed size of 1024 bytes. Number of bytes in the value: 1025. Key: my header. Value: my very large value …",
    "topic": "projects/my-project/topics/msk-import-topic"
  },
  "resource": {
    "type": "pubsub_topic",
    "labels": {
      "topic_id": "msk-import-topic",
      "project_id": "my-project"
    }
  },
  "timestamp": "2025-02-03T16:18:14.693357960Z",
  "severity": "WARNING",
  "logName": "projects/my-project/logs/pubsub.googleapis.com%2Fingestion_failures",
  "receiveTimestamp": "2025-02-03T16:18:16.241643258Z"
}

로그 필드	설명
`insertId`	로그 항목의 고유 식별자입니다.
`jsonPayload.@type`	이벤트 유형을 식별합니다. 항상 `type.googleapis.com/google.pubsub.v1.IngestionFailureEvent`입니다.
`jsonPayload.awsMskFailure.clusterArn`	데이터를 수집하는 주제의 클러스터 ARN입니다.
`jsonPayload.awsMskFailure.kafkaTopic`	데이터를 수집하는 Kafka 주제의 이름입니다.
`jsonPayload.awsMskFailure.partitionId`	수집되지 않은 메시지가 포함된 파티션의 ID입니다.
`jsonPayload.awsMskFailure.offset`	수집되지 않은 메시지의 파티션 내 오프셋입니다.
`jsonPayload.awsMskFailure.apiViolationReason`	API 위반에 관한 세부정보를 포함합니다. 이 필드는 비워 둡니다.
`jsonPayload.topic`	Pub/Sub 주제입니다.
`jsonPayload.errorMessage`	사람이 읽을 수 있는 메시지입니다.
`resource.type`	리소스 유형, 항상 `pubsub_topic`입니다.
`resource.labels.project_id`	Google Cloud 프로젝트 ID입니다.
`resource.labels.topic_id`	Pub/Sub 주제 ID입니다.
`timestamp`	로그 항목 생성 타임스탬프입니다.
`severity`	심각도 수준이 `WARNING`입니다.
`logName`	로그의 이름입니다.
`receiveTimestamp`	Cloud Logging에서 로그 항목을 수신한 시간입니다.

Azure Event Hubs

API 위반

{
  "insertId": "i1fbqnb12",
  "jsonPayload": {
    "@type": "type.googleapis.com/google.pubsub.v1.IngestionFailureEvent",
    "azureEventHubsFailure": {
      "apiViolationReason": {},
      "namespace": "my-namespace",
      "eventHub": "my-event-hub",
      "partitionId": "1",
      "offset": "15"
    },
    "errorMessage": "The value of an attribute in the message exceeded the maximum allowed size of 1024 bytes. Number of bytes in the value: 1025. Key: my header. Value: my very large value …",
    "topic": "projects/my-project/topics/event-hubs-import-topic"
  },
  "resource": {
    "type": "pubsub_topic",
    "labels": {
      "topic_id": "event-hubs-import-topic",
      "project_id": "my-project"
    }
  },
  "timestamp": "2025-02-03T16:18:14.693357960Z",
  "severity": "WARNING",
  "logName": "projects/my-project/logs/pubsub.googleapis.com%2Fingestion_failures",
  "receiveTimestamp": "2025-02-03T14:05:12.338211450Z"
}

로그 필드	설명
`insertId`	로그 항목의 고유 식별자입니다.
`jsonPayload.@type`	이벤트 유형을 식별합니다. 항상 `type.googleapis.com/google.pubsub.v1.IngestionFailureEvent`입니다.
`jsonPayload.azureEventHubsFailure.namespace`	데이터를 수집하는 이벤트 허브가 포함된 네임스페이스입니다.
`jsonPayload.azureEventHubsFailure.eventHub`	데이터를 수집하는 이벤트 허브의 이름입니다.
`jsonPayload.azureEventHubsFailure.partitionId`	수집되지 않은 메시지가 포함된 파티션의 ID입니다.
`jsonPayload.azureEventHubsFailure.offset`	수집되지 않은 메시지의 파티션 내 오프셋입니다.
`jsonPayload.azureEventHubsFailure.apiViolationReason`	API 위반에 관한 세부정보를 포함합니다. 이 필드는 비워 둡니다.
`jsonPayload.topic`	Pub/Sub 주제입니다.
`jsonPayload.errorMessage`	사람이 읽을 수 있는 메시지입니다.
`resource.type`	리소스 유형, 항상 `pubsub_topic`입니다.
`resource.labels.project_id`	Google Cloud 프로젝트 ID입니다.
`resource.labels.topic_id`	Pub/Sub 주제 ID입니다.
`timestamp`	로그 항목 생성 타임스탬프입니다.
`severity`	심각도 수준이 `WARNING`입니다.
`logName`	로그의 이름입니다.
`receiveTimestamp`	Cloud Logging에서 로그 항목을 수신한 시간입니다.

Confluent Cloud

텍스트 실패

{
  "insertId": "i1fbqnb14",
  "jsonPayload": {
    "@type": "type.googleapis.com/google.pubsub.v1.IngestionFailureEvent",
    "confluentCloudFailure": {
      "apiViolationReason": {},
      "clusterId": "lma-1x18ae",
      "kafkaTopic": "confluent-topic",
      "partitionId": "1",
      "offset": "19"
    },
    "errorMessage": "The value of an attribute in the message exceeded the maximum allowed size of 1024 bytes. Number of bytes in the value: 1025. Key: my header. Value: my very large value …",
    "topic": "projects/my-project/topics/confluent-import-topic"
  },
  "resource": {
    "type": "pubsub_topic",
    "labels": {
      "topic_id": "confluent-import-topic",
      "project_id": "my-project"
    }
  },
  "timestamp": "2025-02-03T16:18:14.693357960Z",
  "severity": "WARNING",
  "logName": "projects/my-project/logs/pubsub.googleapis.com%2Fingestion_failures",
  "receiveTimestamp": "2025-02-03T17:03:11.428221440Z"
}

로그 필드	설명
`insertId`	로그 항목의 고유 식별자입니다.
`jsonPayload.@type`	이벤트 유형을 식별합니다. 항상 `type.googleapis.com/google.pubsub.v1.IngestionFailureEvent`입니다.
`jsonPayload.confluentCloudFailure.clusterId`	수집되는 주제가 포함된 클러스터 ID입니다.
`jsonPayload.confluentCloudFailure.kafkaTopic`	데이터를 수집하는 Kafka 주제의 이름입니다.
`jsonPayload.confluentCloudFailure.partitionId`	수집되지 않은 메시지가 포함된 파티션의 ID입니다.
`jsonPayload.confluentCloudFailure.offset`	수집되지 않은 메시지의 파티션 내 오프셋입니다.
`jsonPayload.confluentCloudFailure.apiViolationReason`	API 위반에 관한 세부정보를 포함합니다. 이 필드는 비워 둡니다.
`jsonPayload.topic`	Pub/Sub 주제입니다.
`jsonPayload.errorMessage`	사람이 읽을 수 있는 메시지입니다.
`resource.type`	리소스 유형, 항상 `pubsub_topic`입니다.
`resource.labels.project_id`	Google Cloud 프로젝트 ID입니다.
`resource.labels.topic_id`	Pub/Sub 주제 ID입니다.
`timestamp`	로그 항목 생성 타임스탬프입니다.
`severity`	심각도 수준이 `WARNING`입니다.
`logName`	로그의 이름입니다.
`receiveTimestamp`	Cloud Logging에서 로그 항목을 수신한 시간입니다.

Apache Kafka®는 미국 및/또는 다른 국가에서 사용되는 Apache Software Foundation 또는 해당 계열사의 등록 상표입니다.

플랫폼 로그를 사용하여 가져오기 주제 문제 해결 컬렉션을 사용해 정리하기 내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요.

플랫폼 로그 정보

시작하기 전에

필수 역할 및 권한

가져오기 주제 수집 실패 정보

Cloud Storage 가져오기 주제

Azure Event Hubs, Amazon MSK, Confluent Cloud 주제 가져오기

플랫폼 로그 사용 설정

가져오기 주제를 만드는 동안 플랫폼 로그 사용 설정

콘솔

gcloud

가져오기 주제를 업데이트하는 동안 플랫폼 로그 사용 설정

콘솔

gcloud

플랫폼 로그 사용 중지

콘솔

gcloud

플랫폼 로그 보기

Google Cloud 콘솔

gcloud CLI

Cloud Logging API

플랫폼 로그 형식 보기 및 이해

Cloud Storage

Avro 실패

텍스트 실패

Amazon MSK

API 위반

Azure Event Hubs

API 위반

Confluent Cloud

텍스트 실패

플랫폼 로그를 사용하여 가져오기 주제 문제 해결