Cloud Billing 데이터를 BigQuery로 내보내기

Cloud Billing을 BigQuery로 내보내면 자동으로 해당 날짜의 상세한 Google Cloud 결제 데이터(예: 사용량, 예상 비용, 가격 책정 데이터)를 지정한 BigQuery 데이터 세트로 내보낼 수 있습니다. 그런 다음 BigQuery에서 Cloud Billing 데이터에 액세스하여 세부 분석을 수행하거나 Looker Studio와 같은 도구를 사용하여 데이터를 시각화할 수 있습니다. 이 내보내기 방법을 사용하여 데이터를 JSON 파일로 내보낼 수도 있습니다.

타이밍이 중요합니다. 분석 요구에 맞게 보다 포괄적인Google Cloud 결제 데이터 세트에 액세스하려면 Cloud Billing 계정을 만들 때 동시에 BigQuery로 Cloud Billing 데이터 내보내기를 사용 설정하는 것이 좋습니다.

BigQuery로 결제 데이터 내보내기에 영향을 줄 수 있는 제한사항을 참조하세요.

다음 단계

비용을 효율적으로 관리 및 보고하는 것은 수십억 달러 규모의 기업 경영이나 소규모 가계 예산에서 모두 마찬가지로 재무 관리의 핵심 부분입니다.Google Cloud 비용 및 사용량에 대한 데이터에 기반한 의사결정은 이러한 의사결정에 필요한 데이터를 수집하는 것부터 시작합니다.

다음 작업에 대해 알아보려면 이 섹션의 가이드를 참조하세요.

• BigQuery로 Cloud Billing 데이터 내보내기 설정
• Cloud Billing 데이터 테이블 이해
• Cloud Billing 데이터 내보내기의 쿼리 예시 찾기

BigQuery로 Cloud Billing 데이터 내보내기 설정

Cloud Billing 데이터 수집을 시작하려면 BigQuery로 Cloud Billing 데이터 내보내기를 사용 설정해야 합니다.

설정 가이드는 BigQuery로 Cloud Billing 데이터 내보내기를 사용 설정하기 위한 권장사항과 자세한 안내를 제공합니다. 다음은 내보내기에 사용 설정할 수 있는 Cloud Billing 데이터 유형입니다.

• 표준 사용량 비용 데이터 - 계정 ID, 인보이스 날짜, 서비스, SKU, 프로젝트, 라벨, 위치, 비용, 사용량, 크레딧, 조정, 통화 등의 표준 Cloud Billing 계정 비용 사용량 정보를 포함합니다.

  표준 사용량 내보내기를 사용하여 비용 데이터의 광범위한 추세를 분석합니다.

• 상세 사용량 비용 데이터 - 자세한 Cloud Billing 계정 비용 사용량 정보를 포함합니다. 표준 사용량 비용 데이터의 모든 정보와 서비스 사용량을 생성하는 가상 머신 또는 SSD 등 리소스 수준의 비용 데이터를 포함합니다.

  상세 사용량 내보내기를 사용하여 리소스 수준의 비용을 분석하고 비용이 증가할 수 있는 특정 리소스를 식별합니다. 상세 사용량 내보내기에는 다음 제품에 대한 리소스 수준 정보가 포함됩니다.

  • Compute Engine
  • Google Kubernetes Engine(GKE)
  • Cloud Run 함수
  • Cloud Run

  GKE에 대한 정보를 보려면 상세 내보내기에서 비용 할당을 사용 설정합니다.

  추가 권장사항 및 제한사항은 상세 사용량 비용 데이터의 스키마를 참조하세요.

• (리셀러만 해당) 재결제 데이터 내보내기 - 파트너별 속성으로 주석이 추가된 모든 리셀러 결제 계정의 자세한 Cloud Billing 계정 비용 사용량 정보를 포함합니다.

  재결제 데이터 내보내기를 사용하여Google Cloud 고객의 결제 작업을 관리합니다. 최종 고객 비용을 발생시킬 수 있는 가격 재조정 구성에 대해 자세히 알아보세요.

• 가격 책정 데이터 - 계정 ID, 서비스, SKU, 제품, 지역 메타데이터, 가격 책정 단위, 통화, 집계, 등급과 같은 Cloud Billing 계정 가격 책정 정보가 포함됩니다.

  다음 방법으로도 Cloud Billing 계정 가격 책정 데이터를 가져올 수 있습니다.

  • Google Cloud 콘솔의 가격 책정 페이지 사용
  • Google Cloud Pricing API 사용

BigQuery를 사용하여 Cloud Billing 데이터를 저장하고 쿼리하면 최소한의 수수료가 발생합니다. 자세한 내용은 사용 비용을 참조하세요.

BigQuery로 결제 데이터 내보내기에 영향을 줄 수 있는 제한사항을 참조하세요.

Cloud Billing 데이터 테이블 이해

BigQuery로 Cloud Billing 내보내기를 사용 설정하면 Cloud Billing 데이터 테이블이 BigQuery 데이터 세트에 자동으로 생성됩니다.

내보낸 콘텐츠의 데이터 스키마를 이해하려면 BigQuery 데이터 세트의 각 테이블로 내보낸 Cloud Billing 데이터 콘텐츠에 대한 참조 정보를 확인하세요.

• 표준 사용량 비용 표
• 상세 사용량 비용 표
• 가격표

Cloud Billing 데이터의 쿼리 예시 찾기

SQL을 사용하여 Cloud Billing 데이터에서 쿼리를 실행하는 방법에 대한 도움말과 안내는 쿼리 예시를 참조하세요.

쿼리 예시 페이지에서 다음을 비롯한 다양한 SQL 예시를 확인할 수 있습니다.

• 인보이스의 총 비용 반환
• 라벨을 사용하여 데이터 쿼리
• 약정 사용 할인에 대한 데이터 반환
• 지정된 인보이스 대상 월에 프로젝트별 비용 및 크레딧 쿼리
• 가격 책정 데이터와 상세 사용량 비용 데이터 결합

사용 비용

BigQuery를 사용하여 결제 사용량 및 비용 데이터를 저장 및 분석하면 일반적으로 최소 수수료가 발생합니다.

• 지정된 데이터 세트에 데이터를 로드하는 것은 무료입니다. 이 작업은 BigQuery의 공유 리소스 풀을 활용하여 데이터를 일괄적으로 로드합니다.
• BigQuery를 사용하여 Cloud Billing 데이터를 내보내고 분석할 때 발생하는 비용은 스트리밍, 저장, 쿼리하는 데이터 양에 따라 달라집니다.
• 파티션에 데이터 로드하기, 파티션 복사, 파티션에서 데이터 내보내기를 포함하여 파티션을 나눈 테이블 작업 중 많은 작업이 무료입니다. 이러한 작업은 무료지만 BigQuery의 할당량 및 한도가 적용됩니다.

일반적으로 자세한 비용 내보내기를 쿼리하면 표준 내보내기 쿼리 보다 많은 비용이 발생합니다. 비용을 최적화하려면 표준 내보내기를 사용하여 비용 추세를 분석하고 세부정보 내보내기를 사용하여 리소스 수준에서 비용을 추적하고 비용을 발생시킬 수 있는 특정 리소스를 식별하는 것이 좋습니다.

발생 가능한 비용에 대한 자세한 내용은 예상되는 스토리지 및 쿼리 비용을 참조하세요.

BigQuery의 비용 최적화 권장사항에 대한 자세한 내용은 BigQuery의 비용 관리를 참조하세요.

자세한 가격은 BigQuery 가격 책정을 참조하세요.

제한사항

Cloud Billing 데이터를 BigQuery로 내보내려면 다음과 같은 제한사항이 적용됩니다.

• Cloud Billing 데이터에서 사용할 수 있는 BigQuery 데이터 세트 위치

  BigQuery 데이터 세트는 위치(멀티 리전 위치(EU 또는 미국) 또는 리전 위치)를 사용하도록 구성됩니다. 데이터 세트 위치는 생성될 때 설정됩니다. 데이터 세트가 생성된 후에는 위치를 변경할 수 없습니다.

  Cloud Billing 데이터 내보내기는 모든 멀티 리전 위치(EU 또는 미국)를 지원하지만 리전 위치의 하위 집합만 지원합니다. Cloud Billing 내보내기 설정을 구성할 때 지원되지 않는 리전 위치를 사용하도록 구성된 데이터 세트를 만들거나 선택하는 경우 내보내기 설정을 저장하려고 하면 잘못된 데이터 세트 리전 오류가 표시됩니다.

  다음 표에는 Cloud Billing 데이터를 포함하는 BigQuery 데이터 세트에서 사용할 수 있는 멀티 리전 위치와 리전 위치가 나와 있습니다.

  미주	아시아 태평양	유럽
  멀티 리전: 미국 리전: northamerica-northeast1(몬트리올) southamerica-east1(상파울루) us-central1(아이오와) us-east1(사우스캐롤라이나) us-east4(북 버지니아) us-west1(오리건) us-west2(로스앤젤레스) us-west3(솔트레이크시티) us-west4(라스베이거스)	리전: asia-east1(타이완) asia-east2(홍콩) asia-northeast1(도쿄) asia-northeast2(오사카) asia-northeast3(서울) asia-south1(뭄바이) asia-southeast1(싱가포르) asia-southeast2(자카르타) australia-southeast1(시드니)	멀티 리전: EU 리전: europe-central2(바르샤바) europe-north1(핀란드) europe-west1(벨기에) europe-west2(런던) europe-west3(프랑크푸르트) europe-west4(네덜란드) europe-west6(취리히)

• 내보낸 결제 데이터가 저장된 프로젝트 또는 데이터 세트를 업데이트하도록 내보내기 설정을 수정하면 이전에 내보낸 결제 데이터가 새 데이터 세트에 백필되지 않습니다. 전환 전에 내보낸 결제 정보를 포함하려면 새 데이터 세트를 이전 데이터 세트와 수동으로 조인해야 합니다. 자세한 내용은 조인 작업을 참조하세요.

• 표준 사용량 비용 데이터 또는 상세 사용량 비용 데이터가 포함된 BigQuery 데이터 세트의 경우 데이터 세트에 구성하는 위치의 유형은 Google Cloud Billing 데이터를 데이터 세트로 내보낼 때의 타이밍에 영향을 줍니다.

  • 멀티 리전 위치(EU 또는 미국)를 사용하도록 데이터 세트를 구성한 경우 내보내기를 처음 사용 설정한 이전 월부터 발생한 Google Cloud 결제 데이터가 데이터 세트에 포함됩니다. 즉, 이번 달과 지난달에 대해 Google Cloud 결제 데이터가 소급하여 추가됩니다. 내보낸 데이터의 초기 백필의 경우 현재 사용량 데이터가 표시되기 전에 소급 Cloud Billing 데이터 내보내기가 완료되는 데 최대 5일이 걸릴 수 있습니다. 이러한 데이터의 소급 백필은 내보내기를 처음 사용 설정할 때만 발생합니다. 내보낸 결제 데이터를 저장하는 프로젝트 또는 데이터 세트를 변경하기 위해 내보내기 설정을 수정하거나, 내보내기를 다시 사용 설정하는 경우, 결제 데이터는 소급하여 추가되지 않습니다.

  • 데이터 세트가 지원되는 리전 위치를 사용하도록 구성된 경우 표준 사용량 비용 데이터와 상세 사용량 비용 데이터는 Cloud Billing 내보내기를 사용 설정한 날짜부터 발생한 Google Cloud 결제 데이터만 반영합니다. 즉,Google Cloud 결제 데이터는 멀티 리전이 아닌 데이터 세트 위치에 대해 소급하여 추가되지 않으므로 내보내기를 사용 설정하기 전의 Cloud Billing 데이터가 표시되지 않습니다.

  • 자세한 내용은 데이터 가용성을 참조하세요.

• 가격 책정 데이터가 포함된 BigQuery 데이터 세트는 Cloud Billing 내보내기를 설정한 날짜부터 발생한 Google Cloud 결제 데이터만 수집합니다. 즉,Google Cloud 가격 책정 데이터는 소급하여 추가되지 않으므로 내보내기를 사용 설정하기 전의 Cloud Billing 가격 책정 데이터는 표시되지 않습니다. 자세한 내용은 데이터 가용성을 참조하세요.

• 상세 사용량 비용 데이터를 내보낼 때 상세 내보내기에는 Compute Engine에 대한 리소스 수준 정보가 자동으로 포함됩니다. 또한 상세 데이터 내보내기에서 Google Kubernetes Engine(GKE) 클러스터 비용 분석을 보려면 GKE에 대한 비용 할당을 사용 설정해야 합니다.

• 데이터 세트 암호화: 결제 데이터를 BigQuery로 내보낼 때 고객 관리 암호화 키(CMEK)는 지원되지 않습니다. 결제 데이터 데이터 세트에 CMEK 암호화를 사용 설정하면 이러한 유형의 암호화로 인해 Cloud Billing에서 해당 데이터 세트 내의 적절한 테이블에 결제 데이터를 쓰지 못하게 됩니다. 대신 Google-owned and Google-managed encryption key를 사용하도록 데이터 세트를 사용 설정해야 합니다.

• 내보낸 데이터가 포함된 테이블에서 BigQuery 행 수준 보안을 사용하려면 BigQuery TRUE 필터를 사용하여 Cloud Billing 내보내기 서비스 계정 billing-export-bigquery@system.gserviceaccount.com에 테이블에 대한 전체 액세스 권한을 부여해야 합니다. 다음 명령어는 Cloud Billing 서비스 계정에 대한 액세스 권한을 부여합니다.

  CREATE ROW ACCESS POLICY cloud_billing_export_policy
  ON `__project_id__.__dataset_id__.__table_id__`
  GRANT TO ('serviceAccount:billing-export-bigquery@system.gserviceaccount.com')
  FILTER USING (TRUE);
  

• 리소스 수준 태그가 BigQuery 내보내기에 전파되는 데 최대 1시간이 걸릴 수 있습니다. 1시간 내에 태그가 추가 또는 삭제되었거나 1시간 미만 동안 리소스가 존재하면 내보내기에 표시되지 않을 수 있습니다.

  리소스 수준 태그는 다음 리소스에 사용할 수 있습니다.

  • Compute Engine 인스턴스
  • Spanner 인스턴스
  • Cloud Run 서비스
  • Artifact Registry 저장소

• VPC 서비스 제어를 사용하는 경우 BigQuery 내보내기가 차단될 수 있습니다. 이 문제를 해결하려면 VPC를 수동으로 제외해야 합니다.