快速部署解決方案:採用 BigQuery 的資料倉儲

Last reviewed 2025-02-03 UTC

本指南可協助您瞭解、部署及使用「採用 BigQuery 的 data warehouse 服務」迅速啟動解決方案。這項解決方案示範如何 Google Cloud 使用 BigQuery 做為資料倉儲,並以 Looker Studio 做為資訊主頁和資料視覺化工具,建構資料倉儲。這項解決方案也會使用 Vertex AI 的生成式 AI 功能,生成分析摘要文字。

建構資料倉儲的常見用途包括:

  • 匯總及建立行銷分析資料倉儲,以提升收益或其他顧客指標。
  • 製作財務報表和分析。
  • 建構營運資訊主頁,提升企業績效。

本文適用於具備資料分析背景,且曾使用資料庫執行分析的開發人員。本文假設您熟悉基本雲端概念,但這並非必要條件。 Google Cloud如要透過控制台部署這項解決方案,具備 Terraform 使用經驗會有所幫助,但並非必要條件。

目標

  • 瞭解資料如何流入雲端資料倉儲,以及如何使用 SQL 轉換資料。
  • 透過資料建立資訊主頁,執行資料分析。
  • 排定 SQL 陳述式,以常見的週期更新資料。
  • 建立機器學習模型,預測一段時間內的資料值。
  • 使用生成式 AI 匯總機器學習模型的輸出結果。

使用的產品

這項解決方案使用下列 Google Cloud 產品:

  • BigQuery: 全代管、高擴充性的資料倉儲,內建機器學習功能。
  • Cloud Storage: 這項企業級服務提供低成本、無限制的物件儲存空間,適用於多種資料類型。資料可以在Google Cloud 內部和外部存取,且會以異地備援的形式備份。
  • Looker Studio: 自助式商業智慧平台,可協助您建立及分享資料洞察。
  • Vertex AI: 機器學習 (ML) 平台,可讓您訓練及部署 ML 模型和 AI 應用程式。

下列 Google Cloud 產品用於在解決方案中暫存資料,以供首次使用:

  • Workflows: 全代管的自動化調度管理平台,可按照指定順序執行服務,形成工作流程。工作流程可以合併服務,包括 Cloud Run 或 Cloud Run 函式代管的自訂服務、Google Cloud BigQuery 等服務,以及任何以 HTTP 為基礎的 API。
  • Cloud Run 函式: 用來建構及連結雲端服務的無伺服器執行環境。

架構

這項解決方案部署的範例倉儲會分析 TheLook 提供的虛構電子商務資料,瞭解公司一段時間內的成效。下圖顯示解決方案部署的 Google Cloud 資源架構。

資料倉儲解決方案的基礎架構架構。

解決方案流程

這項架構代表常見的資料流程,可填入及轉換資料倉儲的資料:

  1. 資料會傳送至 Cloud Storage bucket。
  2. 工作流程可促進資料移動。
  3. 資料會使用 SQL 儲存程序,以 BigLake 資料表的形式載入 BigQuery
  4. 使用 SQL 預存程序在 BigQuery 中轉換資料。
  5. 透過資料建立資訊主頁,使用 Looker Studio 進一步分析。
  6. 資料會使用以 BigQuery ML 建構的 k-means 模型進行分析。 這項分析會找出常見模式,並透過 BigQuery 使用 Vertex AI 的生成式 AI 功能,統整分析結果。
  7. Cloud Run functions 會建立含有額外學習內容的 Python 筆記本。

費用

如要估算「採用 BigQuery 的資料倉儲」解決方案使用的 Google Cloud 資源費用,請參閱 Google Cloud Pricing Calculator 中的預先計算估算值。

您可以根據估算結果,計算部署作業的費用。您可以修改預估值,反映您打算對解決方案中使用的資源進行的任何設定變更。

預先計算的預估值是根據特定因素的假設而得,包括:

  • 資源的部署位置。 Google Cloud
  • 資源的使用時間長度。

  • 資料暫存的資料地區

事前準備

如要部署這項解決方案,您必須先擁有 Google Cloud 專案和一些 IAM 權限。

建立或選擇 Google Cloud 專案

部署解決方案時,請選擇要部署資源的Google Cloud 專案。您可以建立新專案,或使用現有專案進行部署。

如要建立新專案,請在開始部署建立。使用新專案有助於避免與先前佈建的資源發生衝突,例如用於正式環境工作負載的資源。

如要建立專案,請完成下列步驟:

  1. In the Google Cloud console, go to the project selector page.

    Go to project selector

  2. Click Create project.

  3. Name your project. Make a note of your generated project ID.

  4. Edit the other fields as needed.

  5. Click Create.

取得必要的 IAM 權限

如要啟動部署程序,您需要下表列出的 Identity and Access Management (IAM) 權限。

如果您是為這個解決方案建立新專案,則您在該專案中擁有roles/owner 基本角色,並具備所有必要權限。如果您沒有 roles/owner 角色,請要求管理員授予這些權限 (或包含這些權限的角色)。

所需的身分與存取權管理權限 包含必要權限的預先定義角色

serviceusage.services.enable

服務使用情形管理員
(roles/serviceusage.serviceUsageAdmin)

iam.serviceAccounts.create

服務帳戶管理員
(roles/iam.serviceAccountAdmin)

resourcemanager.projects.setIamPolicy

專案 IAM 管理員
(roles/resourcemanager.projectIamAdmin)
config.deployments.create
config.deployments.list
Cloud Infrastructure Manager 管理員
(roles/config.admin)
iam.serviceAccount.actAs 服務帳戶使用者
(roles/iam.serviceAccountUser)

關於臨時服務帳戶權限

如果您透過控制台啟動部署程序,Google 會建立服務帳戶,代表您部署解決方案 (並在您選擇時刪除部署作業)。系統會暫時指派特定 IAM 權限給這個服務帳戶,也就是說,解決方案部署及刪除作業完成後,系統會自動撤銷這些權限。Google 建議您在刪除部署作業後,一併刪除服務帳戶,如本指南稍後所述。

查看指派給服務帳戶的角色

如果Google Cloud 專案或機構的管理員需要這項資訊,請參閱下表。

  • roles/aiplatform.admin
  • roles/bigquery.admin
  • roles/cloudfunctions.admin
  • roles/config.agent
  • roles/datalineage.viewer
  • roles/dataform.admin
  • roles/iam.serviceAccountAdmin
  • roles/iam.serviceAccountUser
  • roles/iam.serviceAccountTokenCreator
  • roles/logging.configWriter
  • roles/resourcemanager.projectIamAdmin
  • roles/run.invoker
  • roles/serviceusage.serviceUsageAdmin
  • roles/storage.admin
  • roles/workflows.admin

部署解決方案

為協助您輕鬆部署這項解決方案,GitHub 提供 Terraform 設定。Terraform 設定會定義解決方案所需的所有Google Cloud 資源。

您可以透過下列任一方法部署解決方案:

  • 透過控制台:如要使用預設設定試用解決方案,並瞭解運作方式,請使用這個方法。Cloud Build 會部署解決方案所需的所有資源。不再需要已部署的解決方案時,可以透過控制台刪除。部署解決方案後建立的資源可能需要另外刪除。

    如要使用這個部署方法,請按照「透過主控台部署」一文中的操作說明進行。

  • 使用 Terraform CLI:如要自訂解決方案,或想以基礎架構即程式碼 (IaC) 方法自動佈建及管理資源,請使用這個方法。從 GitHub 下載 Terraform 設定,視需要自訂程式碼,然後使用 Terraform CLI 部署解決方案。部署解決方案後,您可以繼續使用 Terraform 管理解決方案。

    如要使用這個部署方法,請按照「使用 Terraform CLI 部署」一文中的操作說明進行。

透過控制台部署

請按照下列步驟部署預先設定的解決方案。

  1. 在 Google Cloud 快速部署解決方案目錄中,前往「採用 BigQuery 的 data warehouse 服務」解決方案。

    前往採用 BigQuery 的資料倉儲解決方案

  2. 查看頁面上的資訊,例如解決方案的預估費用和預估部署時間。

  3. 準備好開始部署解決方案時,請按一下「Deploy」(部署)

    系統會顯示逐步設定窗格。

  4. 完成設定窗格中的步驟。

    請記下您輸入的部署作業名稱。您稍後刪除部署作業時,需要使用這個名稱。

    按一下「Deploy」(部署) 後,系統會顯示「Solution deployments」(解決方案部署作業) 頁面。 這個頁面的「狀態」欄位會顯示「部署中」

  5. 等待解決方案部署完成。

    如果部署失敗,「狀態」欄位會顯示「失敗」。您可以透過 Cloud Build 記錄檔診斷錯誤。詳情請參閱「透過控制台部署時發生錯誤」。

    部署完成後,「狀態」欄位會變更為「已部署」

  6. 如要驗證已部署的資源,請按一下 「動作」選單,然後選取「查看資源」

    系統會在新的瀏覽器分頁中開啟 Google Cloud 控制台的「資產清單」頁面。這個頁面會列出解決方案部署的 BigQuery 物件、Cloud Run 函式、Workflows 工作流程、Pub/Sub 主題和 Eventarc 觸發程序資源。

    如要查看各項資源的詳細資料,請按一下「顯示名稱」欄中的資源名稱。

  7. 如要查看及使用解決方案,請返回主控台的「解決方案部署項目」頁面。

    1. 按一下「動作」 選單。
    2. 選取「查看 Looker Studio 資訊主頁」,開啟以解決方案轉換的範例資料為基礎建立的資訊主頁。
    3. 選取「開啟 BigQuery 編輯器」,即可使用解決方案中的範例資料執行查詢,並建構機器學習 (ML) 模型。

不再需要解決方案時,您可以刪除部署作業,避免 Google Cloud 資源持續產生費用。詳情請參閱「刪除部署項目」一文。

使用 Terraform CLI 部署

本節說明如何自訂解決方案,或使用 Terraform CLI 自動佈建及管理解決方案。使用 Terraform CLI 部署的解決方案不會顯示在 Google Cloud 控制台的「解決方案部署」頁面中。

設定 Terraform 用戶端

您可以在 Cloud Shell 或本機主機中執行 Terraform。本指南說明如何在 Cloud Shell 中執行 Terraform。Cloud Shell 已預先安裝 Terraform,並設定為透過 Google Cloud進行驗證。

您可以在 GitHub 存放區中找到此解決方案的 Terraform 程式碼。

  1. 將 GitHub 存放區複製到 Cloud Shell。

    在 Cloud Shell 開啟

    系統會顯示提示,要求確認要將 GitHub 存放區下載到 Cloud Shell。

  2. 按一下「確認」。

    Cloud Shell 會在另一個瀏覽器分頁中啟動,而 Terraform 程式碼會下載至 Cloud Shell 環境的 $HOME/cloudshell_open 目錄。

  3. 在 Cloud Shell 中,檢查目前的工作目錄是否為 $HOME/cloudshell_open/terraform-google-bigquery/modules/data_warehouse。這個目錄包含解決方案的 Terraform 設定檔。如要變更為該目錄,請執行下列指令:

    cd $HOME/cloudshell_open/terraform-google-bigquery/modules/data_warehouse
    
  4. 執行下列指令來初始化 Terraform:

    terraform init
    

    等待系統顯示下列訊息:

    Terraform has been successfully initialized!
    

設定 Terraform 變數

您下載的 Terraform 程式碼包含變數,可根據需求自訂部署作業。舉例來說,您可以指定 Google Cloud 專案和區域,讓解決方案部署在這些位置。

  1. 確認目前的工作目錄為 $HOME/cloudshell_open/terraform-google-bigquery/modules/data_warehouse。如果不是,請前往該目錄。

  2. 在同一個目錄中,建立名為 terraform.tfvars 的文字檔案。

  3. terraform.tfvars 檔案中複製下列程式碼片段,並為必要變數設定值。

    • 按照程式碼片段註解中的指示操作。
    • 這個程式碼片段只包含必須設定值的變數。Terraform 設定包含其他具有預設值的變數。如要查看所有變數和預設值,請參閱 $HOME/cloudshell_open/terraform-google-bigquery/modules/data_warehouse 目錄中的 variables.tf 檔案。
    • 請確認您在 terraform.tfvars 檔案中設定的每個值,都與 variables.tf 檔案中宣告的變數型別相符。舉例來說,如果 variables.tf 檔案中為變數定義的型別是 bool,則您必須在 terraform.tfvars 檔案中,將 truefalse 指定為該變數的值。
    # This is an example of the terraform.tfvars file.
    # The values in this file must match the variable types declared in variables.tf.
    # The values in this file override any defaults in variables.tf.
    
    # ID of the project in which you want to deploy the solution
    project_id = "PROJECT_ID"
    
    # Google Cloud region where you want to deploy the solution
    # Example: us-central1
    region = "REGION"
    
    # Whether or not to enable underlying apis in this solution.
    # Example: true
    enable_apis = true
    
    # Whether or not to protect BigQuery resources from deletion when solution is modified or changed.
    # Example: false
    force_destroy = false
    
    # Whether or not to protect Cloud Storage resources from deletion when solution is modified or changed.
    # Example: true
    deletion_protection = true
    
    # Name of the BigQuery ML GenAI remote model used for text generation
    # Example: "text_generate_model"
    text_generation_model_name = "text_generate_model"
    

    如要瞭解可指派給必要變數的值,請參閱下列內容:

驗證及檢查 Terraform 設定

  1. 確認目前的工作目錄為 $HOME/cloudshell_open/terraform-google-bigquery/modules/data_warehouse。如果不是,請前往該目錄。

  2. 確認 Terraform 設定沒有錯誤:

    terraform validate
    

    如果指令傳回任何錯誤,請在設定中進行必要修正,然後再次執行 terraform validate 指令。重複這個步驟,直到指令傳回以下訊息為止:

    Success! The configuration is valid.
    
  3. 查看設定中定義的資源:

    terraform plan
    
  4. 如果您未按照先前的說明建立 terraform.tfvars 檔案,Terraform 會提示您輸入沒有預設值的變數值。輸入必要值。

    terraform plan 指令的輸出內容是資源清單,列出您套用設定時,Terraform 會佈建的資源。

    如要進行任何變更,請編輯設定,然後再次執行 terraform validateterraform plan 指令。

佈建資源

確認 Terraform 設定不需要進一步變更後,即可部署資源。

  1. 確認目前的工作目錄為 $HOME/cloudshell_open/terraform-google-bigquery/modules/data_warehouse。如果不是,請前往該目錄。

  2. 套用 Terraform 設定:

    terraform apply
    
  3. 如果您未按照先前的說明建立 terraform.tfvars 檔案,Terraform 會提示您輸入沒有預設值的變數值。輸入必要值。

    Terraform 會顯示即將建立的資源清單。

  4. 系統提示您執行動作時,請輸入 yes

    Terraform 會顯示訊息,說明部署進度。

    如果無法完成部署作業,Terraform 會顯示導致失敗的錯誤。請查看錯誤訊息並更新設定,修正錯誤。然後再次執行 terraform apply 指令。如需排解 Terraform 錯誤的相關協助,請參閱「使用 Terraform CLI 部署解決方案時發生錯誤」。

    建立所有資源後,Terraform 會顯示下列訊息:

    Apply complete!
    

    Terraform 輸出內容也會列出下列必要資訊:

    • 已部署資訊主頁的 Looker Studio 網址。
    • 開啟 BigQuery 編輯器的連結,可查看部分查詢範例。

    以下範例顯示輸出內容的樣子:

    lookerstudio_report_url = "https://lookerstudio.google.com/reporting/create?c.reportId=8a6517b8-8fcd-47a2-a953-9d4fb9ae4794&ds.ds_profit.datasourceName=lookerstudio_report_profit&ds.ds_profit.projectId=my-cloud-project&ds.ds_profit.type=TABLE&ds.ds_profit.datasetId=ds_edw&ds.ds_profit.tableId=lookerstudio_report_profit&ds.ds_dc.datasourceName=lookerstudio_report_distribution_centers&ds.ds_dc.projectId=my-cloud-project&ds.ds_dc.type=TABLE&ds.ds_dc.datasetId=ds_edw&ds.ds_dc.tableId=lookerstudio_report_distribution_centers"
    bigquery_editor_url = "https://console.cloud.google.com/bigquery?project=my-cloud-project&ws=!1m5!1m4!6m3!1smy-cloud-project!2sds_edw!3ssp_sample_queries"
    
  5. 如要查看及使用資訊主頁,並在 BigQuery 中執行查詢,請複製上一步的輸出網址,然後在新瀏覽器分頁中開啟這些網址。

    新分頁會顯示資訊主頁和 BigQuery 編輯器。

  6. 如要查看所有已部署的 Google Cloud 資源,請參加互動式導覽。

    開始導覽

不再需要解決方案時,您可以刪除部署作業,避免 Google Cloud 資源持續產生費用。詳情請參閱「刪除部署項目」一文。

自訂解決方案

本節提供 Terraform 開發人員可用的資訊,方便他們修改 BigQuery 資料倉儲解決方案,以符合自身技術和業務需求。只有在使用 Terraform CLI 部署解決方案時,本節的指引才適用。

瞭解解決方案如何處理範例資料後,您可能想使用自己的資料。如要使用自己的資料,請將資料放入名為 edw-raw-hash 的 Cloud Storage bucket。雜湊是在部署期間產生的隨機 8 個字元。您可以透過下列方式變更 Terraform 程式碼:

  • 資料集 ID:變更 Terraform 程式碼,讓程式碼建立 BigQuery 資料集時,使用您要用於資料的資料集 ID。
  • 結構定義。變更 Terraform 程式碼,建立您要用來儲存資料的 BigQuery 資料表 ID。包括外部資料表結構定義,以便 BigQuery 從 Cloud Storage 讀取資料。
  • 已排定的查詢。新增執行您感興趣分析的預存程序。
  • Looker 資訊主頁。變更建立 Looker 資訊主頁的 Terraform 程式碼,讓資訊主頁反映您使用的資料。

以下是常見的資料倉儲物件,並以 main.tf 顯示 Terraform 範例程式碼。

  • BigQuery 資料集: 資料庫物件的分組和儲存位置。

    resource "google_bigquery_dataset" "ds_edw" {
          project = module.project-services.project_id
          dataset_id = "DATASET_PHYSICAL_ID"
          friendly_name = "DATASET_LOGICAL_NAME"
          description = "DATASET_DESCRIPTION"
          location = "REGION"
          labels = var.labels
          delete_contents_on_destroy = var.force_destroy
      }
  • BigQuery資料表: 資料庫物件,代表儲存在 BigQuery 中的資料,或代表儲存在 Cloud Storage 中的資料結構定義。

    resource "google_bigquery_table" "tbl_edw_inventory_items" {
          dataset_id = google_bigquery_dataset.ds_edw.dataset_id
          table_id = "TABLE_NAME"
          project = module.project-services.project_id
          deletion_protection = var.deletion_protection
          ...
      }
  • BigQuery 預存程序: 資料庫物件,代表一或多個要執行的 SQL 陳述式。例如將資料從一個資料表轉換到另一個資料表,或是將外部資料表中的資料載入標準資料表。

    resource "google_bigquery_routine" "sp_sample_translation_queries" {
          project = module.project-services.project_id
          dataset_id = google_bigquery_dataset.ds_edw.dataset_id
          routine_id = "sp_sample_translation_queries"
          routine_type = "PROCEDURE"
          language = "SQL"
          definition_body = templatefile("${path.module}/assets/sql/sp_sample_translation_queries.sql", { project_id = module.project-services.project_id })
        }
  • BigQuery 排程查詢: 這項公用程式可排定查詢或預存程序,以指定頻率執行。

    resource "google_bigquery_data_transfer_config" "dts_config" {
        display_name = "TRANSFER_NAME"
        project = module.project-services.project_id
        location = "REGION"
        data_source_id = "scheduled_query"
        schedule = "every day 00:00"
        params = {
            query = "CALL ${module.project-services.project_id}.ds_edw.sp_lookerstudio_report()"
            }
      }

如要自訂解決方案,請在 Cloud Shell 中完成下列步驟:

  1. 確認目前的工作目錄為 $HOME/cloudshell_open/terraform-google-bigquery/modules/data_warehouse。如果不是,請前往該目錄:

    cd $HOME/cloudshell_open/terraform-google-bigquery/modules/data_warehouse
    
  2. 開啟 main.tf 並進行所需變更。

    如要進一步瞭解這類自訂作業對可靠性、安全性、效能、成本和作業的影響,請參閱「設計建議」。

  3. 驗證並檢查 Terraform 設定

  4. 佈建資源

設計建議

本節提供使用 BigQuery 資料倉儲解決方案的建議,協助您開發符合安全性、可靠性、成本和效能需求的架構。

開始使用 BigQuery 擴大規模時,您可以透過多種方式提升查詢效能,並減少總支出。這些方法包括變更資料的實際儲存方式、修改 SQL 查詢,以及使用預留時段確保成本效益。如要進一步瞭解如何擴充及執行資料倉儲,請參閱最佳化查詢效能簡介

注意事項:

  • 進行任何設計變更前,請先評估成本影響,並考量其他功能可能帶來的取捨。您可以使用 Google Cloud Pricing Calculator 評估設計變更對費用的影響。
  • 如要在解決方案中實作設計變更,您需要具備 Terraform 程式設計專業知識,並深入瞭解解決方案中使用的 Google Cloud 服務。
  • 如果您修改 Google 提供的 Terraform 設定,然後發生錯誤,請在 GitHub 中建立問題。我們會盡可能審查 GitHub 問題,但這並非一般使用問題的適用管道。
  • 如要進一步瞭解如何在 Google Cloud中設計及設定實際工作環境,請參閱「 Google Cloud中的登陸區設計」和「Google Cloud 設定檢查清單」。

刪除部署作業

不再需要解決方案部署作業時,請刪除部署作業,以免系統繼續針對您建立的資源計費。

透過控制台刪除

如果您是透過控制台部署解決方案,請使用這個程序。

  1. 前往 Google Cloud 控制台的「Solution deployments」(解決方案部署項目) 頁面。

    前往「Solution Deployments」(解決方案部署項目) 頁面

  2. 選取要刪除部署作業的專案。

  3. 找出要刪除的部署作業。

  4. 在部署作業的資料列中,按一下 「Actions」(動作),然後選取「Delete」(刪除)

    您可能需要捲動畫面,才能看到資料列中的「動作」

  5. 輸入部署作業的名稱,然後按一下「確認」

    「狀態」欄位會顯示「正在刪除」

    如果刪除作業失敗,請參閱「刪除部署作業時發生錯誤」一文中的疑難排解指南。

如果您不再需要用於解決方案的 Google Cloud 專案,可以刪除該專案。詳情請參閱「選用步驟:刪除專案」。

使用 Terraform CLI 刪除

如果您使用 Terraform CLI 部署解決方案,請按照這個程序操作。

  1. 在 Cloud Shell 中,請確認目前的工作目錄是 $HOME/cloudshell_open/terraform-google-bigquery/modules/data_warehouse。如果不是,請前往該目錄。

  2. 移除 Terraform 佈建的資源:

    terraform destroy
    

    Terraform 會顯示即將刪除的資源清單。

  3. 系統提示您執行動作時,請輸入 yes

    Terraform 會顯示訊息,說明進度。刪除所有資源後,Terraform 會顯示以下訊息:

    Destroy complete!
    

    如果刪除作業失敗,請參閱「刪除部署作業時發生錯誤」一文中的疑難排解指南。

如果您不再需要用於解決方案的 Google Cloud 專案,可以刪除該專案。詳情請參閱「選用步驟:刪除專案」。

選用:刪除專案

如果您是在新 Google Cloud 專案中部署解決方案,且現在已不再需要該專案,請完成下列步驟來刪除專案:

  1. 前往 Google Cloud 控制台的「管理資源」頁面。

    前往「管理資源」頁面

  2. 在專案清單中選取要刪除的專案,然後按一下「刪除」
  3. 在提示中輸入專案 ID,然後按一下「Shut down」(關閉)

如果您決定保留專案,請按照下一節的說明,刪除為這個解決方案建立的服務帳戶。

選用:刪除服務帳戶

如果您已刪除用於解決方案的專案,請略過本節。

如本指南稍早所述,部署解決方案時,系統會代表您建立服務帳戶。服務帳戶暫時獲派特定 IAM 權限,也就是在解決方案部署和刪除作業完成後,系統會自動撤銷權限,但不會刪除服務帳戶。Google 建議您刪除這個服務帳戶。

  • 如果您透過 Google Cloud 控制台部署解決方案,請前往「Solution deployments」(解決方案部署作業) 頁面。(如果已在該頁面,請重新整理瀏覽器)。系統會在背景觸發程序,刪除服務帳戶。您不需採取進一步行動。

  • 如果您使用 Terraform CLI 部署解決方案,請完成下列步驟:

    1. 前往 Google Cloud 控制台的「Service accounts」(服務帳戶) 頁面。

      前往「Service accounts」(服務帳戶)

    2. 選取您用於解決方案的專案。

    3. 選取要刪除的服務帳戶。

      為解決方案建立的服務帳戶電子郵件 ID 格式如下:

      goog-sc-DEPLOYMENT_NAME-NNN@PROJECT_ID.iam.gserviceaccount.com
      

      電子郵件 ID 包含下列值:

      • DEPLOYMENT_NAME:部署作業的名稱。
      • NNN:隨機 3 位數。
      • PROJECT_ID:您部署解決方案的專案 ID。
    4. 點選「刪除」。

排解錯誤

診斷及解決錯誤時可採取的行動,取決於部署方法和錯誤的複雜程度。

透過控制台部署時發生錯誤

如果使用控制台時部署作業失敗,請執行下列操作:

  1. 前往「Solution deployments」(解決方案部署項目) 頁面。

    如果部署失敗,「狀態」欄位會顯示「失敗」

  2. 查看導致失敗的錯誤詳細資料:

    1. 在部署作業的資料列中,按一下「動作」

      您可能需要捲動畫面,才能看到資料列中的「動作」

    2. 選取「查看 Cloud Build 記錄」

  3. 查看 Cloud Build 記錄,並採取適當行動,解決導致失敗的問題。

使用 Terraform CLI 部署時發生錯誤

如果使用 Terraform 部署失敗,terraform apply 指令的輸出內容會包含錯誤訊息,您可以查看這些訊息來診斷問題。

以下各節的範例顯示您使用 Terraform 時可能會遇到的部署錯誤。

未啟用 API 錯誤

如果您建立專案後,立即嘗試在新專案中部署解決方案,部署作業可能會失敗,並顯示類似下列的錯誤:

Error: Error creating Network: googleapi: Error 403: Compute Engine API has not
been used in project PROJECT_ID before or it is disabled. Enable it by visiting
https://console.developers.google.com/apis/api/compute.googleapis.com/overview?project=PROJECT_ID
then retry. If you enabled this API recently, wait a few minutes for the action
to propagate to our systems and retry.

如果發生這個錯誤,請稍待片刻,然後再次執行 terraform apply 指令。

無法指派要求地址的錯誤

執行 terraform apply 指令時,可能會發生 cannot assign requested address 錯誤,並顯示類似下列內容的訊息:

Error: Error creating service account:
 Post "https://iam.googleapis.com/v1/projects/PROJECT_ID/serviceAccounts:
 dial tcp [2001:db8:ffff:ffff::5f]:443:
 connect: cannot assign requested address

如果發生這個錯誤,請再次執行 terraform apply 指令。

無法在 BigQuery 或 Looker Studio 中存取資料

Terraform 佈建步驟完成後,系統會執行佈建步驟,將資料載入環境。如果將資料載入 Looker Studio 資訊主頁時發生錯誤,或開始探索 BigQuery 時沒有任何物件,請稍候幾分鐘再試一次。

刪除部署作業時發生錯誤

在某些情況下,嘗試刪除部署作業可能會失敗:

  • 透過控制台部署解決方案後,如果您變更解決方案佈建的任何資源,然後嘗試刪除部署作業,刪除作業可能會失敗。「解決方案部署作業」頁面的「狀態」欄位會顯示「失敗」,而 Cloud Build 記錄會顯示錯誤原因。
  • 使用 Terraform CLI 部署解決方案後,如果您透過非 Terraform 介面 (例如控制台) 變更任何資源,然後嘗試刪除部署作業,刪除作業可能會失敗。terraform destroy 指令輸出內容中的訊息會顯示錯誤原因。

查看錯誤記錄和訊息,找出並刪除導致錯誤的資源,然後再次嘗試刪除部署作業。

如果無法刪除以主控台為基礎的部署作業,且您無法使用 Cloud Build 記錄檔診斷錯誤,則可使用 Terraform CLI 刪除部署作業,如下一節所述。

使用 Terraform CLI 刪除以控制台為基礎的部署作業

本節說明如何刪除以主控台為基礎的部署作業 (如果您嘗試透過主控台刪除時發生錯誤)。這個方法會下載要刪除的部署作業的 Terraform 設定,然後使用 Terraform CLI 刪除部署作業。

  1. 找出部署作業的 Terraform 程式碼、記錄和其他資料儲存區域。這個區域可能與您部署解決方案時選取的區域不同。

    1. 前往 Google Cloud 控制台的「Solution deployments」(解決方案部署項目) 頁面。

      前往「Solution Deployments」(解決方案部署項目) 頁面

    2. 選取要刪除部署作業的專案。

    3. 在部署清單中,找出要刪除的部署所在的資料列。

    4. 按一下「查看所有列內容」

    5. 在「Location」(位置) 欄中,記下第二個位置,如下例所示:

      部署程式碼、記錄和其他構件的位置。

  2. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

    At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

  3. 為專案 ID、區域和要刪除的部署作業名稱建立環境變數:

    export REGION="REGION"
    export PROJECT_ID="PROJECT_ID"
    export DEPLOYMENT_NAME="DEPLOYMENT_NAME"
    

    在這些指令中,請替換下列項目:

    • REGION:您在本程序稍早記下的位置。
    • PROJECT_ID:您部署解決方案的專案 ID。
    • DEPLOYMENT_NAME:要刪除的部署作業名稱。
  4. 取得要刪除的部署作業最新修訂版本 ID:

    export REVISION_ID=$(curl \
        -H "Authorization: Bearer $(gcloud auth print-access-token)" \
        -H "Content-Type: application/json" \
        "https://config.googleapis.com/v1alpha2/projects/${PROJECT_ID}/locations/${REGION}/deployments/${DEPLOYMENT_NAME}" \
        | jq .latestRevision -r)
        echo $REVISION_ID
    

    輸出結果會與下列內容相似:

    projects/PROJECT_ID/locations/REGION/deployments/DEPLOYMENT_NAME/revisions/r-0
    
  5. 取得部署作業的 Terraform 設定 Cloud Storage 位置:

    export CONTENT_PATH=$(curl \
        -H "Authorization: Bearer $(gcloud auth print-access-token)" \
        -H "Content-Type: application/json" \
        "https://config.googleapis.com/v1alpha2/${REVISION_ID}" \
        | jq .applyResults.content -r)
        echo $CONTENT_PATH
    

    以下是這個指令的輸出範例:

    gs://PROJECT_ID-REGION-blueprint-config/DEPLOYMENT_NAME/r-0/apply_results/content
    
  6. 從 Cloud Storage 下載 Terraform 設定至 Cloud Shell:

    gcloud storage cp $CONTENT_PATH $HOME --recursive
    cd $HOME/content/modules/data_warehouse
    

    等待系統顯示 Operation completed 訊息,如下列範例所示:

    Operation completed over 45 objects/268.5 KiB
    
  7. 初始化 Terraform:

    terraform init
    

    等待系統顯示下列訊息:

    Terraform has been successfully initialized!
    
  8. 移除已部署的資源:

    terraform destroy
    

    Terraform 會顯示即將刪除的資源清單。

    如果系統顯示任何有關未宣告變數的警告,請忽略這些警告。

  9. 系統提示您執行動作時,請輸入 yes

    Terraform 會顯示訊息,說明進度。刪除所有資源後,Terraform 會顯示下列訊息:

    Destroy complete!
    
  10. 刪除部署作業成品:

    curl -X DELETE \
        -H "Authorization: Bearer $(gcloud auth print-access-token)" \
        -H "Content-Type: application/json" \
        "https://config.googleapis.com/v1alpha2/projects/${PROJECT_ID}/locations/${REGION}/deployments/${DEPLOYMENT_NAME}?force=true&delete_policy=abandon"
    
  11. 等待幾秒,然後確認部署構件已刪除:

    curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \
        -H "Content-Type: application/json" \
        "https://config.googleapis.com/v1alpha2/projects/${PROJECT_ID}/locations/${REGION}/deployments/${DEPLOYMENT_NAME}" \
        | jq .error.message
    

    如果輸出內容顯示 null,請稍候幾秒鐘,然後再次執行指令。

    刪除部署構件後,系統會顯示如下例所示的訊息:

    Resource 'projects/PROJECT_ID/locations/REGION/deployments/DEPLOYMENT_NAME' was not found
    
  12. 提交意見回饋

    快速部署解決方案僅供參考,並非正式支援的產品。Google 可能會變更或移除解決方案,恕不另行通知。

    如要排解錯誤,請查看 Cloud Build 記錄和 Terraform 輸出內容。

    如要提供意見,請按照下列步驟操作:

    • 如要提供說明文件、控制台內教學課程或解決方案的意見,請使用頁面上的「提供意見」按鈕。
    • 如為未修改的 Terraform 程式碼,請在 GitHub 存放區中建立問題。我們會盡可能審查 GitHub 問題,但這並非一般使用問題的適用管道。
    • 如要解決解決方案中使用的產品問題,請與 Cloud Customer Care 團隊聯絡。

    後續步驟