關於 Dataplex Universal Catalog 中的中繼資料管理

Dataplex Universal Catalog 提供集中式平台，可儲存、管理及存取中繼資料。本文說明 Dataplex Universal Catalog 的中繼資料管理功能。

Dataplex Universal Catalog 提供 Google Cloud 和地端資源的統一清單。Dataplex Universal Catalog 會自動擷取並儲存 Google Cloud 資源的中繼資料。您也可以將第三方資源的自有中繼資料匯入 Dataplex Universal Catalog。

您可以新增業務和技術中繼資料來充實商品目錄，擷取資源的背景資訊和知識。您也可以在整個機構中搜尋及探索資料，並對資料資產啟用資料控管功能。

您可以將預設目錄服務設為 Dataplex Universal Catalog，如果您使用 Data Catalog，請將獨立的 Data Catalog 內容和使用情形轉移至 Dataplex Universal Catalog。詳情請參閱「從 Data Catalog 轉移至 Dataplex Universal Catalog」。

中繼資料管理功能的運作方式

Dataplex Universal Catalog 的中繼資料管理功能以以下概念為基礎：

項目

項目代表資料資產。這與資料目錄中的項目類似。

範例：名為 test-project.sales_data.customer_orders 的 BigQuery 資料表會以項目形式呈現。

項目的資料欄代表資料資產的特定子區段，例如 BigQuery 資料表中的單一資料欄，或 JSON 檔案中的欄位。您可以使用資料欄，將中繼資料附加至項目中的個別欄位，而不只是整個項目。您不會直接定義資料欄，而是將 schema 類型的構面附加至項目時，系統會建立資料欄。資料欄也稱為路徑。

舉例來說，如要說明 customer_orders 項目中的 email_address 欄位含有個人識別資訊 (PII)，可以將層面附加至 email_address 欄。

如要進一步瞭解項目，請參閱「項目」。

切面

所謂的「層面」是一組相關的中繼資料欄位。您可以將某個面向附加至項目，用來描述整個項目。大部分中繼資料都是由項目中的層面描述。這與 Data Catalog 中的標記類似。不過，層面會儲存在項目中，而非獨立資源。

範例：如要定義 customer_orders 項目中的所有資料欄 (例如 order_id、order_date 和 email_address)，您可以將 schema 構面附加至 customer_orders 項目。如要指定 email_address 欄包含電子郵件地址，可以將 schema 方面附加至 email_address 欄。

如要進一步瞭解構面，請參閱「構面」。

項目類型

項目類型是建立項目的範本。這項作業會建立必要中繼資料元素，並以這類項目的必要切面清單形式呈現。項目類型會指定特定資料資產所需的切面類型。

範例：如要確保所有項目都有必要中繼資料，可以建立名為 StandardOperationalTable 的項目類型，規定任何這類的新項目都必須附加 OwnerInfo 切面。

如要進一步瞭解項目類型，請參閱「項目類型」。

切面類型

切面類型是可重複使用的切面範本。每個層面都是層面類型的例項。這與 Data Catalog 中的標記範本類似。

範例：如要定義聯絡資訊的可重複使用範本，可以定義名為 ContactInfo 的切面類型，並包含 owner_name、email 和 support_team 欄位。接著，您就能從這個範本建立ContactInfo層面，並附加至項目或欄。

如要進一步瞭解層面類型，請參閱「層面類型」。

項目群組

項目群組是項目的容器，可做為這些項目的管理單位。舉例來說，您可以使用項目群組，為項目群組中的項目設定身分與存取權管理存取控管、專案歸因或位置。這與 Data Catalog 中的項目群組類似。

範例：財務團隊想一次管理所有表格的權限。他們可以建立名為 production_finance_data 的項目群組，並在其中加入 customer_orders、quarterly_revenue 和 employee_salaries 資料表的項目。

如要進一步瞭解項目群組，請參閱「項目群組」。

Dataplex Universal Catalog 與 Data Catalog 的比較

Dataplex Universal Catalog 提供整合式功能，可管理中繼資料。中繼資料儲存空間和 API 方法已整合至 Dataplex API。

Dataplex Universal Catalog 的主要中繼資料管理功能包括：

• 更穩健的中繼模型

  • 輸入的項目。您可以定義自訂項目的必要中繼資料內容，強制執行最低中繼資料標準
  • 使用者可設定自訂項目的元模型，有助於提升自訂擷取的穩定性，並改善自訂中繼資料的一致性和完整性。
  • 支援更多種類和複雜程度的 Metadata，包括支援清單、對應和陣列等巢狀結構。

• 提升可擴充性，包括可透過單一不可分割的 CRUD 作業，與項目相關聯的所有中繼資料互動，以及在搜尋或清單回應中擷取多個相關聯的中繼資料註解。

下表比較 Dataplex Universal Catalog 和 Data Catalog 的中繼資料管理功能：

Dataplex Universal Catalog 與 Data Catalog 的比較

功能	Dataplex Universal Catalog	Data Catalog
支援的 Google Cloud 來源	如本文件「支援的來源 Google Cloud 」一節所述的所有來源。	「項目和項目群組」一節中說明的所有來源。
自訂來源攝入	以受控結構匯入自訂項目，並由項目類型定義。 Data Catalog 自訂項目和項目群組會以 generic 項目類型顯示在 Dataplex Universal Catalog 中。	擷取至一般自訂項目。
中繼資料擴充	系統會使用業務詞彙表、切面和切面類型，擷取項目的中繼資料內容。	系統會使用業務詞彙表、標記和標記範本，擷取項目的中繼資料內容。
搜尋	系統會搜尋下列項目： 「支援的來源」 Google Cloud 一節中列出的所有來源 Google Cloud 在 Dataplex Universal Catalog 中建立的自訂項目 在 Dataplex Universal Catalog 中建立的切面 在 Data Catalog 中建立並匯入 Dataplex Universal Catalog 的自訂項目 搜尋結果只會列出與執行搜尋的專案屬於相同機構和虛擬私有雲端 SC 範圍的資源。使用 Google Cloud 控制台時，這是控制台中選取的專案。 請注意，如要在專案搜尋項目，至少須具備該專案的其中一個 IAM 角色：Dataplex Catalog 管理員、Dataplex Catalog 編輯者或 Dataplex Catalog 檢視者。搜尋結果的權限會獨立於所選專案進行檢查。	搜尋範圍包括： Google Cloud 「項目和項目群組」一節中說明的所有來源 在 Data Catalog 中建立的自訂項目 在 Data Catalog 中建立的標記
資料歷程	資料歷程會使用 Dataplex API，擷取資產節點的項目詳細資料。 Google Cloud 控制台會顯示附加的層面。	資料歷程會使用 Data Catalog API，擷取資產節點的項目詳細資料。
商務詞彙表	您可以透過企業詞彙建立業務字詞的分類，並將這些字詞與資料資產和資料欄建立關聯。您可以使用搜尋功能，找出與特定字詞相關聯的資產。	您可以透過商務詞彙表建立商務用語的分類，並將這些用語與資料欄建立關聯。你可以使用搜尋功能，找出與特定字詞相關聯的資產。

下表說明 Dataplex Universal Catalog 中的資源如何對應至 Data Catalog 資源：

Dataplex Universal Catalog 和 Data Catalog 資源之間的對應關係

Dataplex Universal Catalog 資源	Data Catalog 資源	說明
切面類型 (global)	公開標記範本	標記範本是區域資源。不過，您可以使用這些設定，在各個區域建立代碼。標記範本對應至 Dataplex Universal Catalog 中的global切面類型。
選用切面	公開標記	Data Catalog 中的公開標記對應至 Dataplex Universal Catalog 中的選用切面。
項目群組	項目群組	對於 Google Cloud 來源，系統項目群組 (例如 @bigquery) 會在 Dataplex Universal Catalog 中依專案建立。
自訂項目必要切面	自訂項目	Data Catalog 和 Dataplex Universal Catalog 的自訂項目概念相似。 標準項目屬性在 Dataplex Universal Catalog 中會模擬為必要切面。
系統登錄必要切面	系統 (Google Cloud) 項目	系統定義的必要層面類型會擷取描述內建實體的中繼資料，例如 BigQuery 資料表的 Schema。
商務詞彙表	商務詞彙表	使用詞彙表建立業務字詞的分類，在整個企業中標準化業務情境。

如要進一步瞭解 Data Catalog 中提供但 Dataplex Universal Catalog 不支援的功能，請參閱本文的「Dataplex Universal Catalog 不支援的中繼資料管理功能」一節。

現有 Data Catalog 使用者

如果您已使用 Data Catalog，請注意下列事項：

• 您在 Data Catalog 中建立的自訂項目、總覽內容、詞彙表和項目群組，都會在 Dataplex Universal Catalog 中提供。
• 管理員可以選擇讓 Data Catalog 標記範本和標記的內容同時顯示於 Dataplex Universal Catalog。詳情請參閱「從 Data Catalog 轉移至 Dataplex Universal Catalog」。
• 在 Dataplex Universal Catalog 中搜尋資料資產時，系統會納入直接在 Dataplex Universal Catalog 建立的中繼資料，以及從 Data Catalog 帶入 Dataplex Universal Catalog 的中繼資料。
• 在 Data Catalog 中搜尋資料資產時，只會納入在 Data Catalog 中建立的中繼資料。
• 如果 Data Catalog 中的項目群組說明超過 1024 個半形字元，Dataplex Universal Catalog 會將說明截斷為 1024 個半形字元。
• 管理員如要讓您在 Data Catalog 中建立的詞彙表和商務字詞與資料欄之間的相關連結，顯示在 Dataplex Universal Catalog 中，請按照轉移程序操作。

如要進一步瞭解如何將獨立 Data Catalog 內容和使用情形轉移至 Dataplex Universal Catalog，請參閱「從 Data Catalog 轉移至 Dataplex Universal Catalog」。

支援的來源

• 自動探索 Cloud Storage 資料
• 系統會自動將下列 Google Cloud 來源的中繼資料擷取到 Dataplex Universal Catalog：
  • BigQuery sharing (舊稱 Analytics Hub) 交易所和項目
  • BigQuery 資料集、資料表、模型、常式、連線和連結的資料集
  • Bigtable 執行個體、叢集和資料表 (包括資料欄系列詳細資料)
  • Dataform 存放區和程式碼資產
  • Cloud SQL 執行個體、資料庫、結構定義、資料表、檢視區塊 - 請參閱「啟用 Cloud SQL 整合」
  • Dataproc Metastore 服務、資料庫和資料表
  • Pub/Sub 主題
  • Spanner 執行個體、資料庫、資料表和檢視區塊
  • Vertex AI 模型、資料集、特徵群組、特徵檢視區塊和線上商店執行個體

如要將中繼資料從第三方來源匯入 Dataplex Universal Catalog，可以使用受管理連線管道。

專案和位置限制

Dataplex Universal Catalog 中的 Catalog 資源位於不同專案和位置。限制如下：

• 位置：

  • 項目的位置必須與項目類型的位置相符，或項目類型必須為 global。
  • 新增至項目的切面必須以儲存在與項目相同位置的切面類型為依據，或切面類型必須為 global。
  • 項目類型必須由儲存在與項目類型相同位置的切面類型組成。

• 專案：

  • 如果項目類型參照自訂切面類型，則切面類型必須與項目類型位於相同的位置和專案。

Dataplex Universal Catalog 不支援的中繼資料管理功能

Dataplex Universal Catalog 不支援 Data Catalog 的下列功能：

• Dataplex Universal Catalog 沒有私人切面和私人切面類型 (對應至 Data Catalog 中的私人標記和私人標記範本) 的概念。
• Dataplex Universal Catalog 搜尋功能不支援搜尋政策標記，因此 policytag 和 policytagid 述詞無法在 Dataplex Universal Catalog 搜尋功能中使用。
• 將 Data Catalog 自訂項目群組、自訂項目、標記範本和標記匯入 Dataplex Universal Catalog 時，系統不會一併轉移原始權限。您必須先明確設定所複製中繼資料的 IAM 權限，才能使用該中繼資料。
• 目前不支援使用 Terraform 管理切面和自訂項目。您可以改用受管理連線管道或中繼資料匯入 API 方法，以程式輔助方式大規模管理自訂中繼資料。(Terraform 支援項目群組、項目類型和切面類型；請參閱「使用 Terraform 佈建 Dataplex Universal Catalog 資源」。)
• 系統不支援將 Sensitive Data Protection 檢查結果直接傳送至 Dataplex Universal Catalog 中的目錄。您可以改為將資訊保護檢查結果傳送至 Data Catalog，然後將結果轉移至 Dataplex Universal Catalog。
• 您無法使用 API 列出跨專案的項目類型和切面類型。 您只能將清單要求範圍限定在專案。
• 系統不支援將湖泊、儲存區、資產和實體註冊為 Dataplex Universal Catalog 項目。也就是說，附加至湖泊、儲存區、資產和實體的 Data Catalog 中繼資料，不會轉移至 Dataplex Universal Catalog 中的目錄。此外，使用 Dataplex Universal Catalog 搜尋功能時，不支援搜尋專區和實體，也不支援依湖泊和專區篩選。您可以在 Dataplex Universal Catalog 中，獨立使用湖泊和區域，不必依賴目錄。
• 系統不支援管理員搜尋 (可確保完整召回)。您可以匯出中繼資料至 Cloud Storage，然後從 BigQuery 查詢。

如要比較 Dataplex Universal Catalog 和 Data Catalog 支援的功能和資源，請參閱本文的「Dataplex Universal Catalog 與 Data Catalog 比較」一節。

定價

Dataplex Universal Catalog 會使用中繼資料儲存空間 SKU，收取中繼資料儲存空間費用。 詳情請參閱「Dataplex Universal Catalog 定價」。

使用下列功能不需付費：

• 在 Dataplex Universal Catalog 中建立及管理目錄資源
• Dataplex Universal Catalog 的 Search API 呼叫
• 在Google Cloud 控制台的 Dataplex Universal Catalog 頁面執行的搜尋查詢

後續步驟

• 瞭解如何在 Dataplex Universal Catalog 中搜尋資源。
• 瞭解如何管理資產及豐富中繼資料。
• 瞭解如何管理項目及擷取自訂來源。
• 進一步瞭解如何從 Data Catalog 遷移至 Dataplex Universal Catalog。
• 進一步瞭解如何將詞彙表轉移至 Dataplex Universal Catalog。