BigQuery ユーザー用の Vertex AI

このページでは、Vertex AI と BigQuery の違いを理解し、Vertex AI を既存の BigQuery ワークフローと統合する方法について説明します。Vertex AI と BigQuery は連携して ML と MLOps のユースケースに対応します。

Vertex AI と BigQuery のモデル トレーニングの違いについては、トレーニング方法を選択するをご覧ください。

Vertex AI と BigQuery の違い

このセクションでは、Vertex AI、BigQuery、BigQuery ML サービスについて説明します。

Vertex AI: エンドツーエンドの AI / ML プラットフォーム

Vertex AI は、モデル開発とガバナンスを行う AI / ML プラットフォームです。一般的なユースケースは次のとおりです。

• 予測、推奨、異常検出などの ML タスク

• 次のような生成 AI タスク:

  • テキストの生成、分類、要約、抽出
  • コードの生成と補完
  • 画像の生成
  • エンベディングの生成

BigQuery を使用して Vertex AI モデルのトレーニング データを準備し、Vertex AI Feature Store で特徴として使用できるようにします。

Vertex AI でモデルをトレーニングするには、次の 3 つの方法があります。

• AutoML: コードを記述することなく、画像、表形式、動画のデータセットでモデルをトレーニングします。
• カスタム トレーニング: 特定のユースケースに合ったカスタム トレーニング コードを実行します。
• Ray on Vertex AI: Ray を使用して、AI と Python アプリケーション（ML など）をスケーリングします。

BigQuery ML や XGBoost などの別のプラットフォームでトレーニングされたモデルをインポートすることもできます。

カスタム トレーニング モデルは Vertex AI Model Registry に登録できます。Vertex AI の外部でトレーニングされたモデルをインポートして、Vertex AI Model Registry に登録することもできます。AutoML モデルは登録する必要はありません。作成時に自動的に登録されます。

このレジストリから、モデル バージョンを管理し、オンライン予測のためにエンドポイントにデプロイできます。また、モデル評価を実施し、Vertex AI Model Monitoring でデプロイのモニタリングを行い、Vertex Explainable AI を使用できます。

対応言語:

• Vertex AI SDK は、Python、Java、Node.js、Go をサポートしています。

BigQuery: サーバーレスのマルチクラウド エンタープライズ データ ウェアハウス

BigQuery は、ML、地理空間分析、ビジネス インテリジェンスなどの組み込み機能を使用してデータの管理と分析を支援する、フルマネージド型のエンタープライズ データ ウェアハウスです。BigQuery テーブルは SQL でクエリできるので、SQL を主に使用しているデータ サイエンティストは、わずか数行のコードで大規模なクエリを実行できます。

また、Vertex AI で表形式モデルとカスタムモデルを構築する際に参照するデータストアとして BigQuery を使用することもできます。BigQuery をデータストアとして使用する方法については、BigQuery ストレージの概要をご覧ください。

対応言語:

• BigQuery 用の SDK。詳細については、BigQuery API クライアント ライブラリをご覧ください。
• GoogleSQL
• レガシー SQL

詳細については、BigQuery SQL 言語をご覧ください。

BigQuery ML: BigQuery で直接行う ML

BigQuery ML を使用すると、BigQuery でモデルを開発して呼び出すことができます。BigQuery ML を使用すると、SQL を使用して BigQuery 内で ML モデルを直接トレーニングできます。データを移動したり、基盤となるトレーニング インフラストラクチャを気にする必要はありません。BigQuery ML モデルのバッチ予測を作成して、BigQuery データから分析情報を取得できます。

BigQuery ML を使用して Vertex AI モデルにアクセスすることもできます。BigQuery ML リモートモデルは、Gemini などの Vertex AI 組み込みモデルまたは Vertex AI カスタムモデルで作成できます。他の BigQuery ML モデルと同様に、BigQuery の SQL を使用してリモートモデルを操作しますが、リモートモデルのトレーニングと推論はすべて Vertex AI で処理されます。

対応言語:

• GoogleSQL
• BigQuery クライアント ライブラリ

BigQuery ML を使用するメリットの詳細については、BigQuery の AI と ML の概要をご覧ください。

BigQuery ML モデルを Vertex AI で管理するメリット

BigQuery ML モデルを Model Registry に登録すると、Vertex AI でモデルを管理できます。BigQuery ML モデルを Vertex AI で管理すると、次の 2 つの主なメリットがあります。

• オンライン モデル サービング: BigQuery ML では、モデルのバッチ予測のみがサポートされています。オンライン予測を取得するには、BigQuery ML でモデルをトレーニングし、Vertex AI Model Registry を介して Vertex AI エンドポイントにデプロイします。

• MLOps の機能: 継続的なトレーニングで最新の状態が維持されているモデルが最も効果的なモデルです。Vertex AI には、時間の経過に伴う予測の精度を維持するため、モデルのモニタリングと再トレーニングを自動化する MLOps ツールが用意されています。Vertex AI Pipelines では、BigQuery オペレーターを使用して BigQuery ジョブ（BigQuery ML を含む）を ML パイプラインに接続できます。Vertex AI Model Monitoring を使用すると、BigQuery ML の予測を時系列でモニタリングできます。

BigQuery ML モデルを Model Registry に登録する方法については、Vertex AI で BigQuery ML モデルを管理するをご覧ください。

関連するノートブックのチュートリアル

実行する処理	リソース
BigQuery ML で Vertex AI と Gemini を使用して画像とテキストを分析する	Gemini 1.5 Flash を使用して BigQuery で映画のポスターを分析する
BigQuery ML で Vertex AI の基盤モデルを使用して BigQuery テーブルまたは非構造化データのテキストを生成する	Vertex AI で BigQuery ML と基盤モデルを使用してテキストを生成する
BigQuery ML でテキストと画像のベクトル エンベディングを生成する	BigQuery ML から Vertex AI のマルチモーダル エンベディング エンドポイントを呼び出して、セマンティック検索用のエンベディングを生成する
2 つの Vertex AI Tabular Workflows パイプラインを使用し、異なる構成を使用して AutoML モデルをトレーニングします。	表形式ワークフロー: AutoML 表形式パイプライン
Vertex AI SDK for Python を使用して表形式の AutoML 回帰モデルをトレーニングし、モデルからバッチ予測を取得します。	Vertex AI SDK for Python: BigQuery を使用したバッチ予測の AutoML トレーニング表形式回帰モデル
BigQuery ML で傾向モデルをトレーニングして評価し、モバイルゲームのユーザー維持率を予測します。	Google アナリティクス 4 と BigQuery ML を使用した、ゲーム デベロッパーのためのチャーン予測
BigQuery ML を使用して CDM 料金データの最適化を行います。	CDM 料金データを使用した料金設定の最適化に関する分析

次のステップ

• Vertex AI の使用を開始するには、以下をご覧ください。
  • トレーニング方法を選択する
  • BigQuery ML モデルを Model Registry と統合する