Vertex AI 合作夥伴模型 (機器學習即服務)

Vertex AI 支援 Google 合作夥伴開發的精選模型清單。合作夥伴模型可透過Vertex AI 以模型即服務 (MaaS) 形式使用,並以代管 API 形式提供。使用合作夥伴模型時,您仍會將要求傳送至 Vertex AI 端點。合作夥伴模型是無伺服器模型,因此不需要佈建或管理基礎架構。

您可以使用 Model Garden 探索合作夥伴模型。您也可以使用 Model Garden 部署模型。詳情請參閱「探索 Model Garden 中的 AI 模型」。您可以在 Model Garden 的模型資訊卡中找到各個合作夥伴模型的相關資訊,但本指南只會記錄可透過 Vertex AI 執行 MaaS 的第三方模型。

Anthropic 的 Claude 和 Mistral 模型是第三方管理模型的例子,可在 Vertex AI 上使用。

合作夥伴模型

下列合作夥伴模型在 Vertex AI Model Garden (MaaS) 中以代管 API 形式提供:

模型名稱 模態 說明 快速入門導覽課程
Claude Opus 4.1 語言、視覺 程式設計領域的領導者。這項技術可持續執行需要專注投入大量心力、包含數千個步驟的長期工作,大幅擴展 AI 代理可解決的問題。非常適合為前沿代理程式產品和功能供電。 Model Card
Claude Opus 4 語言、視覺 Claude Opus 4 在需要專注投入大量心力,並經過數千個步驟才能完成的長時間執行工作上,能持續展現出色成效,大幅擴展 AI 代理程式可解決的問題範圍。 Model Card
Claude Sonnet 4 語言、視覺 Anthropic 的中型模型,具備卓越的智慧,適合用於大量用途,例如程式設計、深入研究和代理。 Model Card
Anthropic 的 Claude 3.7 Sonnet 語言、視覺 業界領先的程式設計模型,可為 AI 代理提供支援,也是第一個可以廣泛思考的 Claude 模型。 Model Card
Anthropic 的 Claude 3.5 Sonnet v2 語言、視覺 全新升級的 Claude 3.5 Sonnet 是最先進的模型,能實際處理軟體工程任務,以及建構虛擬服務專員功能。新版 Claude 3.5 Sonnet 的功能取得了顯著進展,而價格和速度表現卻維持不變。 Model Card
Anthropic 的 Claude 3.5 Haiku 語言、視覺 Claude 3.5 Haiku 是 Anthropic 新一代速度最快且最具成本效益的模型,是追求速度表現和性價比的最佳選擇。 Model Card
Anthropic 的 Claude 3 Opus 語言 功能強大的 AI 模型,能夠在執行高複雜度工作時取得最佳成效。這個模型具備令人驚豔的流暢度和類似人類的理解能力,可掌握開放式提示與不可視情境。 Model Card
Anthropic 的 Claude 3 Haiku 語言 Anthropic 最快速的視覺與文字模型,能夠近乎即時地回覆基本查詢,讓使用者享有與真人互動相似的流暢 AI 體驗。 Model Card
Anthropic 的 Claude 3.5 Sonnet 語言 在 Anthropic 進行的一系列評測中,Claude 3.5 Sonnet 的表現皆優於 Anthropic 的 Claude 3 Opus,而速度與成本方面的表現則等同於 Anthropic 的中階模型 Claude 3 Sonnet。 Model Card
Jamba 1.5 Large (預先發布版) 語言 AI21 Labs 的 Jamba 1.5 Large 旨在提供優質回覆、高輸送量,以及相較於同類大小的其他模型更具競爭力的價格。 Model Card
Jamba 1.5 Mini (預先發布版) 語言 AI21 Labs 的 Jamba 1.5 Mini 在品質、輸送量和低成本之間取得良好平衡。 Model Card
Mistral OCR (25.05) 語言、視覺 Mistral OCR (25.05) 是一種光學字元辨識 API,可協助理解文件。模型會理解文件中的每個元素,例如媒體、文字、表格和方程式。 Model Card
Mistral Small 3.1 (25.03) 語言 Mistral Small 3.1 (25.03) 是 Mistral Small 模型的最新版本,具備多模態功能和更長的脈絡長度。 Model Card
Mistral Large (24.11) 語言 Mistral Large (24.11) 是 Mistral Large (24.07) 模型的下一個版本,現在具備更強大的推論和函式呼叫功能。 Model Card
Codestral (25.01) 程式碼 專為生成程式碼設計的先進模型,包括填空和程式碼完成功能。 Model Card

Vertex AI 合作夥伴模型定價 (含容量保證)

Google 為部分合作夥伴模型提供已佈建的處理量,可為您的模型預留處理量容量,並收取固定費用。您可以決定輸送量容量,以及要在哪些區域預留該容量。由於系統會優先處理佈建的處理量要求,而非標準的即付即用要求,因此佈建的處理量可提高可用性。系統超載時,只要輸送量維持在預留輸送量容量以下,您的要求仍可完成。如要瞭解詳情或訂閱這項服務,請與銷售人員聯絡

區域和全域端點

如果是區域端點,系統會從您指定的區域提供要求。如有資料落地規定,或模型不支援全域端點,請使用區域端點。

使用全域端點時,Google 可從模型支援的任何區域處理及提供要求,有時可能會導致延遲時間較長。全域端點有助於提升整體可用性,並減少錯誤。

使用全域端點時,價格與區域端點相同。不過,全球端點的配額和支援的模型功能可能與區域端點不同。詳情請參閱相關的第三方模型頁面。

指定全域端點

如要使用全域端點,請將區域設為 global

舉例來說,curl 指令的要求網址採用下列格式: https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/PUBLISHER_NAME/models/MODEL_NAME

Vertex AI SDK 預設使用區域端點。將區域設為 GLOBAL,即可使用全域端點。

支援的模型

下列模型可使用全域端點:

限制全球 API 端點用量

如要強制使用區域端點,請使用constraints/gcp.restrictEndpointUsage機構政策限制,封鎖對全域 API 端點的要求。詳情請參閱「限制端點用量」一文。

授予使用者合作夥伴模型的存取權

如要啟用合作夥伴模型並提出提示要求,管理員必須 Google Cloud設定必要權限,並確認機構政策允許使用必要 API

設定使用合作夥伴模型所需的權限

如要使用合作夥伴模型,必須具備下列角色和權限:

  • 您必須具備「消費者採購授權管理員」身分與存取權管理 (IAM) 角色。只要獲授這個角色,就能在 Model Garden 中啟用合作夥伴模型。

  • 您必須具備「aiplatform.endpoints.predict」權限。Vertex AI 使用者 IAM 角色已具備此權限。詳情請參閱「Vertex AI 使用者」和「存取權控管」。

主控台

  1. 如要將「消費者採購授權管理員」IAM 角色授予使用者,請前往「IAM」頁面。

    前往「IAM」頁面

  2. 在「主體」欄中,找出要啟用合作夥伴模型存取權的使用者主體,然後點選該列中的「編輯主體」圖示

  3. 在「編輯存取權」窗格中,按一下 「新增其他角色」

  4. 在「Select a role」(選取角色) 中,選取「Consumer Procurement Entitlement Manager」(消費者採購授權管理員)

  5. 在「編輯存取權」窗格中,按一下 「新增其他角色」

  6. 在「Select a role」(選取角色) 中,選取「Vertex AI User」(Vertex AI 使用者)

  7. 按一下 [儲存]

gcloud

  1. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

  2. 授予啟用 Model Garden 中合作夥伴模型所需的「消費者採購授權管理員」角色

    gcloud projects add-iam-policy-binding  PROJECT_ID \
    --member=PRINCIPAL --role=roles/consumerprocurement.entitlementManager
    
  3. 授予 Vertex AI 使用者角色,其中包含提出提示要求所需的 aiplatform.endpoints.predict 權限:

    gcloud projects add-iam-policy-binding  PROJECT_ID \
    --member=PRINCIPAL --role=roles/aiplatform.user
    

    PRINCIPAL 替換為主體的 ID。ID 格式為 user|group|serviceAccount:emaildomain:domain,例如 user:cloudysanfrancisco@gmail.comgroup:admins@example.comserviceAccount:test123@example.domain.comdomain:example.domain.com

    輸出內容是政策繫結清單,包含下列項目:

    -   members:
      -   user:PRINCIPAL
      role: roles/roles/consumerprocurement.entitlementManager
    

    詳情請參閱「授予單一角色」 和「gcloud projects add-iam-policy-binding」。

設定合作夥伴模型存取權的機構政策

如要啟用合作夥伴模型,貴機構的政策必須允許下列 API:Cloud Commerce Consumer Procurement API - cloudcommerceconsumerprocurement.googleapis.com

如果貴機構設定機構政策來限制服務用量,機構管理員就必須設定機構政策,確認允許使用 cloudcommerceconsumerprocurement.googleapis.com

此外,如果您的機構政策限制在 Model Garden 中使用模型,則政策必須允許存取合作夥伴模型。詳情請參閱控管模型存取權

合作夥伴機型法規遵循

使用 Vertex AI 將合作夥伴模型做為代管 API 時,Vertex AI 的生成式 AI認證仍適用。如需模型本身的詳細資料,請參閱相應的模型資訊卡,或與相應的模型發布者聯絡。

在 Vertex AI 上,合作夥伴模型會將靜態資料儲存在所選區域或多區域,但資料處理的區域化程度可能有所不同。如需合作夥伴模型資料處理承諾的詳細清單,請參閱「合作夥伴模型的資料落地」。

使用 Vertex AI API (包括合作夥伴模型) 時,系統不會將客戶提示和模型回覆分享給第三方。Google 只會按照客戶指示處理「客戶資料」,詳情請參閱《Cloud 資料處理修訂條款》。