Vertex ML Metadata 추적

Vertex ML Metadata를 사용하면 머신러닝(ML) 워크플로에서 생성한 메타데이터를 추적하고 분석할 수 있습니다. Vertex ML Metadata를 처음 사용하는 경우 Vertex ML Metadata 소개를 참조하여 ML 워크플로 메타데이터를 추적하고 분석하는 방법을 자세히 알아보세요.

이 가이드에서는 다음 프로세스를 사용하여 메타데이터를 로깅하는 방법을 보여줍니다.

ML 워크플로의 단계를 나타내는 실행을 만듭니다.
기존 아티팩트를 조회하여 메타데이터 저장소에 이미 작성된 입력 아티팩트를 찾습니다.
아직 메타데이터 저장소에 기록되지 않은 실행 입력의 아티팩트를 만들고 이 실행으로 생성된 출력을 생성합니다.
실행과 입력 및 출력 아티팩트 간의 관계를 나타내는 이벤트를 만듭니다.
원하는 경우 컨텍스트에 실행 및 아티팩트를 추가합니다. 컨텍스트를 사용하여 실행과 아티팩트의 집합을 그룹화합니다. 예를 들어 모델 학습에 가장 적합한 초매개변수 집합을 찾기 위해 실험하는 경우 각 실험은 자체 매개변수 및 측정항목 집합을 사용하는 다른 실행일 수 있습니다. 컨텍스트 내에서 실행을 비교하여 가장 우수한 모델을 만든 실험을 찾을 수 있습니다.

실행과 아티팩트를 컨텍스트에 추가하려면 먼저 컨텍스트를 만들어야 합니다.

Vertex ML Metadata 애셋을 만드는 방법에는 두 가지가 있습니다. REST 명령어 또는Vertex AI SDK for Python를 사용할 수 있습니다. Python SDK는 다양한 애셋 유형의 생성 및 검색을 간소화합니다. Python을 사용하여 실행을 만들 때는 페이로드를 수동으로 생성할 필요가 없습니다.

시작하기 전에

Google Cloud 프로젝트에서 Vertex ML Metadata를 처음 사용하면 Vertex AI가 프로젝트의 Vertex ML Metadata 저장소를 만듭니다.

고객 관리 암호화 키(CMEK)를 사용하여 메타데이터를 암호화하려면 Vertex ML Metadata를 사용하여 메타데이터를 추적하거나 분석하기 전에 CMEK를 사용하여 메타데이터 저장소를 만들어야 합니다. CMEK를 사용하는 메타데이터 저장소 만들기 안내에 따라 프로젝트의 메타데이터 저장소를 구성합니다.

실행 만들기

실행은 ML 워크플로의 단계를 나타냅니다. 다음 안내에 따라 실행을 만듭니다.

REST

요청 데이터를 사용하기 전에 다음을 바꿉니다.

LOCATION_ID: 리전
PROJECT_ID: 프로젝트 ID입니다.
METADATA_STORE: 실행이 생성된 메타데이터 저장소 ID입니다. 기본 메타데이터 저장소 이름은 default로 지정됩니다.
EXECUTION_ID: 실행 레코드의 ID입니다. 실행 ID를 지정하지 않으면 Vertex ML Metadata에서 이 실행의 고유 식별자를 생성합니다.
DISPLAY_NAME: 실행의 표시 이름입니다. 이 필드에는 유니코드 문자가 최대 128자까지 포함될 수 있습니다.
EXECUTION_STATE: (선택사항) 실행의 현재 상태를 나타내는 상태 열거의 값입니다. 클라이언트 애플리케이션에서 이 필드를 관리합니다. Vertex ML Metadata에서는 상태 변환의 유효성을 확인하지 않습니다.
METADATA_SCHEMA_TITLE: 메타데이터 필드를 설명하는 스키마의 제목입니다. 스키마 제목이 `.` 형식을 충족해야 합니다. 네임스페이스는 소문자로 시작해야 하며 소문자와 숫자를 포함할 수 있고 2~20자 사이여야 합니다. 스키마 이름은 대문자로 시작해야 하고, 문자 및 숫자를 포함할 수 있으며, 길이가 2~49자일 수 있습니다.
METADATA_SCHEMA_VERSION: (선택사항) 메타데이터 필드를 설명하는 스키마의 버전입니다. schema_version은 1.0.0, 1.0.1과 같이 마침표로 구분된 3개 숫자로 된 문자열이어야 합니다. 이 형식은 버전 정렬 및 비교를 도와줍니다.
METADATA: (선택사항) 실행 매개변수와 같은 실행을 설명하는 속성입니다.
DESCRIPTION: (선택사항) 사람이 읽을 수 있는 문자열로서, 실행을 만드는 목적을 설명합니다.
LABELS: (선택사항) 실행을 구성하는 사용자 정의 메타데이터입니다.

HTTP 메서드 및 URL:

POST https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/executions?executionId=EXECUTION_ID

JSON 요청 본문:

{
  "displayName": "DISPLAY_NAME",
  "state": "EXECUTION_STATE",
  "schemaTitle": "METADATA_SCHEMA_TITLE",
  "schemaVersion": "METADATA_SCHEMA_VERSION",
  "metadata": {
    METADATA
  },
  "labels": {"LABEL_1":"LABEL_2"},
  "description": "DESCRIPTION"

}

요청을 보내려면 다음 옵션 중 하나를 펼칩니다.

cURL(Linux, macOS, Cloud Shell)

참고: 다음 명령어는 gcloud init 또는 gcloud auth login을 실행하거나 gcloud CLI에 자동으로 로그인하는 Cloud Shell을 사용하여 사용자 계정으로 gcloud CLI에 로그인했다고 가정합니다. gcloud auth list를 실행하면 현재 활성 계정을 확인할 수 있습니다.

요청 본문을 request.json 파일에 저장합니다. 터미널에서 다음 명령어를 실행하여 현재 디렉터리에 이 파일을 만들거나 덮어씁니다.

cat > request.json << 'EOF'
{
  "displayName": "DISPLAY_NAME",
  "state": "EXECUTION_STATE",
  "schemaTitle": "METADATA_SCHEMA_TITLE",
  "schemaVersion": "METADATA_SCHEMA_VERSION",
  "metadata": {
    METADATA
  },
  "labels": {"LABEL_1":"LABEL_2"},
  "description": "DESCRIPTION"

}
EOF

그런 후 다음 명령어를 실행하여 REST 요청을 전송합니다.

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/executions?executionId=EXECUTION_ID"

PowerShell(Windows)

참고: 다음 명령어는 gcloud init 또는 gcloud auth login을 실행하여 사용자 계정으로 gcloud CLI에 로그인했다고 가정합니다. gcloud auth list를 실행하면 현재 활성 계정을 확인할 수 있습니다.

요청 본문을 request.json 파일에 저장합니다. 터미널에서 다음 명령어를 실행하여 현재 디렉터리에 이 파일을 만들거나 덮어씁니다.

@'
{
  "displayName": "DISPLAY_NAME",
  "state": "EXECUTION_STATE",
  "schemaTitle": "METADATA_SCHEMA_TITLE",
  "schemaVersion": "METADATA_SCHEMA_VERSION",
  "metadata": {
    METADATA
  },
  "labels": {"LABEL_1":"LABEL_2"},
  "description": "DESCRIPTION"

}
'@  | Out-File -FilePath request.json -Encoding utf8

그런 후 다음 명령어를 실행하여 REST 요청을 전송합니다.

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/executions?executionId=EXECUTION_ID" | Select-Object -Expand Content

다음과 비슷한 JSON 응답이 표시됩니다.

{
  "name": "projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/executions/EXECUTION_ID",
  "displayName": "Example Execution",
  "etag": "67891011",
  "labels": {
    "test_label": "test_label_value"
  },
  "createTime": "2021-05-18T00:04:49.659Z",
  "updateTime": "2021-05-18T00:04:49.659Z",
  "schemaTitle": "system.Run",
  "schemaVersion": "0.0.1",
  "metadata": {},
  "description": "Description of the example execution."
}

Python

from typing import Any, Dict, List, Optional

from google.cloud import aiplatform
from google.cloud.aiplatform.metadata.schema.system import execution_schema


def create_execution_sample(
    display_name: str,
    input_artifacts: List[aiplatform.Artifact],
    output_artifacts: List[aiplatform.Artifact],
    project: str,
    location: str,
    execution_id: Optional[str] = None,
    metadata: Optional[Dict[str, Any]] = None,
    schema_version: Optional[str] = None,
    description: Optional[str] = None,
):
    aiplatform.init(project=project, location=location)

    with execution_schema.ContainerExecution(
        display_name=display_name,
        execution_id=execution_id,
        metadata=metadata,
        schema_version=schema_version,
        description=description,
    ).create() as execution:
        execution.assign_input_artifacts(input_artifacts)
        execution.assign_output_artifacts(output_artifacts)
        return execution

display_name: 실행의 표시 이름입니다. 이 필드에는 유니코드 문자가 최대 128자까지 포함될 수 있습니다.
input_artifacts: 입력 아티팩트를 나타내는 aiplatform.Artifact의 하나 이상의 인스턴스 목록입니다.
output_artifacts: 출력 아티팩트를 나타내는 aiplatform.Artifact의 하나 이상의 인스턴스 목록입니다.
project: 프로젝트 ID입니다. Google Cloud 콘솔 시작 페이지에서 이러한 ID를 찾을 수 있습니다.
location: 사용 가능한 위치 목록을 참조하세요.
execution_id: 실행 레코드의 ID입니다. 실행 ID를 지정하지 않으면 Vertex ML Metadata에서 이 실행의 고유 식별자를 생성합니다.
metadata: 실행 매개변수와 같은 실행을 설명하는 속성입니다.
schema_version: 메타데이터 필드를 설명하는 스키마의 버전입니다.
description: (선택사항) 사람이 읽을 수 있는 문자열로서, 실행을 만드는 목적을 설명합니다.

기존 아티팩트 조회

아티팩트는 데이터 세트 및 모델과 같이 ML 워크플로에서 사용되거나 생성된 데이터를 나타냅니다. 다음 안내에 따라 기존 아티팩트를 조회합니다.

REST

요청 데이터를 사용하기 전에 다음을 바꿉니다.

LOCATION_ID: 리전
PROJECT_ID: 프로젝트 ID입니다.
METADATA_STORE: 아티팩트가 생성되는 메타데이터 저장소 ID입니다. 기본 메타데이터 저장소 이름은 default로 지정됩니다.
PAGE_SIZE: (선택사항) 반환할 최대 아티팩트 수입니다. 이 값을 지정하지 않으면 서비스에서 레코드를 최대 100까지 반환합니다.
PAGE_TOKEN: (선택사항) 이전 MetadataService.ListArtifacts 호출의 페이지 토큰입니다. 결과의 다음 페이지를 가져오려면 이 토큰을 지정하세요.
FILTER: 결과 집합에 아티팩트를 포함하는 데 필요한 조건을 지정합니다.

HTTP 메서드 및 URL:

GET https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/artifacts?pageSize=PAGE_SIZE&pageToken=PAGE_TOKEN&filter=FILTER

요청을 보내려면 다음 옵션 중 하나를 펼칩니다.

cURL(Linux, macOS, Cloud Shell)

다음 명령어를 실행합니다.

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/artifacts?pageSize=PAGE_SIZE&pageToken=PAGE_TOKEN&filter=FILTER"

PowerShell(Windows)

다음 명령어를 실행합니다.

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/artifacts?pageSize=PAGE_SIZE&pageToken=PAGE_TOKEN&filter=FILTER" | Select-Object -Expand Content

다음과 비슷한 출력이 표시됩니다. ARTIFACT_ID는 아티팩트 레코드의 ID입니다.

{
  "artifacts": [
    {
      "name": "projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/default/artifacts/ARTIFACT_ID",
      "displayName": "Example artifact",
      "uri": "gs://your_bucket_name/artifacts/dataset.csv",
      "etag": "67891011",
      "createTime": "2021-05-18T00:33:13.833Z",
      "updateTime": "2021-05-18T00:33:13.833Z",
      "state": "LIVE",
      "schemaTitle": "system.Dataset",
      "schemaVersion": "0.0.1",
      "metadata": {
        "payload_format": "CSV"
      },
      "description": "Description of the example artifact."
    },
    {
      "name": "projects/PROJECT_ID/locations/LOCATION/metadataStores/METADATA_STORE/artifacts/ARTIFACT_ID",
      "displayName": "Another example artifact",
      "uri": "gs://your_bucket_name/artifacts/dataset-2.csv",
      "etag": "67891012",
      "createTime": "2021-05-18T00:29:24.344Z",
      "updateTime": "2021-05-18T00:29:24.344Z",
      "state": "LIVE",
      "schemaTitle": "system.Dataset",
      "schemaVersion": "0.0.1",
      "metadata": {
        "payload_format": "CSV"
      },
      "description": "Description of the other example artifact."
    }
  ]
}

Python

from typing import Optional

from google.cloud import aiplatform


def list_artifact_sample(
    project: str,
    location: str,
    display_name_filter: Optional[str] = "display_name=\"my_model_*\"",
    create_date_filter: Optional[str] = "create_time>\"2022-06-11\"",
    order_by: Optional[str] = None,
):
    aiplatform.init(project=project, location=location)

    combined_filters = f"{display_name_filter} AND {create_date_filter}"
    return aiplatform.Artifact.list(
        filter=combined_filters,
        order_by=order_by,
    )

project: 프로젝트 ID입니다. Google Cloud 콘솔 시작 페이지에서 이러한 ID를 찾을 수 있습니다.
location: 사용 가능한 위치 목록을 참조하세요.
display_name_filter: 표시 이름에 적용할 필터이며 "display_name=\"dcmmy_filter\"" 형식의 리소스를 나열합니다.
create_date_filter: create_date 이름에 적용할 필터이며 "create_time>\"2022-06-11T12:30:00-08:00\"" 형식의 리소스를 나열합니다.

아티팩트 만들기

다음 안내에 따라 아티팩트를 만듭니다.

REST

요청 데이터를 사용하기 전에 다음을 바꿉니다.

LOCATION_ID: 리전
PROJECT_ID: 프로젝트 ID입니다.
METADATA_STORE: 아티팩트가 생성되는 메타데이터 저장소 ID입니다. 기본 메타데이터 저장소 이름은 default로 지정됩니다.
ARTIFACT_ID: (선택사항) 아티팩트 레코드의 ID입니다. 아티팩트 ID를 지정하지 않으면 Vertex ML Metadata에서 이 아티팩트의 고유 식별자를 만듭니다.
DISPLAY_NAME: (선택사항) 아티팩트의 사용자 정의 이름입니다.
URI: (선택 사항) 아티팩트가 저장되는 위치입니다.
ARTIFACT_STATE: (선택 사항) 아티팩트의 현재 상태를 나타내는 상태 열거의 값입니다. 클라이언트 애플리케이션에서 이 필드를 관리합니다. Vertex ML Metadata에서는 상태 변환의 유효성을 확인하지 않습니다.
METADATA_SCHEMA_TITLE: 메타데이터 필드를 설명하는 스키마의 제목입니다. 스키마 제목이 `.` 형식을 충족해야 합니다. 네임스페이스는 소문자로 시작해야 하며 소문자와 숫자를 포함할 수 있고 2~20자 사이여야 합니다. 스키마 이름은 대문자로 시작해야 하고, 문자 및 숫자를 포함할 수 있으며, 길이가 2~49자일 수 있습니다.
METADATA_SCHEMA_VERSION: (선택사항) 메타데이터 필드를 설명하는 스키마의 버전입니다. schema_version은 1.0.0, 1.0.1과 같이 마침표로 구분된 3개 숫자로 된 문자열이어야 합니다. 이 형식은 버전 정렬 및 비교를 도와줍니다.
METADATA: (선택사항) 데이터 세트 유형과 같은 아티팩트를 설명하는 속성입니다.
DESCRIPTION: (선택사항) 사람이 읽을 수 있는 문자열로서, 실행을 만드는 목적을 설명합니다.
LABELS: (선택사항) 아티팩트를 구성하는 사용자 정의 메타데이터입니다.

HTTP 메서드 및 URL:

POST https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/artifacts?artifactId=ARTIFACT_ID

JSON 요청 본문:

{
  "displayName": "DISPLAY_NAME",
  "uri": "URI",
  "state": "ARTIFACT_STATE",
  "schemaTitle": "METADATA_SCHEMA_TITLE",
  "schemaVersion": "METADATA_SCHEMA_VERSION",
  "metadata": {
    METADATA
  },
  "labels": {"LABEL_1":"LABEL_2"},
  "description": "DESCRIPTION"
}

요청을 보내려면 다음 옵션 중 하나를 펼칩니다.

cURL(Linux, macOS, Cloud Shell)

요청 본문을 request.json 파일에 저장합니다. 터미널에서 다음 명령어를 실행하여 현재 디렉터리에 이 파일을 만들거나 덮어씁니다.

cat > request.json << 'EOF'
{
  "displayName": "DISPLAY_NAME",
  "uri": "URI",
  "state": "ARTIFACT_STATE",
  "schemaTitle": "METADATA_SCHEMA_TITLE",
  "schemaVersion": "METADATA_SCHEMA_VERSION",
  "metadata": {
    METADATA
  },
  "labels": {"LABEL_1":"LABEL_2"},
  "description": "DESCRIPTION"
}
EOF

그런 후 다음 명령어를 실행하여 REST 요청을 전송합니다.

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/artifacts?artifactId=ARTIFACT_ID"

PowerShell(Windows)

요청 본문을 request.json 파일에 저장합니다. 터미널에서 다음 명령어를 실행하여 현재 디렉터리에 이 파일을 만들거나 덮어씁니다.

@'
{
  "displayName": "DISPLAY_NAME",
  "uri": "URI",
  "state": "ARTIFACT_STATE",
  "schemaTitle": "METADATA_SCHEMA_TITLE",
  "schemaVersion": "METADATA_SCHEMA_VERSION",
  "metadata": {
    METADATA
  },
  "labels": {"LABEL_1":"LABEL_2"},
  "description": "DESCRIPTION"
}
'@  | Out-File -FilePath request.json -Encoding utf8

그런 후 다음 명령어를 실행하여 REST 요청을 전송합니다.

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/artifacts?artifactId=ARTIFACT_ID" | Select-Object -Expand Content

다음과 비슷한 JSON 응답이 표시됩니다.

{
  "name": "projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/default/artifacts/ARTIFACT_ID",
  "displayName": "Example artifact",
  "uri": "gs://your_bucket_name/artifacts/dataset.csv",
  "etag": "67891011",
  "labels": {
    "test_label": "test_label_value"
  },
  "createTime": "2021-05-18T00:29:24.344Z",
  "updateTime": "2021-05-18T00:29:24.344Z",
  "state": "LIVE",
  "schemaTitle": "system.Dataset",
  "schemaVersion": "0.0.1",
  "metadata": {
    "payload_format": "CSV"
  },
  "description": "Description of the example artifact."
}

Python

from typing import Dict, Optional

from google.cloud.aiplatform.metadata.schema.system import artifact_schema


def create_artifact_sample(
    project: str,
    location: str,
    uri: Optional[str] = None,
    artifact_id: Optional[str] = None,
    display_name: Optional[str] = None,
    schema_version: Optional[str] = None,
    description: Optional[str] = None,
    metadata: Optional[Dict] = None,
):
    system_artifact_schema = artifact_schema.Artifact(
        uri=uri,
        artifact_id=artifact_id,
        display_name=display_name,
        schema_version=schema_version,
        description=description,
        metadata=metadata,
    )
    return system_artifact_schema.create(project=project, location=location,)

project: 프로젝트 ID입니다. Google Cloud 콘솔 시작 페이지에서 이러한 ID를 찾을 수 있습니다.
location: 사용 가능한 위치 목록을 참조하세요.
uri: (선택사항) 아티팩트 파일의 동일한 리소스 식별자입니다. 실제 아티팩트 파일이 없으면 비어 있을 수 있습니다.
artifact_id: (선택사항) 아티팩트 레코드의 ID입니다. 아티팩트 ID를 지정하지 않으면 Vertex ML Metadata에서 이 아티팩트의 고유 식별자를 만듭니다.
display_name: (선택사항) 아티팩트의 사용자 정의 이름입니다.
schema_version: 메타데이터 필드를 설명하는 스키마의 버전입니다.
description: (선택사항) 사람이 읽을 수 있는 문자열로서, 아티팩트를 만드는 목적을 설명합니다.
metadata: 아티팩트를 설명하는 속성(예: 아티팩트 매개변수)입니다.

아티팩트를 실행에 연결하는 이벤트 만들기

이벤트는 실행과 입력 및 출력 아티팩트 간의 관계를 나타냅니다. 다음 안내에 따라 이벤트를 만들어서 아티팩트를 실행에 연결합니다.

REST

요청 데이터를 사용하기 전에 다음을 바꿉니다.

LOCATION_ID: 리전
PROJECT_ID: 프로젝트 ID입니다.
METADATA_STORE: 실행이 생성된 메타데이터 저장소 ID입니다. 기본 메타데이터 저장소 이름은 default로 지정됩니다.
EXECUTION_ID: 실행 레코드의 ID입니다.
ARTIFACT: 아티팩트의 리소스 이름입니다. 리소스 이름은 projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/artifacts/ARTIFACT_ID 형식입니다.
EVENT_TYPE: (선택사항) 아티팩트가 실행의 입력이나 출력인지 여부를 지정하는 EventType 열거의 값입니다.

HTTP 메서드 및 URL:

POST https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/executions/EXECUTION_ID:addExecutionEvents

JSON 요청 본문:

{
  "events": [
    {
      "artifact": "projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/artifacts/ARTIFACT_ID",
      "type": "EVENT_TYPE"
    }
  ]
}

요청을 보내려면 다음 옵션 중 하나를 펼칩니다.

cURL(Linux, macOS, Cloud Shell)

요청 본문을 request.json 파일에 저장합니다. 터미널에서 다음 명령어를 실행하여 현재 디렉터리에 이 파일을 만들거나 덮어씁니다.

cat > request.json << 'EOF'
{
  "events": [
    {
      "artifact": "projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/artifacts/ARTIFACT_ID",
      "type": "EVENT_TYPE"
    }
  ]
}
EOF

그런 후 다음 명령어를 실행하여 REST 요청을 전송합니다.

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/executions/EXECUTION_ID:addExecutionEvents"

PowerShell(Windows)

요청 본문을 request.json 파일에 저장합니다. 터미널에서 다음 명령어를 실행하여 현재 디렉터리에 이 파일을 만들거나 덮어씁니다.

@'
{
  "events": [
    {
      "artifact": "projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/artifacts/ARTIFACT_ID",
      "type": "EVENT_TYPE"
    }
  ]
}
'@  | Out-File -FilePath request.json -Encoding utf8

그런 후 다음 명령어를 실행하여 REST 요청을 전송합니다.

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/executions/EXECUTION_ID:addExecutionEvents" | Select-Object -Expand Content

성공 상태 코드(2xx)와 빈 응답을 받게 됩니다.

Python

from typing import Any, Dict, List, Optional

from google.cloud import aiplatform
from google.cloud.aiplatform.metadata.schema.system import execution_schema


def create_execution_sample(
    display_name: str,
    input_artifacts: List[aiplatform.Artifact],
    output_artifacts: List[aiplatform.Artifact],
    project: str,
    location: str,
    execution_id: Optional[str] = None,
    metadata: Optional[Dict[str, Any]] = None,
    schema_version: Optional[str] = None,
    description: Optional[str] = None,
):
    aiplatform.init(project=project, location=location)

    with execution_schema.ContainerExecution(
        display_name=display_name,
        execution_id=execution_id,
        metadata=metadata,
        schema_version=schema_version,
        description=description,
    ).create() as execution:
        execution.assign_input_artifacts(input_artifacts)
        execution.assign_output_artifacts(output_artifacts)
        return execution

input_artifacts: 입력 아티팩트를 나타내는 aiplatform.Artifact의 하나 이상의 인스턴스 목록입니다.
output_artifacts: 출력 아티팩트를 나타내는 aiplatform.Artifact의 하나 이상의 인스턴스 목록입니다.
project: 프로젝트 ID입니다. Google Cloud 콘솔 시작 페이지에서 이러한 ID를 찾을 수 있습니다.
location: 사용 가능한 위치 목록을 참조하세요.
execution_id: 실행 레코드의 ID입니다. 실행 ID를 지정하지 않으면 Vertex ML Metadata에서 이 실행의 고유 식별자를 생성합니다.
metadata: 실행 매개변수와 같은 실행을 설명하는 속성입니다.
schema_version: 메타데이터 필드를 설명하는 스키마의 버전입니다.
description: (선택사항) 사람이 읽을 수 있는 문자열로서, 실행을 만드는 목적을 설명합니다.

컨텍스트 만들기

컨텍스트를 사용하면 아티팩트 및 실행의 집합을 그룹화할 수 있습니다. 다음 안내를 따라 컨텍스트를 만듭니다. Vertex AI Experiments에서 해당 컨텍스트에 대해 아티팩트 및 실행을 자동으로 로깅하는 컨텍스트를 만듭니다(실험 만들기 또는 삭제 참조).

REST

요청 데이터를 사용하기 전에 다음을 바꿉니다.

LOCATION_ID: 리전
PROJECT_ID: 프로젝트 ID입니다.
METADATA_STORE: 실행이 생성된 메타데이터 저장소 ID입니다. 기본 메타데이터 저장소 이름은 default로 지정됩니다.
CONTEXT_ID: (선택사항) 컨텍스트 레코드의 ID입니다. 컨텍스트 ID를 지정하지 않으면 Vertex ML Metadata에서 이 컨텍스트의 고유 식별자를 만듭니다.
DISPLAY_NAME: 컨텍스트의 표시 이름입니다. 이 필드에는 유니코드 문자가 최대 128자까지 포함될 수 있습니다.
PARENT_CONTEXT: 상위 컨텍스트의 리소스 이름을 지정합니다. 컨텍스트에 포함되는 상위 컨텍스트는 10개를 초과할 수 없습니다.
METADATA_SCHEMA_TITLE: 메타데이터 필드를 설명하는 스키마의 제목입니다. 스키마 제목이 `.` 형식을 충족해야 합니다. 네임스페이스는 소문자로 시작해야 하며 소문자와 숫자를 포함할 수 있고 2~20자 사이여야 합니다. 스키마 이름은 대문자로 시작해야 하고, 문자 및 숫자를 포함할 수 있으며, 길이가 2~49자일 수 있습니다.
METADATA_SCHEMA_VERSION: (선택사항) 메타데이터 필드를 설명하는 스키마의 버전입니다. schema_version은 1.0.0, 1.0.1과 같이 마침표로 구분된 3개 숫자로 된 문자열이어야 합니다. 이 형식은 버전 정렬 및 비교를 도와줍니다.
METADATA: 컨텍스트를 설명하는 속성(예: 컨텍스트 매개변수)입니다.
DESCRIPTION: (선택사항) 사람이 읽을 수 있는 문자열로서, 실행을 만드는 목적을 설명합니다.
LABELS: (선택사항) 컨텍스트를 구성하는 사용자 정의 메타데이터입니다.

HTTP 메서드 및 URL:

POST https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/contexts?contextId=CONTEXT_ID

JSON 요청 본문:

{
  "displayName": "DISPLAY_NAME:",
  "parentContexts": [
    "PARENT_CONTEXT_1",
    "PARENT_CONTEXT_2"
  ],
  "schemaTitle": "METADATA_SCHEMA_TITLE",
  "schemaVersion": "METADATA_SCHEMA_VERSION",
  "metadata": {
    METADATA
  },
  "labels": {"LABEL_1":"LABEL_2"},
  "description": "DESCRIPTION"

}

요청을 보내려면 다음 옵션 중 하나를 펼칩니다.

cURL(Linux, macOS, Cloud Shell)

요청 본문을 request.json 파일에 저장합니다. 터미널에서 다음 명령어를 실행하여 현재 디렉터리에 이 파일을 만들거나 덮어씁니다.

cat > request.json << 'EOF'
{
  "displayName": "DISPLAY_NAME:",
  "parentContexts": [
    "PARENT_CONTEXT_1",
    "PARENT_CONTEXT_2"
  ],
  "schemaTitle": "METADATA_SCHEMA_TITLE",
  "schemaVersion": "METADATA_SCHEMA_VERSION",
  "metadata": {
    METADATA
  },
  "labels": {"LABEL_1":"LABEL_2"},
  "description": "DESCRIPTION"

}
EOF

그런 후 다음 명령어를 실행하여 REST 요청을 전송합니다.

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/contexts?contextId=CONTEXT_ID"

PowerShell(Windows)

요청 본문을 request.json 파일에 저장합니다. 터미널에서 다음 명령어를 실행하여 현재 디렉터리에 이 파일을 만들거나 덮어씁니다.

@'
{
  "displayName": "DISPLAY_NAME:",
  "parentContexts": [
    "PARENT_CONTEXT_1",
    "PARENT_CONTEXT_2"
  ],
  "schemaTitle": "METADATA_SCHEMA_TITLE",
  "schemaVersion": "METADATA_SCHEMA_VERSION",
  "metadata": {
    METADATA
  },
  "labels": {"LABEL_1":"LABEL_2"},
  "description": "DESCRIPTION"

}
'@  | Out-File -FilePath request.json -Encoding utf8

그런 후 다음 명령어를 실행하여 REST 요청을 전송합니다.

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/contexts?contextId=CONTEXT_ID" | Select-Object -Expand Content

다음과 비슷한 출력이 표시됩니다. CONTEXT_ID는 컨텍스트 레코드의 ID입니다.

{
  "name": "projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/contexts/CONTEXT_ID",
  "displayName": "Example context:",
  "etag": "67891011",
  "labels": {
    "test_label": "test_label_value"
  },
  "createTime": "2021-05-18T01:52:51.642Z",
  "updateTime": "2021-05-18T01:52:51.642Z",
  "schemaTitle": "system.Experiment",
  "schemaVersion": "0.0.1",
  "metadata": {},
  "description": "Description of the example context."
}

Python

from typing import Any, Dict, Optional

from google.cloud import aiplatform
from google.cloud.aiplatform.metadata.schema.system import context_schema


def create_context_sample(
    display_name: str,
    project: str,
    location: str,
    context_id: Optional[str] = None,
    metadata: Optional[Dict[str, Any]] = None,
    schema_version: Optional[str] = None,
    description: Optional[str] = None,
):
    aiplatform.init(project=project, location=location)

    return context_schema.Experiment(
        display_name=display_name,
        context_id=context_id,
        metadata=metadata,
        schema_version=schema_version,
        description=description,
    ).create()

display_name: 컨텍스트의 표시 이름입니다. 이 필드에는 유니코드 문자가 최대 128자까지 포함될 수 있습니다.
project: 프로젝트 ID입니다. Google Cloud 콘솔 시작 페이지에서 이러한 ID를 찾을 수 있습니다.
location: 사용 가능한 위치 목록을 참조하세요.
context_id: (선택사항) 컨텍스트 레코드의 ID입니다.
metadata: 컨텍스트를 설명하는 속성(예: 컨텍스트 매개변수)입니다.
schema_version: 메타데이터 필드를 설명하는 스키마의 버전입니다.
description: (선택사항) 사람이 읽을 수 있는 문자열로서, 실행을 만드는 목적을 설명합니다.

컨텍스트에 아티팩트 및 실행 추가

다음 안내를 수행하여 아티팩트와 실행을 컨텍스트에 추가합니다.

REST

요청 데이터를 사용하기 전에 다음을 바꿉니다.

LOCATION_ID: 리전
PROJECT_ID: 프로젝트 ID입니다.
METADATA_STORE: 실행이 생성된 메타데이터 저장소 ID입니다. 기본 메타데이터 저장소 이름은 default로 지정됩니다.
CONTEXT: (선택사항) 컨텍스트 레코드의 ID입니다.
이 컨텍스트에 추가할 아티팩트의 ARTIFACT 리소스 이름을 지정합니다. 리소스 이름의 형식은 다음과 같습니다.
projects/PROJECT_ID/locations/location/metadataStores/metadata-store/artifacts/artifact
이 컨텍스트에 추가할 실행의 EXECUTION 리소스 이름을 지정합니다. 리소스 이름의 형식은 다음과 같습니다.
projects/PROJECT_ID/locations/location/metadataStores/metadata-store/executions/execution

HTTP 메서드 및 URL:

POST https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/contexts/CONTEXT:addContextArtifactsAndExecutions

JSON 요청 본문:

{
  "artifacts": [
    "projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/artifacts/ARTIFACT_ID"
  ],
  "executions": [
  "projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/executions/EXECUTION_ID"
  ]
}

요청을 보내려면 다음 옵션 중 하나를 펼칩니다.

cURL(Linux, macOS, Cloud Shell)

요청 본문을 request.json 파일에 저장합니다. 터미널에서 다음 명령어를 실행하여 현재 디렉터리에 이 파일을 만들거나 덮어씁니다.

cat > request.json << 'EOF'
{
  "artifacts": [
    "projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/artifacts/ARTIFACT_ID"
  ],
  "executions": [
  "projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/executions/EXECUTION_ID"
  ]
}
EOF

그런 후 다음 명령어를 실행하여 REST 요청을 전송합니다.

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/contexts/CONTEXT:addContextArtifactsAndExecutions"

PowerShell(Windows)

요청 본문을 request.json 파일에 저장합니다. 터미널에서 다음 명령어를 실행하여 현재 디렉터리에 이 파일을 만들거나 덮어씁니다.

@'
{
  "artifacts": [
    "projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/artifacts/ARTIFACT_ID"
  ],
  "executions": [
  "projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/executions/EXECUTION_ID"
  ]
}
'@  | Out-File -FilePath request.json -Encoding utf8

그런 후 다음 명령어를 실행하여 REST 요청을 전송합니다.

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/contexts/CONTEXT:addContextArtifactsAndExecutions" | Select-Object -Expand Content

성공 상태 코드(2xx)와 빈 응답을 받게 됩니다.

Notebooks

자세히 알아보려면 선택한 환경에서 다음 Jupyter 노트북을 실행합니다.

'Vertex AI 커스텀 학습 작업의 측정항목과 매개변수를 추적하고 자세한 분석을 수행합니다.'
Colab에서 열기 | Colab Enterprise에서 열기 | Vertex AI Workbench 사용자 관리 노트북에서 열기 | GitHub에서 보기
'ML 학습 작업의 측정항목과 매개변수를 추적하고 Vertex AI SDK를 사용하여 이 메타데이터를 분석합니다.'
Colab에서 열기 | Colab Enterprise에서 열기 | Vertex AI Workbench 사용자 관리 노트북에서 열기 | GitHub에서 보기
'Vertex ML Metadata를 사용하여 Vertex AI Pipelines에서 아티팩트 및 측정항목을 추적합니다.'
Colab에서 열기 | Colab Enterprise에서 열기 | Vertex AI Workbench 사용자 관리 노트북에서 열기 | GitHub에서 보기

다음 단계

Vertex ML Metadata 분석 시작하기

Vertex ML Metadata 추적 컬렉션을 사용해 정리하기 내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요.

시작하기 전에

실행 만들기

REST

cURL(Linux, macOS, Cloud Shell)

PowerShell(Windows)

Python

Python

기존 아티팩트 조회

REST

cURL(Linux, macOS, Cloud Shell)

PowerShell(Windows)

Python

Python

아티팩트 만들기

REST

cURL(Linux, macOS, Cloud Shell)

PowerShell(Windows)

Python

Python

아티팩트를 실행에 연결하는 이벤트 만들기

REST

cURL(Linux, macOS, Cloud Shell)

PowerShell(Windows)

Python

Python

컨텍스트 만들기

REST

cURL(Linux, macOS, Cloud Shell)

PowerShell(Windows)

Python

Python

컨텍스트에 아티팩트 및 실행 추가

REST

cURL(Linux, macOS, Cloud Shell)

PowerShell(Windows)

Notebooks

다음 단계

Vertex ML Metadata 추적