학습 파이프라인 만들기

콘솔

1. Google Cloud 콘솔의 Vertex AI 섹션에서 학습 파이프라인 페이지로 이동합니다.

   학습 파이프라인으로 이동

2. add_box 만들기를 클릭하여 새 모델 학습 창을 엽니다.

3. 학습 방법 단계에서 다음 설정을 지정합니다.

   1. 학습에 관리형 데이터 세트를 사용하려면 데이터 세트 및 주석 세트를 지정합니다.

      그렇지 않으면 데이터 세트 드롭다운 목록에서 관리형 데이터 세트 없음을 선택합니다.

   2. 커스텀 학습(고급)을 선택합니다.

   계속을 클릭합니다.

4. 모델 세부정보 단계에서 새 모델 학습 또는 새 버전 학습을 선택합니다. 새 모델 학습을 선택한 경우 모델에 사용할 이름(MODEL_NAME)을 입력합니다. 계속을 클릭합니다.

5. 학습 컨테이너 단계에서 다음 설정을 지정합니다.

   1. 학습에 사전 빌드된 컨테이너를 사용할지 커스텀 컨테이너를 사용할지 선택합니다.

   2. 선택에 따라 다음 중 하나를 실행합니다.

      • 사전 빌드된 컨테이너를 학습에 사용하려면 Cloud Storage에 업로드한 학습 패키지를 사용하는 데 필요한 정보를 Vertex AI에 제공합니다.

        1. 모델 프레임워크 및 모델 프레임워크 버전 드롭다운 목록을 사용하여 사용할 사전 빌드된 컨테이너를 지정합니다.

        2. 패키지 위치 필드에 만들어 업로드한 Python 학습 애플리케이션의 Cloud Storage URI를 지정합니다. 이 파일은 일반적으로 .tar.gz로 끝납니다.

        3. Python 모듈 필드에 학습 애플리케이션 진입점의 모듈 이름을 입력합니다.

      • 학습용 커스텀 컨테이너를 사용하려면 컨테이너 이미지 필드에서 컨테이너 이미지의 Artifact Registry 또는 Docker Hub URI를 지정합니다.

   3. 모델 출력 디렉터리 필드에서 액세스 권한이 있는 버킷에 있는 디렉터리의 Cloud Storage URI를 지정할 수 있습니다. 아직 디렉터리가 존재하지 않아도 됩니다.

      이 값은 baseOutputDirectory API 필드의 Vertex AI로 전달되어 학습 애플리케이션이 실행되면 액세스할 수 있는 여러 환경 변수를 설정합니다.

      학습이 끝나면 Vertex AI는 Model을 만들기 위해 이 URI의 하위 디렉터리에서 모델 아티팩트를 찾습니다. 이 하위 디렉터리를 학습 코드에 AIP_MODEL_DIR 환경 변수로 사용할 수 있습니다.

      초매개변수 미세 조정을 사용하지 않을 경우 Vertex AI는 BASE_OUTPUT_DIRECTORY/model/에서 모델 아티팩트를 찾을 것으로 예상합니다.

   4. 선택사항: 인수 필드에서 학습 코드 실행을 시작할 때 사용할 Vertex AI의 인수를 지정할 수 있습니다. 결합된 모든 인수의 최대 길이는 100,000자입니다. 이 인수의 동작은 사용하는 컨테이너 유형에 따라 달라집니다.

      • 사전 빌드된 컨테이너를 사용하는 경우 Vertex AI가 인수를 Python 모듈에 명령줄 플래그로 전달합니다.

      • 커스텀 컨테이너를 사용하는 경우 Vertex AI는 인수의 CMD 명령어를 인수로 재정의합니다.

   계속을 클릭합니다.

6. 초매개변수 미세 조정 단계에서 초매개변수 미세 조정 사용 체크박스가 해제된 것을 확인합니다. 계속을 클릭합니다.

7. 컴퓨팅 및 가격 책정 단계에서 다음 설정을 지정합니다.

   1. 리전 드롭다운 목록에서 "커스텀 학습을 지원하는 리전"을 선택합니다.

   2. 작업자 풀 0 섹션에서 학습에 사용할 컴퓨팅 리소스를 지정합니다.

      가속기를 지정하는 경우 선택한 가속기를 선택한 리전에서 사용할 수 있는지 확인합니다.

      분산형 학습을 수행하려면 작업자 풀 추가를 클릭하고 원하는 각 추가 작업자 풀에 대해 컴퓨팅 리소스 세트를 추가로 지정합니다.

   계속을 클릭합니다.

8. 예측 컨테이너 단계에서 다음 설정을 지정합니다.

   1. 학습된 모델에서 예측을 제공하기 위해 사전 빌드된 컨테이너를 사용할지 아니면 커스텀 컨테이너를 사용할지 선택합니다.

   2. 선택에 따라 다음 중 하나를 실행합니다.

      • 사전 빌드된 컨테이너를 사용하여 예측을 제공하려면 모델 프레임워크, 모델 프레임워크 버전, 가속기 유형 필드를 사용해 예측에 사용할 사전 빌드된 예측 컨테이너를 선택합니다.

        학습에 사용한 머신러닝 프레임워크에 모델 프레임워크 및 모델 프레임워크 버전을 일치시킵니다. 가속기 유형은 나중에 온라인 또는 일괄 예측에 GPU를 사용하려는 경우에만 지정하세요.

      • 커스텀 컨테이너를 사용하여 예측을 제공하려면 다음 안내를 따르세요.

        1. 컨테이너 이미지 필드에서 컨테이너 이미지의 Artifact Registry URI를 지정합니다.

        2. 선택 사항으로 컨테이너의 ENTRYPOINT 안내를 재정의하는 명령어를 지정할 수도 있습니다.

   3. 모델 디렉터리 필드에는 이전에 학습 컨테이너 단계의 모델 출력 디렉터리 필드에서 설정한 값이 포함됩니다. 이러한 필드 중 하나를 변경하면 동일한 효과가 적용됩니다. 이 필드에 대한 자세한 내용은 이전 안내를 참조하세요.

   4. 스키마 예측 섹션의 필드는 비워 둡니다.

9. 학습 시작을 클릭하여 커스텀 학습 파이프라인을 시작합니다.

REST

다음 코드 샘플을 사용하여 trainingPipeline 리소스의 create 메서드를 사용하여 학습 파이프라인을 만듭니다.

참고: 새 모델 버전을 만들도록 이 파이프라인을 설정하려면 선택적으로 trainingPipeline 필드에서 PARENT_MODEL을 추가할 수 있습니다.

자세한 내용은 Vertex AI Model Registry를 사용한 모델 버전 관리를 참조하세요.

요청 데이터를 사용하기 전에 다음을 바꿉니다.

• LOCATION_ID: 학습 코드가 실행되고 Model이 저장된 리전입니다.
• PROJECT_ID: 프로젝트 ID입니다.
• TRAINING_PIPELINE_NAME: 필수. trainingPipeline의 표시 이름입니다.
• 학습 애플리케이션이 Vertex AI 데이터 세트를 사용하는 경우 다음을 지정합니다.
  • DATASET_ID: 데이터 세트 ID입니다.
  • ANNOTATIONS_FILTER: 지정한 주석으로 데이터 세트를 필터링합니다.
  • ANNOTATION_SCHEMA_URI: 지정된 주석 스키마 URI로 데이터 세트를 필터링합니다.
  • 다음 옵션 중 하나를 사용하여 데이터 항목이 학습, 유효성 검사, 테스트 세트로 분할되는 방법을 지정합니다.
    • 각 세트의 크기를 정의하는 비율에 따라 데이터 세트를 분할하려면 다음을 지정합니다.
      • TRAINING_FRACTION: 모델을 학습시키는 데 사용할 데이터 세트의 비율입니다.
      • VALIDATION_FRACTION: 모델 검증에 사용할 데이터 세트의 비율입니다.
      • TEST_FRACTION: 모델을 평가하는 데 사용할 데이터 세트의 비율입니다.
    • 필터를 기반으로 데이터 세트를 분할하려면 다음을 지정합니다.
      • TRAINING_FILTER: 데이터 세트를 학습시키는 데 사용할 데이터 항목으로 데이터 세트를 필터링합니다.
      • VALIDATION_FILTER: 모델 검증에 사용할 데이터 항목을 데이터 세트를 필터링합니다.
      • TEST_FILTER: 데이터 세트를 평가하는 데 사용할 데이터 항목을 데이터 세트를 필터링합니다.
    • 사전 정의된 분할을 사용하려면 다음을 지정합니다.
      • PREDEFINED_SPLIT_KEY: 데이터 세트를 분할하는 데 사용할 열의 이름입니다. 이 열의 값은 'training`, `validation`, `test`입니다.
    • 데이터 항목의 타임스탬프를 기준으로 데이터 세트를 분할하려면 다음을 지정합니다.
      • TIMESTAMP_TRAINING_FRACTION: 모델 학습에 사용할 데이터 세트의 비율입니다.
      • TIMESTAMP_VALIDATION_FRACTION: 모델 검증에 사용할 데이터 세트의 비율입니다.
      • TIMESTAMP_TEST_FRACTION: 모델을 평가하는 데 사용할 데이터 세트의 비율입니다.
      • TIMESTAMP_SPLIT_KEY: 데이터 세트를 분할하는 데 사용할 타임스탬프 열의 이름입니다.
  • OUTPUT_URI_PREFIX: 학습, 검증, 테스트 세트로 분할된 경우 Vertex AI가 학습 데이터 세트를 내보내는 Cloud Storage 위치입니다.
• 커스텀 학습 작업을 다음과 같이 정의합니다.
  • MACHINE_TYPE: 머신 유형입니다. 학습에 사용 가능한 머신 유형을 참조하세요.
  • ACCELERATOR_TYPE: (선택사항) 각 시도에 연결할 가속기 유형입니다.
  • ACCELERATOR_COUNT: (선택사항) 각 시도에 연결할 가속기 수입니다.
  • REPLICA_COUNT: 각 시도에서 사용할 작업자 복제본 수입니다.
  • 학습 애플리케이션이 커스텀 컨테이너에서 실행되는 경우 다음을 지정합니다.
    • CUSTOM_CONTAINER_IMAGE_URI: 각 작업자 복제본에서 실행될 Artifact Registry 또는 Docker Hub의 컨테이너 이미지 URI입니다.
    • CUSTOM_CONTAINER_COMMAND: (선택사항) 컨테이너가 시작될 때 호출되는 명령어입니다. 이 명령어는 컨테이너의 기본 진입점을 재정의합니다.
    • CUSTOM_CONTAINER_ARGS: (선택사항) 컨테이너 시작 시 전달될 인수입니다. 결합된 모든 인수의 최대 길이는 100,000자입니다.
  • 학습 애플리케이션이 사전 빌드된 컨테이너에서 실행되는 Python 패키지인 경우 다음을 지정합니다.
    • PYTHON_PACKAGE_EXECUTOR_IMAGE_URI: 제공된 Python 패키지를 실행하는 컨테이너 이미지의 URI입니다. 학습에 사용 가능한 사전 빌드된 컨테이너를 참고하세요.
    • PYTHON_PACKAGE_URIS: 학습 프로그램 및 종속 패키지인 Python 패키지 파일의 Cloud Storage 위치입니다. 패키지 URI의 최대 개수는 100개입니다.
    • PYTHON_MODULE: 패키지를 설치한 후 실행할 Python 모듈 이름입니다.
    • PYTHON_PACKAGE_ARGS: (선택사항) Python 모듈로 전달할 명령줄 인수입니다. 결합된 모든 인수의 최대 길이는 100,000자입니다.
  • TIMEOUT: (선택사항) 작업의 최대 실행 시간입니다.
• MODEL_NAME: TrainingPipeline에서 업로드(생성)한 모델의 표시 이름입니다.
• MODEL_DESCRIPTION: 모델에 대한 설명입니다.
• IMAGE_URI: 예측 실행에 사용할 컨테이너 이미지의 URI입니다. 예를 들면 us-docker.pkg.dev/vertex-ai/prediction/tf2-cpu.2-1:latest입니다. 사전 빌드된 컨테이너나 커스텀 컨테이너를 사용합니다.
• modelToUpload.labels: 모델을 구성할 모든 키-값 쌍 세트입니다. 예를 들면 다음과 같습니다.
  • "env": "prod"
  • "tier": "backend"
• 학습 파이프라인에 적용할 라벨의 LABEL_NAME 및 LABEL_VALUE를 지정합니다.

HTTP 메서드 및 URL:

POST https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/trainingPipelines

JSON 요청 본문:

{
  "displayName": "TRAINING_PIPELINE_NAME",
  "inputDataConfig": {
    "datasetId": DATASET_ID,
    "annotationsFilter": ANNOTATIONS_FILTER,
    "annotationSchemaUri": ANNOTATION_SCHEMA_URI,

    // Union field split can be only one of the following:
    "fractionSplit": {
      "trainingFraction": TRAINING_FRACTION,
      "validationFraction": VALIDATION_FRACTION,
      "testFraction": TEST_FRACTION
    },
    "filterSplit": {
      "trainingFilter": TRAINING_FILTER,
      "validationFilter": VALIDATION_FILTER,
      "testFilter": TEST_FILTER
    },
    "predefinedSplit": {
      "key": PREDEFINED_SPLIT_KEY
    },
    "timestampSplit": {
      "trainingFraction": TIMESTAMP_TRAINING_FRACTION,
      "validationFraction": TIMESTAMP_VALIDATION_FRACTION,
      "testFraction": TIMESTAMP_TEST_FRACTION,
      "key": TIMESTAMP_SPLIT_KEY
    }
    // End of list of possible types for union field split.
    "gcsDestination": {
      "outputUriPrefix": OUTPUT_URI_PREFIX
    }
  },
  "trainingTaskDefinition": "gs://google-cloud-aiplatform/schema/trainingjob/definition/custom_task_1.0.0.yaml",
  "trainingTaskInputs": {
    "workerPoolSpecs": [
        {
          "machineSpec": {
            "machineType": MACHINE_TYPE,
            "acceleratorType": ACCELERATOR_TYPE,
            "acceleratorCount": ACCELERATOR_COUNT
          },
          "replicaCount": REPLICA_COUNT,

          // Union field task can be only one of the following:
          "containerSpec": {
            "imageUri": CUSTOM_CONTAINER_IMAGE_URI,
            "command": [
              CUSTOM_CONTAINER_COMMAND
            ],
            "args": [
              CUSTOM_CONTAINER_ARGS
            ]
          },
          "pythonPackageSpec": {
            "executorImageUri": PYTHON_PACKAGE_EXECUTOR_IMAGE_URI,
            "packageUris": [
              PYTHON_PACKAGE_URIS
            ],
            "pythonModule": PYTHON_MODULE,
            "args": [
              PYTHON_PACKAGE_ARGS
            ]
          }
          // End of list of possible types for union field task.
        }
      ],
      "scheduling": {
        "TIMEOUT": TIMEOUT
      }
    }
  },
  "modelToUpload": {
    "displayName": "MODEL_NAME",
    "predictSchemata": {},
    "containerSpec": {
      "imageUri": "IMAGE_URI"
    }
  },
  "labels": {
    LABEL_NAME_1": LABEL_VALUE_1,
    LABEL_NAME_2": LABEL_VALUE_2
  }
}

요청을 보내려면 다음 옵션 중 하나를 선택합니다.

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/trainingPipelines"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/trainingPipelines" | Select-Object -Expand Content

응답에는 사양 및 TRAININGPIPELINE_ID에 대한 정보가 포함됩니다.

{
  "name": "projects/PROJECT_ID/locations/LOCATION_ID/trainingPipelines/TRAININGPIPELINE_ID",
  "displayName": "TRAINING_PIPELINE_NAME",
  "input_data_config" {
    "dataset_id": "1234567891011121314"
    "gcs_destination" {
      "output_uri_prefix": "gs://BUCKET_NAME/data/20200915191342"
    }
    "annotation_schema_uri": "gs://google-cloud-aiplatform/schema/dataset/annotation/image_classification_1.0.0.yaml"
  },
  "trainingTaskDefinition": "gs://google-cloud-aiplatform/schema/trainingjob/definition/custom_task_1.0.0.yaml",
  "trainingTaskInputs": {
    "workerPoolSpecs": [
      {
        "machineSpec": {
          "machineType": "n1-standard-4"
        },
        "replicaCount": "1",
        "pythonPackageSpec": {
          "executorImageUri": "us-docker.pkg.dev/vertex-ai/training/training-tf-cpu.2-1:latest",
          "packageUris": [
            "gs://BUCKET_NAME/training/hello-custom-training-1.0.tar.gz"
          ],
          "pythonModule": "trainer.task",
          "args": [
            "--model-dir=gs://BUCKET_NAME/output/"
          ]
        }
      }
    ]
  },
  "trainingTaskMetadata": {
    "backingCustomJob": "projects/PROJECT_ID/locations/LOCATION_ID/customJobs/CUSTOM_JOB_ID"
  },
  "modelToUpload": {
    "displayName": "MODEL_NAME",
    "predictSchemata": {},
    "containerSpec": {
      "imageUri": "us-docker.pkg.dev/vertex-ai/prediction/tf2-cpu.2-1:latest"
    }
  },
  "state": "PIPELINE_STATE_PENDING",
  "createTime": "2020-09-15T19:09:54.342080Z",
  "startTime": "2020-09-15T19:13:42.991045Z",
}

Java

이 샘플을 사용해 보기 전에 Vertex AI 빠른 시작: 클라이언트 라이브러리 사용의 Java 설정 안내를 따르세요. 자세한 내용은 Vertex AI Java API 참고 문서를 참조하세요.

Vertex AI에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.

import com.google.cloud.aiplatform.v1.LocationName;
import com.google.cloud.aiplatform.v1.Model;
import com.google.cloud.aiplatform.v1.ModelContainerSpec;
import com.google.cloud.aiplatform.v1.PipelineServiceClient;
import com.google.cloud.aiplatform.v1.PipelineServiceSettings;
import com.google.cloud.aiplatform.v1.TrainingPipeline;
import com.google.gson.JsonArray;
import com.google.gson.JsonObject;
import com.google.protobuf.Value;
import com.google.protobuf.util.JsonFormat;
import java.io.IOException;

public class CreateTrainingPipelineCustomJobSample {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    String project = "PROJECT";
    String displayName = "DISPLAY_NAME";
    String modelDisplayName = "MODEL_DISPLAY_NAME";
    String containerImageUri = "CONTAINER_IMAGE_URI";
    String baseOutputDirectoryPrefix = "BASE_OUTPUT_DIRECTORY_PREFIX";
    createTrainingPipelineCustomJobSample(
        project, displayName, modelDisplayName, containerImageUri, baseOutputDirectoryPrefix);
  }

  static void createTrainingPipelineCustomJobSample(
      String project,
      String displayName,
      String modelDisplayName,
      String containerImageUri,
      String baseOutputDirectoryPrefix)
      throws IOException {
    PipelineServiceSettings settings =
        PipelineServiceSettings.newBuilder()
            .setEndpoint("us-central1-aiplatform.googleapis.com:443")
            .build();
    String location = "us-central1";

    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests. After completing all of your requests, call
    // the "close" method on the client to safely clean up any remaining background resources.
    try (PipelineServiceClient client = PipelineServiceClient.create(settings)) {
      JsonObject jsonMachineSpec = new JsonObject();
      jsonMachineSpec.addProperty("machineType", "n1-standard-4");

      // A working docker image can be found at
      // gs://cloud-samples-data/ai-platform/mnist_tfrecord/custom_job
      // This sample image accepts a set of arguments including model_dir.
      JsonObject jsonContainerSpec = new JsonObject();
      jsonContainerSpec.addProperty("imageUri", containerImageUri);
      JsonArray jsonArgs = new JsonArray();
      jsonArgs.add("--model_dir=$(AIP_MODEL_DIR)");
      jsonContainerSpec.add("args", jsonArgs);

      JsonObject jsonJsonWorkerPoolSpec0 = new JsonObject();
      jsonJsonWorkerPoolSpec0.addProperty("replicaCount", 1);
      jsonJsonWorkerPoolSpec0.add("machineSpec", jsonMachineSpec);
      jsonJsonWorkerPoolSpec0.add("containerSpec", jsonContainerSpec);

      JsonArray jsonWorkerPoolSpecs = new JsonArray();
      jsonWorkerPoolSpecs.add(jsonJsonWorkerPoolSpec0);

      JsonObject jsonBaseOutputDirectory = new JsonObject();
      // The GCS location for outputs must be accessible by the project's AI Platform
      // service account.
      jsonBaseOutputDirectory.addProperty("output_uri_prefix", baseOutputDirectoryPrefix);

      JsonObject jsonTrainingTaskInputs = new JsonObject();
      jsonTrainingTaskInputs.add("workerPoolSpecs", jsonWorkerPoolSpecs);
      jsonTrainingTaskInputs.add("baseOutputDirectory", jsonBaseOutputDirectory);

      Value.Builder trainingTaskInputsBuilder = Value.newBuilder();
      JsonFormat.parser().merge(jsonTrainingTaskInputs.toString(), trainingTaskInputsBuilder);
      Value trainingTaskInputs = trainingTaskInputsBuilder.build();
      String trainingTaskDefinition =
          "gs://google-cloud-aiplatform/schema/trainingjob/definition/custom_task_1.0.0.yaml";
      String imageUri = "gcr.io/cloud-aiplatform/prediction/tf-cpu.1-15:latest";
      ModelContainerSpec containerSpec =
          ModelContainerSpec.newBuilder().setImageUri(imageUri).build();
      Model modelToUpload =
          Model.newBuilder()
              .setDisplayName(modelDisplayName)
              .setContainerSpec(containerSpec)
              .build();
      TrainingPipeline trainingPipeline =
          TrainingPipeline.newBuilder()
              .setDisplayName(displayName)
              .setTrainingTaskDefinition(trainingTaskDefinition)
              .setTrainingTaskInputs(trainingTaskInputs)
              .setModelToUpload(modelToUpload)
              .build();
      LocationName parent = LocationName.of(project, location);
      TrainingPipeline response = client.createTrainingPipeline(parent, trainingPipeline);
      System.out.format("response: %s\n", response);
      System.out.format("Name: %s\n", response.getName());
    }
  }
}

Python

Vertex AI SDK for Python을 설치하거나 업데이트하는 방법은 Vertex AI SDK for Python 설치를 참조하세요. 자세한 내용은 Python API 참고 문서를 확인하세요.

다음 예시에서는 Python용 Vertex AI SDK를 사용하여 커스텀 학습 파이프라인을 만드는 방법을 보여줍니다. 학습에 커스텀 컨테이너 또는 사전 빌드된 컨테이너를 사용할지 선택합니다.

def create_training_pipeline_custom_package_job_sample(
    project: str,
    location: str,
    staging_bucket: str,
    display_name: str,
    python_package_gcs_uri: str,
    python_module_name: str,
    container_uri: str,
    model_serving_container_image_uri: str,
    dataset_id: Optional[str] = None,
    model_display_name: Optional[str] = None,
    args: Optional[List[Union[str, float, int]]] = None,
    replica_count: int = 1,
    machine_type: str = "n1-standard-4",
    accelerator_type: str = "ACCELERATOR_TYPE_UNSPECIFIED",
    accelerator_count: int = 0,
    training_fraction_split: float = 0.8,
    validation_fraction_split: float = 0.1,
    test_fraction_split: float = 0.1,
    sync: bool = True,
    tensorboard_resource_name: Optional[str] = None,
    service_account: Optional[str] = None,
):
    aiplatform.init(project=project, location=location, staging_bucket=staging_bucket)

    job = aiplatform.CustomPythonPackageTrainingJob(
        display_name=display_name,
        python_package_gcs_uri=python_package_gcs_uri,
        python_module_name=python_module_name,
        container_uri=container_uri,
        model_serving_container_image_uri=model_serving_container_image_uri,
    )

    # This example uses an ImageDataset, but you can use another type
    dataset = aiplatform.ImageDataset(dataset_id) if dataset_id else None

    model = job.run(
        dataset=dataset,
        model_display_name=model_display_name,
        args=args,
        replica_count=replica_count,
        machine_type=machine_type,
        accelerator_type=accelerator_type,
        accelerator_count=accelerator_count,
        training_fraction_split=training_fraction_split,
        validation_fraction_split=validation_fraction_split,
        test_fraction_split=test_fraction_split,
        sync=sync,
        tensorboard=tensorboard_resource_name,
        service_account=service_account,
    )

    model.wait()

    print(model.display_name)
    print(model.resource_name)
    print(model.uri)
    return model

def create_training_pipeline_custom_job_sample(
    project: str,
    location: str,
    staging_bucket: str,
    display_name: str,
    script_path: str,
    container_uri: str,
    model_serving_container_image_uri: str,
    dataset_id: Optional[str] = None,
    model_display_name: Optional[str] = None,
    args: Optional[List[Union[str, float, int]]] = None,
    replica_count: int = 0,
    machine_type: str = "n1-standard-4",
    accelerator_type: str = "ACCELERATOR_TYPE_UNSPECIFIED",
    accelerator_count: int = 0,
    training_fraction_split: float = 0.8,
    validation_fraction_split: float = 0.1,
    test_fraction_split: float = 0.1,
    sync: bool = True,
    tensorboard_resource_name: Optional[str] = None,
    service_account: Optional[str] = None,
):
    aiplatform.init(project=project, location=location, staging_bucket=staging_bucket)

    job = aiplatform.CustomTrainingJob(
        display_name=display_name,
        script_path=script_path,
        container_uri=container_uri,
        model_serving_container_image_uri=model_serving_container_image_uri,
    )

    # This example uses an ImageDataset, but you can use another type
    dataset = aiplatform.ImageDataset(dataset_id) if dataset_id else None

    model = job.run(
        dataset=dataset,
        model_display_name=model_display_name,
        args=args,
        replica_count=replica_count,
        machine_type=machine_type,
        accelerator_type=accelerator_type,
        accelerator_count=accelerator_count,
        training_fraction_split=training_fraction_split,
        validation_fraction_split=validation_fraction_split,
        test_fraction_split=test_fraction_split,
        sync=sync,
        tensorboard=tensorboard_resource_name,
        service_account=service_account,
    )

    model.wait()

    print(model.display_name)
    print(model.resource_name)
    print(model.uri)
    return model

def create_training_pipeline_custom_container_job_sample(
    project: str,
    location: str,
    staging_bucket: str,
    display_name: str,
    container_uri: str,
    model_serving_container_image_uri: str,
    dataset_id: Optional[str] = None,
    model_display_name: Optional[str] = None,
    args: Optional[List[Union[str, float, int]]] = None,
    replica_count: int = 1,
    machine_type: str = "n1-standard-4",
    accelerator_type: str = "ACCELERATOR_TYPE_UNSPECIFIED",
    accelerator_count: int = 0,
    training_fraction_split: float = 0.8,
    validation_fraction_split: float = 0.1,
    test_fraction_split: float = 0.1,
    sync: bool = True,
    tensorboard_resource_name: Optional[str] = None,
    service_account: Optional[str] = None,
):
    aiplatform.init(project=project, location=location, staging_bucket=staging_bucket)

    job = aiplatform.CustomContainerTrainingJob(
        display_name=display_name,
        container_uri=container_uri,
        model_serving_container_image_uri=model_serving_container_image_uri,
    )

    # This example uses an ImageDataset, but you can use another type
    dataset = aiplatform.ImageDataset(dataset_id) if dataset_id else None

    model = job.run(
        dataset=dataset,
        model_display_name=model_display_name,
        args=args,
        replica_count=replica_count,
        machine_type=machine_type,
        accelerator_type=accelerator_type,
        accelerator_count=accelerator_count,
        training_fraction_split=training_fraction_split,
        validation_fraction_split=validation_fraction_split,
        test_fraction_split=test_fraction_split,
        sync=sync,
        tensorboard=tensorboard_resource_name,
        service_account=service_account,
    )

    model.wait()

    print(model.display_name)
    print(model.resource_name)
    print(model.uri)
    return model

REST

다음 코드 샘플을 사용하여 trainingPipeline 리소스의 create 메서드를 사용하여 학습 파이프라인을 만듭니다.

요청 데이터를 사용하기 전에 다음을 바꿉니다.

• LOCATION_ID: 프로젝트의 리전입니다.
• PROJECT_ID: 프로젝트 ID입니다.
• TRAINING_PIPELINE_NAME: 필수. trainingPipeline의 표시 이름입니다.
• 학습 애플리케이션이 Vertex AI 데이터 세트를 사용하는 경우 다음을 지정합니다.
  • DATASET_ID: 데이터 세트 ID입니다.
  • ANNOTATIONS_FILTER: 지정한 주석으로 데이터 세트를 필터링합니다.
  • ANNOTATION_SCHEMA_URI: 지정된 주석 스키마 URI로 데이터 세트를 필터링합니다.
  • 다음 옵션 중 하나를 사용하여 데이터 항목이 학습, 유효성 검사, 테스트 세트로 분할되는 방법을 지정합니다.
    • 각 세트의 크기를 정의하는 비율에 따라 데이터 세트를 분할하려면 다음을 지정합니다.
      • TRAINING_FRACTION: 모델을 학습시키는 데 사용할 데이터 세트의 비율입니다.
      • VALIDATION_FRACTION: 모델 검증에 사용할 데이터 세트의 비율입니다.
      • TEST_FRACTION: 모델을 평가하는 데 사용할 데이터 세트의 비율입니다.
    • 필터를 기반으로 데이터 세트를 분할하려면 다음을 지정합니다.
      • TRAINING_FILTER: 데이터 세트를 학습시키는 데 사용할 데이터 항목으로 데이터 세트를 필터링합니다.
      • VALIDATION_FILTER: 모델 검증에 사용할 데이터 항목을 데이터 세트를 필터링합니다.
      • TEST_FILTER: 데이터 세트를 평가하는 데 사용할 데이터 항목을 데이터 세트를 필터링합니다.
    • 사전 정의된 분할을 사용하려면 다음을 지정합니다.
      • PREDEFINED_SPLIT_KEY: 데이터 세트를 분할하는 데 사용할 열의 이름입니다. 이 열의 값은 'training`, `validation`, `test`입니다.
    • 데이터 항목의 타임스탬프를 기준으로 데이터 세트를 분할하려면 다음을 지정합니다.
      • TIMESTAMP_TRAINING_FRACTION: 모델 학습에 사용할 데이터 세트의 비율입니다.
      • TIMESTAMP_VALIDATION_FRACTION: 모델 검증에 사용할 데이터 세트의 비율입니다.
      • TIMESTAMP_TEST_FRACTION: 모델을 평가하는 데 사용할 데이터 세트의 비율입니다.
      • TIMESTAMP_SPLIT_KEY: 데이터 세트를 분할하는 데 사용할 타임스탬프 열의 이름입니다.
  • OUTPUT_URI_PREFIX: 학습, 검증, 테스트 세트로 분할된 경우 Vertex AI가 학습 데이터 세트를 내보내는 Cloud Storage 위치입니다.
• 초매개변수 미세 조정 작업을 지정합니다.
  • 측정항목을 지정합니다.
    • METRIC_ID: 측정항목의 이름입니다.
    • METRIC_GOAL: 측정항목의 목표입니다. MAXIMIZE 또는 MINIMIZE일 수 있습니다.
  • 초매개변수를 지정합니다.
    • PARAMETER_ID: 초매개변수의 이름입니다.
    • PARAMETER_SCALE: (선택사항) 매개변수 조정 방법입니다. 범주형 매개변수는 설정하지 않습니다. UNIT_LINEAR_SCALE, UNIT_LOG_SCALE, UNIT_REVERSE_LOG_SCALE, 또는 SCALE_TYPE_UNSPECIFIED일 수 있습니다.
    • 초매개변수의 유형이 DOUBLE이면 초매개변수의 최소값(DOUBLE_MIN_VALUE)과 최대값(DOUBLE_MAX_VALUE)을 지정합니다.
    • 초매개변수 유형이 INTEGER이면 초매개변수의 최소값(INTEGER_MIN_VALUE)과 최대값(INTEGER_MAX_VALUE)을 지정합니다.
    • 초매개변수 유형이 CATEGORICAL이면 허용되는 값(CATEGORICAL_VALUES)을 문자열 배열로 지정합니다.
    • 초매개변수 유형이 DISCRETE이면 허용되는 값(DISCRETE_VALUES)을 숫자 배열로 지정합니다.
  • ALGORITHM: (선택사항) 초매개변수 조정 작업에서 사용할 검색 알고리즘입니다. ALGORITHM_UNSPECIFIED, GRID_SEARCH, 또는 RANDOM_SEARCH일 수 있습니다.
  • MAX_TRIAL_COUNT: 작업에서 실행할 최대 시도 횟수입니다.
  • PARALLEL_TRIAL_COUNT: 동시에 실행할 수 있는 최대 시도 횟수입니다.
  • MAX_FAILED_TRIAL_COUNT: 초매개변수 조정 작업이 실패하기 전에 실패할 수 있는 작업 수입니다.
  • 시도 커스텀 학습 작업을 다음과 같이 정의합니다.
    • MACHINE_TYPE: 머신 유형입니다. 학습에 사용 가능한 머신 유형을 참조하세요.
    • ACCELERATOR_TYPE: (선택사항) 각 시도에 연결할 가속기 유형입니다.
    • ACCELERATOR_COUNT: (선택사항) 각 시도에 연결할 가속기 수입니다.
    • REPLICA_COUNT: 각 시도에서 사용할 작업자 복제본 수입니다.
    • 학습 애플리케이션이 커스텀 컨테이너에서 실행되는 경우 다음을 지정합니다.
      • CUSTOM_CONTAINER_IMAGE_URI: 각 작업자 복제본에서 실행될 Artifact Registry 또는 Docker Hub의 컨테이너 이미지 URI입니다.
      • CUSTOM_CONTAINER_COMMAND: (선택사항) 컨테이너가 시작될 때 호출되는 명령어입니다. 이 명령어는 컨테이너의 기본 진입점을 재정의합니다.
      • CUSTOM_CONTAINER_ARGS: (선택사항) 컨테이너 시작 시 전달되는 인수입니다.
    • 학습 애플리케이션이 사전 빌드된 컨테이너에서 실행되는 Python 패키지인 경우 다음을 지정합니다.
      • PYTHON_PACKAGE_EXECUTOR_IMAGE_URI: 제공된 Python 패키지를 실행하는 컨테이너 이미지의 URI입니다. 학습에 사용 가능한 사전 빌드된 컨테이너를 참고하세요.
      • PYTHON_PACKAGE_URIS: 학습 프로그램 및 종속 패키지인 Python 패키지 파일의 Cloud Storage 위치입니다. 패키지 URI의 최대 개수는 100개입니다.
      • PYTHON_MODULE: 패키지를 설치한 후 실행할 Python 모듈 이름입니다.
      • PYTHON_PACKAGE_ARGS: (선택사항) Python 모듈로 전달할 명령줄 인수입니다.
  • 작업 예약 옵션에 대해 알아보세요.
  • TIMEOUT: (선택사항) 각 시도의 최대 실행 시간입니다.
  • 초매개변수 조정 작업에 적용할 모든 라벨에 LABEL_NAME 및 LABEL_VALUE를 지정합니다.
• MODEL_NAME: TrainingPipeline에서 업로드(생성)한 모델의 표시 이름입니다.
• MODEL_DESCRIPTION: 선택사항. 모델에 대한 설명입니다.
• PREDICTION_IMAGE_URI: 필수. 다음 두 가지 옵션 중 하나를 지정합니다.
  • 예측에 사용할 사전 빌드된 컨테이너의 이미지 URI(예: 'tf2-cpu.2-1:latest')
  • 예측에 사용할 자체 커스텀 컨테이너의 이미지 URI
• modelToUpload.labels: 선택사항. 모델을 구성할 모든 키-값 쌍 세트입니다. 예를 들면 다음과 같습니다.
  • "env": "prod"
  • "tier": "backend"
• 학습 파이프라인에 적용할 라벨의 LABEL_NAME 및 LABEL_VALUE를 지정합니다.

HTTP 메서드 및 URL:

POST https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/trainingPipelines

JSON 요청 본문:

{
  "displayName": "TRAINING_PIPELINE_NAME",
  "inputDataConfig": {
    "datasetId": DATASET_ID,
    "annotationsFilter": ANNOTATIONS_FILTER,
    "annotationSchemaUri": ANNOTATION_SCHEMA_URI,

    // Union field split can be only one of the following:
    "fractionSplit": {
      "trainingFraction": TRAINING_FRACTION,
      "validationFraction": VALIDATION_FRACTION,
      "testFraction": TEST_FRACTION
    },
    "filterSplit": {
      "trainingFilter": TRAINING_FILTER,
      "validationFilter": VALIDATION_FILTER,
      "testFilter": TEST_FILTER
    },
    "predefinedSplit": {
      "key": PREDEFINED_SPLIT_KEY
    },
    "timestampSplit": {
      "trainingFraction": TIMESTAMP_TRAINING_FRACTION,
      "validationFraction": TIMESTAMP_VALIDATION_FRACTION,
      "testFraction": TIMESTAMP_TEST_FRACTION,
      "key": TIMESTAMP_SPLIT_KEY
    }
    // End of list of possible types for union field split.
    "gcsDestination": {
      "outputUriPrefix": OUTPUT_URI_PREFIX
    }
  },
  "trainingTaskDefinition": "gs://google-cloud-aiplatform/schema/trainingjob/definition/hyperparameter_tuning_task_1.0.0.yaml",
  "trainingTaskInputs": {
    "studySpec": {
    "metrics": [
      {
        "metricId": METRIC_ID,
        "goal": METRIC_GOAL
      }
    ],
    "parameters": [
      {
        "parameterId": PARAMETER_ID,
        "scaleType": PARAMETER_SCALE,

        // Union field parameter_value_spec can be only one of the following:
        "doubleValueSpec": {
            "minValue": DOUBLE_MIN_VALUE,
            "maxValue": DOUBLE_MAX_VALUE
        },
        "integerValueSpec": {
            "minValue": INTEGER_MIN_VALUE,
            "maxValue": INTEGER_MAX_VALUE
        },
        "categoricalValueSpec": {
            "values": [
              CATEGORICAL_VALUES
            ]
        },
        "discreteValueSpec": {
            "values": [
              DISCRETE_VALUES
            ]
        }
        // End of list of possible types for union field parameter_value_spec.
      }
    ],
    "ALGORITHM": ALGORITHM
  },
  "maxTrialCount": MAX_TRIAL_COUNT,
  "parallelTrialCount": PARALLEL_TRIAL_COUNT,
  "maxFailedTrialCount": MAX_FAILED_TRIAL_COUNT,
  "trialJobSpec": {
      "workerPoolSpecs": [
        {
          "machineSpec": {
            "machineType": MACHINE_TYPE,
            "acceleratorType": ACCELERATOR_TYPE,
            "acceleratorCount": ACCELERATOR_COUNT
          },
          "replicaCount": REPLICA_COUNT,

          // Union field task can be only one of the following:
          "containerSpec": {
            "imageUri": CUSTOM_CONTAINER_IMAGE_URI,
            "command": [
              CUSTOM_CONTAINER_COMMAND
            ],
            "args": [
              CUSTOM_CONTAINER_ARGS
            ]
          },
          "pythonPackageSpec": {
            "executorImageUri": PYTHON_PACKAGE_EXECUTOR_IMAGE_URI,
            "packageUris": [
              PYTHON_PACKAGE_URIS
            ],
            "pythonModule": PYTHON_MODULE,
            "args": [
              PYTHON_PACKAGE_ARGS
            ]
          }
          // End of list of possible types for union field task.
        }
      ],
      "scheduling": {
        "TIMEOUT": TIMEOUT
      }
    },
    "labels": {
      LABEL_NAME_1": LABEL_VALUE_1,
      LABEL_NAME_2": LABEL_VALUE_2
    }
  },
  "modelToUpload": {
    "displayName": "MODEL_NAME",
    "description": "MODEL_DESCRIPTION",
    "predictSchemata": {},
    "containerSpec": {
      "imageUri": "PREDICTION_IMAGE_URI"
    }
  },
  "labels": {
    LABEL_NAME_1": LABEL_VALUE_1,
    LABEL_NAME_2": LABEL_VALUE_2
  }
}

요청을 보내려면 다음 옵션 중 하나를 선택합니다.

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/trainingPipelines"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/trainingPipelines" | Select-Object -Expand Content

응답에는 사양 및 TRAININGPIPELINE_ID에 대한 정보가 포함됩니다.

{
  "name": "projects/PROJECT_ID/locations/LOCATION_ID/trainingPipelines/TRAININGPIPELINE_ID",
  "displayName": "TRAINING_PIPELINE_NAME",
  "input_data_config" {
    "dataset_id": "1234567891011121314"
    "gcs_destination" {
      "output_uri_prefix": "gs://BUCKET_NAME/data/20200915191342"
    }
    "annotation_schema_uri": "gs://google-cloud-aiplatform/schema/dataset/annotation/image_classification_1.0.0.yaml"
  },
  "trainingTaskDefinition": "gs://google-cloud-aiplatform/schema/trainingjob/definition/custom_task_1.0.0.yaml",
  "trainingTaskInputs": {
    "name": "projects/12345/locations/us-central1/hyperparameterTuningJobs/6789",
  "displayName": "myHyperparameterTuningJob",
  "studySpec": {
    "metrics": [
      {
        "metricId": "myMetric",
        "goal": "MINIMIZE"
      }
    ],
    "parameters": [
      {
        "parameterId": "myParameter1",
        "integerValueSpec": {
          "minValue": "1",
          "maxValue": "128"
        },
        "scaleType": "UNIT_LINEAR_SCALE"
      },
      {
        "parameterId": "myParameter2",
        "doubleValueSpec": {
          "minValue": 1e-07,
          "maxValue": 1
        },
        "scaleType": "UNIT_LINEAR_SCALE"
      }
    ],
    "ALGORITHM": "RANDOM_SEARCH"
  },
  "maxTrialCount": 20,
  "parallelTrialCount": 1,
  "trialJobSpec": {
    "workerPoolSpecs": [
      {
        "machineSpec": {
          "machineType": "n1-standard-4"
        },
        "replicaCount": "1",
        "pythonPackageSpec": {
          "executorImageUri": "us-docker.pkg.dev/vertex-ai/training/training-tf-cpu.2-1:latest",
          "packageUris": [
            "gs://my-bucket/my-training-application/trainer.tar.bz2"
          ],
          "pythonModule": "my-trainer.trainer"
        }
      }
    ]
  },
  "state": "PIPELINE_STATE_PENDING",
  "createTime": "2020-09-15T19:09:54.342080Z",
  "startTime": "2020-09-15T19:13:42.991045Z",
}