Vertex AI Experiments 소개

Vertex AI Experiments는 여러 다른 모델 아키텍처, 하이퍼파라미터, 학습 환경을 추적하고 분석하여 실험 실행의 단계, 입력, 출력을 추적할 수 있게 해주는 도구입니다. 또한 Vertex AI Experiments는 테스트 데이터 세트를 기준으로 학습 실행 중에 모델 수행 방식을 전반적으로 평가할 수 있습니다. 그런 후 이 정보를 사용해서 특정 사용 사례에 적합한 모델을 선택할 수 있습니다.

실험 실행에는 추가 요금이 발생하지 않습니다. Vertex AI 가격 책정에 설명된 대로 실험 중에 사용하는 리소스의 요금만 청구됩니다.

수행할 작업은 무엇인가?	노트북 샘플 확인
측정항목 및 매개변수 추적	모델 비교
실험 계보 추적	모델 학습
파이프라인 실행 추적	파이프라인 실행 비교

단계, 입력, 출력 추적

Vertex AI Experiments로 추적할 수 있는 항목은 다음과 같습니다.

• 실험 실행 단계(예: 전처리, 학습)
• 입력(예: 알고리즘, 매개변수, 데이터 세트)
• 이러한 단계의 출력(예: 모델, 체크포인트, 측정항목)

이를 통해 효과가 있었던 방식과 그렇지 않았던 방식을 파악하고, 추가 실험 방법을 식별할 수 있습니다.

사용자 여정 예시는 다음을 참조하세요.

• 모델 학습
• 모델 비교

모델 성능 분석

Vertex AI Experiments를 사용하면 테스트 데이터 세트를 기준으로 학습 실행 중에 모델 수행 방식을 전반적으로 추적 및 평가할 수 있습니다. 이 기능은 모델의 성능 특성, 즉 특정 모델의 전반적인 효과와 모델이 실패하거나 우수한 성능을 보이는 부분을 이해하는 데 도움이 됩니다.

사용자 여정 예시는 다음을 참조하세요.

• 파이프라인 실행 비교
• 모델 비교

모델 성능 비교

Vertex AI Experiments를 사용하면 실험 실행에서 여러 모델을 그룹화하고 비교할 수 있습니다. 각 모델에는 자체 지정된 매개변수, 모델링 기술, 아키텍처, 입력이 포함됩니다. 이 접근 방법은 최상의 모델을 선택하는 데 도움이 됩니다.

사용자 여정 예시는 다음을 참조하세요.

• 파이프라인 실행 비교
• 모델 비교

실험 검색

Google Cloud 콘솔은 중앙 집중식 실험 보기, 실험 실행의 교차 섹션 보기, 각 실행의 세부정보를 제공합니다. Vertex AI SDK for Python은 실험, 실험 실행, 실험 실행 매개변수, 측정항목, 아티팩트 사용을 위한 API를 제공합니다.

Vertex AI Experiments는 Vertex ML Metadata와 함께 실험에서 추적한 아티팩트를 찾는 방법을 제공하며 이 방법을 사용하면 아티팩트 계보와 실행 단계에서 사용되고 생성된 아티팩트를 빠르게 볼 수 있습니다.

지원 범위

Vertex AI Experiments는 대부분의 ML Framework에서 Vertex AI 커스텀 학습, Vertex AI Workbench 노트북, Notebooks, 모든 Python ML 프레임워크를 사용하는 모델 개발을 지원합니다. TensorFlow와 같은 일부 ML 프레임워크의 경우 Vertex AI Experiments가 사용자 환경을 자동으로 만드는 프레임워크에 긴밀하게 통합됩니다. 다른 ML 프레임워크의 경우 Vertex AI Experiments는 개발자가 사용할 수 있는 프레임워크 중립적 Vertex AI SDK for Python을 제공합니다. TensorFlow, scikit-learn, PyTorch, XGBoost를 위한 사전 빌드된 컨테이너를 참조하세요.

데이터 모델 및 개념

Vertex AI Experiments는 실험에 실험 실행 n개와 파이프라인 실행 n개가 포함될 수 있는 Vertex ML Metadata의 컨텍스트입니다. 실험 실행은 파라미터, 요약 측정항목, 시계열 측정항목, PipelineJob, Artifact, Execution Vertex AI 리소스로 구성됩니다. 오픈소스 텐서보드의 관리형 버전인 Vertex AI 텐서보드가 시계열 측정항목 스토리지에 사용됩니다. 파이프라인 실행의 아티팩트와 실행은 Google Cloud 콘솔에서 볼 수 있습니다.

Vertex AI Experiments 용어

실험, 실험 실행, 파이프라인 실행

실험

• 실험은 사용자가 입력 아티팩트 또는 초매개변수와 같은 다른 구성을 그룹으로 조사할 수 있는 파이프라인 실행에 더하여 n개의 실험 실행 집합을 포함할 수 있는 컨텍스트입니다.

실험 만들기를 참조하세요.

실험 실행

• 실험 실행에는 사용자 정의 측정항목, 매개변수, 실행, 아티팩트, Vertex 리소스(예: PipelineJob)가 포함될 수 있습니다.

실험 실행 만들기 및 관리를 참조하세요.

파이프라인 실행

• 하나 이상의 Vertex PipelineJob이 각 파이프라인이 단일 실행으로 표시되는 실험과 연결될 수 있습니다. 이 컨텍스트에서 실행 매개변수는 PipelineJob의 매개변수에 의해 추론됩니다. 측정항목은 해당 PipelineJob에서 생성된 system.Metric 아티팩트에서 추론됩니다. 실행 아티팩트는 해당 PipelineJob에서 생성된 아티팩트에서 추론됩니다.

Vertex AI PipelineJob 리소스 하나 이상이 ExperimentRun 리소스와 연결될 수 있습니다 이 컨텍스트에서 매개변수, 측정항목, 아티팩트는 추론되지 않습니다.

파이프라인을 실험과 연결을 참조하세요.

매개변수 및 측정항목

로그 매개변수를 참조하세요.

요약 측정항목

• 요약 측정항목은 실험 실행의 각 측정항목 키에 대한 단일 값입니다. 예를 들어 실험의 테스트 정확도는 학습 종료 시점에 테스트 데이터 세트를 기준으로 계산된 정확도로서 단일 값 요약 측정항목으로 캡처될 수 있습니다.

로그 요약 측정항목을 참조하세요.

시계열 측정항목

• 시계열 측정항목은 세로 측정항목 값이며, 각 값은 실행의 학습 루틴 부분에서 단계를 나타냅니다. 시계열 측정항목은 Vertex AI 텐서보드에 저장됩니다. Vertex AI Experiments는 Vertex TensorBoard 리소스에 대한 참조를 저장합니다.

로그 시계열 측정항목을 참조하세요.

리소스 유형

파이프라인 작업

• 파이프라인 작업 또는 파이프라인 실행은 Vertex AI API의 PipelineJob 리소스에 해당합니다. 입력-출력 종속 항목으로 상호 연결된 ML 태스크 집합으로 정의되는 ML 파이프라인 정의의 실행 인스턴스입니다.

아티팩트

• 아티팩트는 머신러닝 워크플로에 의해 만들어지고 사용되는 개별 항목 또는 데이터입니다. 아티팩트의 예로는 데이터 세트, 모델, 입력 파일, 학습 로그가 포함됩니다.

Vertex AI Experiments를 사용하면 스키마를 사용하여 아티팩트 유형을 정의할 수 있습니다. 예를 들어 지원되는 스키마 유형에는 system.Dataset, system.Model, system.Artifact가 있습니다. 자세한 내용은 시스템 스키마를 참조하세요.

노트북 튜토리얼

• Vertex AI Experiments 시작하기

다음 단계

• 설정하여 Vertex AI Experiments 시작하기