Vertex AI에서 모델 평가

예측 AI 평가 서비스를 사용하면 특정 사용 사례에서 모델 성능을 평가할 수 있습니다. 또한 평가를 모델 성능에 대한 관측 가능성이라고 부르기도 합니다. Vertex AI에서 제공하는 모델 평가는 다음과 같은 여러 가지 방법으로 일반적인 머신러닝 워크플로에 적합할 수 있습니다.

• 모델을 학습시킨 후 모델을 배포하기 전에 모델 평가 측정항목을 검토하세요. 여러 모델 간에 평가 측정항목을 비교하여 배포할 모델을 결정하는 데 도움을 줄 수 있습니다.

• 모델을 프로덕션에 배포한 후에는 새로운 수신 데이터로 모델을 주기적으로 평가합니다. 평가 측정항목에 모델 성능이 저하된 것으로 표시되면 모델을 다시 학습시키는 것이 좋습니다. 이 프로세스를 지속적 평가라고 합니다.

이러한 측정항목을 해석하고 사용하는 방법은 비즈니스 니즈와 모델이 해결하도록 학습한 문제에 따라 달라집니다. 예를 들어 거짓음성보다 거짓양성의 톨러레이션(toleration)이 더 낮을 수도 있고 그 반대일 수도 있습니다. 이러한 유형의 질문은 모델을 반복할 때 집중할 측정항목에 영향을 줍니다.

예측 AI 모델 평가 서비스에서 제공하는 몇 가지 주요 측정항목은 다음과 같습니다.

• 정밀도
• 재현율
• AuPRC
• 혼동 행렬

기능

Vertex AI로 모델을 평가하려면 학습된 모델, 일괄 예측 출력, 정답 데이터 세트가 있어야 합니다. 다음은 Vertex AI를 사용하는 일반적인 모델 평가 워크플로입니다.

1. 모델 학습 이 작업은 AutoML 또는 커스텀 학습을 사용하여 Vertex AI에서 수행할 수 있습니다.

2. 모델에서 일괄 예측 작업을 실행하여 예측 결과를 생성합니다.

3. 사람들의 판단에 따라 "정확하게 분류된" 데이터에 해당하는 정답 데이터를 준비합니다. 정답은 일반적으로 모델 학습 과정 중에 사용한 테스트 데이터 세트의 형식입니다.

4. 모델에서 평가 작업을 실행합니다. 이 작업은 정답 데이터와 비교해서 일괄 예측 결과의 정확도를 계산합니다.

5. 평가 작업으로부터 발생하는 측정항목을 분석합니다.

6. 모델을 반복하여 모델 정확도를 높일 수 있는지 확인합니다. 여러 평가 작업을 실행하고 모델 또는 모델 버전 간에 여러 작업의 결과를 비교할 수 있습니다.

Vertex AI에서 모델 평가를 여러 방식으로 실행할 수 있습니다.

• Google Cloud 콘솔에서 Vertex AI Model Registry를 통해 평가를 만듭니다.

• Vertex AI의 모델 평가를 Vertex AI Pipelines에서 파이프라인 구성요소로 사용합니다. 자동화된 MLOps 워크플로의 일부로 모델 평가가 포함된 파이프라인 실행 및 템플릿을 만들 수 있습니다.

  모델 평가 구성요소를 자체 또는 일괄 예측 구성요소와 같은 다른 파이프라인 구성요소를 사용하여 실행할 수 있습니다.

Vertex AI는 다음 모델 유형의 평가를 지원합니다.

노트북 튜토리얼

AutoML: 테이블 형식

AutoML: 텍스트

AutoML: 동영상

커스텀 학습: 테이블 형식

Vertex AI Model Registry

다음 단계

• Vertex AI를 사용하여 모델 평가 수행 방법 알아보기