Vertex AI 추론 노트북 튜토리얼

튜토리얼 단계

• Vertex AI 모델 학습 작업을 만듭니다.
• AutoML 테이블 형식 모델을 학습시킵니다.
• 모델 리소스를 서빙 엔드포인트 리소스에 배포합니다.
• 데이터를 전송하여 예측 수행
• 모델 리소스 배포를 취소합니다.

튜토리얼 단계

• Vertex 데이터 세트 리소스를 만듭니다.
• 모델을 학습시킵니다.
• 모델 평가를 확인합니다.
• 일괄 예측을 수행합니다.

튜토리얼 단계

• Vertex Dataset 리소스를 만듭니다.
• 모델을 학습시킵니다.
• 모델 평가를 확인합니다.
• 서빙 Endpoint 리소스에 Model 리소스를 배포합니다.
• 예측을 수행합니다.
• Model의 배포를 취소합니다.

튜토리얼 단계

• Vertex 데이터 세트 리소스를 만듭니다.
• 모델을 학습시킵니다.
• 모델 리소스에서 Cloud Storage로 에지 모델을 내보냅니다.
• 모델을 로컬로 다운로드합니다.
• 로컬 예측을 수행합니다.

튜토리얼 단계

• Vertex AI 데이터 세트 리소스를 만듭니다.
• 모델을 학습시킵니다.
• 모델 평가를 확인합니다.
• 모델 리소스를 서빙 엔드포인트 리소스에 배포합니다.
• 예측을 수행합니다.
• 모델 배포를 취소합니다.

튜토리얼 단계

• 기본값에서 검색 공간을 줄여 시간을 절약하는 학습 파이프라인을 만듭니다.
• 이전 파이프라인의 아키텍처 검색 결과를 재사용하여 시간을 절약하는 학습 파이프라인을 만듭니다.

튜토리얼 단계

• 이미지 모델을 학습시킵니다.
• 이미지 모델을 Edge 모델로 내보냅니다.
• 테이블 형식 모델을 학습시킵니다.
• 테이블 형식 모델을 클라우드 모델로 내보냅니다.
• 텍스트 모델을 학습시킵니다.
• 동영상 모델을 학습시킵니다.

튜토리얼 단계

• Vertex AI TimeSeriesDataset 리소스 만들기
• 모델을 학습시킵니다.
• 모델 평가를 확인합니다.
• 일괄 예측을 수행합니다.

튜토리얼 단계

• Vertex 데이터 세트 리소스를 만듭니다.
• 모델을 학습시킵니다.
• 모델 평가를 확인합니다.
• 일괄 예측을 수행합니다.

튜토리얼 단계

• Vertex AI 데이터 세트 리소스를 만듭니다.
• AutoML 테이블 형식 예측 모델 리소스를 학습시킵니다.
• 모델 리소스에 대한 평가 측정항목을 가져옵니다.
• 일괄 예측을 수행합니다.

튜토리얼 단계

• Vertex AI 데이터 세트 리소스를 만듭니다.
• AutoML 테이블 형식 회귀 모델 리소스를 학습시킵니다.
• 모델 리소스에 대한 평가 측정항목을 가져옵니다.
• 일괄 예측을 수행합니다.

튜토리얼 단계

• Vertex 데이터 세트 리소스를 만듭니다.
• 모델을 학습시킵니다.
• 모델 평가를 확인합니다.
• 모델 리소스를 서빙 엔드포인트 리소스에 배포합니다.
• 예측을 수행합니다.
• 모델 배포를 취소합니다.

튜토리얼 단계

• Vertex AI 데이터 세트 리소스를 만듭니다.
• 모델을 학습시킵니다.
• 모델 평가를 확인합니다.
• 일괄 예측을 수행합니다.

튜토리얼 단계

• Vertex 데이터 세트 리소스를 만듭니다.
• 모델을 학습시킵니다.
• 모델 평가를 확인합니다.
• 일괄 예측을 수행합니다.

튜토리얼 단계

• Vertex 데이터 세트 리소스를 만듭니다.
• 모델을 학습시킵니다.
• 모델 평가를 확인합니다.
• 일괄 예측을 수행합니다.

튜토리얼 단계

• 프로젝트에서 로컬 BigQuery 테이블을 만듭니다.
• BigQuery ML 모델을 학습시킵니다.
• BigQuery ML 모델을 평가합니다.
• BigQuery ML 모델을 클라우드 모델로 내보냅니다.
• 내보낸 모델을 Vertex AI 모델 리소스로 업로드합니다.
• Vertex AI Vizier를 사용한 BigQuery ML 모델의 하이퍼파라미터를 조정합니다.
• Vertex AI Model Registry에 BigQuery ML 모델 자동 등록

튜토리얼 단계

• 꽃의 측정치를 입력으로 사용하여 붓꽃의 유형을 예측하는 모델을 학습시킵니다.
• 모델과 직렬화된 사전 처리기를 저장합니다.
• 예측 및 상태 점검을 처리하는 FastAPI 서버를 빌드합니다.
• 모델 아티팩트로 커스텀 컨테이너를 빌드합니다.
• Vertex AI 엔드포인트에 커스텀 컨테이너를 업로드하고 배포합니다.

튜토리얼 단계

• 모델 학습을 위한 Vertex AI 커스텀 TrainingPipeline을 만듭니다.
• TensorFlow 모델을 학습시킵니다.
• 서빙 Endpoint 리소스에 Model 리소스를 배포합니다.
• 예측을 수행합니다.
• Model 리소스의 배포를 취소합니다.

튜토리얼 단계

• 모델 학습을 위해 Vertex AI 커스텀 작업을 생성합니다.
• 커스텀 컨테이너를 사용하여 TensorFlow 모델을 학습하고 등록합니다.
• Vertex AI Model Registry에서 등록된 모델을 나열합니다.

튜토리얼 단계

• 서비스 계정 및 Cloud Storage 버킷을 설정합니다.
• Vertex AI 텐서보드 인스턴스를 만듭니다.
• 커스텀 학습 작업 만들고 실행합니다.
• Cloud Profiler 대시보드를 확인합니다.

튜토리얼 단계

• Python 패키지를 사용하여 학습시킵니다.
• 하이퍼파라미터 조정 시 정확성을 보고합니다.
• Cloud StorageFuse를 사용하여 모델 아티팩트를 Cloud Storage에 저장합니다.
• Vertex AI 모델 리소스를 만듭니다.

튜토리얼 단계

• 선행 학습된 이미지 분류 모델을 Model 리소스(모델 A)로 업로드합니다.
• 선행 학습된 텍스트 문장 인코더 모델을 Model 리소스(모델 B)로 업로드합니다.
• 공유 VM 배포 리소스 풀을 만듭니다.
• 공유 VM 배포 리소스 풀을 나열합니다.
• Endpoint 리소스 2개를 만듭니다.
• 배포 리소스 풀을 사용하여 첫 번째 모델(모델 A)을 첫 번째 Endpoint 리소스에 배포합니다.
• 배포 리소스 풀을 사용하여 두 번째 모델(모델 B)을 두 번째 Endpoint 리소스에 배포합니다.
• 처음 배포된 모델(모델 A)로 예측 요청을 보냅니다.
• 두 번째 배포된 모델(모델 B)로 예측 요청을 수행합니다.

튜토리얼 단계

• TensorFlow 모델 학습을 위한 Vertex AI 커스텀 작업을 만듭니다.
• 학습된 모델 아티팩트를 모델 리소스로 업로드합니다.
• 일괄 예측을 수행합니다.

튜토리얼 단계

• TensorFlow 모델 학습을 위한 Vertex AI 커스텀 작업을 만듭니다.
• 학습된 모델 아티팩트를 Model 리소스에 업로드합니다.
• 서빙 Endpoint 리소스를 만듭니다.
• 서빙 Endpoint 리소스에 Model 리소스를 배포합니다.
• 예측을 수행합니다.
• Model 리소스의 배포를 취소합니다.

튜토리얼 단계

• AutoML 학습과 호환되는 BigQuery 테이블에서 Vertex AI 데이터 세트 리소스를 만듭니다.
• 데이터 세트의 사본을 BigQuery에서 AutoML 또는 커스텀 학습과 호환되는 Cloud Storage의 CSV 파일로 추출합니다.
• BigQuery 데이터 세트의 행을 커스텀 학습과 호환되는 pandas dataframe으로 선택합니다.
• BigQuery 데이터 세트에서 커스텀 학습 TensorFlow 모델과 호환되는 tf.data.Dataset에 로드할 행을 선택합니다.
• 추출된 CSV 파일에서 커스텀 학습 TensorFlow 모델과 호환되는 tf.data.Dataset에 로드할 행을 선택합니다.
• CSV 파일에서 BigQuery 데이터 세트를 만듭니다.
• BigQuery 테이블에서 커스텀 학습 XGBoost 모델과 호환되는 DMatrix로 데이터를 추출합니다.

튜토리얼 단계

• 데이터 사전 처리를 위한 모듈을 실행합니다.
• 데이터 세트 아티팩트를 만듭니다.
• 파라미터를 로깅합니다.
• 모델 학습을 위한 모듈을 실행합니다.
• 파라미터를 로깅합니다.
• 모델 아티팩트를 만듭니다.
• 데이터 세트, 모델, 파라미터에 추적 계보를 할당합니다.

튜토리얼 단계

• 모델 파라미터를 로깅합니다.
• 모든 에포크의 손실과 측정항목을 Vertex AI 텐서보드에 로깅합니다.
• 평가 측정항목을 로깅합니다.

튜토리얼 단계

• 학습 구성요소를 공식화합니다.
• 학습 파이프라인을 빌드합니다.
• 여러 파이프라인 작업 실행 및 해당 결과를 로깅합니다.
• 다양한 파이프라인 작업을 비교합니다.

튜토리얼 단계

• 사전 정의된 키 값 라벨 쌍 가 있는 TB 실험을 삭제하는 방법
• create_time 전에 생성된 TB 실험을 삭제하는 방법
• update_time 전에 생성된 TB 실험을 삭제하는 방법

튜토리얼 단계

• 스크립트에서 모델 실험을 공식화합니다.
• Vertex AI Training에서 로컬 스크립트를 사용하여 모델 학습을 실행합니다.
• Vertex AI Experiments에서 ML 실험 파라미터 및 측정항목 확인

튜토리얼 단계

• 로컬(노트북) 학습
• 실험을 만듭니다.
• 실험에서 첫 번째 실행을 만듭니다.
• 파라미터 및 측정항목을 로깅합니다.
• 아티팩트 계보를 만듭니다.
• 실험 결과를 시각화합니다.
• 두 번째 실행을 실행합니다.
• 실험에서 두 실행을 비교합니다.
• Cloud(Vertex AI) 학습
• 학습 스크립트 내

튜토리얼 단계

• Vertex AI SDK에서 자동 로깅을 사용 설정합니다.
• scikitlearn 모델을 학습시키고 실험 실행을 설정하지 않고 Vertex AI Experiments에 자동 로깅된 측정항목과 파라미터를 사용하여 결과 실험 실행을 확인합니다.
• TensorFlow 모델을 학습시키고 aiplatform.start_run() 및 aiplatform.end_run()으로 실험 실행을 수동으로 설정하여 Vertex AI Experiments으로 자동 로깅된 측정항목 및 파라미터를 확인합니다.
• Vertex AI SDK에서 자동 로깅을 사용 중지한 후 PyTorch 모델을 학습시키고 파라미터 또는 측정항목이 로깅되지 않았는지 확인합니다.

튜토리얼 단계

• Vertex AI 관리형 데이터 세트 리소스를 만듭니다.
• AutoML 테이블 형식 이진 분류 모델을 학습시킵니다.
• 학습된 모델의 모델 평가 측정항목을 확인합니다.
• 설명 가능성을 사용하여 일괄 예측 요청을 수행합니다.

튜토리얼 단계

• Vertex AI 데이터 세트 리소스를 만듭니다.
• AutoML 테이블 형식 이진 분류 모델을 학습시킵니다.
• 학습된 모델의 모델 평가 측정항목을 확인합니다.
• 서빙 엔드포인트 리소스를 만듭니다.
• 모델 리소스를 서빙 엔드포인트 리소스에 배포합니다.
• 설명 가능성으로 온라인 예측 요청을 수행합니다.
• 모델 리소스 배포를 취소합니다.

튜토리얼 단계

• TensorFlow 모델 학습을 위한 Vertex AI 커스텀 작업을 만듭니다.
• 학습된 모델의 모델 평가를 확인합니다.
• 모델이 배포되는 시점에 대한 설명 파라미터를 설정합니다.
• 학습된 모델 아티팩트와 설명 파라미터를 Model 리소스로 업로드합니다.
• 설명이 포함된 일괄 예측을 수행합니다.

튜토리얼 단계

• TensorFlow 모델 학습을 위한 Vertex AI 커스텀 작업을 만듭니다.
• 학습된 모델의 모델 평가를 확인합니다.
• 모델이 배포되는 시점에 대한 설명 파라미터를 설정합니다.
• 학습된 모델 아티팩트와 설명을 모델 리소스로 업로드합니다.
• 서빙 엔드포인트 리소스를 만듭니다.
• 모델 리소스를 서빙 엔드포인트 리소스에 배포합니다.
• 설명을 포함하여 예측을 수행합니다.
• 모델 리소스 배포를 취소합니다.

튜토리얼 단계

• TensorFlow 모델 학습을 위한 Vertex AI 커스텀 작업을 만듭니다.
• 학습된 모델의 모델 평가를 확인합니다.
• 모델의 설명 파라미터를 설정합니다.
• 학습된 모델 아티팩트를 모델 리소스로 업로드합니다.
• 설명이 포함된 일괄 예측을 수행합니다.

튜토리얼 단계

• TensorFlow 모델 학습을 위한 Vertex AI 커스텀 작업을 만듭니다.
• 학습된 모델의 모델 평가를 확인합니다.
• 모델이 배포되는 시점에 대한 설명 파라미터를 설정합니다.
• 학습된 모델 아티팩트와 설명을 모델 리소스로 업로드합니다.
• 서빙 엔드포인트 리소스를 만듭니다.
• 모델 리소스를 서빙 엔드포인트 리소스에 배포합니다.
• 설명을 포함하여 예측을 수행합니다.
• 모델 리소스 배포를 취소합니다.

튜토리얼 단계

• TensorFlow 모델 학습을 위한 Vertex AI 커스텀 작업을 만듭니다.
• TensorFlow 모델을 학습시킵니다.
• 모델 아티팩트를 검색하고 로드합니다.
• 학습된 모델의 모델 평가를 확인합니다.
• 설명 파라미터를 설정합니다.
• 모델을 Vertex AI 모델 리소스로 업로드합니다.
• 모델 리소스를 서빙 엔드포인트 리소스에 배포합니다.
• 설명을 포함하여 예측을 수행합니다.
• 모델 리소스 배포를 취소합니다.

튜토리얼 단계

• TensorFlow Hub에서 사전 학습된 모델 다운로드
• 배포를 위한 모델 업로드
• 온라인 예측을 위한 모델 배포
• 설명이 포함된 온라인 예측 수행
• 설명이 포함된 일괄 예측 수행

튜토리얼 단계

• TensorFlow 텍스트 분류 모델 빌드 및 학습
• 배포를 위한 모델 업로드
• 온라인 예측을 위한 모델 배포
• 설명이 포함된 온라인 예측 수행

튜토리얼 단계

• 데이터를 호스팅하고 서빙하기 위해 온라인 피처스토어 인스턴스를 프로비저닝합니다.
• 온라인 피처스토어 인스턴스에 BigQuery 뷰를 등록하고 동기화 작업을 설정합니다.
• 온라인 서버를 사용하여 온라인 예측용 특성 값을 가져옵니다.

튜토리얼 단계

• 공개 또는 비공개 엔드포인트에 최적화된 온라인 서빙을 사용해서 데이터를 호스팅 및 서빙하도록 온라인 피처스토어 인스턴스를 프로비저닝합니다.
• 온라인 피처스토어 인스턴스에 BigQuery 뷰를 등록하고 동기화 작업을 설정합니다.
• 온라인 서버를 사용하여 온라인 예측용 특성 값을 가져옵니다.

튜토리얼 단계

• 데이터를 호스팅하고 서빙하기 위해 온라인 피처스토어 인스턴스를 프로비저닝합니다.
• BigQuery 테이블을 서빙할 온라인 피처스토어 인스턴스를 만듭니다.
• 온라인 서버를 사용하여 가장 가까운 이웃을 검색합니다.

튜토리얼 단계

• 데이터를 호스팅하고 서빙하기 위해 온라인 피처스토어 인스턴스를 프로비저닝합니다.
• BigQuery 테이블을 서빙할 온라인 피처스토어 인스턴스를 만듭니다.
• 온라인 서버를 사용하여 가장 가까운 이웃을 검색합니다.

튜토리얼 단계

• 전용 서비스 계정을 사용하도록 구성된 특성 뷰를 만듭니다.
• 각 특성 뷰에 대해 서비스 계정이 생성됩니다. 이러한 서비스 계정은 BigQuery에서 데이터를 동기화하는 데 사용됩니다.
• 특성 뷰 가져오기/나열 API는 자동 생성된 서비스 계정을 반환합니다. 사용자는 bq addiampolicybinding 명령어를 호출하여 서비스 계정에 roles/bigquery.dataViewer를 부여해야 합니다.

튜토리얼 단계

• 피처스토어를 만듭니다.
• 피처스토어의 새 항목 유형을 만듭니다.
• Pandas DataFrame에서 피처스토어의 항목 유형으로 특성 값을 가져옵니다.

튜토리얼 단계

• Featurestore, EntityType, Feature 리소스를 만듭니다.
• Pandas DataFrame의 특성 값을 항목 유형으로 가져옵니다.
• 온라인 피처스토어의 항목 특성 값을 Pandas DataFrame에서 읽습니다.
• 피처스토어의 특성 값을 Pandas DataFrame에 일괄 서빙합니다.
• 업데이트된 특성 값을 사용한 온라인 서빙입니다.
• 특정 시점의 정확성으로 학습에 특성 값을 가져옵니다.

튜토리얼 단계

• Featurestore, EntityType, Feature 리소스를 만듭니다.
• 특성 데이터를 Featurestore 리소스로 가져옵니다.
• 가져온 특성을 사용하여 온라인 예측 요청 처리
• 학습 작업 등 오프라인 작업에서 가져온 특성에 액세스
• 스트리밍 가져오기를 사용하여 소량의 데이터를 가져옵니다.

튜토리얼 단계

• 일괄 추론을 위해 사전 정의된 템플릿을 사용하여 Vertex AI 파이프라인 작업을 만듭니다.
• Vertex AI Pipelines를 사용하여 파이프라인을 실행합니다.
• 지정된 데이터 세트의 모델에 대한 예측 결과를 생성합니다.

튜토리얼 단계

• Vertex AI LLM 모델을 가져옵니다.
• 모델을 증류합니다. 그러면 Vertex AI 엔드포인트가 자동으로 생성되고 모델이 엔드포인트에 배포됩니다.
• Vertex AI LLM을 사용하여 예측합니다.

튜토리얼 단계

• 모델 조정 단계 수를 설정합니다.
• 사전 정의된 조정 템플릿을 사용하여 Vertex AI 파이프라인 작업을 만듭니다.
• Vertex AI Pipelines를 사용하여 파이프라인을 실행합니다.
• 조정된 모델에서 예측을 가져옵니다.

튜토리얼 단계

• 설치 및 가져오기
• 임베딩 데이터 세트 만들기
• 색인 만들기
• 색인 쿼리

튜토리얼 단계

• 설치 및 가져오기
• 임베딩 생성

튜토리얼 단계

튜토리얼 단계

• Vertex AI LLM 모델을 가져옵니다.
• 모델을 조정합니다.
• 그러면 Vertex AI 엔드포인트가 자동으로 생성되고 모델이 배포됩니다.
• Vertex AI LLM을 사용하여 예측합니다.
• Vertex AI Prediction을 사용하여 예측합니다.

튜토리얼 단계

튜토리얼 단계

• Vertex AI PaLM API의 예측 엔드포인트를 사용하여 메시지에 대한 생성형 AI 응답을 수신합니다.
• 텍스트 임베딩 엔드포인트를 사용하여 메시지의 벡터 표현을 수신합니다.
• 입력/출력 학습 데이터를 기반으로 LLM의 프롬프트 조정을 수행합니다.

튜토리얼 단계

• AutoML 이미지 분류 모델 학습
• 일괄 예측을 수행합니다.
• 엔드포인트에 모델을 배포합니다.
• 온라인 예측을 수행합니다.

튜토리얼 단계

• AutoML 객체 감지 모델을 학습시킵니다.
• 일괄 예측을 수행합니다.
• 엔드포인트에 모델을 배포합니다.
• 온라인 예측을 수행합니다.

튜토리얼 단계

• AutoML 동영상 객체 추적 모델을 학습시킵니다.
• 일괄 예측을 수행합니다.

튜토리얼 단계

• Vertex AI 데이터 세트 리소스를 만듭니다.
• 모델을 학습시킵니다.
• 모델 평가를 확인합니다.
• 모델 리소스를 서빙 엔드포인트 리소스에 배포합니다.
• 예측을 수행합니다.
• 모델 배포 취소

튜토리얼 단계

• AutoML 동영상 분류 모델 학습
• 일괄 예측을 수행합니다.

튜토리얼 단계

• 학습 코드를 Python 애플리케이션에 패키징합니다.
• Cloud Build 및 Artifact Registry를 사용하여 학습 애플리케이션을 컨테이너화합니다.
• Vertex AI에서 커스텀 컨테이너 학습 작업을 만들고 실행합니다.
• 학습 작업에서 생성된 모델을 평가합니다.
• Vertex AI Model Registry에서 학습된 모델의 모델 리소스를 만듭니다.
• Vertex AI 일괄 예측 작업을 실행합니다.
• 모델 리소스를 Vertex AI 엔드포인트에 배포합니다.
• 모델 리소스에서 온라인 예측 작업을 실행합니다.
• 생성된 리소스를 삭제합니다.

튜토리얼 단계

• 학습 코드를 Python 애플리케이션에 패키징합니다.
• Cloud Build 및 Artifact Registry를 사용하여 학습 애플리케이션을 컨테이너화합니다.
• Vertex AI에서 커스텀 컨테이너 학습 작업을 만들고 실행합니다.
• 학습 작업에서 생성된 모델을 평가합니다.
• Vertex AI Model Registry에서 학습된 모델의 모델 리소스를 만듭니다.
• Vertex AI 일괄 예측 작업을 실행합니다.
• 모델 리소스를 Vertex AI 엔드포인트에 배포합니다.
• 모델 리소스에서 온라인 예측 작업을 실행합니다.
• 생성된 리소스를 삭제합니다.

튜토리얼 단계

• scikitlearn 모델 학습을 위한 Vertex AI 커스텀 작업을 만듭니다.
• 학습된 모델 아티팩트를 모델 리소스로 업로드합니다.
• 일괄 예측을 생성합니다.
• 모델 리소스를 서빙 엔드포인트 리소스에 배포합니다.
• 온라인 예측을 생성합니다.
• 모델 리소스 배포를 취소합니다.

튜토리얼 단계

• xgboost 모델 학습을 위한 Vertex AI 커스텀 작업을 만듭니다.
• 학습된 모델 아티팩트를 모델 리소스로 업로드합니다.
• 일괄 예측을 생성합니다.
• 모델 리소스를 서빙 엔드포인트 리소스에 배포합니다.
• 온라인 예측을 생성합니다.
• 모델 리소스 배포를 취소합니다.

튜토리얼 단계

• TensorFlow 모델 학습을 위한 Vertex AI 하이퍼파라미터 조정 작업을 만듭니다.

튜토리얼 단계

• 비공개 Docker 저장소를 만듭니다.
• 비공개 Docker 저장소와 관련된 컨테이너 이미지에 태그를 지정합니다.
• 컨테이너 이미지를 비공개 Docker 저장소로 내보냅니다.
• 비공개 Docker 저장소에서 컨테이너 이미지를 가져옵니다.
• 비공개 Docker 저장소를 삭제합니다.

튜토리얼 단계

• 커스텀 학습 작업의 학습 파라미터와 예측 측정항목을 추적합니다.
• 실험의 모든 파라미터 및 측정항목에 대한 분석을 추출하고 수행합니다.

튜토리얼 단계

• 로컬 학습 모델의 파라미터 및 측정항목을 추적합니다.
• 실험의 모든 파라미터 및 측정항목에 대한 분석을 추출하고 수행합니다.

튜토리얼 단계

• Kubeflow Pipelines SDK를 사용하여 Vertex AI에서 실행되는 ML 파이프라인을 빌드합니다.
• 파이프라인은 데이터 세트를 만들고, scikitlearn 모델을 학습시키고, 모델을 엔드포인트에 배포합니다.
• 아티팩트와 메타데이터를 생성하는 커스텀 파이프라인 구성요소를 작성합니다.
• Google Cloud 콘솔에서 프로그래매틱 방식으로 Vertex AI Pipelines 실행을 비교합니다.
• 파이프라인 생성 아티팩트의 계보를 trace합니다.
• 파이프라인 실행 메타데이터를 쿼리합니다.

튜토리얼 단계

• Vertex AI Dataset을 만듭니다.
• 데이터 세트 리소스에서 Dataset 테이블 형식 분류 모델을 학습시킵니다.
• 학습된 AutoML model resource를 파이프라인으로 가져옵니다.
• Batch Prediction 작업을 실행합니다.
• Classification Evaluation component를 사용하여 AutoML 모델을 평가합니다.
• 분류 측정항목을 AutoML 모델 리소스로 가져옵니다.

튜토리얼 단계

• Vertex AI 데이터 세트를 만듭니다.
• AutoMLTabularTrainingJob 클래스를 구성합니다.
• 모델을 반환하는 AutoMLTabularTrainingJob을 실행합니다.
• 사전 학습된 AutoML model resource를 파이프라인으로 가져옵니다.
• 파이프라인에서 batch prediction 작업을 실행합니다.
• regression evaluation component를 사용하여 AutoML 모델을 평가합니다.
• 생성된 회귀 측정항목을 AutoML 모델 리소스로 가져옵니다.

튜토리얼 단계

• Vertex AI 데이터 세트를 만듭니다.
• Vertex AI 데이터 세트 리소스에서 AutoML 동영상 분류 모델을 학습시킵니다.
• 학습된 AutoML Vertex AI 모델 리소스를 파이프라인으로 가져옵니다.
• 파이프라인 내에서 일괄 예측 작업을 실행합니다.
• 회귀 평가 구성요소를 사용하여 AutoML 모델을 평가합니다.
• 분류 측정항목을 AutoML Vertex AI 모델 리소스로 가져옵니다.

튜토리얼 단계

• 공개 소스에서 데이터 세트를 가져옵니다.
• 데이터를 로컬에서 사전 처리하고 BigQuery에 테스트 데이터를 저장합니다.
• scikitlearn Python 패키지를 사용하여 로컬에서 RandomForest 분류 모델을 학습시킵니다.
• 예측을 위해 Artifact Registry에서 커스텀 컨테이너를 만듭니다.
• 모델을 Vertex AI Model Registry에 업로드합니다.
• Vertex AI Pipeline을 만들고 실행합니다.

튜토리얼 단계

• TensorFlow 모델 학습을 위한 Vertex AI 커스텀 학습 작업을 만듭니다.
• 커스텀 학습 작업을 실행합니다.
• 모델 아티팩트를 검색하고 로드합니다.
• 모델 평가를 확인합니다.
• 모델을 Vertex AI 모델 리소스로 업로드합니다.
• 사전 학습된 Vertex AI 모델 리소스를 파이프라인으로 가져옵니다.
• 파이프라인에서 일괄 예측 작업을 실행합니다.
• 회귀 평가 구성요소를 사용하여 모델을 평가합니다.
• 회귀 측정항목을 Vertex AI 모델 리소스로 가져옵니다.

튜토리얼 단계

• 예측 및 인간 선호도 데이터로 평가 데이터 세트를 만듭니다.
• 데이터를 로컬에서 사전 처리하고 Cloud Storage에 저장합니다.
• 생성된 판단을 사용하여 판단과 일련의 AutoSxS 측정항목을 생성하는 Vertex AI AutoSxS 파이프라인을 만들고 실행합니다.
• 판단 및 AutoSxS 측정항목을 출력합니다.
• 이 노트북에서 만든 리소스를 삭제합니다.

튜토리얼 단계

• 공개 소스에서 데이터 세트를 가져옵니다.
• 데이터를 로컬에서 사전 처리하고 Cloud Storage에 테스트 데이터를 저장합니다.
• 판단을 생성하고 생성된 판단을 사용하여 두 후보 모델을 평가하는 Vertex AI AutoSxS 파이프라인을 만들고 실행합니다.
• 판단 및 평가 측정항목을 출력합니다.
• 이 노트북에서 만든 리소스를 삭제합니다.

튜토리얼 단계

• Vertex AI 모델 리소스로 사전 학습된 모델을 업로드합니다.
• 일괄 예측 요청을 생성합니다.
• 모델 모니터링 특성에서 보고된 통계, 시각화, 기타 데이터를 해석합니다.

튜토리얼 단계

• AutoML 모델을 학습시킵니다.
• 모델 리소스를 Vertex AI 엔드포인트 리소스에 배포합니다.
• 모델 모니터링을 위한 엔드포인트 리소스를 구성합니다.
• 편향에 대한 합성 예측 요청을 생성합니다.
• 드리프트에 대한 합성 예측 요청을 생성합니다.
• 이메일 알림이 수신될 때까지 기다립니다.

튜토리얼 단계

• 1. AutoML 이미지 분류 모델 학습
• 2. 엔드포인트를 만듭니다.
• 3. 모델을 엔드포인트에 배포하고 모델 모니터링을 위해 구성합니다.
• 4. 분포 내 이미지와 분포 외 이미지가 모두 포함된 온라인 예측을 제출합니다.
• 5. 모델 모니터링을 사용하여 각 이미지에서 이상치 점수를 계산합니다.
• 6. 배포에서 벗어난 온라인 예측 요청의 이미지를 식별합니다.

튜토리얼 단계

• 사전 학습된 커스텀 테이블 형식 모델을 다운로드합니다.
• 사전 학습된 모델을 Vertex AI Model Registry에 업로드합니다.
• 모델 리소스를 Vertex AI 엔드포인트 리소스에 배포합니다.
• 모델 모니터링을 위한 엔드포인트 리소스를 구성합니다.
• 편향 시뮬레이션을 위해 합성 예측 요청을 생성합니다.
• 이메일 알림을 기다립니다.
• 드리프트 시뮬레이션을 위해 합성 예측 요청을 생성합니다.
• 이메일 알림을 기다립니다.

튜토리얼 단계

• 사전 학습된 커스텀 테이블 형식 모델을 다운로드합니다.
• 선행 학습된 모델을 모델 리소스로 업로드합니다.
• "TensorFlow Serving" 서빙 바이너리를 사용하여 엔드포인트 리소스에 모델 리소스를 배포합니다.
• 모델 모니터링을 위한 엔드포인트 리소스를 구성합니다.
• 편향에 대한 합성 예측 요청을 생성합니다.
• 이메일 알림이 수신될 때까지 기다립니다.
• 드리프트에 대한 합성 예측 요청을 생성합니다.
• 이메일 알림이 수신될 때까지 기다립니다.

튜토리얼 단계

• 사전 학습된 커스텀 테이블 형식 모델을 다운로드합니다.
• 선행 학습된 모델을 모델 리소스로 업로드합니다.
• 엔드포인트 리소스에 모델 리소스를 배포합니다.
• 모델 모니터링을 위한 엔드포인트 리소스를 구성합니다.
• 특성 입력에 대한 편향 및 드리프트 감지입니다.
• 특성 기여 분석을 위한 편향 및 드리프트 감지입니다.
• 1,000개의 예측 요청을 전송하여 입력 스키마를 자동으로 생성합니다.
• 모니터링 작업을 나열, 일시중지, 재개, 삭제합니다.
• 사전 정의된 입력 스키마를 사용하여 모니터링 작업을 다시 시작합니다.
• 로깅된 모니터링 데이터를 확인합니다.

튜토리얼 단계

• 사전 학습된 XGBoost 모델을 다운로드합니다.
• 사전 학습된 모델을 Vertex AI Model Registry에 업로드합니다.
• 모델 리소스를 Vertex AI 엔드포인트 리소스에 배포합니다.
• 모델 모니터링을 위한 엔드포인트 리소스를 구성합니다.

튜토리얼 단계

• Vertex AI 모델 리소스로 사전 학습된 모델을 업로드합니다.
• Vertex AI 엔드포인트 리소스를 만듭니다.
• 엔드포인트 리소스에 모델 리소스를 배포합니다.
• 모델 모니터링을 위한 엔드포인트 리소스를 구성합니다.
• 모델 모니터링을 위한 기준 분포를 초기화합니다.
• 합성 예측 요청을 생성합니다.
• 모델 모니터링 특성에서 보고된 통계, 시각화, 기타 데이터를 해석하는 방법을 확인합니다.

튜토리얼 단계

튜토리얼 단계

튜토리얼 단계

• 모델의 첫 번째 버전을 만들고 Vertex AI Model Registry에 등록합니다.
• 모델의 두 번째 버전을 만들고 Vertex AI Model Registry에 등록합니다.
• 기본값인 모델 버전을 업데이트합니다.
• 모델 버전을 삭제합니다.
• 다음 모델 버전을 다시 학습시킵니다.

튜토리얼 단계

• Vertex AI 데이터 세트를 만드는 KFP 파이프라인을 만듭니다.
• AutoML 테이블 형식 분류 모델 리소스를 학습시키는 파이프라인에 구성요소를 추가합니다.
• Vertex AI 엔드포인트 리소스를 만드는 구성요소를 추가합니다.
• 엔드포인트 리소스에 모델 리소스를 배포하는 구성요소를 추가합니다.
• KFP 파이프라인을 컴파일합니다.
• Vertex AI Pipelines를 사용하여 KFP 파이프라인을 실행합니다.

튜토리얼 단계

• 사전 학습된(승인된) 모델을 Vertex AI Model Registry로 가져옵니다.
• 합성 모델 평가 측정항목을 해당(승인된) 모델로 가져옵니다.
• Vertex AI 엔드포인트 리소스를 만듭니다.
• 승인된 모델을 엔드포인트 리소스에 배포합니다.
• 다음 단계를 실행하는 Vertex AI Pipeline을 만듭니다.

튜토리얼 단계

• 제어 흐름 구성요소를 사용하여 KFP 파이프라인 만들기
• KFP 파이프라인을 컴파일합니다.
• Vertex AI Pipelines를 사용하여 KFP 파이프라인을 실행합니다.

튜토리얼 단계

• KFP 파이프라인 만들기

튜토리얼 단계

• BigQuery에서 데이터 세트를 만듭니다.
• 일괄 예측을 위해 소스 데이터 세트 외에 일부 데이터를 따로 설정합니다.
• 학습 애플리케이션용 커스텀 Python 패키지를 만듭니다.
• Python 패키지를 Cloud Storage에 업로드합니다.
• Vertex AI 파이프라인을 만듭니다.

튜토리얼 단계

• 파이프라인 구축:

튜토리얼 단계

• 독립형 학습 작업으로 커스텀 구성요소를 만듭니다.
• 머신 리소스에 대한 구성요소 수준 설정을 사용하여 파이프라인을 실행합니다.
• 독립 실행형 학습 구성요소를 Vertex AI CustomJob으로 변환합니다.
• 머신 리소스에 대한 customjoblevel 설정을 사용하여 파이프라인을 실행합니다.

튜토리얼 단계

• KFP 파이프라인 만들기

튜토리얼 단계

• Dataset 리소스를 만드는 KFP 파이프라인을 만듭니다.
• AutoML 테이블 형식 회귀 Model 리소스를 학습시키는 구성요소를 파이프라인에 추가합니다.
• Endpoint 리소스를 만드는 구성요소를 추가합니다.
• Model 리소스를 Endpoint 리소스에 배포하는 구성요소를 추가합니다.
• KFP 파이프라인을 컴파일합니다.
• Vertex AI Pipelines을 사용하여 KFP 파이프라인을 실행합니다.

튜토리얼 단계

• KFP 파이프라인 만들기

튜토리얼 단계

• BigQuery에 데이터를 수집하는 Dataflow 작업의 구성요소를 만듭니다.
• BigQuery에서 데이터에서 실행할 사전 처리 단계를 위한 구성요소를 만듭니다.
• BigQuery ML을 사용하여 로지스틱 회귀 모델을 학습하기 위한 구성요소를 만듭니다.
• 생성된 모든 구성요소로 Kubeflow DSL 파이프라인을 빌드 및 구성합니다.
• Vertex AI Pipelines에서 파이프라인 컴파일 및 실행합니다.

튜토리얼 단계

• KFP 파이프라인 만들기

튜토리얼 단계

• KFP 파이프라인 만들기

튜토리얼 단계

• Python 함수 기반 KFP 구성요소를 빌드합니다.
• KFP 파이프라인을 구성합니다.
• 경로 참조 및 값에 따라 구성요소 간에 아티팩트와 파라미터를 전달합니다.
• kfp.dsl.importer 메서드를 사용합니다.
• KFP 파이프라인을 컴파일합니다.
• Vertex AI Pipelines를 사용하여 KFP 파이프라인을 실행합니다.

튜토리얼 단계

• KFP 구성요소를 만듭니다.

튜토리얼 단계

• 사전 학습된(챔피언) 모델을 Vertex AI Model Registry로 가져옵니다.
• 합성 모델 학습 평가 측정항목을 해당(챔피언) 모델로 가져옵니다.
• Vertex AI 엔드포인트 리소스를 만듭니다.
• 챔피언 모델을 엔드포인트 리소스에 배포합니다.
• 배포된 모델의 추가(경합자) 버전을 가져옵니다.
• 합성 모델 학습 평가 측정항목을 해당(경합자) 모델로 가져옵니다.
• 다음 단계를 실행하는 Vertex AI Pipeline을 만듭니다.

튜토리얼 단계

• Vertex AI 파이프라인을 정의하고 컴파일합니다.
• 파이프라인 실행에 사용할 서비스 계정을 지정합니다.
• Vertex AI SDK for Python 및 REST API를 사용하여 파이프라인을 실행합니다.

튜토리얼 단계

• BigQuery 및 Vertex AI Training 데이터 세트를 만듭니다.
• BigQuery ML 및 AutoML 모델을 학습합니다.
• BigQueryML 및 AutoML 모델에서 평가 측정항목을 추출합니다.
• 가장 잘 학습된 모델을 선택합니다.
• 최고의 학습 모델을 배포합니다.
• 배포된 모델 인프라를 테스트합니다.

튜토리얼 단계

• 모델 학습을 위한 Vertex AI 커스텀 TrainingPipeline을 만듭니다.
• TensorFlow 모델을 학습시킵니다.
• 일괄 예측 작업을 전송합니다.

튜토리얼 단계

• TensorFlow Hub에서 모델 아티팩트를 다운로드합니다.
• 모델에 대해 Triton 서빙 구성 파일을 만듭니다.
• 모델 배포를 위해 Triton 서빙 이미지를 사용해서 커스텀 컨테이너를 생성합니다.
• 모델을 Vertex AI 모델 리소스로 업로드합니다.
• Vertex AI 모델 리소스를 Vertex AI 엔드포인트 리소스에 배포합니다.
• 예측 요청을 수행합니다.
• 모델 리소스를 배포 취소하고 엔드포인트를 삭제합니다.

튜토리얼 단계

• TensorFlow 1.x 에스티메이터를 위해 사전 학습된 테이블 형식 분류 모델 아티팩트를 다운로드합니다.
• TensorFlow 에스티메이터 모델을 Vertex AI Model 리소스로 업로드합니다.
• Endpoint 리소스를 만듭니다.
• Model 리소스를 Endpoint 리소스에 배포합니다.
• Endpoint 리소스에 배포된 Model 리소스 인스턴스에 대해 온라인 원시 예측을 수행합니다.

튜토리얼 단계

튜토리얼 단계

• Private Endpoint 리소스를 만듭니다.
• VPC 피어링 연결을 구성합니다.
• Private Endpoint 리소스에 배포하기 위한 Model 리소스의 서빙 바이너리를 구성합니다.
• Model 리소스를 Private Endpoint 리소스에 배포합니다.
• Private Endpoint에 예측 요청을 전송합니다.

튜토리얼 단계

• 사전 학습된 텍스트 생성 모델을 로드합니다.
• 비스트리밍 예측을 수행합니다.
• 스트리밍을 지원하는 사전 학습된 텍스트 생성 모델을 로드합니다.
• 스트리밍 예측을 수행합니다.
• 사전 학습된 채팅 모델을 로드합니다.
• 로컬 대화형 채팅 세션을 수행합니다.
• 텍스트 생성 모델로 일괄 예측을 수행합니다.
• 텍스트 임베딩 모델로 일괄 예측을 수행합니다.

튜토리얼 단계

• PyTorch에서 사전 학습된 이미지 모델 다운로드
• 커스텀 모델 핸들러 만들기
• 모델 보관 파일에 모델 아티팩트 패키징
• 배포를 위한 모델 업로드
• 예측을 위한 모델 배포
• 온라인 예측 수행
• 일괄 예측 수행

튜토리얼 단계

• 학습 애플리케이션을 Python 소스 배포로 패키징
• 사전 빌드된 컨테이너에서 학습 작업 구성 및 실행
• 모델 보관 파일에 모델 아티팩트 패키징
• 배포를 위한 모델 업로드
• 예측을 위해 사전 빌드된 컨테이너를 사용하여 모델 배포
• 온라인 예측 수행

튜토리얼 단계

• 학습 스크립트 준비
• Ray Jobs API를 사용하여 Ray 작업 제출
• PyTorch에서 학습된 이미지 모델 다운로드
• 커스텀 모델 핸들러 만들기
• 모델 보관 파일에 모델 아티팩트 패키징
• Vertex AI Model Registry에 모델 등록
• Vertex AI 엔드포인트에 모델 배포
• 온라인 예측 수행

튜토리얼 단계

• 클러스터를 만듭니다.
• 기존 클러스터를 나열합니다.
• 클러스터를 가져옵니다.
• 클러스터를 수동으로 수직 확장한 다음 클러스터를 축소합니다.
• 클러스터를 자동 확장합니다.
• 기존 클러스터를 삭제합니다.

튜토리얼 단계

• 커스텀 Vertex AI 기반 Ray 컨테이너 이미지 만들기
• 커스텀 컨테이너 이미지를 사용하여 Vertex AI 기반 Ray 클러스터 만들기
• RayDP를 사용하여 클러스터에서 대화형으로 Spark 실행
• Ray Job API를 통해 클러스터에서 Spark 애플리케이션 실행
• Spark 애플리케이션의 Google Cloud Storage에서 파일 읽기
• Vertex AI 기반 Ray에서 Spark 애플리케이션의 Pandas UDF
• Vertex AI 기반 Ray 클러스터 삭제

튜토리얼 단계

• PyTorch 분산 학습 애플리케이션을 만듭니다.
• 사전 빌드된 컨테이너로 학습 애플리케이션을 패키징합니다.
• Reduction Server를 사용하여 Vertex AI에서 커스텀 작업을 만듭니다.
• 작업 제출 및 모니터링

튜토리얼 단계

• 태스크 이름 및 Cloud Storage 프리픽스를 설정합니다.
• 관리형 데이터 세트를 만들기 위한 AutoML 동영상 데모 학습 데이터를 복사합니다.
• Vertex AI에서 데이터 세트를 만듭니다.
• 학습 작업을 구성합니다.
• Vertex AI에서 학습 작업 실행 및 모델을 만듭니다.
• 일괄 예측 작업 생성을 위한 AutoML 동영상 데모 예측 데이터 복사
• 모델에서 일괄 예측 작업 수행

튜토리얼 단계

• Vertex AI 관리형 데이터 세트를 만들기 위해 데이터를 다운로드하고 CSV 파일을 준비하는 유틸리티 함수를 만듭니다.
• 데이터 다운로드
• 관리형 데이터 세트 만들기를 위한 CSV 파일을 준비합니다.
• 커스텀 학습 Python 패키지를 만듭니다.
• TensorFlow Serving 컨테이너를 만듭니다.
• 관리형 텍스트 데이터 세트를 사용하여 커스텀 Python 패키지 학습을 실행합니다.
• 모델을 배포하고 Vertex AI에 엔드포인트를 만듭니다.
• 엔드포인트에서 예측을 실행합니다.
• 모델에 대한 일괄 예측 작업을 만듭니다.

튜토리얼 단계

• 프로젝트를 설정합니다.
• Syn2 데이터의 사전 학습 모델 예측 데이터를 다운로드합니다.
• 마스크 출력을 기반으로 특성 중요도를 시각화하고 이해합니다.
• 이 튜토리얼에서 만든 리소스를 삭제합니다.

튜토리얼 단계

• BigQuery ML ARIMA_PLUS 모델을 학습시킵니다.
• BigQuery ML 모델 평가를 확인합니다.
• BigQuery ML 모델을 사용하여 일괄 예측을 수행합니다.

튜토리얼 단계

• 1. Prophet 모델을 학습시킵니다.
• 1. 평가 측정항목을 확인합니다.
• 1. Prophet 모델을 사용하여 일괄 예측을 수행합니다.

튜토리얼 단계

• TabNet CustomJob을 만듭니다. 이것은 학습에 사용할 하이퍼파라미터를 알고 있는 경우에 가장 좋은 옵션입니다.
• TabNet HyperparameterTuningJob을 만듭니다. 이렇게 하면 데이터 세트에 대해 최상의 하이퍼파라미터 집합을 가져올 수 있습니다.

튜토리얼 단계

• 와이드 앤 딥 CustomJob을 만듭니다. 이것은 학습에 사용할 하이퍼파라미터를 알고 있는 경우에 가장 좋은 옵션입니다.
• 와이드 앤 딥 HyperparameterTuningJob을 만듭니다. 이렇게 하면 데이터 세트에 대해 최상의 하이퍼파라미터 집합을 가져올 수 있습니다.

튜토리얼 단계

• Docker 저장소 및 구성 만들기
• 맞춤설정된 학습 코드로 커스텀 컨테이너 이미지를 만듭니다.
• 서비스 계정 및 Google Cloud Storage 버킷을 설정합니다.
• 커스텀 컨테이너를 사용하여 커스텀 학습 작업을 만들고 실행합니다.

튜토리얼 단계

• 서비스 계정 및 Cloud Storage 버킷을 설정합니다.
• 맞춤설정된 학습 코드를 작성합니다.
• 학습 코드를 패키징하고 Cloud Storage에 업로드합니다.
• 거의 실시간에 가까운 모니터링을 위해 Vertex AI 텐서보드를 사용 설정하여 커스텀 학습 작업을 만들고 실행합니다.

튜토리얼 단계

• TensorFlow 실행을 조정하고 하이퍼파라미터 및 측정항목을 로깅합니다.
• 실행을 시작하고 모든 항목을 하나의 상위 디렉터리 아래에 로깅합니다.
• Vertex AI 텐서보드의 HParams 대시보드에서 결과를 시각화합니다.

튜토리얼 단계

• 서비스 계정 및 Cloud Storage 버킷을 설정합니다.
• Vertex AI 텐서보드 인스턴스를 만듭니다.
• Profiler를 사용 설정하는 커스텀 학습 작업 만들고 실행하기
• Profiler 대시보드를 확인하여 모델 학습 성능을 디버깅하기

튜토리얼 단계

• 커스텀 학습 코드를 준비하고 학습 코드를 사전 빌드된 컨테이너에 Python 패키지로 로드합니다.
• Profiler를 사용 설정하는 커스텀 학습 작업 만들고 실행하기
• Profiler 대시보드를 확인하여 모델 학습 성능을 디버깅하기

튜토리얼 단계

• 서비스 계정 및 Google Cloud Storage 버킷을 설정합니다.
• 커스텀 학습 코드를 사용하여 KFP 파이프라인을 구성합니다.
• 거의 실시간 모니터링을 위해 Vertex AI 텐서보드가 사용 설정된 Vertex AI Pipelines에서 KFP 파이프라인을 컴파일하고 실행합니다.

튜토리얼 단계

• Python 패키지를 사용하여 학습시킵니다.
• 하이퍼파라미터 조정 시 정확성을 보고합니다.
• Cloud StorageFuse를 사용하여 모델 아티팩트를 Cloud Storage에 저장합니다.

튜토리얼 단계

• Python 패키지를 사용하여 학습시킵니다.
• Cloud StorageFuse를 사용하여 모델 아티팩트를 Cloud Storage에 저장합니다.
• FastAPI 예측 서버를 구성합니다.
• 서버의 Dockerfile 배포 이미지를 구성합니다.
• 배포 이미지를 로컬에서 테스트합니다(선택사항이며 Colab 사용자에게는 해당되지 않음).
• Vertex AI 모델 리소스를 만듭니다.
• 일괄 예측 작업을 실행합니다.
• 엔드포인트에 모델을 배포하고 온라인 예측 요청을 보냅니다.
• 생성된 리소스 삭제.

튜토리얼 단계

튜토리얼 단계

• 자동화된 하이퍼파라미터 조정을 위한 학습 애플리케이션 코드를 수정합니다.
• 학습 애플리케이션 코드를 컨테이너화합니다.
• Vertex AI Python SDK로 하이퍼파라미터 조정 작업을 구성 및 실행합니다.

튜토리얼 단계

• Python 학습 애플리케이션 패키지를 사용하여 학습합니다.
• 하이퍼파라미터 조정 중의 보고 정확도를 보고합니다.
• Cloud StorageFuse를 사용하여 모델 아티팩트를 Cloud Storage에 저장합니다.
• 최적 모델을 나열합니다.

튜토리얼 단계

• Google Cloud 프로젝트 설정

튜토리얼 단계

• Artifact Registry 및 Docker를 사용하여 커스텀 컨테이너를 빌드합니다.
• Vertex AI Experiments을 저장할 Vertex AI 텐서보드 인스턴스를 만듭니다.
• Vertex AI SDK for Python을 사용하여 Vertex AI 학습 작업을 실행합니다.

튜토리얼 단계

• 텍스트 분류 모델의 학습 패키지를 만듭니다.
• Vertex AI에서 커스텀 학습을 사용하여 모델을 학습시킵니다.
• 생성된 모델 아티팩트를 확인합니다.
• 예측용 커스텀 컨테이너를 만듭니다.
• 예측용 커스텀 컨테이너를 사용하여 학습된 모델을 Vertex AI 엔드포인트에 배포합니다.
• 배포된 모델에 온라인 예측 요청을 보내고 검증합니다.
• 이 노트북에서 만든 리소스를 삭제합니다.

튜토리얼 단계

• 학습 및 테스트 데이터 세트를 만들고 모델을 학습시키는 커스텀 학습 스크립트를 작성합니다.
• Vertex AI SDK for Python을 사용하여 CustomTrainingJob을 실행합니다.

튜토리얼 단계

• 마스터 노드에서 ETCD 클러스터를 시작하는 셸 스크립트를 만듭니다.
• PyTorch Elastic의 GitHub 저장소에서 코드를 사용하여 학습 스크립트를 만듭니다.
• 데이터를 다운로드하고 호스트에서 ETCD 클러스터를 시작하는 컨테이너를 만듭니다.
• GPU가 있는 여러 노드를 사용하여 모델 학습

튜토리얼 단계

• Google Cloud 프로젝트의 PROJECT_ID 및 LOCATION 변수를 구성합니다.
• 모델 아티팩트를 저장할 Cloud Storage 버킷을 만듭니다.
• 학습 코드를 호스팅하는 커스텀 Docker 컨테이너를 빌드하고 컨테이너 이미지를 Artifact Registry에 푸시합니다.
• Vertex AI SDK CustomContainerTrainingJob 실행

튜토리얼 단계

• 이미지 데이터 세트를 임베딩으로 변환합니다.
• 색인을 만듭니다.
• 색인에 임베딩을 업로드합니다.
• 색인 엔드포인트를 만듭니다.
• 색인 엔드포인트에 색인을 배포합니다.
• 온라인 쿼리를 수행합니다.

튜토리얼 단계

• ANN 색인을 만듭니다.
• VPC 네트워크로 색인 엔드포인트를 만듭니다.
• ANN 색인을 배포합니다.
• 온라인 쿼리를 수행합니다.

튜토리얼 단계

• BigQuery 데이터 세트를 임베딩으로 변환합니다.
• 색인을 만듭니다.
• 색인에 임베딩을 업로드합니다.
• 색인 엔드포인트를 만듭니다.
• 색인 엔드포인트에 색인을 배포합니다.
• 온라인 쿼리를 수행합니다.

튜토리얼 단계

• ANN 색인 및 무작위 대입 색인을 생성합니다.
• VPC 네트워크로 색인 엔드포인트를 만듭니다.
• ANN 색인 및 무작위 대입 색인을 배포합니다.
• 온라인 쿼리를 수행합니다.
• 재현율을 계산합니다.

튜토리얼 단계

튜토리얼 단계

• 무작위 알고리즘으로 하이퍼파라미터 미세 조정
• Vertex AI Vizier(Bayesian) 알고리즘으로 하이퍼파라미터 미세 조정
• Vertex AI Vizier 연구를 위한 시도 제안 및 결과 업데이트

튜토리얼 단계

• BigQuery에서 필요한 데이터 가져오기
• 데이터 사전 처리
• TensorFlow(>=2.4) 분류 모델 학습
• 학습된 모델의 손실 평가
• 실행자 기능을 사용하여 노트북 실행 자동화
• Cloud Storage 경로에 모델 저장
• 생성된 리소스 삭제

튜토리얼 단계

• '노트북에서 BigQuery'를 사용하여 데이터 세트를 로드합니다.
• 데이터 세트에 대한 탐색적 데이터 분석을 수행합니다.
• 특성을 선택하고 사전 처리합니다.
• scikitlearn을 사용하여 선형 회귀 모델을 빌드합니다.
• Vertex Explainable AI의 모델을 구성합니다.
• 모델을 Vertex AI로 배포합니다.
• 배포된 모델을 테스트합니다.
• 삭제

튜토리얼 단계

• 데이터 탐색
• BigQuery 및 ARIMA 모델을 사용해 모델링합니다.
• 모델을 평가합니다.
• 학습 데이터에 대해 BigQuery ML을 사용하여 모델 결과를 평가합니다.
• 테스트 데이터에 대해 MAE, MAPE, MSE, RMSE 모델 결과를 평가합니다.
• 실행자 기능을 사용합니다.

튜토리얼 단계

• Python 및 SQL을 사용하여 BigQuery에서 공개 데이터 쿼리
• BigQuery INFORMATION_SCHEMA를 사용하여 데이터 세트 탐색
• 데이터의 흥미로운 부분을 탐색하는 데 도움이 되는 대화형 요소 만들기
• 탐색적 상관관계 및 시계열 분석 수행
• 노트북에서 정적 및 대화형 출력(데이터 테이블 및 플롯) 만들기
• Cloud Storage에 일부 출력 저장

튜토리얼 단계

• 필수 라이브러리 설치
• Cloud Storage 버킷에서 데이터 세트 읽기
• 데이터 세트에 대한 탐색적 분석 수행
• 데이터 세트 사전 처리
• scikitlearn을 사용하여 랜덤 포레스트 모델 학습
• Cloud Storage 버킷에 모델 저장
• Vertex AI 모델 리소스 만들기 및 엔드포인트에 배포
• 테스트 데이터에서 WhatIf 도구 실행
• 모델 배포 취소 및 모델 리소스 삭제

튜토리얼 단계

• BigQuery에서 Google 애널리틱스 4에서 내보낸 데이터를 살펴보세요.
• 인구통계, 행동 데이터, 라벨(churn/notchurn)을 사용하여 학습 데이터를 준비합니다.
• BigQuery ML을 사용하여 XGBoost 모델을 학습시킵니다.
• BigQuery ML을 사용하여 모델을 평가합니다.
• BigQuery ML을 사용하여 앱을 제거할 가능성이 높은 사용자를 예측합니다.

튜토리얼 단계

• Cloud Storage 버킷에서 필요한 데이터 세트 로드
• 데이터 세트에 있는 필드 분석
• 유지보수 필요 예측 모델에 필요한 데이터 선택
• 남은 내용연수를 예측하기 위한 XGBoost 회귀 모델 학습
• 모델 평가
• Executor를 사용하여 노트북 endtoend를 학습 작업으로 실행
• Vertex AI에 모델 배포
• 삭제

튜토리얼 단계

• Cloud Storage 버킷에서 필요한 데이터 세트를 로드합니다.
• 데이터 세트에 있는 필드를 분석합니다.
• 데이터를 처리하여 모델을 빌드합니다.
• 처리된 데이터를 기반으로 BigQuery ML 예측 모델을 빌드합니다.
• BigQuery ML 모델에서 예측 값을 가져옵니다.
• 예측을 해석하여 최적 가격을 파악합니다.
• 삭제

튜토리얼 단계

• 필수 데이터 로드
• 데이터 사전 처리
• 모델에 필요한 데이터 선택
• Vertex AI 관리형 데이터 세트에 데이터 세트 로드
• AutoML Text 학습을 사용한 감정 모델 학습
• 모델 평가
• Vertex AI에 모델 배포
• 예측 수행
• 삭제

튜토리얼 단계

• Google Cloud 프로젝트 및 Dataproc 클러스터 설정
• sparkbigqueryconnector 구성
• BigQuery에서 Spark DataFrame으로 데이터 수집
• 수집된 데이터 사전 처리
• Monoglot 저장소에서 가장 자주 사용되는 프로그래밍 언어 쿼리
• Monoglot 저장소에 저장된 각 언어로 된 코드의 평균 크기(MB) 쿼리
• Polyglot 저장소에서 가장 많이 발견된 언어 파일 쿼리
• 쿼리 결과를 BigQuery에 다시 작성
• 이 노트북 튜토리얼을 위해 만든 리소스 삭제

튜토리얼 단계

• Google Cloud 프로젝트 및 Dataproc 클러스터를 설정합니다.
• Cloud Storage 버킷 및 BigQuery 데이터 세트를 만듭니다.
• sparkbigqueryconnector를 구성합니다.
• BigQuery 데이터를 Spark DataFrame으로 수집합니다.
• 탐색적 데이터 분석(EDA)을 수행합니다.
• 샘플을 사용하여 데이터를 시각화합니다.
• 데이터를 정리합니다.
• 특성을 선택합니다.
• 모델을 학습시킵니다.
• 결과를 출력합니다.
• Cloud Storage 버킷에 모델을 저장합니다.
• 튜토리얼용으로 만든 리소스를 삭제합니다.