Vertex AI Workbench 문제 해결

이 페이지에서는 Vertex AI Workbench 사용 시 문제가 발생할 경우 도움이 될 수 있는 문제 해결 단계를 설명합니다.

Vertex AI의 다른 구성요소를 사용하는 데 도움이 필요하면 Vertex AI 문제 해결도 참조하세요.

이 페이지의 콘텐츠를 필터링하려면 주제를 클릭합니다.

유용한 절차

이 섹션에서는 유용한 절차에 대해 설명합니다.

SSH를 사용하여 사용자 관리 노트북 인스턴스에 연결

Cloud Shell에서 또는 Google Cloud CLI가 설치된 환경에서 다음 명령어를 입력하여 ssh를 통해 인스턴스에 연결합니다.

gcloud compute ssh --project PROJECT_ID \
  --zone ZONE \
  INSTANCE_NAME -- -L 8080:localhost:8080

다음을 바꿉니다.

• PROJECT_ID: 프로젝트 ID
• ZONE: 인스턴스가 있는 Google Cloud 영역
• INSTANCE_NAME: 인스턴스의 이름

인스턴스의 Compute Engine 세부정보 페이지를 열고 SSH 버튼을 클릭하여 인스턴스에 연결할 수도 있습니다.

역방향 프록시 서버에 다시 등록

사용자 관리 노트북 인스턴스를 내부 역방향 프록시 서버에 다시 등록하려면 사용자 관리 노트북 페이지에서 VM을 중지하고 시작하거나 ssh를 사용자 관리 노트북 인스턴스에 연결하고 다음을 입력하면 됩니다.

cd /opt/deeplearning/bin
sudo ./attempt-register-vm-on-proxy.sh

Docker 서비스 상태 확인

Docker 서비스 상태를 확인하려면 ssh를 사용하여 사용자 관리 노트북 인스턴스에 연결하고 다음을 입력합니다.

sudo service docker status

역방향 프록시 에이전트가 실행 중인지 확인

노트북 역방향 에이전트가 실행 중인지 확인하려면 ssh를 사용하여 사용자 관리 노트북 인스턴스에 연결하고 다음을 입력합니다.

# Confirm Inverting Proxy agent Docker container is running (proxy-agent)
sudo docker ps

# Verify State.Status is running and State.Running is true.
sudo docker inspect proxy-agent

# Grab logs
sudo docker logs proxy-agent

Jupyter 서비스 상태 확인 및 로그 수집

Jupyter 서비스 상태를 확인하려면 ssh를 사용하여 사용자 관리 노트북 인스턴스에 연결하고 다음을 입력합니다.

sudo service jupyter status

Jupyter 서비스 로그를 수집하려면 다음을 실행합니다.

sudo journalctl -u jupyter.service --no-pager

Jupyter 내부 API가 활성 상태인지 확인

Jupyter API는 항상 포트 8080에서 실행되어야 합니다. 인스턴스의 syslog에서 다음과 유사한 항목이 있는지 확인하여 이를 확인할 수 있습니다.

Jupyter Server ... running at:
http://localhost:8080

또한 Jupyter 내부 API가 활성 상태인지 확인하려면 ssh를 사용하여 사용자 관리 노트북 인스턴스에 연결하고 다음을 입력하면 됩니다.

curl http://127.0.0.1:8080/api/kernelspecs

요청이 너무 오래 걸리는 경우 API가 응답하는 데 걸리는 시간을 측정할 수도 있습니다.

time curl -V http://127.0.0.1:8080/api/status
time curl -V http://127.0.0.1:8080/api/kernels
time curl -V http://127.0.0.1:8080/api/connections

Vertex AI Workbench 인스턴스에서 이러한 명령어를 실행하려면 JupyterLab을 열고 새 터미널을 만듭니다.

Docker 서비스 다시 시작

Docker 서비스를 다시 시작하려면 사용자 관리 노트북 페이지에서 VM을 중지하고 시작하거나 ssh를 사용하여 사용자 관리 노트북 인스턴스에 연결하고 다음을 입력합니다.

sudo service docker restart

역방향 프록시 에이전트 다시 시작

역방향 프록시 에이전트를 다시 시작하려면 사용자 관리 노트북 페이지에서 VM을 중지하고 시작하거나 ssh를 사용하여 사용자 관리 노트북 인스턴스에 연결하고 다음을 입력합니다.

sudo docker restart proxy-agent

Jupyter 서비스 다시 시작

Jupyter 서비스를 다시 시작하려면 사용자 관리 노트북 페이지에서 VM을 중지하고 시작하거나 ssh를 사용하여 사용자 관리 노트북 인스턴스에 연결하고 다음을 입력합니다.

sudo service jupyter restart

Notebooks 수집 에이전트 다시 시작

Notebooks 수집 에이전트 서비스는 백그라운드에서 Vertex AI Workbench 인스턴스의 핵심 서비스 상태를 확인하는 Python 프로세스를 실행합니다.

Notebooks 수집 에이전트 서비스를 다시 시작하려면 Google Cloud 콘솔에서 VM을 중지하고 시작하거나 ssh를 사용하여 Vertex AI Workbench 인스턴스에 연결하고 다음을 입력하면 됩니다.

sudo systemctl stop notebooks-collection-agent.service

다음을 수행합니다.

sudo systemctl start notebooks-collection-agent.service

Vertex AI Workbench 인스턴스에서 이러한 명령어를 실행하려면 JupyterLab을 열고 새 터미널을 만듭니다.

Notebooks 수집 에이전트 스크립트 수정

스크립트에 액세스하고 수정하려면 인스턴스에서 터미널을 열거나 ssh를 사용하여 Vertex AI Workbench 인스턴스에 연결하고 다음을 입력합니다.

nano /opt/deeplearning/bin/notebooks_collection_agent.py

파일을 수정한 후에는 저장해야 합니다.

그런 다음 Notebooks 수집 에이전트 서비스를 다시 시작해야 합니다.

인스턴스에서 필요한 DNS 도메인을 확인할 수 있는지 확인

인스턴스에서 필요한 DNS 도메인을 확인할 수 있는지 확인하려면 ssh를 사용하여 사용자 관리 노트북 인스턴스에 연결하고 다음을 입력하면 됩니다.

host notebooks.googleapis.com
host *.notebooks.cloud.google.com
host *.notebooks.googleusercontent.com
host *.kernels.googleusercontent.com

또는

curl --silent --output /dev/null "https://notebooks.cloud.google.com"; echo $?

인스턴스에 Dataproc이 사용 설정된 경우 다음을 실행하여 인스턴스에서 *.kernels.googleusercontent.com을 확인하는지 확인할 수 있습니다.

curl --verbose -H "Authorization: Bearer $(gcloud auth print-access-token)" https://${PROJECT_NUMBER}-dot-${REGION}.kernels.googleusercontent.com/api/kernelspecs | jq .

Vertex AI Workbench 인스턴스에서 이러한 명령어를 실행하려면 JupyterLab을 열고 새 터미널을 만듭니다.

인스턴스의 사용자 데이터 사본 만들기

인스턴스의 사용자 데이터 사본을 Cloud Storage에 저장하려면 다음 단계를 완료합니다.

Cloud Storage 버킷 만들기(선택사항)

인스턴스가 있는 동일한 프로젝트에서 사용자 데이터를 저장할 수 있는 Cloud Storage 버킷을 만듭니다. Cloud Storage 버킷이 이미 있으면 이 단계를 건너뜁니다.

• Create a Cloud Storage bucket:

  gcloud storage buckets create gs://BUCKET_NAME

  Replace BUCKET_NAME with a bucket name that meets the bucket naming requirements.

사용자 데이터 복사

1. 인스턴스의 JupyterLab 인터페이스에서 파일 > 새로 만들기 > 터미널을 선택하여 터미널 창을 엽니다. 사용자 관리 노트북 인스턴스의 경우 대신 SSH를 사용하여 인스턴스 터미널에 연결할 수 있습니다.

2. gcloud CLI를 사용하여 사용자 데이터를 Cloud Storage 버킷에 복사합니다. 다음 예시 명령어는 인스턴스의 /home/jupyter/ 디렉터리에 있는 모든 파일을 Cloud Storage 버킷의 디렉터리에 복사합니다.

   gcloud storage cp /home/jupyter/* gs://BUCKET_NAMEPATH --recursive
   

   다음을 바꿉니다.

   • BUCKET_NAME: Cloud Storage 버킷 이름
   • PATH: 파일을 복사할 디렉터리의 경로(예: /copy/jupyter/)

gcpdiag를 사용하여 프로비저닝 중에 중단된 인스턴스 조사

gcpdiag는 오픈소스 도구입니다. 공식적으로 지원되는 Google Cloud 제품이 아닙니다. gcpdiag 도구를 사용하여 Google Cloud프로젝트 문제를 식별하고 해결할 수 있습니다. 자세한 내용은 GitHub의 gcpdiag 프로젝트를 참조하세요.

Vertex AI에서 서비스 계정 역할을 사용할 때 권한 오류 발생

문제

Vertex AI에서 서비스 계정 역할을 사용하면 일반 권한 오류가 발생합니다.

이러한 오류는 Cloud Logging의 제품 구성요소 로그나 감사 로그에 표시될 수 있습니다. 영향을 받는 프로젝트의 조합으로 표시될 수도 있습니다.

이러한 문제는 다음 중 하나 또는 둘 다로 인해 발생할 수 있습니다.

• Service Account User 역할을 사용해야 할 때 Service Account Token Creator 역할을 사용하거나 그 반대의 경우. 이러한 역할은 서비스 계정에 서로 다른 권한을 부여하며 상호 교환될 수 없습니다. Service Account Token Creator 및 Service Account User 역할의 차이점은 서비스 계정 역할을 참조하세요.

• 기본적으로 허용되지 않는 여러 프로젝트에 서비스 계정 권한을 부여했습니다.

해결책

이 문제를 해결하려면 다음 중 하나 이상을 사용해 보세요.

• Service Account Token Creator 또는 Service Account User 역할이 필요한지 확인합니다. 자세한 내용은 사용 중인 Vertex AI 서비스 및 사용 중인 기타 제품 통합에 대한 IAM 문서를 참조하세요.

• 여러 프로젝트에 서비스 계정 권한을 부여한 경우 iam.disableCrossProjectServiceAccountUsage가 적용되지 않는지 확인하여 프로젝트 간에 연결할 서비스 계정을 사용 설정합니다. iam.disableCrossProjectServiceAccountUsage가 적용되지 않게 하려면 다음 명령어를 실행합니다.

  gcloud resource-manager org-policies disable-enforce \
    iam.disableCrossProjectServiceAccountUsage \
    --project=PROJECT_ID