모델 엔드포인트 관리로 예측 호출

이 페이지에서는 모델 엔드포인트 관리에 대해 설명합니다. 모델 엔드포인트 관리를 사용하면 AI 모델 엔드포인트를 등록하고 예측을 호출하는 방법을 실험할 수 있습니다. 프로덕션 환경에서 AI 모델을 사용하려면 Cloud SQL을 사용하여 생성형 AI 애플리케이션 빌드 및 Cloud SQL 인스턴스에서 온라인 예측 호출을 참조하세요.

모델 엔드포인트가 추가되고 모델 엔드포인트 관리에 등록된 후에는 모델 ID를 사용해서 이를 참조하여 예측을 호출할 수 있습니다.

시작하기 전에

다음 작업을 완료해야 합니다.

• 모델 엔드포인트를 모델 엔드포인트 관리에 등록합니다. 자세한 내용은 모델 엔드포인트 관리를 사용하여 원격 AI 모델 등록 및 호출을 참조하세요.
• 인스턴스를 Vertex AI와 통합할 수 있도록 Cloud SQL 인스턴스를 만들거나 업데이트합니다. 자세한 내용은 Vertex AI와 데이터베이스 통합 사용 설정을 참조하세요.

일반 모델의 예측 호출

google_ml.predict_row() SQL 함수를 사용하여 등록된 일반 모델 엔드포인트를 호출하여 예측을 호출합니다. google_ml.predict_row() 함수는 모든 모델 유형에 사용할 수 있습니다.

SELECT
  google_ml.predict_row(
    model_id => 'MODEL_ID',
    request_body => 'REQUEST_BODY');

다음을 바꿉니다.

• MODEL_ID: 모델 엔드포인트를 등록할 때 정의한 모델 ID입니다.
• REQUEST_BODY: JSON 형식의 예측 함수에 대한 파라미터입니다.

예시

등록된 gemini-pro 모델 엔드포인트에 대해 예측을 생성하려면 다음 문을 실행합니다.

    SELECT
        json_array_elements(
        google_ml.predict_row(
            model_id => 'gemini-pro',
            request_body => '{
        "contents": [
            {
                "role": "user",
                "parts": [
                    {
                        "text": "For TPCH database schema as mentioned here https://www.tpc.org/TPC_Documents_Current_Versions/pdf/TPC-H_v3.0.1.pdf , generate a SQL query to find all supplier names which are located in the India nation."
                    }
                ]
            }
        ]
        }'))-> 'candidates' -> 0 -> 'content' -> 'parts' -> 0 -> 'text';