Vertex AI RAG Engine에서 Vertex AI 벡터 검색 사용

이 페이지에서는 Vertex AI RAG Engine을 Vertex AI 벡터 검색에 연결하는 방법을 보여줍니다.

이 노트북 Vertex AI 벡터 검색을 사용한 Vertex AI RAG Engine을 사용하여 따라할 수도 있습니다.

Vertex AI RAG Engine은 Spanner를 기반으로 하는 기본 제공 벡터 데이터베이스를 사용하여 텍스트 문서의 벡터 표현을 저장하고 관리하는 강력한 도구입니다. 벡터 데이터베이스를 사용하면 특정 쿼리에 대한 문서의 시맨틱 유사성을 기반으로 관련 문서를 효율적으로 검색할 수 있습니다. Vertex AI 벡터 검색을 Vertex AI RAG Engine에 추가 벡터 데이터베이스로 통합하면 벡터 검색의 기능을 사용하여 짧은 지연 시간으로 데이터를 처리하여 RAG 애플리케이션의 성능과 확장성을 개선할 수 있습니다.

Vertex AI 벡터 검색 설정

Vertex AI 벡터 검색은 Google 연구팀에서 개발한 벡터 검색 기술을 기반으로 합니다. 벡터 검색을 사용하면 Google 검색, YouTube, Google Play와 같은 Google 제품의 기반이 되는 동일한 인프라를 활용할 수 있습니다.

Vertex AI RAG Engine과 통합하려면 빈 벡터 검색 색인이 필요합니다.

Vertex AI SDK 설정

Vertex AI SDK를 설정하려면 설정을 참고하세요.

벡터 검색 색인 만들기

RAG 코퍼스와 호환되는 벡터 검색 색인을 만들려면 색인이 다음 기준을 충족해야 합니다.

IndexUpdateMethod는 STREAM_UPDATE여야 합니다. 스트림 색인 만들기를 참고하세요.
거리 측정 유형은 다음 중 하나로 명시적으로 설정해야 합니다.
- DOT_PRODUCT_DISTANCE
- COSINE_DISTANCE
벡터의 차원은 RAG 코퍼스에 사용할 임베딩 모델과 일치해야 합니다. 추가 파라미터를 조정할 수 있는지 여부를 결정하는 선택사항에 따라 다른 파라미터를 조정할 수 있습니다.

Python용 Vertex AI SDK

Python용 Vertex AI SDK를 설치하거나 업데이트하는 방법은 Python용 Vertex AI SDK 설치를 참조하세요. 자세한 내용은 Python용 Vertex AI SDK API 참조 문서를 확인하세요.

def vector_search_create_streaming_index(
    project: str, location: str, display_name: str, gcs_uri: Optional[str] = None
) -> aiplatform.MatchingEngineIndex:
    """Create a vector search index.

    Args:
        project (str): Required. Project ID
        location (str): Required. The region name
        display_name (str): Required. The index display name
        gcs_uri (str): Optional. The Google Cloud Storage uri for index content

    Returns:
        The created MatchingEngineIndex.
    """
    # Initialize the Vertex AI client
    aiplatform.init(project=project, location=location)

    # Create Index
    index = aiplatform.MatchingEngineIndex.create_tree_ah_index(
        display_name=display_name,
        contents_delta_uri=gcs_uri,
        description="Matching Engine Index",
        dimensions=100,
        approximate_neighbors_count=150,
        leaf_node_embedding_count=500,
        leaf_nodes_to_search_percent=7,
        index_update_method="STREAM_UPDATE",  # Options: STREAM_UPDATE, BATCH_UPDATE
        distance_measure_type=aiplatform.matching_engine.matching_engine_index_config.DistanceMeasureType.DOT_PRODUCT_DISTANCE,
    )

    return index

벡터 검색 색인 엔드포인트 만들기

공개 엔드포인트는 Vertex AI RAG Engine에서 지원됩니다.

Python용 Vertex AI SDK

def vector_search_create_index_endpoint(
    project: str, location: str, display_name: str
) -> None:
    """Create a vector search index endpoint.

    Args:
        project (str): Required. Project ID
        location (str): Required. The region name
        display_name (str): Required. The index endpoint display name
    """
    # Initialize the Vertex AI client
    aiplatform.init(project=project, location=location)

    # Create Index Endpoint
    index_endpoint = aiplatform.MatchingEngineIndexEndpoint.create(
        display_name=display_name,
        public_endpoint_enabled=True,
        description="Matching Engine Index Endpoint",
    )

    print(index_endpoint.name)

색인 엔드포인트에 색인 배포

최근접 이웃 검색을 수행하기 전에 색인을 색인 엔드포인트에 배포해야 합니다.

Python용 Vertex AI SDK

def vector_search_deploy_index(
    project: str,
    location: str,
    index_name: str,
    index_endpoint_name: str,
    deployed_index_id: str,
) -> None:
    """Deploy a vector search index to a vector search index endpoint.

    Args:
        project (str): Required. Project ID
        location (str): Required. The region name
        index_name (str): Required. The index to update. A fully-qualified index
          resource name or a index ID.  Example:
          "projects/123/locations/us-central1/indexes/my_index_id" or
          "my_index_id".
        index_endpoint_name (str): Required. Index endpoint to deploy the index
          to.
        deployed_index_id (str): Required. The user specified ID of the
          DeployedIndex.
    """
    # Initialize the Vertex AI client
    aiplatform.init(project=project, location=location)

    # Create the index instance from an existing index
    index = aiplatform.MatchingEngineIndex(index_name=index_name)

    # Create the index endpoint instance from an existing endpoint.
    index_endpoint = aiplatform.MatchingEngineIndexEndpoint(
        index_endpoint_name=index_endpoint_name
    )

    # Deploy Index to Endpoint
    index_endpoint = index_endpoint.deploy_index(
        index=index, deployed_index_id=deployed_index_id
    )

    print(index_endpoint.deployed_indexes)

색인을 색인 엔드포인트에 처음 배포하는 경우 색인을 저장하기 전에 백엔드를 자동으로 빌드하고 시작하는 데 약 30분이 걸립니다. 첫 번째 배포 후 몇 초 내에 색인이 준비됩니다. 색인 배포 상태를 보려면 벡터 검색 콘솔을 열고 색인 엔드포인트 탭을 선택한 다음 색인 엔드포인트를 선택합니다.

색인 및 색인 엔드포인트의 리소스 이름을 식별합니다. 리소스 이름의 형식은 다음과 같습니다.

projects/${PROJECT_ID}/locations/${LOCATION_ID}/indexes/${INDEX_ID}
projects/${PROJECT_ID}/locations/${LOCATION_ID}/indexEndpoints/${INDEX_ENDPOINT_ID}.