파이프라인 만들기

이 문서에서는 BigQuery에서 파이프라인을 만드는 방법을 설명합니다. 파이프라인은 Dataform을 기반으로 합니다.

시작하기 전에

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery, Dataform, and Vertex AI APIs.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery, Dataform, and Vertex AI APIs.

Enable the APIs

파이프라인에 필요한 역할

파이프라인을 만드는 데 필요한 권한을 얻으려면 관리자에게 프로젝트에 대한 다음 IAM 역할을 부여해 달라고 요청하세요.

• 파이프라인 만들기: 코드 생성자(roles/dataform.codeCreator)
• 파이프라인 수정 및 실행: Dataform 편집자(roles/dataform.editor)

역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.

Dataform IAM에 대한 자세한 내용은 IAM으로 액세스 제어를 참조하세요.

노트북 옵션에 필요한 역할

노트북 옵션에서 런타임 템플릿을 선택하는 데 필요한 권한을 얻으려면 관리자에게 프로젝트에 대한 노트북 런타임 사용자(roles/aiplatform.notebookRuntimeUser) IAM 역할을 부여해 달라고 요청하세요. 역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.

이 역할이 없으면 기본 노트북 런타임 사양을 선택할 수 있습니다.

코드 애셋의 기본 리전 설정

코드 애셋을 처음 만드는 경우 코드 애셋의 기본 리전을 설정해야 합니다. 생성된 후에는 코드 애셋 리전을 변경할 수 없습니다.

BigQuery Studio의 모든 코드 애셋은 같은 기본 리전을 사용합니다. 코드 애셋의 기본 리전을 설정하려면 다음 단계를 수행합니다.

1. BigQuery 페이지로 이동합니다.

   BigQuery로 이동

2. 탐색기 창에서 코드 애셋을 사용 설정한 프로젝트를 찾습니다.

3. 프로젝트 옆에 있는 more_vert 작업 보기를 클릭한 후 기본 코드 리전 변경을 클릭합니다.

4. 리전에서 코드 애셋에 사용할 리전을 선택합니다.

5. 선택을 클릭합니다.

사용 가능한 리전 목록은 BigQuery Studio 위치를 참조하세요.

파이프라인 만들기

파이프라인을 만들려면 다음 단계를 수행합니다.

1. BigQuery 페이지로 이동합니다.

   BigQuery로 이동

2. 편집기 창의 탭 표시줄에서 + 기호 옆에 있는 arrow_drop_down 화살표를 클릭한 후 파이프라인을 클릭합니다.

3. 선택사항: 파이프라인 이름을 바꾸려면 파이프라인 이름을 클릭한 후 새 이름을 입력합니다.

4. 시작하기를 클릭한 다음 설정 탭으로 이동합니다.

5. 인증 섹션에서 Google 계정 사용자 인증 정보나 서비스 계정으로 파이프라인을 승인합니다.

   • Google 계정 사용자 인증 정보(프리뷰)를 사용하려면 내 사용자 인증 정보로 실행을 선택합니다.
   • 서비스 계정을 사용하려면 선택한 서비스 계정으로 실행을 선택한 후 서비스 계정을 선택합니다.

6. 위치 섹션에서 파이프라인 처리 리전을 선택합니다.

   1. 특정 리전을 선택하려면 리전을 선택한 후 리전 메뉴에서 리전을 선택합니다.
   2. 멀티 리전을 선택하려면 멀티 리전을 선택한 후 멀티 리전 메뉴에서 멀티 리전을 선택합니다.

   파이프라인 처리 리전은 코드 애셋의 기본 스토리지 리전과 일치하지 않아도 됩니다.

노트북 옵션

1. 노트북을 파이프라인에 추가하려면 노트북 옵션 섹션에서 다음을 수행합니다.

   1. 런타임 템플릿 필드에서 기본 노트북 런타임을 수락하거나 기존 런타임을 검색하여 선택합니다.

      • 기본 런타임 사양을 보려면 옆에 있는 화살표를 클릭합니다.
      • 새 런타임을 만들려면 런타임 템플릿 만들기를 참조하세요.

   2. Cloud Storage 버킷 필드에서 찾아보기를 클릭하고 파이프라인에서 노트북 출력을 저장할 Cloud Storage 버킷을 선택하거나 만듭니다.

   3. 버킷 수준 정책에 주 구성원 추가를 수행하여 예약된 파이프라인 실행 출력을 저장하는 데 사용할 Cloud Storage 버킷에 커스텀 Dataform 서비스 계정을 주 구성원으로 추가하고 이 주 구성원에게 스토리지 관리자(roles/storage.admin) 역할을 부여합니다.

      선택한 커스텀 Dataform 서비스 계정에 선택한 버킷의 스토리지 관리자 IAM 역할이 부여되어야 합니다.

파이프라인 태스크 추가

파이프라인에 태스크를 추가하려면 다음 단계를 수행합니다.

1. Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다.

   BigQuery로 이동

2. 탐색기 창에서 프로젝트와 파이프라인 폴더를 펼친 후 파이프라인을 선택합니다.

3. SQL 쿼리, 노트북 또는 데이터 준비와 같은 코드 애셋을 추가하려면 다음을 수행합니다.

   SQL 쿼리

   1. 태스크 추가를 클릭한 다음 쿼리를 선택합니다. 새 쿼리를 만들거나 기존 쿼리를 가져올 수 있습니다.

   2. 선택사항: 쿼리 태스크 세부정보 창의 선행 작업 메뉴에서 쿼리 앞에 실행할 태스크를 선택합니다.

      쿼리는 이전 태스크에 따라 다릅니다.

   새 쿼리 만들기

   1. 쿼리 수정 옆에 있는 arrow_drop_down 화살표 메뉴를 클릭하고 컨텍스트에서 또는 새 탭에서를 선택합니다.

   2. 기존 쿼리를 검색합니다.

   3. 쿼리 이름을 선택한 후 Enter 키를 누릅니다.

   4. 저장을 클릭합니다.

   5. 선택사항: 쿼리 이름을 바꾸려면 파이프라인 창에서 쿼리 이름을 클릭하고 쿼리 수정을 클릭한 후 화면 상단에서 기존 쿼리 이름을 클릭하고 새 이름을 입력합니다.

   기존 쿼리 가져오기

   1. 쿼리 수정 옆에 있는 arrow_drop_down 화살표 메뉴를 클릭하고 사본 가져오기를 클릭합니다.

   2. 가져올 기존 쿼리를 검색하거나 검색 창에서 기존 쿼리를 선택합니다. 쿼리를 가져오면 쿼리 소스 파일이 파이프라인에 복사되므로 원본은 변경되지 않습니다.

   3. 수정을 클릭하여 가져온 쿼리를 엽니다.

   4. 저장을 클릭합니다.

   노트북

   1. 태스크 추가를 클릭한 다음 노트북을 선택합니다. 새 노트북을 만들거나 기존 노트북을 가져올 수 있습니다. 노트북 런타임 템플릿 설정을 변경하려면 노트북 옵션을 참조하세요.

   2. 선택사항: 노트북 태스크 세부정보 창의 선행 작업 메뉴에서 노트북 앞에 실행할 태스크를 선택합니다.

      노트북은 이전 태스크에 따라 다릅니다.

   새 노트북 만들기

   1. 노트북 수정 옆에 있는 arrow_drop_down 화살표 메뉴를 클릭하고 컨텍스트에서 또는 새 탭에서를 선택합니다.

   2. 기존 노트북을 검색합니다.

   3. 노트북 이름을 선택한 후 Enter 키를 누릅니다.

   4. 저장을 클릭합니다.

   5. 선택사항: 노트북 이름을 바꾸려면 파이프라인 창에서 노트북 이름을 클릭하고 노트북 수정을 클릭한 후 화면 상단에서 기존 노트북 이름을 클릭하고 새 이름을 입력합니다.

   기존 노트북 가져오기

   1. 노트북 수정 옆에 있는 arrow_drop_down 화살표 메뉴를 클릭하고 사본 가져오기를 클릭합니다.

   2. 가져올 기존 노트북을 검색하거나 검색 창에서 기존 노트북을 선택합니다. 노트북을 가져오면 노트북 소스 파일이 파이프라인에 복사되므로 원본은 변경되지 않습니다.

   3. 가져온 노트북을 열려면 수정을 클릭합니다.

   4. 저장을 클릭합니다.

   데이터 준비

   1. 태스크 추가를 클릭한 후 데이터 준비를 선택합니다. 새 데이터 준비를 만들거나 기존 데이터 준비를 가져올 수 있습니다.

   2. 선택사항: 데이터 준비 태스크 세부정보 창의 선행 작업 메뉴에서 데이터 준비 앞에 실행할 태스크를 선택합니다.

      데이터 준비는 이전 태스크에 따라 다릅니다.

   새 데이터 준비 만들기

   1. 데이터 준비 수정 옆에 있는 arrow_drop_down 화살표 메뉴를 클릭하고 컨텍스트에서 또는 새 탭에서를 선택합니다.

   2. 기존 데이터 준비를 검색합니다.

   3. 데이터 준비 이름을 선택하고 Enter 키를 누릅니다.

   4. 저장을 클릭합니다.

   5. 선택사항: 데이터 준비 이름을 바꾸려면 파이프라인 창에서 데이터 준비 이름을 클릭하고 데이터 준비 수정을 클릭한 후 화면 상단에서 이름을 클릭하고 새 이름을 입력합니다.

   기존 데이터 준비 가져오기

   1. 데이터 준비 수정 옆에 있는 arrow_drop_down 화살표 드롭다운 메뉴를 클릭하고 사본 가져오기를 클릭합니다.

   2. 가져올 기존 데이터 준비를 검색하거나 검색 창에서 기존 데이터 준비를 선택합니다. 데이터 준비를 가져오면 데이터 준비 소스 파일이 파이프라인에 복사되므로 원본은 변경되지 않습니다.

   3. 가져온 데이터 준비를 열려면 수정을 클릭합니다.

   4. 저장을 클릭합니다.

파이프라인 태스크 수정

파이프라인 태스크를 수정하려면 다음 단계를 수행합니다.

1. Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다.

   BigQuery로 이동

2. 탐색기 창에서 프로젝트와 파이프라인 폴더를 펼친 후 파이프라인을 선택합니다.

3. 선택한 태스크를 클릭합니다.

4. 앞의 태스크를 변경하려면 선행 작업 메뉴에서 쿼리나 노트북 앞에 실행할 태스크를 선택합니다.

5. 선택한 태스크의 콘텐츠를 수정하려면 수정을 클릭합니다.

6. 새 탭이 열리면 태스크 콘텐츠를 수정한 다음 태스크의 변경사항을 저장합니다.

파이프라인 태스크 삭제

파이프라인에서 태스크를 삭제하려면 다음 단계를 수행합니다.

1. Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다.

   BigQuery로 이동

2. 탐색기 창에서 프로젝트와 파이프라인 폴더를 펼친 후 파이프라인을 선택합니다.

3. 선택한 태스크를 클릭합니다.

4. 태스크 세부정보 창에서 삭제삭제 아이콘을 클릭합니다.

파이프라인 공유

파이프라인을 공유하려면 다음 단계를 수행합니다.

1. Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다.

   BigQuery로 이동

2. 탐색기 창에서 프로젝트와 파이프라인 폴더를 펼친 후 파이프라인을 선택합니다.

3. 공유를 클릭한 후 권한 관리를 선택합니다.

4. 사용자/그룹 추가를 클릭합니다.

5. 새 주 구성원 필드에 사용자 이름이나 그룹 이름을 최소 하나 이상 입력합니다.

6. 역할 할당에서 역할을 선택합니다.

7. 저장을 클릭합니다.

파이프라인 링크 공유

1. Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다.

   BigQuery로 이동

2. 탐색기 창에서 프로젝트와 파이프라인 폴더를 펼친 후 파이프라인을 선택합니다.

3. 공유를 클릭한 후 링크 공유를 선택합니다. 파이프라인 URL이 컴퓨터 클립보드에 복사됩니다.

파이프라인 실행

파이프라인의 현재 버전을 수동으로 실행하려면 다음 단계를 수행합니다.

1. Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다.

   BigQuery로 이동

2. 탐색기 창에서 프로젝트와 파이프라인 폴더를 펼친 후 파이프라인을 선택합니다.

3. 실행을 클릭합니다. 인증에 내 사용자 인증 정보로 실행을 선택한 경우 Google 계정을 승인(프리뷰)해야 합니다.

4. 선택사항: 실행을 검사하려면 이전 수동 실행을 확인합니다.

Google 계정 승인하기

Google 계정 사용자 인증 정보로 리소스를 인증하려면 Google 계정의 액세스 토큰을 가져오고 사용자를 대신하여 소스 데이터에 액세스할 수 있는 권한을 BigQuery 파이프라인에 수동으로 부여해야 합니다. OAuth 대화상자 인터페이스를 사용하여 수동 승인을 부여할 수 있습니다.

BigQuery 파이프라인에 대한 권한을 한 번만 부여하면 됩니다.

부여한 권한을 취소하려면 다음 단계를 수행합니다.

1. Google 계정 페이지로 이동합니다.
2. BigQuery 파이프라인을 클릭합니다.
3. 액세스 권한 삭제를 클릭합니다.

파이프라인에 노트북이 포함된 경우 Google 계정의 액세스 토큰을 가져오고 사용자를 대신하여 소스 데이터에 액세스할 수 있는 권한을 Colab Enterprise에게 수동으로 부여해야 합니다. 권한을 한 번만 부여하면 됩니다. Google 계정 페이지에서 이 권한을 취소할 수 있습니다.

다음 단계

• BigQuery 파이프라인 자세히 알아보기
• 파이프라인 관리 방법 알아보기
• 파이프라인 예약 방법 알아보기