CREATE EXTERNAL TABLE¶

CREATE EXTERNAL TABLE … USING TEMPLATE¶

반정형 데이터를 포함하는 스테이징된 파일 세트에서 파생된 열 정의를 사용하여 새 외부 테이블을 만듭니다. 이 기능은 Apache Parquet, Apache Avro, ORC, JSON 및 CSV 파일을 지원합니다. CSV 및 JSON 파일을 위한 지원이 현재 미리 보기로 제공됩니다.

CREATE [ OR REPLACE ] EXTERNAL TABLE <table_name>
  [ COPY GRANTS ]
  USING TEMPLATE <query>
  [ ... ]

Copy

COPY GRANTS에 대한 자세한 내용은 이 문서에 있는 COPY GRANTS 섹션을 참조하십시오.

분할 매개 변수¶

이러한 매개 변수를 사용하여 외부 테이블을 분할합니다.

part_col_name col_type AS part_expr

외부 테이블에서 하나 이상의 파티션 열을 정의합니다.

파티션 열 정의의 형식은 파티션이 각 파티션 열의 식에서 자동으로 계산되어 추가되는지 아니면 파티션이 수동으로 추가되는지에 따라 다릅니다.

식에서 추가됨:

파티션 열은 METADATA$FILENAME 의사 열의 경로 및/또는 파일 이름 정보를 구문 분석하는 식으로 계산해야 합니다. 파티션 열은 스캔할 필요가 없는 데이터 파일을 정리(즉, 외부 테이블 분할)하여 쿼리 성능을 최적화합니다. 파티션은 파티션 열에 대한 식의 경로 및/또는 파일 이름과 일치하는 모든 데이터 파일로 구성됩니다.

part_col_name	파티션 열 식별자(즉, 이름)를 지정하는 문자열입니다. 테이블 식별자에 대한 모든 요구 사항은 열 식별자에도 적용됩니다.
col_type	열의 데이터 타입을 지정하는 문자열(상수)입니다. 데이터 타입은 열에 대한 part_expr 의 결과와 일치해야 합니다.
part_expr	열에 대한 식을 지정하는 문자열입니다. 식은 METADATA$FILENAME 의사 열을 포함해야 합니다.

외부 테이블은 현재 파티션 식에서 다음과 같은 함수 서브세트를 지원합니다.

지원되는 함수 목록:

• =, <>, >, >=, <, <=

• ||

• +, -

• - (부정)

• *

• AND, OR

• ARRAY_CONSTRUCT

• CASE

• CAST , ::

• CONCAT , ||

• ENDSWITH

• IS [ NOT ] NULL

• IFF

• IFNULL

• [ NOT ] IN

• LOWER

• NOT

• NULLIF

• NVL2

• SPLIT_PART

• STARTSWITH

• SUBSTR , SUBSTRING

• UPPER

• ZEROIFNULL

수동으로 추가됨:

필수: 또한 PARTITION_TYPE 매개 변수 값을 USER_SPECIFIED 로 설정합니다.

파티션 열 정의는 내부(숨겨진) METADATA$EXTERNAL_TABLE_PARTITION 열의 열 메타데이터를 구문 분석하는 식입니다. 기본적으로 정의는 열의 데이터 타입만 정의합니다. 파티션 열 정의의 형식은 다음과 같습니다.

part_col_name col_type AS ( PARSE_JSON (METADATA$EXTERNALTABLE_PARTITION):part_col_name::data_type )

예를 들어 col1, col2, col3 열에 각각 varchar, 숫자, 타임스탬프(타임존) 데이터가 포함되어 있다고 가정합니다.

col1 varchar as (parse_json(metadata$external_table_partition):col1::varchar),
col2 number as (parse_json(metadata$external_table_partition):col2::number),
col3 timestamp_tz as (parse_json(metadata$external_table_partition):col3::timestamp_tz)

Copy

테이블의 파티션 열을 정의한 후 PARTITION BY 절을 사용하여 이러한 열을 식별합니다.

참고

사용자 지정 파티션 열 이름의 최대 길이는 32자입니다.

PARTITION_TYPE = USER_SPECIFIED

외부 테이블의 파티션 유형을 사용자 정의 로 정의합니다. 외부 테이블의 소유자(즉, 외부 테이블에 대한 OWNERSHIP 권한이 있는 역할)는 ALTER EXTERNAL TABLE … ADD PARTITION 문을 실행하여 수동으로 외부 메타데이터에 파티션을 추가해야 합니다.

파티션 열의 식 평가 시 파티션이 외부 테이블 메타데이터에 자동으로 추가되는 경우 이 매개 변수를 설정하지 마십시오.

[ PARTITION BY ( part_col_name [, part_col_name ... ] ) ]

외부 테이블에 대해 평가할 파티션 열을 지정합니다.

사용법:

외부 테이블을 쿼리할 때 WHERE 절에 하나 이상의 파티션 열을 포함하며, 예를 들면 다음과 같습니다.

... WHERE part_col_name = 'filter_value'

Snowflake는 파티션 열을 기준으로 필터링하여 스캔할 데이터 파일 세트를 제한합니다. 이들 파일의 모든 행이 스캔됩니다. WHERE 절에 파티션이 아닌 열이 포함된 경우 해당 필터는 데이터 파일이 필터링된 후에 평가됩니다.

일반적인 방법은 시간 증분을 기준으로 데이터 파일을 분할하거나, 여러 원본에서 데이터 파일을 스테이징한 경우 데이터 원본 식별자와 날짜 또는 타임스탬프별로 분할하는 것입니다.

TYPE = CSV¶

COMPRESSION = AUTO | GZIP | BZ2 | BROTLI | ZSTD | DEFLATE | RAW_DEFLATE | NONE

쿼리할 데이터 파일에 대한 현재 압축 알고리즘을 지정하는 문자열(상수)입니다. Snowflake는 이 옵션을 사용하여 이미 압축된 데이터 파일을 압축한 방식을 감지해 쿼리를 위해 파일의 압축 데이터를 추출할 수 있습니다.

지원되는 값	참고
AUTO	현재 자동으로 감지할 수 없는 Brotli 압축 파일을 제외하고 압축 알고리즘이 자동으로 감지됩니다. Brotli 압축 파일을 쿼리하는 경우 AUTO 대신 BROTLI 를 명시적으로 사용합니다.
GZIP
BZ2
BROTLI	Brotli 압축 파일을 쿼리할 때 지정해야 합니다.
ZSTD	Zstandard v0.8 이상이 지원됩니다.
DEFLATE	Deflate 압축 파일(zlib 헤더 RFC1950 포함).
RAW_DEFLATE	원시 Deflate 압축 파일(헤더 RFC1951 제외).
NONE	데이터 파일이 압축되지 않았습니다.

RECORD_DELIMITER = 'string' | NONE

입력 파일에서 레코드를 구분하는 하나 이상의 문자입니다. 일반적인 이스케이프 시퀀스 또는 다음 싱글바이트 또는 멀티바이트 문자를 허용합니다.

싱글바이트 문자:

8진수 값(\\ 접두사가 붙음) 또는 16진수 값(0x 또는 \x 접두사가 붙음). 예를 들어, 곡절 악센트(^) 문자로 구분된 레코드의 경우 8진수(\\136) 또는 16진수(0x5e) 값을 지정합니다.

멀티바이트 문자:

16진수 값(\x 접두사가 붙음). 예를 들어, 센트(¢) 문자로 구분된 레코드의 경우 16진수(\xC2\xA2) 값을 지정합니다.

RECORD_DELIMITER 또는 FIELD_DELIMITER의 구분 기호는 다른 파일 형식 옵션(예: FIELD_DELIMITER = 'aa' RECORD_DELIMITER = 'aabb')에 대한 구분 기호의 하위 문자열일 수 없습니다.

지정된 구분 기호는 임의의 바이트 시퀀스가 아니라 유효한 UTF-8 문자여야 합니다. 또한, 구분 기호는 최대 20자로 제한됩니다.

NONE 의 값도 허용합니다.

기본값: 줄 바꿈 문자. “줄 바꿈”은 \r\n 이 Windows 플랫폼에서 파일에 대한 줄 바꿈으로 이해되게끔 하는 논리입니다.

FIELD_DELIMITER = 'string' | NONE

입력 파일에서 필드를 구분하는 하나 이상의 싱글바이트 또는 멀티바이트 문자입니다. 일반적인 이스케이프 시퀀스 또는 다음 싱글바이트 또는 멀티바이트 문자를 허용합니다.

싱글바이트 문자:

8진수 값(\\ 접두사가 붙음) 또는 16진수 값(0x 또는 \x 접두사가 붙음). 예를 들어, 곡절 악센트(^) 문자로 구분된 레코드의 경우 8진수(\\136) 또는 16진수(0x5e) 값을 지정합니다.

멀티바이트 문자:

16진수 값(\x 접두사가 붙음). 예를 들어, 센트(¢) 문자로 구분된 레코드의 경우 16진수(\xC2\xA2) 값을 지정합니다.

RECORD_DELIMITER 또는 FIELD_DELIMITER의 구분 기호는 다른 파일 형식 옵션(예: FIELD_DELIMITER = 'aa' RECORD_DELIMITER = 'aabb')에 대한 구분 기호의 하위 문자열일 수 없습니다.

참고

비 ASCII 문자의 경우 결정적 동작을 얻으려면 16진수 바이트 시퀀스 값을 사용해야 합니다.

지정된 구분 기호는 임의의 바이트 시퀀스가 아니라 유효한 UTF-8 문자여야 합니다. 또한, 구분 기호는 최대 20자로 제한됩니다.

NONE 의 값도 허용합니다.

기본값: 쉼표(,)

MULTI_LINE = TRUE | FALSE

여러 줄 허용 여부를 지정하는 부울입니다.

MULTI_LINE 이 FALSE 로 설정되어 있고 지정된 레코드 구분 기호가 CSV 필드 내에 있는 경우 해당 필드를 포함하는 레코드는 오류로 해석됩니다.

기본값: TRUE

SKIP_HEADER = integer

파일 시작에서 건너뛸 줄의 개수입니다.

참고로, SKIP_HEADER는 헤더 줄이 무엇인지 결정하기 위해 RECORD_DELIMITER 또는 FIELD_DELIMITER 값을 사용하지는 않으며, 오히려 파일에서 지정된 수만큼 CRLF(캐리지 리턴, 줄 바꿈)로 구분된 줄을 건너뜁니다. 그런 다음 RECORD_DELIMITER와 FIELD_DELIMITER를 사용해 쿼리할 데이터 행을 결정합니다.

기본값: 0

SKIP_BLANK_LINES = TRUE | FALSE

용도:

데이터 쿼리 전용

정의:

데이터 파일에서 발견되는 빈 줄을 건너뛰도록 지정하는 부울입니다. 그렇지 않으면 빈 줄로 인해 레코드 끝 오류를 발생합니다(기본 동작).

기본값: FALSE

ESCAPE_UNENCLOSED_FIELD = 'character' | NONE

괄호로 묶이지 않은 필드 값에 대해서만 이스케이프 문자로 사용되는 싱글바이트 문자열입니다. 이스케이프 문자는 문자 시퀀스의 후속 문자에 대한 대체 해석을 호출합니다. ESCAPE 문자를 사용하여 데이터에 있는 FIELD_DELIMITER 또는 RECORD_DELIMITER 문자의 인스턴스를 리터럴로 해석할 수 있습니다. 이스케이프 문자는 데이터에서 자신의 인스턴스를 이스케이프하는 데 사용할 수도 있습니다.

일반적인 이스케이프 시퀀스, 8진수 값 또는 16진수 값을 허용합니다.

괄호로 묶이지 않은 필드에만 이스케이프 문자를 지정합니다.

참고

• 기본값은 \\ 입니다. 데이터 파일의 행이 백슬래시(\) 문자로 끝날 경우 이 문자는 RECORD_DELIMITER 파일 형식 옵션에 대해 지정된 줄 바꿈 또는 캐리지 리턴 문자를 이스케이프합니다. 결과적으로, 이 행과 다음 행이 단일 데이터 행으로 처리됩니다. 이 문제를 방지하려면 값을 NONE 으로 설정하십시오.

• 이 파일 형식 옵션은 싱글바이트 문자만 지원합니다. UTF-8 문자 인코딩은 상위 ASCII 문자를 멀티바이트 문자로 나타냅니다. 데이터 파일이 UTF-8 문자 세트로 인코딩된 경우 상위 ASCII 문자를 옵션 값으로 지정할 수 없습니다.

  또한 상위 ASCII 문자를 지정하는 경우 ENCODING = 'string' 파일 형식 옵션을 데이터 파일의 문자 인코딩으로 설정하여 문자가 올바르게 해석되도록 보장하는 것이 좋습니다.

기본값: 백슬래시(\\)

TRIM_SPACE = TRUE | FALSE

필드에서 공백을 제거할지 여부를 지정하는 부울입니다.

예를 들어, 외부 데이터베이스 소프트웨어에서 필드를 따옴표로 묶고 선행 공백을 삽입하는 경우 Snowflake는 첫 따옴표 문자가 아닌 선행 공백을 필드의 시작 부분으로 읽습니다(즉, 따옴표는 필드 데이터 문자열의 일부로 해석). 데이터를 쿼리할 때 불필요한 공백을 제거하려면 이 옵션을 TRUE 로 설정하십시오.

또 다른 예로, 선행 또는 후행 공백이 문자열을 묶는 따옴표 주위에 있는 경우 이 옵션을 사용하여 주위의 공백을 제거하고 FIELD_OPTIONALLY_ENCLOSED_BY 옵션을 사용하여 따옴표를 제거할 수 있습니다. 따옴표 안의 모든 공백은 그대로 유지됩니다. 예를 들어 FIELD_DELIMITER = '|' 및 FIELD_OPTIONALLY_ENCLOSED_BY = '"' 를 가정하면 다음과 같습니다.

|"Hello world"|    /* returned as */  >Hello world<
|" Hello world "|  /* returned as */  > Hello world <
| "Hello world" |  /* returned as */  >Hello world<

Copy

이 예에서 대괄호는 반환되지 않습니다. 대괄호는 반환된 문자열의 시작과 끝의 경계를 정하는 데 사용됩니다.

기본값: FALSE

FIELD_OPTIONALLY_ENCLOSED_BY = 'character' | NONE

문자열을 묶는 데 사용되는 문자입니다. 값은 NONE, 작은따옴표 문자(') 또는 큰따옴표 문자(")일 수 있습니다. 작은따옴표 문자를 사용하려면 8진수 또는 16진수 표현(0x27) 또는 이중 작은따옴표로 묶인 이스케이프('')를 사용하십시오.

기본값: NONE

NULL_IF = ( 'string1' [ , 'string2' , ... ] )

SQL NULL로 변환하거나 그 반대로 변환하는 데 사용되는 문자열:

데이터를 쿼리할 때 Snowflake는 반환된 데이터에서 이러한 값을 SQL NULL로 바꿉니다. 둘 이상의 문자열을 지정하려면 문자열 목록을 괄호로 묶고 쉼표를 사용하여 각각의 값을 구분합니다.

Snowflake는 데이터 타입과 관계없이 값의 모든 인스턴스를 NULL로 변환합니다. 예를 들어 2 가 값으로 지정되면 2 의 모든 인스턴스가 문자열 또는 숫자로 변환됩니다.

예:

NULL_IF = ('\N', 'NULL', 'NUL', '')

이 옵션에는 빈 문자열이 포함될 수 있습니다.

기본값: \N (즉, NULL, ESCAPE_UNENCLOSED_FIELD 값은 \\ 로 가정)

EMPTY_FIELD_AS_NULL = TRUE | FALSE

두 개의 연속적인 구분 기호(예: ,,)로 표시되는 입력 파일의 빈 필드에 대해 SQL NULL을 반환할지 여부를 지정합니다.

FALSE 로 설정하면 Snowflake가 빈 필드를 해당 열 타입으로 캐스팅하려고 시도합니다. STRING 유형의 열에 대해 빈 문자열이 반환됩니다. 다른 열 유형의 경우 이 쿼리는 오류를 반환합니다.

기본값: TRUE

ENCODING = 'string'

데이터를 쿼리할 때 원본 데이터의 문자 세트를 지정하는 문자열(상수)입니다.

문자 세트	ENCODING 값	지원되는 언어	참고
Big5	BIG5	중국어 번체
EUC-JP	EUCJP	일본어
EUC-KR	EUCKR	한국어
GB18030	GB18030	중국어
IBM420	IBM420	아랍어
IBM424	IBM424	히브리어
IBM949	IBM949	한국어
ISO-2022-CN	ISO2022CN	중국어 간체
ISO-2022-JP	ISO2022JP	일본어
ISO-2022-KR	ISO2022KR	한국어
ISO-8859-1	ISO88591	덴마크어, 네덜란드어, 영어, 프랑스어, 독일어, 이탈리아어, 노르웨이어, 포르투갈어, 스웨덴어
ISO-8859-2	ISO88592	체코어, 헝가리어, 폴란드어, 루마니아어
ISO-8859-5	ISO88595	러시아어
ISO-8859-6	ISO88596	아랍어
ISO-8859-7	ISO88597	그리스어
ISO-8859-8	ISO88598	히브리어
ISO-8859-9	ISO88599	터키어
ISO-8859-15	ISO885915	덴마크어, 네덜란드어, 영어, 프랑스어, 독일어, 이탈리아어, 노르웨이어, 포르투갈어, 스웨덴어	유로화 기호를 포함하여, 8자를 제외하면 ISO-8859-1과 동일합니다.
KOI8-R	KOI8R	러시아어
Shift_JIS	SHIFTJIS	일본어
UTF-8	UTF8	모든 언어	구분된 파일(CSV, TSV 등)에서 데이터를 로딩하는 경우 UTF-8이 기본값입니다. . . 지원되는 다른 모든 파일 형식(JSON, Avro 등)에서 데이터를 로딩할 뿐 아니라 언로딩하는 경우 UTF-8이 유일하게 지원되는 문자 세트입니다.
UTF-16	UTF16	모든 언어
UTF-16BE	UTF16BE	모든 언어
UTF-16LE	UTF16LE	모든 언어
UTF-32	UTF32	모든 언어
UTF-32BE	UTF32BE	모든 언어
UTF-32LE	UTF32LE	모든 언어
windows-874	WINDOWS874	태국어
windows-949	WINDOWS949	한국어
windows-1250	WINDOWS1250	체코어, 헝가리어, 폴란드어, 루마니아어
windows-1251	WINDOWS1251	러시아어
windows-1252	WINDOWS1252	덴마크어, 네덜란드어, 영어, 프랑스어, 독일어, 이탈리아어, 노르웨이어, 포르투갈어, 스웨덴어
windows-1253	WINDOWS1253	그리스어
windows-1254	WINDOWS1254	터키어
windows-1255	WINDOWS1255	히브리어
windows-1256	WINDOWS1256	아랍어

기본값: UTF8

참고

Snowflake는 모든 데이터를 UTF-8 문자 세트에 내부적으로 저장합니다. 데이터는 UTF-8로 변환됩니다.

TYPE = JSON¶

COMPRESSION = AUTO | GZIP | BZ2 | BROTLI | ZSTD | DEFLATE | RAW_DEFLATE | NONE

반환할 데이터 파일에 대한 현재 압축 알고리즘을 지정하는 문자열(상수)입니다. Snowflake는 이 옵션을 사용하여 이미 압축된 데이터 파일을 압축한 방식을 감지해 쿼리를 위해 파일의 압축 데이터를 추출할 수 있습니다.

지원되는 값	참고
AUTO	현재 자동으로 감지할 수 없는 Brotli 압축 파일을 제외하고 압축 알고리즘이 자동으로 감지됩니다. Brotli 압축 파일을 쿼리하는 경우 AUTO 대신 BROTLI 를 명시적으로 사용합니다.
GZIP
BZ2
BROTLI
ZSTD
DEFLATE	Deflate 압축 파일(zlib 헤더 RFC1950 포함).
RAW_DEFLATE	원시 Deflate 압축 파일(헤더 RFC1951 제외).
NONE	파일이 압축되지 않았음을 나타냅니다.

기본값: AUTO

MULTI_LINE = TRUE | FALSE

여러 줄 허용 여부를 지정하는 부울입니다.

MULTI_LINE 이 FALSE 로 설정되어 있고 JSON 레코드 내에 새 줄이 있는 경우 새 줄이 포함된 레코드는 오류로 해석됩니다.

기본값: TRUE

ALLOW_DUPLICATE = TRUE | FALSE

중복 오브젝트 필드 이름을 허용하도록 지정하는 부울입니다(마지막 이름만 보존됨).

기본값: FALSE

STRIP_OUTER_ARRAY = TRUE | FALSE

JSON 구문 분석기에 외부 대괄호(즉, [ ])를 제거하도록 지시하는 부울입니다.

기본값: FALSE

STRIP_NULL_VALUES = TRUE | FALSE

JSON 파서에 null 값이 포함된 오브젝트 필드 또는 배열 요소를 제거하도록 지시하는 부울입니다. 예를 들어 TRUE 로 설정할 경우 다음과 같습니다.

이전	이후
[null]	[]
[null,null,3]	[,,3]
{"a":null,"b":null,"c":123}	{"c":123}
{"a":[1,null,2],"b":{"x":null,"y":88}}	{"a":[1,,2],"b":{"y":88}}

기본값: FALSE

REPLACE_INVALID_CHARACTERS = TRUE | FALSE

유효하지 않은 UTF-8 문자를 유니코드 대체 문자(�)로 대체할지 여부를 지정하는 부울. 이 옵션은 일대일 문자 대체를 수행합니다.

TRUE 로 설정하면 Snowflake가 잘못된 UTF-8 문자를 유니코드 대체 문자로 바꿉니다.

FALSE 로 설정하면 잘못된 UTF-8 문자 인코딩이 감지될 때 로딩 작업에서 오류가 발생합니다.

기본값: FALSE

TYPE = AVRO¶

COMPRESSION = AUTO | GZIP | BZ2 | BROTLI | ZSTD | DEFLATE | RAW_DEFLATE | NONE

쿼리할 데이터 파일에 대한 현재 압축 알고리즘을 지정하는 문자열(상수)입니다. Snowflake는 이 옵션을 사용하여 이미 압축된 데이터 파일을 압축한 방식을 감지해 쿼리를 위해 파일의 압축 데이터를 추출할 수 있습니다.

지원되는 값	참고
AUTO	현재 자동으로 감지할 수 없는 Brotli 압축 파일을 제외하고 압축 알고리즘이 자동으로 감지됩니다. Brotli 압축 파일을 쿼리하는 경우 AUTO 대신 BROTLI 를 명시적으로 사용합니다.
GZIP
BZ2
BROTLI
ZSTD
DEFLATE	Deflate 압축 파일(zlib 헤더 RFC1950 포함).
RAW_DEFLATE	원시 Deflate 압축 파일(헤더 RFC1951 제외).
NONE	쿼리할 데이터 파일이 압축되지 않았습니다.

기본값: AUTO.

REPLACE_INVALID_CHARACTERS = TRUE | FALSE

유효하지 않은 UTF-8 문자를 유니코드 대체 문자(�)로 대체할지 여부를 지정하는 부울. 이 옵션은 일대일 문자 대체를 수행합니다.

TRUE 로 설정하면 Snowflake가 잘못된 UTF-8 문자를 유니코드 대체 문자로 바꿉니다.

FALSE 로 설정하면 잘못된 UTF-8 문자 인코딩이 감지될 때 로딩 작업에서 오류가 발생합니다.

기본값: FALSE

TYPE = ORC¶

TRIM_SPACE = TRUE | FALSE

문자열에서 선행 공백과 후행 공백을 제거할지 여부를 지정하는 부울입니다.

예를 들어, 외부 데이터베이스 소프트웨어에서 필드를 따옴표로 묶고 선행 공백을 삽입하는 경우 Snowflake는 첫 따옴표 문자가 아닌 선행 공백을 필드의 시작 부분으로 읽습니다(즉, 따옴표는 필드 데이터 문자열의 일부로 해석). 불필요한 공백을 제거하려면 이 옵션을 TRUE 로 설정하십시오.

이 파일 형식 옵션은 다음 작업에만 적용됩니다.

• 스테이지 상태 ORC 데이터 파일에서 오브젝트 값을 쿼리하는 작업.

• MATCH_BY_COLUMN_NAME 복사 옵션을 사용하여 ORC 데이터를 별개의 열에서 쿼리하는 작업.

• COPY 문에 쿼리를 지정하여 ORC 데이터를 별도의 열로 쿼리(즉, COPY 변환)합니다.

기본값: FALSE

REPLACE_INVALID_CHARACTERS = TRUE | FALSE

유효하지 않은 UTF-8 문자를 유니코드 대체 문자(�)로 대체할지 여부를 지정하는 부울. 이 옵션은 일대일 문자 대체를 수행합니다.

TRUE 로 설정하면 Snowflake가 잘못된 UTF-8 문자를 유니코드 대체 문자로 바꿉니다.

FALSE 로 설정하면 잘못된 UTF-8 문자 인코딩이 감지될 때 로딩 작업에서 오류가 발생합니다.

기본값: FALSE

NULL_IF = ( 'string1' [ , 'string2' , ... ] )

SQL NULL로 변환하거나 그 반대로 변환하는 데 사용되는 문자열입니다. Snowflake는 데이터 원본의 이러한 문자열을 SQL NULL로 바꿉니다. 둘 이상의 문자열을 지정하려면 문자열 목록을 괄호로 묶고 쉼표를 사용하여 각각의 값을 구분합니다.

Snowflake는 데이터 타입과 관계없이 값의 모든 인스턴스를 NULL로 변환합니다. 예를 들어 2 가 값으로 지정되면 2 의 모든 인스턴스가 문자열 또는 숫자로 변환됩니다.

예:

NULL_IF = ('\N', 'NULL', 'NUL', '')

이 옵션에는 빈 문자열이 포함될 수 있습니다.

이 파일 형식 옵션은 스테이징된 ORC 데이터 파일에서 오브젝트 값을 쿼리할 때 적용됩니다.

기본값: \N (즉, NULL)

TYPE = PARQUET¶

COMPRESSION = AUTO | SNAPPY | NONE

Parquet 파일의 열에 대한 현재 압축 알고리즘을 지정하는 문자열(상수)입니다.

지원되는 값	참고
AUTO	압축 알고리즘이 자동으로 감지됩니다. Brotli, gzip, Lempel-Ziv-Oberhumer(LZO), LZ4, Snappy 또는 Zstandard v0.8 이상의 압축 알고리즘을 지원합니다.
SNAPPY
NONE	데이터 파일이 압축되지 않았습니다.

기본값: AUTO

BINARY_AS_TEXT = TRUE | FALSE

정의된 논리 데이터 타입이 없는 열을 UTF-8 텍스트로 해석할지 여부를 지정하는 부울입니다. FALSE 로 설정하면 Snowflake가 이러한 열을 이진 데이터로 해석합니다.

기본값: TRUE

참고

잠재적인 변환 문제를 방지하도록 BINARY_AS_TEXT를 FALSE로 설정하는 것이 좋습니다.

REPLACE_INVALID_CHARACTERS = TRUE | FALSE

유효하지 않은 UTF-8 문자를 유니코드 대체 문자(�)로 대체할지 여부를 지정하는 부울. 이 옵션은 일대일 문자 대체를 수행합니다.

TRUE 로 설정하면 Snowflake가 잘못된 UTF-8 문자를 유니코드 대체 문자로 바꿉니다.

FALSE 로 설정하면 잘못된 UTF-8 문자 인코딩이 감지될 때 로딩 작업에서 오류가 발생합니다.

기본값: FALSE

파티션 열 식에서 자동으로 추가된 파티션¶

파티션 열 정의의 식에서 계산된 파티션이 있는 외부 테이블을 만듭니다.

다음 예에서 데이터 파일은 다음 구조로 클라우드 저장소에 구성됩니다. logs/YYYY/MM/DD/HH24. 예:

• logs/2018/08/05/0524/

• logs/2018/08/27/1408/

1. 데이터 파일이 저장되는 저장소 위치에 대해 s1 로 명명된 외부 스테이지를 만듭니다. 자세한 내용은 CREATE STAGE 섹션을 참조하십시오.

   스테이지 정의는 다음과 같이 경로 /files/logs/ 를 포함합니다.

   Amazon S3

   CREATE STAGE s1
     URL='s3://mybucket/files/logs/'
     ...
     ;
   

   Copy

   Google Cloud Storage

   CREATE STAGE s1
     URL='gcs://mybucket/files/logs/'
     ...
     ;
   

   Copy

   Microsoft Azure

   CREATE STAGE s1
     URL='azure://mycontainer/files/logs/'
     ...
     ;
   

   Copy

2. 스테이지 상태 데이터에서 METADATA$FILENAME 의사 열을 쿼리합니다. 그 결과를 사용하여 파티션 열을 개발합니다.

   SELECT metadata$filename FROM @s1/;
   
   +----------------------------------------+
   | METADATA$FILENAME                      |
   |----------------------------------------|
   | files/logs/2018/08/05/0524/log.parquet |
   | files/logs/2018/08/27/1408/log.parquet |
   +----------------------------------------+
   

   Copy

3. 분할된 외부 테이블을 만듭니다.

   파티션 열 date_part 는 TO_DATE , DATE 를 사용하여 METADATA$FILENAME 의사 열에서 YYYY/MM/DD 를 날짜로 캐스팅합니다. 또한 SQL 명령은 Parquet을 파일 형식 유형으로 지정합니다.

   Amazon S3 및 Microsoft Azure 클라우드 저장소용 외부 테이블에는 해당 클라우드 메시징 서비스의 이벤트 알림에 의해 트리거될 때 메타데이터를 자동으로 새로 고치는 데 필요한 매개 변수가 포함됩니다.

   Amazon S3

   CREATE EXTERNAL TABLE et1(
    date_part date AS TO_DATE(SPLIT_PART(metadata$filename, '/', 3)
      || '/' || SPLIT_PART(metadata$filename, '/', 4)
      || '/' || SPLIT_PART(metadata$filename, '/', 5), 'YYYY/MM/DD'),
    timestamp bigint AS (value:timestamp::bigint),
    col2 varchar AS (value:col2::varchar))
    PARTITION BY (date_part)
    LOCATION=@s1/logs/
    AUTO_REFRESH = true
    FILE_FORMAT = (TYPE = PARQUET)
    AWS_SNS_TOPIC = 'arn:aws:sns:us-west-2:001234567890:s3_mybucket';
   

   Copy

   Google Cloud Storage

   CREATE EXTERNAL TABLE et1(
     date_part date AS TO_DATE(SPLIT_PART(metadata$filename, '/', 3)
       || '/' || SPLIT_PART(metadata$filename, '/', 4)
       || '/' || SPLIT_PART(metadata$filename, '/', 5), 'YYYY/MM/DD'),
     timestamp bigint AS (value:timestamp::bigint),
     col2 varchar AS (value:col2::varchar))
     PARTITION BY (date_part)
     LOCATION=@s1/logs/
     AUTO_REFRESH = true
     FILE_FORMAT = (TYPE = PARQUET);
   

   Copy

   Microsoft Azure

   CREATE EXTERNAL TABLE et1(
     date_part date AS TO_DATE(SPLIT_PART(metadata$filename, '/', 3)
       || '/' || SPLIT_PART(metadata$filename, '/', 4)
       || '/' || SPLIT_PART(metadata$filename, '/', 5), 'YYYY/MM/DD'),
     timestamp bigint AS (value:timestamp::bigint),
     col2 varchar AS (value:col2::varchar))
     PARTITION BY (date_part)
     INTEGRATION = 'MY_INT'
     LOCATION=@s1/logs/
     AUTO_REFRESH = true
     FILE_FORMAT = (TYPE = PARQUET);
   

   Copy

4. 외부 테이블 메타데이터를 새로 고칩니다.

   ALTER EXTERNAL TABLE et1 REFRESH;
   

   Copy

외부 테이블을 쿼리할 때 WHERE 절을 사용하여 파티션 열별로 데이터를 필터링합니다. Snowflake는 필터 조건과 일치하는 지정된 파티션의 파일만 검색합니다.

SELECT timestamp, col2 FROM et1 WHERE date_part = to_date('08/05/2018');

수동으로 추가된 파티션¶

사용자 정의 파티션이 있는 외부 테이블을 만듭니다(즉, 파티션은 외부 테이블 소유자가 수동으로 추가함).

1. 데이터 파일이 저장되는 저장 위치에 대해 s2 라는 외부 스테이지를 만듭니다.

   스테이지 정의는 다음과 같이 경로 /files/logs/ 를 포함합니다.

   Amazon S3

   CREATE STAGE s2
     URL='s3://mybucket/files/logs/'
     ...
     ;
   

   Copy

   Google Cloud Storage

   CREATE STAGE s2
     URL='gcs://mybucket/files/logs/'
     ...
     ;
   

   Copy

   Microsoft Azure

   CREATE STAGE s2
     URL='azure://mycontainer/files/logs/'
     ...
     ;
   

   Copy

2. 분할된 외부 테이블을 만듭니다. 외부 테이블에는 데이터 타입이 다른 세 개의 파티션 열이 있습니다.

   파티션 식의 열 이름은 대/소문자를 구분합니다. 다음 규칙이 적용됩니다.

   • 파티션 열 이름은 열 이름이 큰따옴표로 묶여 있지 않을 경우 대문자여야 합니다. 또는 SQL 식에서 대/소문자를 구분하는 : 문자 대신 GET_IGNORE_CASE 를 사용하십시오.

   • 열 이름이 큰따옴표로 묶인 경우(예: “Column1”) 파티션 열 이름도 큰따옴표로 묶어야 하며 열 이름과 정확히 일치해야 합니다.

   외부 테이블 메타데이터가 새로 고쳐지지 않으므로 세 가지 클라우드 저장소 서비스(Amazon S3, Google Cloud Storage, Microsoft Azure) 각각의 구문은 동일합니다.

   create external table et2(
     col1 date as (parse_json(metadata$external_table_partition):COL1::date),
     col2 varchar as (parse_json(metadata$external_table_partition):COL2::varchar),
     col3 number as (parse_json(metadata$external_table_partition):COL3::number))
     partition by (col1,col2,col3)
     location=@s2/logs/
     partition_type = user_specified
     file_format = (type = parquet);
   

   Copy

3. 파티션 열에 대한 파티션 추가:

   ALTER EXTERNAL TABLE et2 ADD PARTITION(col1='2022-01-24', col2='a', col3='12') LOCATION '2022/01';
   

   Copy

   Snowflake는 외부 테이블의 메타데이터에 파티션을 추가합니다. 이 작업은 지정된 위치에 있는 모든 새 데이터 파일도 메타데이터에 추가합니다.

   +---------------------------------------+----------------+-------------------------------+
   |                       file            |     status     |          description          |
   +---------------------------------------+----------------+-------------------------------+
   | mycontainer/files/logs/2022/01/24.csv | REGISTERED_NEW | File registered successfully. |
   | mycontainer/files/logs/2022/01/25.csv | REGISTERED_NEW | File registered successfully. |
   +---------------------------------------+----------------+-------------------------------+
   

   Copy

외부 테이블을 쿼리할 때 WHERE 절을 사용하여 파티션 열별로 데이터를 필터링합니다. 이 예제에서는 스테이징된 데이터 파일에 저장된 순서대로 레코드를 반환합니다.

SELECT col1, col2, col3 FROM et1 WHERE col1 = TO_DATE('2022-01-24') AND col2 = 'a' ORDER BY METADATA$FILE_ROW_NUMBER;

외부 테이블의 구체화된 뷰¶

파티션 열 식에서 자동으로 추가된 파티션 예에서 만들어진 외부 테이블의 열 하위 쿼리를 기반으로 구체화된 뷰를 만듭니다.

CREATE MATERIALIZED VIEW et1_mv
  AS
  SELECT col2 FROM et1;

이 SQL 명령의 일반 구문, 사용법 노트, 추가적인 예는 CREATE MATERIALIZED VIEW 를 참조하십시오.

감지된 열 정의로 생성된 외부 테이블¶

Avro, Parquet 또는 ORC 데이터를 포함하는 스테이징된 파일 세트에서 열 정의가 파생되는 외부 테이블을 만듭니다.

문에서 참조하는 mystage 스테이지와 my_parquet_format 파일 형식이 이미 있어야 합니다. 스테이지 정의에서 참조하는 클라우드 저장소 위치에 파일 세트가 이미 스테이징되어 있어야 합니다.

이 예는 INFER_SCHEMA 항목의 예를 기반으로 합니다.

CREATE EXTERNAL TABLE mytable
  USING TEMPLATE (
    SELECT ARRAY_AGG(OBJECT_CONSTRUCT(*))
    FROM TABLE(
      INFER_SCHEMA(
        LOCATION=>'@mystage',
        FILE_FORMAT=>'my_parquet_format'
      )
    )
  )
  LOCATION=@mystage
  FILE_FORMAT=my_parquet_format
  AUTO_REFRESH=false;

Copy

ARRAY_AGG(OBJECT_CONSTRUCT()) 에 대해 * 를 사용하면 반환된 결과가 16 MB보다 클 경우 오류가 발생할 수 있습니다. 다음 예에서 보여주는 것처럼, 더 큰 결과 세트에는 * 를 사용하지 말고 쿼리에 필수적인 열인 COLUMN NAME, TYPE, NULLABLE 만 사용하십시오. WITHIN GROUP (ORDER BY order_id) 를 사용할 때 선택적 열 ORDER_ID 를 포함할 수 있습니다.

CREATE EXTERNAL TABLE mytable
  USING TEMPLATE (
    SELECT ARRAY_AGG(OBJECT_CONSTRUCT('COLUMN_NAME',COLUMN_NAME, 'TYPE',TYPE, 'NULLABLE', NULLABLE, 'EXPRESSION',EXPRESSION))
    FROM TABLE(
      INFER_SCHEMA(
        LOCATION=>'@mystage',
        FILE_FORMAT=>'my_parquet_format'
      )
    )
  )
  LOCATION=@mystage
  FILE_FORMAT=my_parquet_format
  AUTO_REFRESH=false;

Copy