테스트 실행

개요

codeql test run [--threads=<num>] [--ram=<MB>] <options>... -- <test|dir>...

codeql test run [--threads=<num>] [--ram=<MB>] <options>... -- <test|dir>...

설명

QL 쿼리에 대한 단위 테스트를 실행합니다.

옵션

기본 옵션

<test|dir>...

각 인수는 다음 중 하나입니다.

• 실행할 테스트를 정의하는 .ql 또는 .qlref 파일입니다.
• 실행할 파일을 재귀적으로 검색할 디렉터리입니다.

--failing-exitcode=<code>

[고급] 오류가 발생하는 경우 생성할 종료 코드를 설정합니다. 일반적으로 1이지만 출력을 구문 분석하는 도구는 0으로 설정하는 것이 유용할 수 있습니다.

--format=<fmt>

출력 형식을 선택합니다. 가능한 선택 사항:

text (기본값): 사람이 읽을 수 있는 텍스트 렌더링입니다.

json: 테스트 결과 개체의 스트리밍된 JSON 배열입니다.

betterjson: 이벤트 개체의 스트리밍된 JSON 배열입니다.

jsonz: 0으로 끝나는 JSON 테스트 결과 개체의 스트림입니다.

betterjsonz: 0으로 끝나는 JSON 이벤트 개체의 스트림입니다.

betterjson 및 betterjsonz 형식의 경우 각 이벤트에는 이벤트의 유형을 지정하는 type 속성이 있습니다. 나중에 새로운 이벤트 유형이 추가될 수 있으므로 소비자는 인식할 수 없는 kind 속성이 있는 모든 이벤트를 무시해야 합니다.

--[no-]keep-databases

[고급] 디렉터리의 모든 테스트가 통과하더라도 테스트 쿼리를 실행하기 위해 추출된 데이터베이스를 유지합니다. (테스트가 _실패_한 경우 데이터베이스는 항상 남아 있습니다).

--[no-]fast-compilation

[사용되지 않음] [고급] 테스트 쿼리를 컴파일링할 때 특히 느린 최적화 단계를 생략합니다.

--[no-]learn

[고급] 테스트가 예기치 않은 출력을 생성하는 경우 실패하는 대신 실제 출력과 일치하도록 .expected 파일을 업데이트하여 통과하도록 합니다. 이 모드에서도 쿼리할 테스트 데이터베이스를 만들지 못하는 경우와 같이 테스트가 실패할 수 있습니다.

--consistency-queries=<dir>

[고급] 각 테스트 데이터베이스에 대해 실행될 일관성 쿼리가 있는 디렉터리입니다. 테스트 디렉터리에 .expected 파일이 있는 CONSISTENCY 하위 디렉터리가 포함되지 않는 한 해당 쿼리는 어떤 출력도 생성해서는 안 됩니다(문제를 발견한 경우 제외). 주로 추출기를 테스트하는 데 유용합니다.

--[no-]check-databases

[고급] 만든 각 테스트 데이터베이스에 대해 codeql dataset check를 실행하고 불일치가 감지되면 실패를 보고합니다. 주로 추출기를 테스트하는 데 유용합니다. 특정 데이터베이스에 대한 검사가(일시적으로!) 실패할 것으로 예상되는 경우 테스트 디렉터리에 DB-CHECK.expected 파일을 배치하세요.

--[no-]show-extractor-output

[고급] 테스트 데이터베이스를 만드는 추출기 스크립트의 출력을 표시합니다. 테스트 사례를 개발하거나 편집하는 동안 유용할 수 있습니다. 여러 스레드와 함께 사용하는 경우 중복되거나 잘못된 형식의 출력이 발생할 수 있으니 주의하세요!

-M, --ram=<MB>

테스트 실행기에서 사용할 수 있는 총 RAM 양을 설정합니다.

--slice=<N/M>

[고급] 테스트 사례를 대략 같은 크기의 _M_개의 조각으로 나누고 그 중 Nth번째 조각만 처리합니다. 테스트 프로세스의 수동 병렬화에 사용할 수 있습니다.

--[no-]strict-test-discovery

[고급] 테스트로 확고하게 식별할 수 있는 쿼리만 사용합니다. 이 모드는 단위 테스트를 정의하는 .ql 파일과 유용한 쿼리인 .ql 파일을 구분하려고 합니다. 이 옵션은 디렉터리 트리의 파일 정렬 방식에 대한 사전 지식에 의존하지 않고 디렉터리 트리의 모든 단위 테스트를 식별해야 하는 IDE와 같은 도구에서 사용됩니다.

qlpack.yml이 tests 디렉터리를 선언하는 QL 팩 내에서 해당 디렉터리의 모든 .ql 파일은 테스트로 간주되며 그 외부의 .ql 파일은 무시됩니다. tests 디렉터리를 선언하지 않는 QL 팩에서 .ql 파일은 해당 .expected 파일이 있는 경우에만 테스트로 식별됩니다.

일관성을 위해 .qlref 파일이 실제로 테스트가 아닌 파일일 수 없더라도 .qlref 파일은 .ql 파일과 동일한 규칙으로 제한됩니다.

테스트에 사용되는 라이브러리 및 추출기를 찾는 옵션

--search-path=<dir>[:<dir>...]

QL 팩을 찾을 수 있는 디렉터리 목록입니다. 각 디렉터리는 QL 팩(또는 루트에 .codeqlmanifest.json 파일이 포함된 팩 번들) 또는 그러한 디렉터리 하나 이상의 직계 부모일 수 있습니다.

경로에 둘 이상의 디렉터리가 포함된 경우 디렉터리의 순서가 우선 순위를 정의합니다. 확인해야 하는 팩 이름이 디렉터리 트리 중 둘 이상에서 일치하는 경우 먼저 지정된 디렉터리가 우선합니다.

오픈 소스 CodeQL 리포지토리의 체크 아웃에서 이를 가리키면 해당 리포지토리에 있는 언어 중 하나를 쿼리할 때 작동해야 합니다.

압축을 푼 CodeQL 툴체인의 형제로 CodeQL 리포지토리를 체크 아웃한 경우 이 옵션을 지정할 필요가 없습니다. 이러한 형제 디렉터리는 다른 방법으로는 찾을 수 없는 QL 팩으로 항상 검색됩니다. (이 기본값이 작동하지 않는 경우 사용자별 구성 파일에서 --search-path를 한 번만 설정하는 것이 좋습니다).

(참고: Windows에서는 경로 구분 기호가 ;입니다.)

--additional-packs=<dir>[:<dir>...]

이 디렉터리 목록이 지정된 경우 --search-path에 있는 디렉터리보다 먼저 팩이 검색됩니다. 이 사이의 순서는 중요하지 않습니다. 이 목록을 통해 서로 다른 두 위치에서 팩 이름을 찾을 경우 오류가 발생합니다.

이 기능은 기본 경로에도 표시되는 팩의 새 버전을 일시적으로 개발하는 경우에 유용합니다. 반면에 구성 파일에서 이 옵션을 재정의하는 것은 권장되지 않습니다. 일부 내부 작업에서는 구성된 값을 재정의하여 즉시 이 옵션을 추가합니다.

(참고: Windows에서는 경로 구분 기호가 ;입니다.)

--library-path=<dir>[:<dir>...]

[고급] QL 라이브러리의 원시 가져오기 검색 경로에 추가될 선택적 디렉터리 목록입니다. QL 팩으로 패키지되지 않은 QL 라이브러리를 사용하려는 경우에만 사용해야 합니다.

(참고: Windows에서는 경로 구분 기호가 ;입니다.)

--dbscheme=<file>

[고급] 컴파일해야 하는 dbscheme 쿼리를 명시적으로 정의합니다. 자신이 수행하고 있는 작업에 대해 매우 확신하는 호출자에 의해서만 지정되어야 합니다.

--compilation-cache=<dir>

[고급] 컴파일 캐시로 사용할 추가 디렉터리를 지정합니다.

--no-default-compilation-cache

[고급] 쿼리를 포함하는 QL 팩 또는 CodeQL 툴체인 디렉터리와 같은 표준 위치에서 컴파일 캐시를 사용하지 않습니다.

CodeQL 패키지 관리자를 구성하는 옵션

--registries-auth-stdin

쉼표로 구분된 <registry_url>=<token> 쌍 목록을 전달하여 GitHub Enterprise Server 컨테이너 레지스트리에 인증합니다.

예를 들어 https://containers.GHEHOSTNAME1/v2/=TOKEN1,https://containers.GHEHOSTNAME2/v2/=TOKEN2를 전달하여 두 개의 GitHub Enterprise Server 인스턴스에 인증할 수 있습니다.

이렇게 하면 CODEQL_REGISTRIES_AUTH 및 GITHUB_TOKEN 환경 변수가 재정의됩니다. github.com 컨테이너 레지스트리에만 인증해야 하는 경우 더 간단한 --github-auth-stdin 옵션을 사용하여 인증할 수 있습니다.

--github-auth-stdin

표준 입력을 통해 github.com에 GitHub Apps 토큰 또는 개인용 액세스 토큰을 전달하여 github.com 컨테이너 레지스트리에 인증합니다.

GitHub Enterprise Server 컨테이너 레지스트리에 인증하려면 --registries-auth-stdin을 전달하거나 CODEQL_REGISTRIES_AUTH 환경 변수를 사용합니다.

이렇게 하면 GITHUB_TOKEN 환경 변수가 재정의됩니다.

쿼리 컴파일을 제어하는 옵션

--no-release-compatibility

[고급] 이식성을 희생하고 최신 컴파일러 기능을 사용합니다.

때때로 QL 평가기는 새로운 QL 언어 기능 및 평가기 최적화를 QL 컴파일러가 기본적으로 사용하기 전에 몇몇 릴리스에서 지원합니다. 이렇게 하면 최신 CodeQL 릴리스에서 쿼리를 개발할 때 경험하는 성능이 코드 검사 또는 CI 통합에 아직 사용 중일 수 있는 약간 이전 릴리스와 일치할 수 있습니다.

쿼리가 다른(이전 또는 이후) CodeQL 릴리스와 호환되는 것에 신경 쓰지 않는 경우 이 플래그를 사용하여 컴파일러의 최근 개선 사항을 조기에 사용하도록 설정하고 약간의 추가 성능을 얻을 수 있습니다.

사용할 수 있는 최근 개선 사항이 없는 릴리스에서 이 옵션은 자동으로 아무 작업도 수행하지 않습니다. 따라서 전역 CodeQL 구성 파일에서 한 번만 설정해도 안전합니다.

v2.11.1부터 사용할 수 있습니다.

테스트 쿼리 평가를 제어하는 옵션

--[no-]tuple-counting

[고급] 쿼리 평가기 로그에 각 평가 단계에 대한 튜플 수를 표시합니다. --evaluator-log 옵션이 제공되면 명령으로 생성된 텍스트 기반 및 구조화된 JSON 로그 모두에 튜플 수가 포함됩니다. (복잡한 QL 코드의 성능 최적화에 유용할 수 있습니다.)

--timeout=<seconds>

[고급] 쿼리 평가에 대한 시간 제한 길이(초)를 설정합니다.

시간 제한 기능은 복잡한 쿼리를 평가하는 데 "영원히" 걸리는 사례를 잡아내기 위한 것입니다. 쿼리 평가에 걸릴 수 있는 총 시간을 제한하는 효과적인 방법은 아닙니다. 별도로 시간이 지정된 각 계산 부분이 시간 제한 내에 완료되는 한 평가를 계속할 수 있습니다. 현재 이렇게 별도로 시간이 지정된 부분은 최적화된 쿼리의 "RA 계층"이지만 나중에 변경될 수 있습니다.

시간 제한이 지정되지 않거나 0으로 지정된 경우 시간 제한이 설정되지 않습니다(기본 시간 제한이 5분인 codeql test run 제외).

-j, --threads=<num>

해당 스레드 수를 사용하여 쿼리를 평가합니다.

기본값은 1입니다. 0을 전달하여 컴퓨터의 코어당 하나의 스레드를 사용하거나 -_N_을 전달하여 _N_개의 코어를 사용하지 않은 상태로 둘 수 있습니다(하나 이상의 스레드를 계속 사용하는 경우 제외).

구조화된 평가기 로그의 출력을 제어하는 옵션

--evaluator-log=<file>

[고급] 평가기 성능에 대한 구조화된 로그를 지정된 파일로 출력합니다. 이 로그 파일의 형식은 예고 없이 변경될 수 있지만 두 개의 줄 바꿈 문자(기본값) 또는 --evaluator-log-minify 옵션이 전달된 경우 하나의 기본값 문자로 구분된 JSON 개체 스트림입니다. codeql generate log-summary <file>을(를) 사용하여 이 파일에 대한 보다 안정적인 요약을 생성하고 파일을 직접 구문 분석하지 마십시오. 파일이 이미 있으면 덮어씁니다.

--evaluator-log-minify

[고급] --evaluator-log 옵션을 전달하는 경우 이 옵션도 전달하면 생성되는 JSON 로그의 크기가 최소화되지만 가독성이 훨씬 떨어집니다.

가져온 트랩을 검사하는 옵션

--[no-]check-undefined-labels

[고급] 정의되지 않은 레이블에 대한 오류를 보고합니다.

--[no-]check-unused-labels

[고급] 사용하지 않는 레이블에 대한 오류를 보고합니다.

--[no-]check-repeated-labels

[고급] 반복되는 레이블에 대한 오류를 보고합니다.

--[no-]check-redefined-labels

[고급] 다시 정의된 레이블에 대한 오류를 보고합니다.

--[no-]check-use-before-definition

[고급] 정의하기 전에 사용된 레이블에 대한 오류를 보고합니다.

--[no-]fail-on-trap-errors

[고급] 트랩 가져오기 중에 오류가 발생하면 0이 아닌 값으로 종료합니다.

--[no-]include-location-in-star

[고급] 출처가 된 트랩 파일의 위치를 인코딩하는 엔터티 ID를 생성합니다. 트랩 생성기 디버깅에 유용할 수 있지만 데이터 세트에서 많은 공간을 차지합니다.

--[no-]linkage-aware-import

[고급] codeql 데이터 세트 가져오기가 연결 인식 (기본값) 인지 여부를 제어합니다. 데이터베이스 만들기의 이 부분이 너무 많은 메모리를 사용하는 프로젝트에서 이 옵션을 사용하지 않도록 설정하면 데이터베이스 완성도를 낮추는 대신 작업을 진행하는 데 도움이 될 수 있습니다.

v2.15.3부터 사용할 수 있습니다.

일반 옵션

-h, --help

이 도움말 텍스트를 표시합니다.

-J=<opt>

[고급] 명령을 실행하는 JVM에 옵션을 지정합니다.

(공백을 포함하는 옵션은 올바르게 처리되지 않을 수 있으니 주의하세요.)

-v, --verbose

출력되는 진행률 메시지 수를 점진적으로 늘립니다.

-q, --quiet

출력되는 진행률 메시지 수를 점진적으로 줄입니다.

--verbosity=<level>

[고급] 세부 정보 표시 수준을 오류, 경고, 진행률, 진행률+, 진행률++, 진행률+++ 중 하나로 명시적으로 설정합니다. -v 및 -q를 재정의합니다.

--logdir=<dir>

[고급] 타임스탬프와 실행 중인 하위 명령의 이름을 포함하는 생성된 이름을 사용하여 지정된 디렉터리에 있는 하나 이상의 파일에 자세한 로그를 기록합니다.

(모든 권한을 가진 이름으로 로그 파일을 작성하려면 --log-to-stderr을(를) 지정하고 stderr를 원하는 대로 리디렉션합니다.)

--common-caches=<dir>

[고급] 다운로드한 QL 팩 및 컴파일된 쿼리 계획과 같이 여러 CLI 실행 간에 유지되는 디스크의 캐시된 데이터의 위치를 제어합니다. 명시적으로 설정하지 않은 경우 이 기본값은 사용자의 홈 디렉터리에 이름이 지정된 .codeql 디렉터리로 설정되며, 아직 없는 경우 만들어집니다.

v2.15.2부터 사용할 수 있습니다.