AI 모델을 사용하여 프로토타이핑

생성형 AI 애플리케이션을 개발하려는 경우 GitHub Models을(를) 사용하여 AI 모델을 무료로 찾고 실험할 수 있습니다. 애플리케이션을 프로덕션에 투입할 준비가 되면 엔터프라이즈의 유료 사용을 선택하세요.

조직 소유자는 조직의 LLM API 키를 사용하여 기본 사용자 지정 모델을 GitHub Models에 통합할 수 있습니다. GitHub 모델에서 사용자 고유의 API 키 사용을(를) 참조하세요.

책임 있는 GitHub Models 사용도 참조하세요.

AI 모델 찾기

AI 모델을 찾으려면 다음을 수행합니다.

1. github.com/marketplace/models로 이동합니다.

2. 페이지의 왼쪽 맨 위에 있는 Model: Select a Model을 클릭합니다.

3. 드롭다운 메뉴에서 모델을 선택합니다.

   또는 드롭다운 메뉴에서 View all models를 클릭하고 Marketplace에서 모델을 클릭한 다음, Playground를 클릭합니다.

각 모델은 모델 플레이그라운드에서 열립니다. 모델의 세부 정보는 오른쪽의 사이드바에 표시됩니다. 사이드바가 표시되지 않으면 플레이그라운드 오른쪽에 있는 아이콘을 클릭하여 사이드바를 확장합니다.

플레이그라운드에서 AI 모델 실험

AI 모델 플레이그라운드는 모델 매개 변수를 조정하고 프롬프트를 제출하여 모델이 어떻게 반응하는지 확인할 수 있는 무료 리소스입니다.

플레이그라운드에서 모델의 매개 변수를 조정하려면 사이드바에 있는 Parameters 탭을 선택합니다.

선택한 매개 변수에 해당하는 코드를 보려면 채팅 탭에서 코드 탭으로 전환합니다.

모델 비교

동시에 두 모델에 프롬프트를 제출하고 응답을 비교할 수 있습니다.

플레이그라운드에 하나의 모델이 열려 있는 상태에서 Compare를 클릭한 다음, 드롭다운 메뉴에서 비교할 모델을 선택합니다. 선택한 모델이 두 번째 채팅 창에서 열립니다. 두 채팅 창 중 하나에 프롬프트를 입력하면 프롬프트가 다른 창으로 미러링됩니다. 각 모델의 응답을 비교할 수 있도록 프롬프트가 동시에 제출됩니다.

설정한 모든 매개 변수는 두 모델에 모두 사용됩니다.

AI 모델 평가

플레이그라운드에서 프롬프트를 테스트하기 시작한 후에는 구조적 메트릭을 사용하여 모델 성능을 평가할 수 있습니다. 평가 기능은 다양한 모델에서 여러 프롬프트 구성 간 서로를 비교하고 어떤 설정이 가장 잘 수행되었는지 결정하는 데 도움이 됩니다.

Comparisons 보기에서 유사성, 관련성, 근거성과 같은 Evaluator를 적용하여 각 출력이 예상에 얼마나 잘 부합하는지 측정할 수 있습니다. 또한, 사용자 지정 프롬프트 Evaluator를 사용하여 나만의 고유한 평가 기준을 정의할 수도 있습니다.

자세한 단계별 지침은 출력 평가를 참조하세요.

API를 사용하여 AI 모델 실험

GitHub은(는) 무료 API 사용을 제공하므로 사용자 고유의 애플리케이션에서 AI 모델을 실험할 수 있습니다.

각 모델을 사용하는 단계는 비슷합니다. 일반적으로 다음을 수행해야 합니다.

1. github.com/marketplace/models로 이동합니다.

2. 페이지의 왼쪽 맨 위에 있는 Model: Select a Model을 클릭합니다.

3. 드롭다운 메뉴에서 모델을 선택합니다.

   또는 드롭다운 메뉴에서 View all models를 클릭하고 Marketplace에서 모델을 클릭한 다음, Playground를 클릭합니다.

   각 모델이 모델 플레이그라운드에서 열립니다.

4. Code 탭을 클릭합니다.

5. 필요에 따라 언어 드롭다운을 사용하여 프로그래밍 언어를 선택합니다.

6. 필요에 따라 SDK 드롭다운을 사용하여 사용할 SDK를 선택합니다.

   모든 모델은 Azure AI 유추 SDK에서 사용할 수 있으며, 일부 모델은 추가 SDK를 지원합니다. 모델 간에 쉽게 전환하려면 "Azure AI Inference SDK"를 선택해야 합니다. 언어로 "REST"를 선택한 경우 SDK를 사용하지 않습니다. 대신 API 엔드포인트를 직접 사용합니다. GitHub Models REST API를 참조하세요.

7. 코드스페이스를 열거나 로컬 환경을 설정합니다.

   • codespace를 실행하려면 Run codespace를 클릭한 다음, Create new codespace를 클릭합니다.
   • 로컬로 실행하려면 다음을 수행합니다.
     • GitHub personal access token을(를) 만듭니다. 토큰에는 models:read 권한이 있어야 합니다. 개인용 액세스 토큰 관리을(를) 참조하세요.
     • 토큰을 환경 변수로 저장합니다.
     • 필요한 경우 SDK에 대한 종속성을 설치합니다.

8. 예시 코드를 사용하여 모델을 요청합니다.

무료 API 사용의 속도는 제한됩니다. 아래 속도 제한을 참조하세요.

플레이그라운드 실험 저장 및 공유

플레이그라운드의 진행률을 사전 설정으로 저장하고 공유할 수 있습니다. 사전 설정 저장:

• 현재 상태
• 매개 변수
• 채팅 기록(선택 사항)

현재 컨텍스트에 대한 사전 설정을 만들려면 플레이그라운드의 오른쪽 상단에 있는 Preset: PRESET-NAME 을 선택한 다음, Create new preset을 클릭합니다. 사전 설정의 이름을 지정해야 하며, 사전 설정 설명을 제공하고, 채팅 기록을 포함하고, 사전 설정을 공유할 수 있도록 선택할 수도 있습니다.

사전 설정을 로드하는 두 가지 방법이 있습니다.

• Preset: PRESET-NAME 드롭다운 메뉴를 선택한 다음, 로드할 사전 설정을 클릭합니다.
• 공유된 사전 설정 URL 열기

사전 설정을 로드한 후 사전 설정을 편집, 공유 또는 삭제할 수 있습니다.

• 사전 설정을 편집하려면 매개 변수를 변경하고 모델을 묻는 메시지를 표시합니다. 변경 내용이 만족스러우면 Preset: PRESET-NAME 드롭다운 메뉴를 선택한 다음, Edit preset을 클릭하고 업데이트를 저장합니다.
• 사전 설정을 공유하려면 Preset: PRESET-NAME 드롭다운 메뉴를 선택한 다음, Share preset을 클릭하여 공유 가능한 URL을 가져옵니다.
• 사전 설정을 삭제하려면 Preset: PRESET-NAME 드롭다운 메뉴를 선택한 다음, Delete preset을 클릭하여 삭제 내용을 확인합니다.

프롬프트 편집기 사용

GitHub Models의 프롬프트 편집기는 프롬프트를 반복하고, 구체화하여 완벽하게 수행할 수 있도록 설계되었습니다. 이 전용 보기는 입력을 만들고 테스트하기 위한 집중적이고 직관적인 환경을 제공하여 다음을 수행할 수 있도록 합니다.

• 복잡한 멀티 턴 상호 작용 없이 프롬프트를 신속하게 테스트 및 구체화
• 프로젝트의 정밀도 및 관련성에 대한 프롬프트 미세 조정
• 단일 턴 시나리오에 특수한 공간을 사용하여 일관되고 최적화된 결과 보장

프롬프트 편집기에 액세스하려면 플레이그라운드 오른쪽 상단에 있는 Prompt editor를 클릭하세요.

Visual Studio Code에서 AI 모델 실험

IDE에서 AI 모델을 실험하려는 경우 Visual Studio Code용 AI Toolkit 확장을 설치한 다음 조정 가능한 매개 변수 및 컨텍스트로 모델을 테스트할 수 있습니다.

1. Visual Studio Code에서 Visual Studio Code용 AI Toolkit의 시험판 버전을 설치합니다.

2. 확장을 열려면 작업 표시줄에서 AI Toolkit 아이콘을 클릭합니다.

3. AI Toolkit에 GitHub 계정에 연결할 수 있는 권한을 부여합니다.

4. AI Toolkit 패널의 "My models" 섹션에서 Open Model Catalog를 클릭한 다음 실험할 모델을 찾습니다.

   • GitHub Models을 통해 원격으로 호스트된 모델을 사용하려면 모델 카드에서 Try in playground를 클릭합니다.
   • 모델을 로컬로 다운로드하고 사용하려면 모델 카드에서 Download를 클릭합니다. 다운로드가 완료되면 동일한 모델 카드에서 Load in playground를 클릭합니다.

5. 사이드바에서 모델에 대한 컨텍스트 지침 및 유추 매개 변수를 제공한 다음 프롬프트를 보냅니다.

프로덕션으로 진행

플레이그라운드와 API 사용에서 제공되는 무료 속도 제한 실험을 시작하는 데 도움을 주기 위한 것입니다. 무료 제공 범위를 넘어 프로덕션으로 전환할 준비가 되면, 다음 두 가지 방법으로 AI 모델에 액세스할 수 있습니다.

• GitHub Models의 유료 사용을 선택하면 조직은 증가된 속도 제한, 더 넓은 컨텍스트 창, 추가 기능에 액세스할 수 있습니다. GitHub Models 청구을(를) 참조하세요.
• 기존 OpenAI 또는 Azure 구독이 있는 경우, BYOK(Bring Your Own Key) 방식을 통해 사용자 지정 모델에 액세스할 수 있습니다. 청구 및 사용량은 Azure 구독 ID와 같은 공급자 계정을 통해 직접 관리됩니다. GitHub 모델에서 사용자 고유의 API 키 사용을(를) 참조하세요.

속도 제한

플레이그라운드 및 무료 API 사용의 속도는 분당 요청 수, 일별 요청 수, 요청당 토큰 수 및 동시 요청 수로 제한됩니다. 속도가 제한되는 경우 더 많이 요청하려면 도달한 속도 제한을 다시 설정할 때까지 기다려야 합니다.

낮음, 높음 및 포함 모델에는 다양한 속도 제한이 있습니다. 사용하고 있는 모델 유형을 확인하려면 GitHub Marketplace의 모델 정보를 참조하세요.

사용자 고유의 API 키를 사용하여 액세스하는 사용자 지정 모델의 경우, 속도 제한은 모델 공급자에 의해 설정되고 적용됩니다.

속도 제한 계층	속도 제한	Copilot Free	Copilot Pro	Copilot Business	Copilot Enterprise
낮음	분당 요청 수	15	15	15	20
	일별 요청 수	150	150	300	450
	요청당 토큰 수	8000(입력), 4000(출력)	8000(입력), 4000(출력)	8000(입력), 4000(출력)	8000(입력), 8000(출력)
	동시 요청	5	5	5	8
높음	분당 요청 수	10	10	10	15
	일별 요청 수	50	50	100	150
	요청당 토큰 수	8000(입력), 4000(출력)	8000(입력), 4000(출력)	8000(입력), 4000(출력)	16000(입력), 8000(출력)
	동시 요청	2	2	2	4
포함	분당 요청 수	15	15	15	20
	일별 요청 수	150	150	300	450
	요청당 토큰 수	64000	64000	64000	64000
	동시 요청	5	5	5	8
Azure OpenAI o1-미리 보기	분당 요청 수	해당 없음	1	2	2
	일별 요청 수	해당 없음	8	10	12
	요청당 토큰 수	해당 없음	4000(입력), 4000(출력)	4000(입력), 4000(출력)	4000(입력), 8000(출력)
	동시 요청	해당 없음	1	1	1
Azure OpenAI o1 및 o3	분당 요청 수	해당 없음	1	2	2
	일별 요청 수	해당 없음	8	10	12
	요청당 토큰 수	해당 없음	4000(입력), 4000(출력)	4000(입력), 4000(출력)	4000(입력), 8000(출력)
	동시 요청	해당 없음	1	1	1
Azure OpenAI o1-mini, o3-mini, o4-mini	분당 요청 수	해당 없음	2	3	3
	일별 요청 수	해당 없음	12	15	20
	요청당 토큰 수	해당 없음	4000(입력), 4000(출력)	4000(입력), 4000(출력)	4000(입력), 4000(출력)
	동시 요청	해당 없음	1	1	1
DeepSeek-R1, DeepSeek-R1-0528, MAI-DS-R1	분당 요청 수	1	6	2	2
	일별 요청 수	8	8	10	12
	요청당 토큰 수	4000(입력), 4000(출력)	4000(입력), 4000(출력)	4000(입력), 4000(출력)	4000(입력), 4000(출력)
	동시 요청	1	1	1	1
xAI Grok-3	분당 요청 수	1	6	2	2
	일별 요청 수	15	15	20	30
	요청당 토큰 수	4000(입력), 4000(출력)	4000(입력), 4000(출력)	4000(입력), 8000(출력)	4000(입력), 16000(출력)
	동시 요청	1	1	1	1
xAI Grok-3-Mini	분당 요청 수	2	2	3	3
	일별 요청 수	30	30	40	50
	요청당 토큰 수	4000(입력), 8000(출력)	4000(입력), 8000(출력)	4000(입력), 12000(출력)	4000(입력), 12000(출력)
	동시 요청	1	1	1	1

이러한 제한은 통지 없이 변경될 수 있습니다.

피드백 남기기

질문을 하고 피드백을 공유하려면 이 GitHub Models 토론 게시물을 참조하세요. 다른 사용자가 GitHub Models를 어떻게 사용하는지 알아보려면 Models에 대한 GitHub 커뮤니티 토론을 방문해 보세요.