ํ์ด์ง ๋งค๊น ์ ๋ณด
REST API์ ์๋ต์ ๋ง์ ๊ฒฐ๊ณผ๊ฐ ํฌํจ๋๋ฉด GitHub์(๋) ๊ฒฐ๊ณผ๋ฅผ ํ์ด์ง ๋งค๊นํ๊ณ ๊ฒฐ๊ณผ์ ํ์ ์งํฉ์ ๋ฐํํฉ๋๋ค. ์๋ฅผ ๋ค์ด octocat/Spoon-Knife
๋ฆฌํฌ์งํ ๋ฆฌ์ ์ด๋ ค ์๋ ์ด์๊ฐ 1,600๊ฐ๊ฐ ๋๋ ๊ฒฝ์ฐ์๋ GET /repos/octocat/Spoon-Knife/issues
๋ฆฌํฌ์งํ ๋ฆฌ์์ 30๊ฐ์ ์ด์๋ง ๋ฐํํฉ๋๋ค. ์ด๋ ๊ฒ ํ๋ฉด ์๋ฒ ๋ฐ ์ฌ์ฉ์์ ๋ํ ์๋ต์ ๋ ์ฝ๊ฒ ์ฒ๋ฆฌํ ์ ์์ต๋๋ค.
์๋ต์ link
ํค๋๋ฅผ ์ฌ์ฉํ์ฌ ์ถ๊ฐ ๋ฐ์ดํฐ ํ์ด์ง๋ฅผ ์์ฒญํ ์ ์์ต๋๋ค. ์๋ํฌ์ธํธ๊ฐ per_page
์ฟผ๋ฆฌ ๋งค๊ฐ ๋ณ์๋ฅผ ์ง์ํ๋ ๊ฒฝ์ฐ ํ์ด์ง์์ ๋ฐํ๋๋ ๊ฒฐ๊ณผ ์๋ฅผ ์ ์ดํ ์ ์์ต๋๋ค.
์ด ๋ฌธ์์์๋ ํ์ด์ง๋ฅผ ๋งค๊ธด ์๋ต์ ๋ํ ์ถ๊ฐ ๊ฒฐ๊ณผ ํ์ด์ง๋ฅผ ์์ฒญํ๋ ๋ฐฉ๋ฒ, ๊ฐ ํ์ด์ง์์ ๋ฐํ๋๋ ๊ฒฐ๊ณผ์ ์๋ฅผ ๋ณ๊ฒฝํ๋ ๋ฐฉ๋ฒ ๋ฐ ์ฌ๋ฌ ํ์ด์ง์ ๊ฒฐ๊ณผ๋ฅผ ๊ฐ์ ธ์ค๋ ์คํฌ๋ฆฝํธ๋ฅผ ์์ฑํ๋ ๋ฐฉ๋ฒ์ ๋ณด์ฌ ์ค๋๋ค.
link
ํค๋ ์ฌ์ฉ
์๋ต์ ํ์ด์ง๊ฐ ๋งค๊ฒจ์ง๋ฉด ์๋ต ํค๋์ link
ํค๋๊ฐ ํฌํจ๋ฉ๋๋ค. ์๋ํฌ์ธํธ๊ฐ ํ์ด์ง ๋งค๊น์ ์ง์ํ์ง ์๊ฑฐ๋ ๋ชจ๋ ๊ฒฐ๊ณผ๊ฐ ๋จ์ผ ํ์ด์ง์ ๋ง๋ ๊ฒฝ์ฐ link
ํค๋๋ ์๋ต๋ฉ๋๋ค.
link
ํค๋์๋ ๊ฒฐ๊ณผ์ ์ถ๊ฐ ํ์ด์ง๋ฅผ ๊ฐ์ ธ์ค๋ ๋ฐ ์ฌ์ฉํ ์ ์๋ URL์ด ํฌํจ๋์ด ์์ต๋๋ค. ์๋ฅผ ๋ค์ด ๊ฒฐ๊ณผ์ ์ด์ , ๋ค์, ์ฒซ ๋ฒ์งธ ๋ฐ ๋ง์ง๋ง ํ์ด์ง๊ฐ ์์ต๋๋ค.
ํน์ ์๋ํฌ์ธํธ์ ๋ํ ์๋ต ํค๋๋ฅผ ๋ณด๋ ค๋ฉด curl, GitHub CLI ๋๋ ์์ฒญ์ ๋ง๋๋ ๋ฐ ์ฌ์ฉํ๋ ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ฅผ ์ฌ์ฉํ์๋ฉด ๋ฉ๋๋ค. ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ฅผ ์ฌ์ฉํ์ฌ ์์ฒญ์ ๋ง๋๋ ๊ฒฝ์ฐ ์๋ต ํค๋๋ฅผ ๋ณด๋ ค๋ฉด ํด๋น ๋ผ์ด๋ธ๋ฌ๋ฆฌ์ ๋ํ ์ค๋ช
์๋ฅผ ๋ฐ๋ฅด์ธ์. curl ๋๋ GitHub CLI๋ฅผ ์ฌ์ฉํ๋ ๊ฒฝ์ฐ ์๋ต ํค๋๋ฅผ ๋ณด๋ ค๋ฉด ์์ฒญ์ด ์๋ --include
ํ๋๊ทธ๋ฅผ ์ ๋ฌํ์ธ์. ์์:
curl --include --request GET \
--url "https://api.github.com/repos/octocat/Spoon-Knife/issues" \
--header "Accept: application/vnd.github+json"
์๋ต์ด ํ์ด์ง๋ฅผ ๋งค๊ธด ๊ฒฝ์ฐ link
ํค๋๋ ๋ค์๊ณผ ๊ฐ์ด ํ์๋ฉ๋๋ค.
link: <https://api.github.com/repositories/1300192/issues?page=2>; rel="prev", <https://api.github.com/repositories/1300192/issues?page=4>; rel="next", <https://api.github.com/repositories/1300192/issues?page=515>; rel="last", <https://api.github.com/repositories/1300192/issues?page=1>; rel="first"
link
ํค๋๋ ๊ฒฐ๊ณผ์ ์ด์ , ๋ค์, ์ฒซ ๋ฒ์งธ ๋ฐ ๋ง์ง๋ง ํ์ด์ง์ ๋ํ URL์ ์ ๊ณตํฉ๋๋ค.
- ์ด์ ํ์ด์ง์ URL ๋ค์
rel="prev"
์ด(๊ฐ) ๋์ต๋๋ค. - ๋ค์ ํ์ด์ง์ URL ๋ค์
rel="next"
๊ฐ ์์ต๋๋ค. - ๋ง์ง๋ง ํ์ด์ง์ URL ๋ค์
rel="last"
๊ฐ ์์ต๋๋ค. - ์ฒซ ๋ฒ์งธ ํ์ด์ง์ URL ๋ค์๋
rel="first"
๊ฐ ์์ต๋๋ค.
๊ฒฝ์ฐ์ ๋ฐ๋ผ ์ด๋ฌํ ๋งํฌ์ ํ์ ์งํฉ๋ง ์ฌ์ฉํ ์ ์์ต๋๋ค. ์๋ฅผ ๋ค์ด ๊ฒฐ๊ณผ์ ์ฒซ ๋ฒ์งธ ํ์ด์ง์ ์๋ ๊ฒฝ์ฐ ์ด์ ํ์ด์ง์ ๋ํ ๋งํฌ๊ฐ ํฌํจ๋์ง ์์ผ๋ฉฐ, ๋งํฌ๋ฅผ ๊ณ์ฐํ ์ ์๋ ๊ฒฝ์ฐ ๋ง์ง๋ง ํ์ด์ง์ ๋ํ ๋งํฌ๋ ํฌํจ๋์ง ์์ต๋๋ค.
link
ํค๋์ URL์ ์ฌ์ฉํ์ฌ ๊ฒฐ๊ณผ์ ๋ค๋ฅธ ํ์ด์ง๋ฅผ ์์ฒญํ ์ ์์ต๋๋ค. ์๋ฅผ ๋ค์ด ์ด์ ์์ ๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ๊ฒฐ๊ณผ์ ๋ง์ง๋ง ํ์ด์ง๋ฅผ ์์ฒญํ๋ ค๋ฉด ๋ค์์ ์ํํ์ธ์.
curl --include --request GET \
--url "https://api.github.com/repositories/1300192/issues?page=515" \
--header "Accept: application/vnd.github+json"
link
ํค๋์ URL์ ์ฟผ๋ฆฌ ๋งค๊ฐ ๋ณ์๋ฅผ ์ฌ์ฉํ์ฌ ๋ฐํํ ๊ฒฐ๊ณผ์ ํ์ด์ง๋ฅผ ๋ํ๋
๋๋ค. link
URL์ ์ฟผ๋ฆฌ ๋งค๊ฐ ๋ณ์๋ ์๋ํฌ์ธํธ ๊ฐ์ ๋ค๋ฅผ ์ ์์ง๋ง ํ์ด์ง๋ฅผ ๋งค๊ธด ๊ฐ ์๋ํฌ์ธํธ๋ page
, before
/after
๋๋ since
์ฟผ๋ฆฌ ๋งค๊ฐ ๋ณ์๋ฅผ ์ฌ์ฉํฉ๋๋ค. (์ผ๋ถ ์๋ํฌ์ธํธ๋ ํ์ด์ง ๋งค๊น ์ด์ธ์ ๋ค๋ฅธ ํญ๋ชฉ์ since
๋งค๊ฐ ๋ณ์๋ฅผ ์ฌ์ฉํฉ๋๋ค.) ๋ชจ๋ ๊ฒฝ์ฐ์ link
ํค๋์ URL์ ์ฌ์ฉํ์ฌ ๊ฒฐ๊ณผ์ ์ถ๊ฐ ํ์ด์ง๋ฅผ ๊ฐ์ ธ์ฌ ์ ์์ต๋๋ค. ์ฟผ๋ฆฌ ๋งค๊ฐ ๋ณ์์ ๋ํ ์์ธํ ๋ด์ฉ์ REST API ์์์(๋ฅผ) ์ฐธ์กฐํ์ธ์.
ํ์ด์ง๋น ํญ๋ชฉ ์ ๋ณ๊ฒฝ
์๋ํฌ์ธํธ๊ฐ per_page
์ฟผ๋ฆฌ ๋งค๊ฐ ๋ณ์๋ฅผ ์ง์ํ๋ ๊ฒฝ์ฐ ํ์ด์ง์์ ๋ฐํ๋๋ ๊ฒฐ๊ณผ ์๋ฅผ ์ ์ดํ ์ ์์ต๋๋ค. ์ฟผ๋ฆฌ ๋งค๊ฐ ๋ณ์์ ๋ํ ์์ธํ ๋ด์ฉ์ REST API ์์์(๋ฅผ) ์ฐธ์กฐํ์ธ์.
์๋ฅผ ๋ค์ด ์ด ์์ฒญ์ per_page
์ฟผ๋ฆฌ ๋งค๊ฐ ๋ณ์๋ฅผ ์ฌ์ฉํ์ฌ ํ์ด์ง๋น ๋ ๊ฐ์ ํญ๋ชฉ์ ๋ฐํํฉ๋๋ค.
curl --include --request GET \
--url "https://api.github.com/repos/octocat/Spoon-Knife/issues?per_page=2" \
--header "Accept: application/vnd.github+json"
per_page
๋งค๊ฐ ๋ณ์๋ link
ํค๋์ ์๋์ผ๋ก ํฌํจ๋ฉ๋๋ค. ์์:
link: <https://api.github.com/repositories/1300192/issues?per_page=2&page=2>; rel="next", <https://api.github.com/repositories/1300192/issues?per_page=2&page=7715>; rel="last"
ํ์ด์ง ๋งค๊น์ ์ฌ์ฉํ ์คํฌ๋ฆฝํ
link
ํค๋์์ URL์ ์๋์ผ๋ก ๋ณต์ฌํ๋ ๋์ ์ฌ๋ฌ ํ์ด์ง์ ๊ฒฐ๊ณผ๋ฅผ ๊ฐ์ ธ์ค๋ ์คํฌ๋ฆฝํธ๋ฅผ ์์ฑํ ์ ์์ต๋๋ค.
๋ค์ ์์ ๋ JavaScript ๋ฐ GitHub์ Octokit.js ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ฅผ ์ฌ์ฉํฉ๋๋ค. Octokit.js์ ๋ํ ์์ธํ ๋ด์ฉ์ REST API ์์ ๋ฐ Octokit.js README๋ฅผ ์ฐธ์กฐํ์ธ์.
Octokit.js ํ์ด์ง ๋งค๊น ๋ฉ์๋๋ฅผ ์ฌ์ฉํ๋ ์์
Octokit.js๋ฅผ ์ฌ์ฉํ์ฌ ํ์ด์ง๋ฅผ ๋งค๊ธด ๊ฒฐ๊ณผ๋ฅผ ๊ฐ์ ธ์ค๋ ค๋ฉด octokit.paginate()
๋ฅผ ์ฌ์ฉํ ์ ์์ต๋๋ค. octokit.paginate()
๋ ๋ง์ง๋ง ํ์ด์ง์ ๋๋ฌํ ๋๊น์ง ๊ฒฐ๊ณผ์ ๋ค์ ํ์ด์ง๋ฅผ ๊ฐ์ ธ์จ ๋ค์ ๋ชจ๋ ๊ฒฐ๊ณผ๋ฅผ ๋จ์ผ ๋ฐฐ์ด๋ก ๋ฐํํฉ๋๋ค. ํ์ด์ง๊ฐ ๋งค๊ฒจ์ง ๊ฒฐ๊ณผ๋ฅผ ๋ฐฐ์ด๋ก ๋ฐํํ๋ ๋์ , ๋ช ๊ฐ์ ์๋ํฌ์ธํธ๋ ํ์ด์ง๋ฅผ ๋งค๊ธด ๊ฒฐ๊ณผ๋ฅผ ๊ฐ์ฒด์ ๋ฐฐ์ด๋ก ๋ฐํํฉ๋๋ค. ์์ ๊ฒฐ๊ณผ๊ฐ ๊ฐ์ฒด์ธ ๊ฒฝ์ฐ์๋ octokit.paginate()
๋ ํญ์ ํญ๋ชฉ ๋ฐฐ์ด์ ๋ฐํํฉ๋๋ค.
์๋ฅผ ๋ค์ด ์ด ์คํฌ๋ฆฝํธ๋ octocat/Spoon-Knife
๋ฆฌํฌ์งํ ๋ฆฌ์์ ๋ชจ๋ ์ด์๋ฅผ ๊ฐ์ ธ์ต๋๋ค. ํ ๋ฒ์ 100๊ฐ์ ์ด์๋ฅผ ์์ฒญํ์ง๋ง ํจ์๋ ๋ฐ์ดํฐ์ ๋ง์ง๋ง ํ์ด์ง์ ๋๋ฌํ ๋๊น์ง ๋ฐํ๋์ง ์์ต๋๋ค.
import { Octokit } from "octokit"; const octokit = new Octokit({ }); const data = await octokit.paginate("GET /repos/{owner}/{repo}/issues", { owner: "octocat", repo: "Spoon-Knife", per_page: 100, headers: { "X-GitHub-Api-Version": "2022-11-28", }, }); console.log(data)
import { Octokit } from "octokit";
const octokit = new Octokit({ });
const data = await octokit.paginate("GET /repos/{owner}/{repo}/issues", {
owner: "octocat",
repo: "Spoon-Knife",
per_page: 100,
headers: {
"X-GitHub-Api-Version": "2022-11-28",
},
});
console.log(data)
octokit.paginate()
์ ์ ํ์ ๋งต ํจ์๋ฅผ ์ ๋ฌํ์ฌ ๋ง์ง๋ง ํ์ด์ง์ ๋๋ฌํ๊ธฐ ์ ์ ํ์ด์ง ๋งค๊น์ ์ข
๋ฃํ๊ฑฐ๋ ์๋ต์ ํ์ ์งํฉ๋ง ์ ์งํ์ฌ ๋ฉ๋ชจ๋ฆฌ ์ฌ์ฉ๋์ ์ค์ผ ์ ์์ต๋๋ค. ๋ชจ๋ ํ์ด์ง๋ฅผ ์์ฒญํ๋ ๋์ ํ ๋ฒ์ ํ๋์ ํ์ด์ง๋ฅผ ๋ฐ๋ณตํ๋ ๋ฐ octokit.paginate.iterator()
๋ฅผ ์ฌ์ฉํ ์๋ ์์ต๋๋ค. ์์ธํ ์ ๋ณด๋ Octokit.js ์ค๋ช
์๋ฅผ ์ฐธ์กฐํ์ธ์.
ํ์ด์ง ๋งค๊น ๋ฉ์๋๋ฅผ ๋ง๋๋ ์์
ํ์ด์ง ๋งค๊น ๋ฉ์๋๊ฐ ์๋ ๋ค๋ฅธ ์ธ์ด ๋๋ ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ฅผ ์ฌ์ฉํ๋ ๊ฒฝ์ฐ ์ฌ์ฉ์ ๊ณ ์ ์ ํ์ด์ง ๋งค๊น ๋ฉ์๋๋ฅผ ๋น๋ํ ์ ์์ต๋๋ค. ์ด ์์ ์์๋ ์ฌ์ ํ Octokit.js ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ฅผ ์ฌ์ฉํ์ฌ ์์ฒญ์ ์ํํ์ง๋ง octokit.paginate()
์ ์์กดํ์ง๋ ์์ต๋๋ค.
getPaginatedData
ํจ์๋ octokit.request()
๋ฅผ ์ฌ์ฉํ์ฌ ์๋ํฌ์ธํธ์ ์์ฒญ์ ๋ง๋ญ๋๋ค. ์๋ต์ ๋ฐ์ดํฐ๋ ๋ฐ์ดํฐ๊ฐ ๋ฐํ๋์ง ์๋ ๊ฒฝ์ฐ ๋๋ ๋ฐํ๋๋ ๋ฐ์ดํฐ๊ฐ ๋ฐฐ์ด ๋์ ๊ฐ์ฒด์ธ ๊ฒฝ์ฐ๋ฅผ ์ฒ๋ฆฌํ๋ ๋ฐฉ์์ผ๋ก parseData
์ ์ํด ์ฒ๋ฆฌ๋ฉ๋๋ค. ๊ทธ๋ฌ๋ฉด ์ฒ๋ฆฌ๋ ๋ฐ์ดํฐ๊ฐ ์ง๊ธ๊น์ง ์์ง๋ ๋ชจ๋ ํ์ด์ง๋ฅผ ๋งค๊ธด ๋ฐ์ดํฐ๊ฐ ํฌํจ๋ ๋ชฉ๋ก์ ์ถ๊ฐ๋ฉ๋๋ค. ์๋ต์ link
ํค๋๊ฐ ํฌํจ๋๊ณ link
ํค๋์ ๋ค์ ํ์ด์ง์ ๋ํ ๋งํฌ๊ฐ ํฌํจ๋ ๊ฒฝ์ฐ, ํจ์๋ RegEx ํจํด(nextPattern
)์ ์ฌ์ฉํ์ฌ ๋ค์ ํ์ด์ง์ URL์ ๊ฐ์ ธ์ต๋๋ค. ๊ทธ๋ฐ ๋ค์ ํจ์๋ ์ด ์ URL์ ์ฌ์ฉํ์ฌ ์ด์ ๋จ๊ณ๋ฅผ ๋ฐ๋ณตํฉ๋๋ค. link
ํค๋์ ๋ค์ ํ์ด์ง์ ๋ํ ๋งํฌ๊ฐ ๋ ์ด์ ํฌํจ๋์ด ์์ง ์์ผ๋ฉด ๋ชจ๋ ๊ฒฐ๊ณผ๊ฐ ๋ฐํ๋ฉ๋๋ค.
import { Octokit } from "octokit"; const octokit = new Octokit({ }); async function getPaginatedData(url) { const nextPattern = /(?<=<)([\S]*)(?=>; rel="Next")/i; let pagesRemaining = true; let data = []; while (pagesRemaining) { const response = await octokit.request(`GET ${url}`, { per_page: 100, headers: { "X-GitHub-Api-Version": "2022-11-28", }, }); const parsedData = parseData(response.data) data = [...data, ...parsedData]; const linkHeader = response.headers.link; pagesRemaining = linkHeader && linkHeader.includes(`rel=\"next\"`); if (pagesRemaining) { url = linkHeader.match(nextPattern)[0]; } } return data; } function parseData(data) { // If the data is an array, return that if (Array.isArray(data)) { return data } // Some endpoints respond with 204 No Content instead of empty array // when there is no data. In that case, return an empty array. if (!data) { return [] } // Otherwise, the array of items that we want is in an object // Delete keys that don't include the array of items delete data.incomplete_results; delete data.repository_selection; delete data.total_count; // Pull out the array of items const namespaceKey = Object.keys(data)[0]; data = data[namespaceKey]; return data; } const data = await getPaginatedData("/repos/octocat/Spoon-Knife/issues"); console.log(data);
import { Octokit } from "octokit";
const octokit = new Octokit({ });
async function getPaginatedData(url) {
const nextPattern = /(?<=<)([\S]*)(?=>; rel="Next")/i;
let pagesRemaining = true;
let data = [];
while (pagesRemaining) {
const response = await octokit.request(`GET ${url}`, {
per_page: 100,
headers: {
"X-GitHub-Api-Version":
"2022-11-28",
},
});
const parsedData = parseData(response.data)
data = [...data, ...parsedData];
const linkHeader = response.headers.link;
pagesRemaining = linkHeader && linkHeader.includes(`rel=\"next\"`);
if (pagesRemaining) {
url = linkHeader.match(nextPattern)[0];
}
}
return data;
}
function parseData(data) {
// If the data is an array, return that
if (Array.isArray(data)) {
return data
}
// Some endpoints respond with 204 No Content instead of empty array
// when there is no data. In that case, return an empty array.
if (!data) {
return []
}
// Otherwise, the array of items that we want is in an object
// Delete keys that don't include the array of items
delete data.incomplete_results;
delete data.repository_selection;
delete data.total_count;
// Pull out the array of items
const namespaceKey = Object.keys(data)[0];
data = data[namespaceKey];
return data;
}
const data = await getPaginatedData("/repos/octocat/Spoon-Knife/issues");
console.log(data);