집에 있는 GPU도 마땅치 않으니.. Colab을 써보자!

3줄 요약

• 재료는 세 가지였음: 정답(ASOS 관측), 상대(기상청 단기예보), Aurora의 출발점(AIFS 초기장)
• 기상청 예보 API는 최근 3일치만 줘서 3시간마다 쌓는 수집기를 걸었고, 과거 발표분을 몰아 받다가 PC IP가 19시간 막히기도 했음
• GPU는 Colab Pro L4 한 장, 터미널에서 돌렸고 연결이 끊겨도 VM 안에서 계속 돌게 바꿔 Aurora를 밤새 195번 굴렸음

재료 세 가지

• 기간은 학습 2025-03~2026-02, 검증 2026-03~06, 테스트 2026-07~10-12로 나눴음
• 발표는 3일 간격으로 05시와 17시를 번갈아 골라 총 197번임
• 2번은 초기장을 못 받아 빠져서 실제로는 학습 122, 검증 40, 테스트 33번을 썼음

HSL 제작 — 재료 세 가지가 Aurora 박스와 예측 헤드를 거쳐 채점까지 가는 흐름

기상청보다 8시간 늦게 출발함

• 입력은 기상청 발표 시각 전에 실제로 공개돼 있던 것만 씀
• 그래서 AIFS 파일이 S3에 올라온 시각까지 확인하고 골랐음
• 05시 발표엔 전날 21시 초기장, 17시 발표엔 당일 09시 초기장이 걸림
• 기상청보다 8시간 묵은 정보로 출발하는 핸디캡을 안고 붙은 셈임
• 바다얼음·눈처럼 공개 자료에 없는 느린 변수만 일주일 넘은 ERA5로 채웠음

HSL 제작 — 기간 분할과 발표별로 쓸 수 있었던 초기장

상대의 기록은 3일만 삶

• 기상청 단기예보 API는 “최근 3일 간의 자료만 제공합니다”라고 함
• 지금 안 모으면 상대 전적이 영영 안 남음
• 그래서 PC에 3시간마다 예보를 받아 커밋하는 작업을 걸어 뒀음
• 검증·테스트 기간 과거 발표분은 API허브의 격자 자료로 따로 받았음
• 이걸 4줄로 몰아 받다가 PC IP가 19시간 막혔음
• 그 뒤론 서버 응답을 보며 요청 간격을 스스로 늘였다 줄이는 Pacer를 모든 다운로드에 붙였음
• 공공데이터포털 키는 Encoding 키를 그대로 넣으면 두 번 인코딩돼서 “등록되지 않은 서비스키”가 뜸
• 첫날 당했는데 마지막 날 또 당했음

Aurora 박스

• 발표마다 Aurora 1.5를 지구 전체로 1시간 간격 60시간 이상 굴림
• 저장은 한반도 주변(북위 30~45°, 동경 120~135°, 61×61칸)의 33개 변수만 함
• 관측소를 바꾸거나 예측 헤드(head)를 다시 학습해도 GPU를 다시 안 돌려도 되게 하려는 것
• 처음엔 float16으로 그냥 저장했다가 기압·복사량이 전부 inf가 됐음
• float16 최대값이 65504라 해면기압 101,325Pa가 안 들어감
• 변수마다 기준값을 빼고 배율을 곱해 저장하는 방식으로 바꿔서 다시 생성했음

Colab 생존기

• Windows라 WSL(Ubuntu)에 구글 공식 google-colab-cli를 깔고 터미널에서 colab new --gpu L4로 돌렸음
• 몇 분 넘는 실행은 “Connection was lost”로 같이 죽었음
• 그래서 작업을 VM 안에서 nohup으로 띄우고, 로컬은 가끔 상태만 확인하게 바꿨음
• 그런데 PC가 잠든 사이 감시가 멈췄고, 세션이 회수되면서 다 만든 박스 19개가 날아감
• 이후로는 박스가 생기는 대로 바로 받아 오고, 일이 끝나면 VM이 스스로 세션을 반납하게 했음
• 업로드는 70MB까지 되고 90MB부터 거절돼서 45MB 조각으로 쪼개 올렸음
• S3도 너무 자주 찌르면 “Slow Down”을 줌. 여기도 Pacer

밤새 L4 한 장

• 박스 생성은 10월 15일 저녁 7시에 시작해 다음 날 오전까지 세 세션에 걸쳐 돌았음
• 한 번에 5~6분씩 195번이고 약 33CU를 썼음
• Colab Pro 월 구독(만 원 정도)에 100CU가 들어 있으니 박스 전부가 3천 원 남짓임
• Colab 구독비에 Claude 토큰 사용량까지 합쳐도 이 프로젝트 전체에 든 돈은 2만 원 정도임
• 밤새 일한 L4한테 미안할 정도로 싸게 먹혔음
• 다음 편은 이 박스로 Aurora를 손대지 않고 기상청과 붙인 결과임