3줄 요약
- AI가 제한된 맵에서 게임하듯 배우는 강화학습 영상을 즐겨 봤는데, 무인도에서 살아남는 컨셉이면 더 재밌겠다 싶어서 시작했음
- 빅테크 GPU 대신 집에 있는 RTX 3070 한 장으로, 섬 4096개를 GPU에서 한꺼번에 돌리는 시뮬레이터부터 직접 만들었음
- 첫 60분 학습에서 평균 생존이 1.4일에서 13.2일까지 늘었음. 다만 섬 식량이 바닥나는 벽은 못 넘었고, 7만 번째 뇌는 8.1일로 도로 떨어졌음
이런 영상들을 보고 있었음

HSL 제작 — 직접 조종도 되는 튜토리얼 섬 3D 뷰어
- AI가 정해진 맵에서 수만 번 죽고 다시 하면서 점점 잘하게 되는 영상을 자주 봤음
- 대표가 AI Warehouse임. Unity로 만든 맵에서 AI가 허들 넘기, 스모 같은 걸 배우는 채널인데, 11/5 기준 영상 21개로 구독자 83.3만임 (AI Warehouse)
- 원조 격은 2019년 숨바꼭질 실험임. 숨는 쪽과 찾는 쪽이 경쟁만 했는데 상자로 벽을 쌓고, 경사로를 타고 넘는 전략이 스스로 생겼음 (arXiv 1909.07528)
- 보면 볼수록 “저거 나도 만들 수 있지 않나?” 싶었음
왜 하필 무인도냐면
- 어릴 때 로빈슨 크루소랑 「무인도에서 살아남기」를 정말 재밌게 읽었음
- 무인도 생존은 규칙이 직관적임. 배고프면 먹고, 목마르면 마시고, 밤엔 춥고, 바다는 위험함
- 그런데 정답은 하나가 아님. 열매만 따 먹을지, 작살을 만들어 낚시를 할지, 동굴을 찾아 밤을 버틸지 고를 수 있음
- AI가 그중 뭘 스스로 알아내는지 보는 게 제일 궁금했음
- 찾아본 범위에선 무인도 생존을 강화학습으로 3D로 보여 주는 영상은 거의 없었음
판은 이렇게 깔았음
- 3D 섬은 내가 직접 조종할 수도 있게 만들었음. AI랑 같은 섬, 같은 규칙임
- AI는 화면 픽셀 대신 주변을 훑는 시야선 24개로 세상을 봄 (자세한 건 2편)
- 학습용으로는 화면 없이 규칙만 계산하는 시뮬레이터를 따로 만들었음. 섬 하나가 텐서 한 줄이라 수천 개를 GPU에서 한 번에 굴림
| 항목 | 값 |
|---|---|
| GPU | RTX 3070 (8GB) 한 장 |
| 동시에 도는 섬 | 4,096개 |
| 학습 속도 | 초당 약 5.4만 스텝 (실제 1분에 섬 시간 약 1.35만 일) |
| 60분 학습 | 약 1.95억 스텝, 약 7만 번 살고 죽음 |
10/29 학습 로그 기준 (runs/full_v2)
첫 학습: 죽는 이유가 바뀌었음
- 60분 학습하면서 딱 떨어지는 시도 수마다 뇌를 저장해 두고, 단계마다 섬 256개에서 다시 돌려 봤음
| 시도 | 평균 생존 | 가장 많은 사망 원인 |
|---|---|---|
| 1번째 | 1.4일 | 익사 79% |
| 3,000번째 | 2.6일 | 탈수 84% |
| 10,000번째 | 9.5일 | 굶주림 64% |
| 50,000번째 | 13.2일 | 굶주림 93% |
| 70,000번째 | 8.1일 | 탈수 77% |
섬 256개 × 단계별 1회, 10/29 규칙 (replays/hl/full_v2/report.md). 규칙은 뒤에 바뀌어서 지금 숫자와 직접 비교는 못 함 (2편)

HSL 제작 — 시도 단계별 사망 원인 비율
- 처음엔 바다로 걸어 들어가 빠져 죽음
- 물을 피하게 되자 이번엔 마실 물을 못 찾아 목말라 죽음
- 샘을 찾자 이번엔 굶어 죽음. 섬 열매는 다시 안 자라서 보름쯤이면 바닥남
- 하나를 배우면 다음 벽이 나오는 게 그대로 보였음
- 7만 번째에서 오히려 나빠졌음. 그땐 학습률을 끝까지 고정해 둔 탓으로 보고 고쳤는데, 그걸로 다 해결되진 않았음 (4편)

HSL 제작 — 50,000번째 시도, 13일째. 가방에 코코넛 2개를 둔 채 굶어 죽음
다시 한다면
- 시뮬레이터를 GPU 텐서로 처음부터 짠 건 잘한 일이었음. 섬 수천 개를 한 번에 돌려서 1시간이면 7만 번을 살아 봄
- 학습률 감소와 최고 성적 저장은 처음부터 넣을 것. 다 배운 뒤에 망가지는 걸 늦게 봤음
- 영상용 장면은 사람이 찾지 말고 자동으로 캘 것. 사건 탐지기를 붙이고 나서야 코코넛 장면 같은 걸 놓치지 않았음
- 다음 편은 섬 규칙과 조작, 맵을 어떻게 만들었는지임