3줄 요약

  • AI가 제한된 맵에서 게임하듯 배우는 강화학습 영상을 즐겨 봤는데, 무인도에서 살아남는 컨셉이면 더 재밌겠다 싶어서 시작했음
  • 빅테크 GPU 대신 집에 있는 RTX 3070 한 장으로, 섬 4096개를 GPU에서 한꺼번에 돌리는 시뮬레이터부터 직접 만들었음
  • 첫 60분 학습에서 평균 생존이 1.4일에서 13.2일까지 늘었음. 다만 섬 식량이 바닥나는 벽은 못 넘었고, 7만 번째 뇌는 8.1일로 도로 떨어졌음

이런 영상들을 보고 있었음

직접 만든 3D 뷰어 화면. 밀짚모자 캐릭터가 해변에 서 있고, 왼쪽 위에 체력·배부름·수분·기력·체온 막대가 보임

HSL 제작 — 직접 조종도 되는 튜토리얼 섬 3D 뷰어

  • AI가 정해진 맵에서 수만 번 죽고 다시 하면서 점점 잘하게 되는 영상을 자주 봤음
  • 대표가 AI Warehouse임. Unity로 만든 맵에서 AI가 허들 넘기, 스모 같은 걸 배우는 채널인데, 11/5 기준 영상 21개로 구독자 83.3만임 (AI Warehouse)
  • 원조 격은 2019년 숨바꼭질 실험임. 숨는 쪽과 찾는 쪽이 경쟁만 했는데 상자로 벽을 쌓고, 경사로를 타고 넘는 전략이 스스로 생겼음 (arXiv 1909.07528)
  • 보면 볼수록 “저거 나도 만들 수 있지 않나?” 싶었음

왜 하필 무인도냐면

  • 어릴 때 로빈슨 크루소랑 「무인도에서 살아남기」를 정말 재밌게 읽었음
  • 무인도 생존은 규칙이 직관적임. 배고프면 먹고, 목마르면 마시고, 밤엔 춥고, 바다는 위험함
  • 그런데 정답은 하나가 아님. 열매만 따 먹을지, 작살을 만들어 낚시를 할지, 동굴을 찾아 밤을 버틸지 고를 수 있음
  • AI가 그중 뭘 스스로 알아내는지 보는 게 제일 궁금했음
  • 찾아본 범위에선 무인도 생존을 강화학습으로 3D로 보여 주는 영상은 거의 없었음

판은 이렇게 깔았음

  • 3D 섬은 내가 직접 조종할 수도 있게 만들었음. AI랑 같은 섬, 같은 규칙임
  • AI는 화면 픽셀 대신 주변을 훑는 시야선 24개로 세상을 봄 (자세한 건 2편)
  • 학습용으로는 화면 없이 규칙만 계산하는 시뮬레이터를 따로 만들었음. 섬 하나가 텐서 한 줄이라 수천 개를 GPU에서 한 번에 굴림
항목값
GPURTX 3070 (8GB) 한 장
동시에 도는 섬4,096개
학습 속도초당 약 5.4만 스텝 (실제 1분에 섬 시간 약 1.35만 일)
60분 학습약 1.95억 스텝, 약 7만 번 살고 죽음

10/29 학습 로그 기준 (runs/full_v2)

첫 학습: 죽는 이유가 바뀌었음

  • 60분 학습하면서 딱 떨어지는 시도 수마다 뇌를 저장해 두고, 단계마다 섬 256개에서 다시 돌려 봤음
시도평균 생존가장 많은 사망 원인
1번째1.4일익사 79%
3,000번째2.6일탈수 84%
10,000번째9.5일굶주림 64%
50,000번째13.2일굶주림 93%
70,000번째8.1일탈수 77%

섬 256개 × 단계별 1회, 10/29 규칙 (replays/hl/full_v2/report.md). 규칙은 뒤에 바뀌어서 지금 숫자와 직접 비교는 못 함 (2편)

시도 단계별 사망 원인 비율 막대. 1번째는 익사, 3,000번째는 탈수, 10,000번째와 50,000번째는 굶주림, 70,000번째는 다시 탈수가 가장 많음

HSL 제작 — 시도 단계별 사망 원인 비율

  • 처음엔 바다로 걸어 들어가 빠져 죽음
  • 물을 피하게 되자 이번엔 마실 물을 못 찾아 목말라 죽음
  • 샘을 찾자 이번엔 굶어 죽음. 섬 열매는 다시 안 자라서 보름쯤이면 바닥남
  • 하나를 배우면 다음 벽이 나오는 게 그대로 보였음
  • 7만 번째에서 오히려 나빠졌음. 그땐 학습률을 끝까지 고정해 둔 탓으로 보고 고쳤는데, 그걸로 다 해결되진 않았음 (4편)

50,000번째 시도의 마지막 장면. 해변에 쓰러진 캐릭터 위로 굶어 죽음 안내가 뜨고, 가방 칸에 코코넛 2개와 작살이 남아 있음

HSL 제작 — 50,000번째 시도, 13일째. 가방에 코코넛 2개를 둔 채 굶어 죽음

다시 한다면

  • 시뮬레이터를 GPU 텐서로 처음부터 짠 건 잘한 일이었음. 섬 수천 개를 한 번에 돌려서 1시간이면 7만 번을 살아 봄
  • 학습률 감소와 최고 성적 저장은 처음부터 넣을 것. 다 배운 뒤에 망가지는 걸 늦게 봤음
  • 영상용 장면은 사람이 찾지 말고 자동으로 캘 것. 사건 탐지기를 붙이고 나서야 코코넛 장면 같은 걸 놓치지 않았음
  • 다음 편은 섬 규칙과 조작, 맵을 어떻게 만들었는지임