결과는 그대로 나왔는데 과정은 사라졌다 — GPT-6 Astra 러닝 루트 생성

결과는 그대로 나왔다

결과는 요청한 그대로였다. 5K 루프, 10K 루프, 임베드된 시각화, GPX 파일, GeoJSON 파일까지 전부 나왔다. 그런데 어떻게 만들었는지 다시 캐물으니 답이 사라졌다.

Simon Willison이 ChatGPT Work의 GPT-6 Astra(Max)에게 시킨 건 하나였다. 집 주소에서 출발해 다시 돌아오는 러닝 루트를 OSM 데이터로 찾아 달라는 것. 처리에 27분이 걸렸다.

어떻게 만들었는지는 물어봐야 나온다

Willison이 방법을 묻자 에이전트는 이렇게 답했다.

"I used Nominatim to locate the address and Overpass to download local OpenStreetMap roads and trails, then calculated the loops locally." — simonwillison.net

주소는 Nominatim으로, 도로망은 Overpass로 받고, 루프 계산은 로컬에서 돌렸다는 뜻이다. 이 답변은 실행 로그가 아니라 사후 요약이다. 실제로 돌린 코드와 세부 과정은 ChatGPT UI에 안 보였다. Willison은 이걸 "an anti-feature"라고 불렀다.

나중에 다시 물었더니 없어졌다

Python 코드 사본을 달라고 다시 물었을 때는 아예 못 받았다. 이유는 스레드가 압축(compaction)됐기 때문이다. 압축이 지난 대화를 요약으로 바꾸면서 원본 코드도 같이 날아갔다.

Willison의 결론은 압축 전 텍스트를 보존하고 에이전트 도구 호출로 다시 꺼낼 수 있게 해야 한다는 것이다. 안 그러면 결과는 남고 과정은 증발한다.

지도는 스킬이 그렸다

시각화는 별도 실행이 아니라 visualize 스킬이 처리했다. /workspace/el-granada-5k-share.html이라는 파일을 만들어 ChatGPT UI에 바로 임베드하는 방식이다. 이 HTML은 D3를 CDN에서 불러와 지도를 그린다.

CDN 접근은 아무 데서나 되는 게 아니라 허용 목록으로 막혀 있다.

문서에는 이렇게 적혀 있다. "Other origins are blocked and fail silently." — simonwillison.net 허용되지 않은 도메인을 쓰면 에러 없이 그냥 빈 화면이 나온다.

안 한 것

이건 Willison 한 사람의 단발 테스트 기록이다. 루트 품질이 매번 이만큼 나오는지, 27분이 항상 걸리는지는 검증되지 않았다. 압축 이후 코드가 복구 불가능하다는 것도 이 한 번의 사례에서 나온 관찰이지 재현된 벤치마크는 아니다.

결과는 요청한 그대로 나왔지만, 압축된 스레드 뒤로는 그 결과를 어떻게 만들었는지 다시 물을 수 없었다.