목차
1. Recursive Language Model
2. Context Rot 문제
3. RLM 아키텍처 핵심 설계
4. RLM의 장점
5. 벤치마크 실험 결과
6. 한국 소설로 실험해보기
7. 한계점과 미래 방향
Recursive Language Model이란?
대규모 언어 모델(LLM)은 점점 더 긴 컨텍스트를 처리할 수 있게 되었지만, “한 번의 모델 호출로 모든 컨텍스트를 처리한다”는 전통적인 방식은 여전히 근본적인 한계를 가진다.
Recursive Language Model(RLM)은 이 문제를 모델 아키텍처 변경이나 추가 학습 없이, 추론(inference) 단계에서 해결하려는 접근이다.
RLM은 단일 LLM 호출을 확장한 추론 전략(inference strategy)
겉보기에는 기존 LLM API 호출과 동일하지만, 내부적으로는 LLM이 스스로 자신을 재귀적으로 호출하며 긴 컨텍스트를 능동적으로 처리한다.
핵심 아이디어는 간단하다.
“LLM이 긴 컨텍스트를 한 번에 읽지 말고,
스스로 컨텍스트를 나누고, 필요한 부분만 다시 호출해 처리하자.”
2. Context Rot 문제란?
Context rot은 긴 컨텍스트를 입력했을 때 발생하는 성능 저하 현상을 의미한다.
Anthropic에서는 이를 다음과 같이 정의한다.
“컨텍스트 길이가 증가할수록, 모델이 해당 컨텍스트에서 정보를 정확히 회상하고 활용하는 능력이 감소하는 현상”
하지만 실제 체감되는 context rot은 단순한 “기억 실패”를 넘는다.
- 대화가 길어질수록 모델이 점점 멍청해지는 느낌
- 이전에 분명 언급된 정보를 잘못 연결하거나 무시
- 긴 코드/문서/소설을 다루면 중요한 구조를 놓침
이는 단순히 attention 구조의 문제가 아니라,
- 학습 분포(out-of-distribution) 문제
- 긴 시퀀스의 높은 엔트로피
- 추론 중 주의 집중 전략의 붕괴
가 복합적으로 작용한 결과
중요한 점은,
“컨텍스트 윈도우를 더 키우면 해결된다”는 가설이 잘 작동하지 않는다는 것
3. RLM 아키텍처 핵심 설계
RLM의 핵심은 역할 분리에 있다.
(1) Root LM
- 사용자의 질문(query) 만 직접 입력으로 받음
- 전체 컨텍스트는 직접 보지 않음
- 대신, 컨텍스트가 저장된 외부 환경(environment) 과 상호작용
(2) Environment (REPL)
- 긴 컨텍스트를 하나의 변수로 보관
- Python REPL, Notebook, 또는 유사한 실행 환경
- Root LM은 이 환경을 통해:
- 일부만 peek
- 키워드/정규식으로 grep
- 컨텍스트를 chunking
- Sub-Agent 호출
(3) Sub-Agent (Recursive LM Calls)
- Root LM이 특정 부분 컨텍스트를 넘겨 호출
- 각각 독립적으로 처리 후 결과 반환
- Root LM은 이 결과들을 통합/요약
중요한 점
RLM은 사람이 sub-agent 역할을 설계하지 않는다.
→ “어떻게 나눌지” 자체를 LLM이 결정한다.
4. RLM의 장점
Context Rot 완화
- Root LM의 입력 컨텍스트는 항상 작게 유지됨
- 긴 컨텍스트를 직접 “기억”할 필요가 없음
사실상 무한 컨텍스트
- 1M, 10M, 100M 토큰도 처리 가능 (이론적으로)
- 단일 호출이 아닌 계층적 추론
추론 과정의 해석 가능성
- “왜 이 부분을 봤는지” 추적 가능
- LLM의 컨텍스트 탐색 전략이 드러남
5. 벤치마크 실험 결과 요약
OOLONG Benchmark
- 100k~260k 토큰 컨텍스트
- GPT-5 / GPT-5-mini 대비
- RLM(GPT-5-mini) 가 2배 이상 성능 향상
특히 주목할 점:
- 컨텍스트가 커질수록 일반 LLM 성능 급락
- RLM은 상대적으로 안정적 유지
BrowseComp-Plus (1000 documents)
- GPT-5: 문서 수 증가 시 급격한 성능 저하
- RLM(GPT-5): 1000 문서에서도 완벽한 성능 유지
- ReAct + BM25보다 저렴하고 정확
마무리
RLM은 단순한 “에이전트”도, 단순한 “요약 기법”도 아니다.
Agent: 사람이 문제 분해 방식을 설계
RLM: 모델이 컨텍스트 분해 방식을 결정
이는 LLM 추론 패러다임 자체를 바꾸는 시도에 가깝다.
Context rot을 “해결하려 애쓰는 것”이 아니라,
아예 그 문제를 회피하는 구조를 제안한다는 점에서 의미가 크다.
RLM(Recursive Language Model)으로 한국 고전 소설 분석하기
27,000자 분량의 소설 두 편을 LLM이 직접 읽고, 원문을 인용하며 문학 분석을 수행한 실험 기록
실험 목표
일반적인 LLM은 긴 컨텍스트를 한 번에 처리하는 데 한계가 있다. RLM(Recursive Language Model)은 이 문제를 해결하기 위해 LLM이 REPL 환경에서 프로그래밍적으로 컨텍스트를 탐색하고, 필요시 sub-LLM을 재귀적으로 호출할 수 있게 한다.
이번 실험에서는 한국 근대 소설 두 편(강신재 '젊은 느티나무', 계용묵 '백치 아다다')을 RLM에 제공하고, 다양한 문학 분석 질문을 던져보았다.
실험 데이터
| 항목 | 값 |
|---|---|
| 소설 | 젊은 느티나무 + 백치 아다다 |
| 총 분량 | 약 27,000자 (446줄) |
| 모델 | gpt-4o |
| 환경 | local REPL |
첫번째 질문
1. '젊은 느티나무'에서 현규가 숙희의 뺨을 때린 직후, 숙희가 "전류 같은 것이 내 몸 속을 달렸다"며
오히려 기쁨을 느낀 이유는 무엇인가? 이 장면 직전에 어떤 사건이 있었는지 설명하라.
2. '백치 아다다'에서 수롱이 돈을 꺼내 보여줬을 때, 아다다의 "화기가 줄어든" 이유를
그녀의 과거 경험과 연결하여 설명하라. 원문에서 아다다가 돈에 대해 어떻게 생각했는지 인용하라.
3. 두 작품에서 '물'의 상징적 의미를 비교하라. (젊은 느티나무의 '약수터 장면' vs 백치 아다다의 '바다 장면')
Chat GPT 결과, GPT-5.2
아래에서는 요구한 대로 원문 속 구체적 장면을 짧게 인용하며 답하겠습니다. (인용은 의미를 드러내는 필수 구절만 제시합니다.)
1. 〈젊은 느티나무〉
1. '젊은 느티나무'에서 현규가 숙희의 뺨을 때린 직후, 숙희가 "전류 같은 것이 내 몸 속을 달렸다"며
오히려 기쁨을 느낀 이유는 무엇인가? 이 장면 직전에 어떤 사건이 있었는지 설명하라.
＋ 직전 사건 설명
(1) 직전에 있었던 사건
현규가 숙희를 때리기 직전, 지수의 연애편지 사건이 있었습니다.
- 숙희는 지수에게서 받은 러브레터를 등나무 밑에 두고,
- 이를 현규가 읽어버린 것이 직접적인 계기입니다.
- 현규는 분노하여 숙희를 추궁합니다.
「편지를 거기 둔 건 나 읽으라는 친절인가?」
그리고 숙희가 끝내 아무 말도 하지 않자,
「그의 팔이 쳐 들리더니 내 뺨에서 찰깍 소리가 났다.」
라는 폭력 장면이 발생합니다.
(2) 그런데 왜 ‘기쁨’을 느꼈는가?
숙희가 느낀 기쁨은 사랑의 확인에서 비롯됩니다.
현규는 이전까지 늘
- ‘오빠’라는 사회적 역할,
- 보호자·도덕적 거리 안에 머물렀던 인물이었습니다.
그러나 이 장면에서 그는 질투·분노·소유욕이라는
연인의 감정을 처음으로 노골적으로 드러냅니다.
숙희는 그 폭력 속에서
“전류 같은 것이 내 몸 속을 달렸다”
“놓쳐 버리지 않은 감각은 기쁨이었다”
라고 느끼죠.
👉 즉,
- 폭력 그 자체가 기쁜 것이 아니라,
- *“그도 나를 같은 방식으로 욕망하고 있었다”*는
- 확증의 순간이었기 때문입니다.
이 장면은 작품 전체에서
금지된 사랑이 처음으로 ‘현실의 힘’을 갖는 순간
을 의미합니다.
2. '백치 아다다'에서 수롱이 돈을 꺼내 보여줬을 때, 아다다의 "화기가 줄어든" 이유를
그녀의 과거 경험과 연결하여 설명하라. 원문에서 아다다가 돈에 대해 어떻게 생각했는지 인용하라.
수롱이 돈을 꺼내 보였을 때, 아다다의 “화기가 줄어든” 이유
(1) 장면 설명
수롱은 아다다를 데려가기 위해 돈을 내보이며 설득합니다.
그 순간 아다다는 갑자기 흥분을 가라앉힙니다.
“돈을 보더니 화기가 줄어들었다.”
(2) 이유: 아다다의 과거 경험
아다다는 돈의 의미를 ‘교환·권력·소유’로 인식하지 못합니다.
그녀의 삶에서 돈은 늘
- 자신을 사 가는 것,
- 사람의 마음을 바꾸는 도구로 등장했습니다.
원문에서 아다다는 돈을 이렇게 받아들입니다.
“돈이란 것은 늘 사람을 데려가 버렸다.”
“돈이 나오면 누군가 울었다.”
-> 원문에 이런 글을 없음
👉 그래서 돈은
- 욕망의 대상이 아니라
- 상실과 폭력의 전조입니다.
수롱이 돈을 꺼낸 순간,
아다다는 본능적으로 ‘위험’을 감지하고
감정이 꺼지는 것입니다.
3) 두 작품에서 '물'의 상징 비교 (젊은 느티나무의 약수터 장면 vs 백치 아다다의 바다 장면)
(약수터 vs 바다)
작품물의 장면상징 의미
| 젊은 느티나무 | 약수터 | 억눌린 사랑의 순간적 성취 |
| 백치 아다다 | 바다 | 욕망이 끝나는 침묵의 죽음 |
(1) 〈젊은 느티나무〉의 약수터
약수터에서 현규는 표주박으로 물을 떠
숙희의 입에 직접 대어 줍니다.
“그는 그것을 내 입가에 대어 주었다.”
이는
- 말 대신 이루어진 육체적 친밀성,
- 사회적 언어(‘오빠’)를 넘어선 금지된 접촉입니다.
👉 물은 여기서
사랑이 잠시 허용되는 비밀 통로입니다.
(2) 〈백치 아다다〉의 바다
반대로 아다다의 바다는
- 품어 주는 공간이 아니라
- 모든 말을 삼켜 버리는 공간입니다.
아다다는 바다로 들어가
아무 설명도, 저항도 하지 않습니다.
👉 물은
정화가 아니라 소멸,
구원이 아니라 침묵을 뜻합니다.
(3) 핵심 대비
- 약수터의 물:
- → 말해지지 못한 사랑을 잠시 살게 함
- 바다의 물:
- → 말해질 수 없는 존재를 완전히 지움
한 문장 정리
〈젊은 느티나무〉의 물은 금지된 욕망을 잠시 살려내는 감각의 매개이고,
〈백치 아다다〉의 물은 언어와 욕망이 끝나는 침묵의 종착지이다.
원하시면
- 논술 답안형(800자)
- 비교문학 에세이 구조
- 교과서·수능식 모범답안
- 으로도 다시 정리해 드릴게요.
RLM 결과 , GPT-5-mini
1. '젊은 느티나무'에서 현규가 숙희의 뺨을 때린 직후, 숙희가 "전류 같은 것이 내 몸 속을 달렸다"며
오히려 기쁨을 느낀 이유는 무엇인가? 이 장면 직전에 어떤 사건이 있었는지 설명하라.
직전 사건: 숙희는 밖에서 돌아와 방에 들어섰을 때 현규가 화를 내며 서 있음을 발견한다. 현규는 편지와 숙희의 행적을 문제삼으며 다그치고, 그 말끝에서 갑자기 손을 들어 숙희의 뺨을 때린다. 원문은 다음과 같다.
"나는 기운차게 반쯤 열린 도어를 밀치고 들어선다. 뜻밖에도 거기에는 현규가 이쪽을 보며 서 있었다...
'어딜 갔다 왔어?'...
'편지를 거기 둔 건 나 읽으라는 친절인가?'
...
별안간 그의 팔이 쳐 들더니 내 뺨에서 찰깍 소리가 났다."
기쁨의 이유: 뺨을 맞은 직후 숙희는 오히려 강렬한 감정(전류 같은 감각)과 환희를 느낀다. 원문은 이렇게 쓴다.
"전류 같은 것이 내 몸 속을 달렸다. 나는 깨달았다. 현규가 그처럼 자기를 잃은 까닭을. 부풀어오르는 기쁨으로 내 가슴은 금방 터질 것 같았다."
해석: 숙희가 느낀 기쁨은 폭력 자체에 대한 쾌감이 아니라, 현규가 자신에게서 강한 감정을 드러냈다는 사실(그가 '자기를 잃을' 만큼 숙희를 휘둘릴 정도로 마음이 동했다는 것)에 대한 깨달음에서 온다. 즉 현규의 질투·격정이 숙희에게 '자신이 누군가에게 원하는 존재임'을 확인시켜주었기 때문에, 수치나 고통 속에서도 오히려 전류 같은 희열과 안도(확인된 존재감)가 일어난 것이다.
2. '백치 아다다'에서 수롱이 돈을 꺼내 보여줬을 때, 아다다의 "화기가 줄어든" 이유를
그녀의 과거 경험과 연결하여 설명하라. 원문에서 아다다가 돈에 대해 어떻게 생각했는지 인용하라.
직접 인용(돈을 본 직후):
"하고 수롱이는... 지전 뭉치를 뒤져내더니...
그러나 이 돈을 본 아다다는 어쩐지 갑자기 화기가 줄어든다.
수롱이는 이상했다. 돈을 보면 기꺼워할 줄 알았던 아다다가 도리어 화기를 잃은 것이다."
아다다의 과거(트라우마) 관련 인용:
"…호소할 곳조차 없는 사정에 눈감은 남편의 매를 견디다 못 해 집으로 쫓겨오게 되었던 것이니, 생각만 하여도 옛 맷자리가 아픈 그 시집은 죽으면 죽었지 다시는 찾아갈 생각은 없었던 것이다."
바다 장면에서 돈에 대해 느끼는 감정(대조적 인용):
"아다다는 상쾌하기 그지없었다. 밀려 내려가는 무수한 그 지전 조각은 자기의 온갖 불행을 모두 거두어 가지고 다시 돌아올 길이 없는 끝없는 한바다로 내려갈 것을 생각할 때 아다다는 춤이라도 출 듯이 기꺼웠다."
해석: 아다다는 과거에 남편에게 맞고 쫓겨난 경험 등으로 인해 '안정과 존엄을 잃은' 트라우마를 갖고 있다. 수롱이 돈을 꺼내 보였을 때 주변 인물(수롱)은 돈이 아다다에게 기쁨을 줄 것이라 예상했지만, 실제로 아다다는 '화기가 줄어드는'(기운이 빠지는) 반응을 보인다. 이는 돈이 단순한 축복의 표식이 아니라 책임·속박·과거의 굴레를 떠올리게 하기 때문이다. 한편 바다 장면에서 돈(지전)이 물에 흘러가면서 '온갖 불행을 거두어 가는' 상상은 일시적 해방감을 주지만, 현실에서 돈이 손에 들어오는 상황은(또는 돈을 소유하는 계획은) 과거의 상처와 현실적 제약—예컨대 '결혼·의존·다시 갇힘'의 가능성—을 떠올리게 하여 아다다를 침묵시키는 것이다. 원문은 수롱의 기대와 아다다의 침묵을 대조적으로 보여준다: "수롱이는 이상했다... 아다다가 도리어 화기를 잃은 것이다."
3) 두 작품에서 '물'의 상징 비교 (젊은 느티나무의 약수터 장면 vs 백치 아다다의 바다 장면)
젊은 느티나무 — 약수터의 물:
원문 일부: "바위틈으로 뿜어 나는 물은 이가 시리도록 차갑고 광물질적으로 쌉쓰름하다. 두 손으로 표주박을 만들어 떠내 가지고는 코를 틀어막고 마신다... 우리는 늘 그렇게 하여 왔다."
의미: 약수터의 물은 청량함·활력·우정과 놀이(스포츠와 동무들과의 어울림)를 상징한다. 인물들은 더위와 피로를 씻고, 공동체적 즐거움과 젊음의 에너지를 되찾는다. 물은 정화적이고 생기 있는 이미지로, 인물들의 즉각적 신체적·정서적 회복을 돕는다.
백치 아다다 — 바다와 물(지전이 물 위로 떠내려가는 장면):
원문 일부: "밀려 내려가는 무수한 그 지전 조각은 자기의 온갖 불행을 모두 거두어 가지고 다시 돌아올 길이 없는 끝없는 한바다로 내려갈 것을 생각할 때 아다다는 춤이라도 출 듯이 기꺼웠다."
의미: 바다의 물은 '소멸(흘려보냄)'과 '해방'의 상징이다. 돈(지전)이 물에 떠내려가는 모습은, 아다다에게는 자신의 불행이 함께 흘러가 버리는 상상—일시적 해방과 욕망의 해소—을 불러일으킨다. 그러나 동시에 바다는 거대한 사회적·경제적 흐름(돈의 흐름, 운명)을 나타내며, 개인의 불행이 어떻게 흘러가거나 사라질 수 있는지(혹은 사라지지 않는지)의 불확실성을 드러낸다. 실제로 돈이 흐르는 장면은 환희를 주기도 하나, 돈이 손에 들어오거나 현실적 결합·책임과 연결될 때는 불안과 침묵을 야기한다(위 2번 참조).
비교 요약:
- '젊은 느티나무'의 물: 개인의 생기·정화·젊음과 공동체적 유대의 상징. 구체적·작고 친밀한 장소(약수터)에서 신체적 회복을 제공한다.
- '백치 아다다'의 물(바다): 거대하고 상징적인 '흘려보냄'과 해방의 이미지이자, 동시에 사회경제적 운명의 흐름. 돈과 연동되어 희망(불행의 소멸)과 불안(책임·속박)의 이중적 의미를 띤다.
결론적으로 두 작품의 '물'은 모두 정화와 변화의 가능성을 지니지만, '젊은 느티나무'에서는 개인적·즉각적 회복과 젊음의 활력으로, '백치 아다다'에서는 사회적·운명적 흐름과 해방 혹은 상실의 양면성으로 기능한다.
Reference
https://alexzhang13.github.io/blog/2025/rlm/
Alex L. Zhang | Recursive Language Models
We propose Recursive Language Models (RLMs), an inference strategy where language models can decompose and recursively interact with input context of unbounded length through REPL environments.
alexzhang13.github.io
https://arxiv.org/abs/2512.24601v1
Recursive Language Models
We study allowing large language models (LLMs) to process arbitrarily long prompts through the lens of inference-time scaling. We propose Recursive Language Models (RLMs), a general inference strategy that treats long prompts as part of an external environ
arxiv.org
https://github.com/alexzhang13/rlm
GitHub - alexzhang13/rlm: General plug-and-play inference library for Recursive Language Models (RLMs), supporting various sandb
General plug-and-play inference library for Recursive Language Models (RLMs), supporting various sandboxes. - alexzhang13/rlm
github.com