Abstract
LLM은 다양한 작업에서 성공을 거두었고 이를 기반한 Multi-agent system은 복잡한 문제를 해결하고 world-simulation에 상당한 진전을 이루었다.
이러한 Multi-agent에 대한 필수적인 측면과 Chellenge에 대한 심층 깊은 discussion을 제공하기 위해 논문을 썼다.
Introduction
LLM 기반 Multi-agent는 집단 지능과 전문 프로 파일 및 다중 에이전트의 기술을 활용하기 위해 제안되었습니다.
단일 Agent와의 비교
1) 각기 다른 기능을 가진 Agent로 specializing
2) 복잡한 실제 세상을 simulate
- planning, discussion 그리고 decision-making하며 실제 사람이 문제를 해결하는 과정을 본뜸
- 소프트웨어 개발, multi-robot systems, society simulation, policy simulation, game simulation 등
LLM 기반의 멀티에이전트를 LLM-based Multi-Agent (LLM-MA) systems라고 부르고 앞으로 이를 더 발전시키기 위해
Github repo를 운영한다.
우리는 다음에 대해 논의한다.
1) agents-environment interface: 얼마나 detail 하게 task environment와 상호작용하는지
2) agent profiling: agent가 LLM에 의해 어떻게 행동하는지 설명
3) agent communication: agent가 메시지를 교환하고 소통하는 방법을 설명
4) agent capability acquisition: agent가 능력을 가지고 효과적으로 문제를 해결하는 방법 개발
Background
2.1 Single-Agent Systems Powered LLMs
- Tool-use
- Memory
2.2 Single-Agent VS. Multi-Agent Systems
- LLM-MA 시스템은 다양한 에이전트 프로필, 에이전트 간 상호 작용 및 집단 의사 결정 프로세스를 강조
- 더 역동적이고 복잡한 작업은 여러 자율 에이전트의 협업을 통해 해결
- 각 에이전트는 고유한 전략과 행동을 갖추고 있으며 서로 소통에 참여
3.2 Agents Profiling
3.3 Agents Communication
Agents Communication은 크게 3가지로 나눌 수 있음
1) Cooperative
- 공동의 목표 또는 목적을 향해 함께 일하며, 일반적으로 집단적 해결책을 강화하기 위해 정보를 교환합니다.
2) Debate
- 에이전트가 논쟁적인 상호 작용에 참여하고, 자신의 관점이나 해결책을 제시하고 방어하며, 다른 사람들의 관점이나 해결책을 비판할 때 사용됩니다. 이 패러다임은 합의나 보다 세련된 해결책에 도달하는 데 이상적입니다.
3) Competitive
- 다른 에이전트의 목표와 충돌할 수 있는 자신의 목표를 향해 노력합니다.
Communication Structure
3.4 Agents Capabilities Acquisition
agent가 동적으로 배우고 진화할 수 있도록 하는 것에는 2가지의 기본 전략이 있다.
1. feedback을 받으며 배우기 -> Feedback
2. 스스로 조정하기 -> Agents Adjustment to Complex Problems
feedback:
1) Feedback from Environ-ment
2) Feedback from Agents Interactions
3) Human Feedback
4) None
Agents Adjustment to Complex Problems:
1) Memory
2) Self-Evolution
3) Dynamic Generation
- Agent가 agent를 생성하여 현재의 요구와 문제를 해결
- 이러한 Agents Orchestration은 주목받고 있으며 뒤에서 또 이야기를 하겠음
Application
4.2.5 Recommender Systems
"The use of the LLM-MA in recommender systems is similar to that in psychology"
추천 시스템에서 LLM-MA의 유사성
인지 과정 및 성격과 같은 외적 및 내적 인적 요인을 고려하기 때문에 심리학의 사용과 유사합니다.
Challenges and Opportunities
1. 멀티모달 환경으로의 확장
기존의 LLM-MA 연구는 대부분 텍스트 기반 환경에 집중되어 있어 상호작용 방식이 제한적입니다. 멀티모달 환경, 즉 이미지, 오디오, 비디오 등의 다양한 입력을 해석하고 처리할 수 있는 시스템으로의 발전이 필요합니다. 이러한 환경은 LLM-MA 에이전트가 더 다양한 데이터를 이해하고, 보다 복잡한 환경에서 실제와 같은 상호작용을 가능하게 합니다. 하지만 다양한 데이터 유형을 결합하고 이를 해석하는 능력을 기르기 위해 기술적인 어려움이 존재합니다.
2. 환각 문제 해결
LLM에서 흔히 발생하는 환각(hallucination) 문제는 LLM-MA 환경에서도 심각한 이슈로 작용합니다. 환각은 모델이 사실과 다른 정보를 생성하는 문제를 말합니다. 특히, 다중 에이전트 시스템에서는 하나의 에이전트가 생성한 잘못된 정보가 다른 에이전트에게 전달되어 연쇄적으로 잘못된 정보가 퍼질 가능성이 높습니다. 따라서, 각 에이전트의 오류를 수정하는 것뿐만 아니라, 정보 전달 과정에서 환각을 감지하고 교정하는 방법이 필요합니다.
3. 집단 지능의 획득
LLM-MA 시스템에서는 개별 에이전트가 상호작용을 통해 학습하지만, 에이전트 네트워크 전체가 함께 학습하고 진화하는 집단 지능의 획득은 여전히 큰 도전 과제입니다. 현재는 메모리와 자기 발전(Self-Evolution)을 통해 개별 에이전트를 조정하는 방식이지만, 이를 넘어 다중 에이전트의 협력으로 시너지를 발휘하는 지능을 구현하는 방법이 필요합니다. 이는 다중 에이전트의 상호작용에서 나오는 복잡한 정보를 수집하고 조정하는 기술적 연구가 필요합니다.
4. 시스템 확장성 문제
LLM-MA 시스템은 다수의 LLM 기반 에이전트로 구성되며, 이로 인해 시스템의 확장성이 큰 문제로 대두됩니다. 각 에이전트가 GPT-4와 같은 대형 언어 모델에 기반할 경우, 시스템을 확장할수록 엄청난 컴퓨팅 자원과 메모리가 필요합니다. 특히, 제한된 자원 환경에서 다중 에이전트 시스템을 효과적으로 운영하기 위한 에이전트 조정(Orchestration) 및 커뮤니케이션 최적화가 연구되어야 합니다.
5. 평가 및 벤치마크의 부족
LLM-MA 시스템을 평가할 수 있는 포괄적인 벤치마크가 부족한 상황입니다. 현재의 벤치마크는 개별 에이전트의 이해도와 추론 능력을 평가하는 데 중점을 두고 있지만, 다중 에이전트 시스템의 복합적이고 예측 불가능한 행동을 평가할 기준이 필요합니다. 과학 실험이나 경제 분석, 질병 전파 시뮬레이션과 같은 여러 분야에서의 표준화된 벤치마크가 연구된다면 LLM-MA의 능력을 보다 정확히 측정하고 개선할 수 있을 것입니다.
6. 다양한 응용 분야에서의 가능성
LLM-MA 시스템은 금융, 교육, 의료, 환경 과학 등 다양한 분야에서 큰 잠재력을 가지고 있습니다. 다중 에이전트 시스템은 복잡한 문제를 해결하고 현실 세계의 다양한 측면을 시뮬레이션할 수 있는 강력한 도구로 자리 잡고 있습니다. 앞으로 LLM 기술의 발전이 계속됨에 따라, 더 많은 응용 분야에서 더욱 정교한 메소드, 데이터셋, 벤치마크가 개발될 것입니다. 인공지능, 인지과학, 집단 지능 등의 이론적 관점에서도 다중 에이전트 시스템을 연구하는 기회가 될 수 있습니다.
Conclusion
LLM 기반 다중 에이전트 시스템(LLM-MA)은 집단 지능을 보여주며 연구자들 사이에서 빠르게 관심을 끌고 있습니다. 이 설문에서는 LLM-MA 시스템의 발전을 에이전트-환경 인터페이스, LLM을 통한 에이전트의 특성화, 에이전트 간의 커뮤니케이션 관리 전략, 그리고 능력 습득 패러다임이라는 다양한 측면에서 체계적으로 검토합니다. 또한 문제 해결 및 세계 시뮬레이션에서의 LLM-MA 응용 사례를 정리하고, 자주 사용되는 데이터셋과 벤치마크를 소개했습니다. 이를 통해 미래 연구자들이 LLM 기반 다중 에이전트 시스템의 잠재력을 탐구하는 데 필요한 기초 자료로 활용되기를 기대하며, 향후 연구에서 다룰 도전과제와 기회를 논의했습니다.
첫 번째 논문 리뷰 포스팅 후기
글또 3회 차 제출 마지막날에 부랴부랴 작성한 논문 후기라 여러 면에서 많이 아쉽지만(내가 인상 깊다고 생각한 것들만 적은 것 같다..)
이렇게 논문 리뷰를 해보는 것만으로도 머릿속에서 사라질 지식과 남을 지식이 무엇인지 알게 되었다.
이렇게 글을 쓰고 다른 사람의 글을 내 식대로 정리한다는 것은 그 사람의 생각에 대해 공부한다는 것과 같은 것 같다.
오늘은 Multi-agent survey 관련한 논문에 대해 리뷰하였는데 내가 평소 알고 있던 Multi-agent에 대해
더욱 많은 가능성이 있다는 것과 앞으로 해결해 나가야 할 과제가 매우 많다는 것을 깨달았다.
현재 진행하는 Multi-agent 기반 프로젝트를 통해서 생긴 생각이 논문에도 어느 정도 담겨있어 공감이 되었다.
앞으로 더 deep하고 다양한 논문을 읽어보고
이러한 인사이트들을 지속적으로 내 것으로 만들어 실제 프로덕트에 적용해 봐야겠다.
가능성에 대해 어느 정도 확신이 든 만큼, 이 분야를 지속적으로 공부하며 다가올 큰 변화를 선두 하는 AI engineer이자 AI researcher가 되어야겠다.
'논문 리뷰(Paper review)' 카테고리의 다른 글
| (작성중)AdaptThink: Reasoning Models Can Learn When to Think (5) | 2025.06.07 |
|---|