DDD

RECONCILE 논문 설명: 여러 LLM이 토론하면 더 똑똑해질까?LLM을 더 잘 추론하게 만드는 방법은 크게 두 방향으로 발전해왔다. 하나는 모델이 스스로 생각을 정리하게 만드는 방식이다. 대표적으로 Chain-of-Thought, Self-Consistency, Self-Refine 같은 방법이 있다. 다른 하나는 여러 에이전트를 두고 서로 토론하게 만드는 Multi-Agent Debate 방식이다.그런데 기존 방식에는 한 가지 중요한 한계가 있다. 여러 에이전트를 쓴다고 해도, 실제로는 같은 모델을 여러 번 호출하는 경우가 많다는 점이다. 예를 들어 ChatGPT 인스턴스 3개가 서로 토론한다고 해도, 이들은 같은 학습 데이터와 같은 모델 구조에서 나온 응답을 생성한다. 겉으로는 토론처럼 보이지만..

목차1. Recursive Language Model2. Context Rot 문제3. RLM 아키텍처 핵심 설계4. RLM의 장점5. 벤치마크 실험 결과6. 한국 소설로 실험해보기7. 한계점과 미래 방향Recursive Language Model이란?대규모 언어 모델(LLM)은 점점 더 긴 컨텍스트를 처리할 수 있게 되었지만, “한 번의 모델 호출로 모든 컨텍스트를 처리한다”는 전통적인 방식은 여전히 근본적인 한계를 가진다.Recursive Language Model(RLM)은 이 문제를 모델 아키텍처 변경이나 추가 학습 없이, 추론(inference) 단계에서 해결하려는 접근이다.RLM은 단일 LLM 호출을 확장한 추론 전략(inference strategy)겉보기에는 기존 LLM API 호출과 동일..

"상황에 따른 생각의 유연성은 효율성과 정확도를 오히려 향상시킨다"상황에 따른 생각을 구별하는 방법: Rain force Learning(보상 기존의 방법론들은 항상 추론 단계를 거친다는 것이 한계점이었다.그렇기 때문에 이 논문에서는 No-Thinking approach에서 영감을 받아 thinking process를 skip하고 pseudo-thinking process를 통해 바로 최종 응답을 생성하는 연구에 대해서 이야기를 합니다.pseudo-thinking process란?“”와 같이 prompt에 생각을 표현하는 것? No thinking이 단순한 문제에서는 오히려 thinking보다 더 좋은 퍼포먼스를 보여줄 수 있다. 이 논문에서 던진 첫번째 질문추론 모델은 입력 문제의 난이도에 따라 Thi..

무려 1년 만에 밀린 후기를 마무리 하러 왔습니다.이 포스팅은 작년 4월에 진행했던 오픈소스 컨트리뷰션 아카데미 Ontology based RAG에 기반하여 작성이 되었으며 이 과정 중에서 제가 얻었던 인사이트를 포함하고 있습니다.지난 이야기시나리오 1. Light RAG에 supplychain ontology를 쿼리하는 새로운 mode를 만들어 Light RAG에 기여시나리오 2. Light RAG와 별도로 움직이는 Text to Cypher Agent를 만들어 상호작용(채택) 크게 시나리오는 아래 2가지로 나뉜다고 생각했습니다. 위 메세지는 시나리오 1을 한다면 어떻게 할 것인지에 대해 생각을 공유했었습니다.하지만 생각을 해보니 구조 상 Langgraph 기반 Multi-Agent 아키텍처를 구축하는..

Light RAG 리뷰, 그이후어느정도 Light RAG의 리뷰를 하고나서 이제는 실제 문제를 해결해야하는 주차였습니다.제가 속한 team 2에서는 아래 2가지 데이터에서 Graph RAG를 하고자 하였습니다.1. USTR(미국무역대표부) 발언 데이터(2023.01~08) 2. 방글라데시 Supplychain(공급망) Ontology(2023.01~08)이 데이터를 가지고 "USTR 발언이 Supply chain Data에 미치는 영향"을 분석해보고자 하였고초기 아키텍처는 이태님께서 그려주신 방향이었지만Supply chain data의 경우에는 해당 데이터 스키마를 이해해야 쿼리할 수 있는 구조이기 때문에Document RAG에 최적화된 Light RAG와는 맞지 않는 부분이 있었습니다. Q: 왜 Li..

안녕하세요 OSCCA 오픈소스 커뮤니티 컨트리뷰션 Ontology based RAG 멘티로 선정되어 활동한 후기로 돌아왔습니다.약 한 달 동안 감사하게도 Ontology 전문가이신 정이태 멘토님과 온톨로지와 RAG에 진심이신 멘티님들과 활동을 하게 되었습니다.그저 흘려보내기 아까운 시간이기에 매주 일요일마다 멘티의 시선으로 간단한 기록을 해보고자 합니다.(멘토님께서 글을 너무 잘 써주셔서 자세한 기록은 아래 링크를 참고해 주세요)https://www.graphusergroup.com/25-may-1week-graphomakase/?ref=graphomakase-newsletter) 25년 5월 1주차 그래프 오마카세Affordable AI Assistants with Knowledge Graph of ..

서론취준을 하며 간간히 만든 포트폴리오를 보다가 이런 생각이 들었습니다.프로젝트에서 제가 했던 기술적 구현이나 얻은 깨달음은 하나도 블로그에 정리를 안내놨더라구요.. (발표 자료는 많은데)그렇기 때문에 앞으로 차근차근 이전에 했던 프로젝트에서의 경험을 공유하고자 합니다!하나 하나 쌓여서 저의 테크 블로그로부터 많은 분들이 영감을 받기를 바랍니다.(이 포스팅도 현재 다 쓴 것이 아니라서 퀄이 많이 안좋습니다 ㅜㅜ  지금 하고 있는 프로젝트도 있기 때문에 우선 간단히 등록을 하고 앞으로 짬을 내서 업데이트를 하겠습니다.)  단순한 상호작용이 아니라 최대한 다양한 선호를 담아 추천하는 것을 목표로 고민했던 과정에서 했던 경험과 깨달음을 공유하고자 합니다.- DEVOCEAN OpenLab 1기 LLMOps st..

이 글을 쓰게 된 이유 그동안 막연하게 신기하고 혁신적이고 재밌고 나의 대학교 전공이 데이터 사이언스였기 때문에자연스럽게 AI를 접했고 이제는 현업에서 이를 통해 새로운 시도들을 하고 있다.그러다 지금은 글또라는 커뮤니티에서 다양한 사람들을 만나며 어느 정도 개발자의 삶, AI를 공부하는 사람들의 삶,흔한 직장인의 삶을 엿볼 수 있었다.그러면서 느낀 점은 사람들마다 중요하게 생각하는 가치가 다르고 정말 다양한 형태로 자아실현을 하고 있다는 것을 느꼈다. 순간 머리 속에 이런 물음이 떠올랐다.그렇다면 나는 어떤 가치를 중요하게 여기며 자아실현을 하고 있는가? 그렇다면 나는 어떤 가치를 중요하게 여기며 자아실현을 하고 있는가?이 물음이 떠오르게 된 것은 요즘 나도 몰랐던 나를 점점 알게 되어서 인 것같다.최..

https://api.python.langchain.com/en/latest/experimental/graph_transformers/langchain_experimental.graph_transformers.llm.LLMGraphTransformer.htmlLLMGraphTransformer는 텍스트를 Neo4j에 저장할 수 있는 지식 그래프 형태로 변환하는 LangChain 라이브러리입니다.• 비슷한 성질의 텍스트 리스트를 입력하면, 해당 요소들의 관계를 추출하여 노드와 엣지(관계)를 자동 생성합니다.• 노드와 엣지를 LLM이 판단하여 자동 생성하는 것이 주요 장점입니다.• 그래프의 Retrieval 기능을 추가하면 GraphRAG 방식으로 활용 가능합니다.최근에는 비정형 데이터로부터 KG(Knowl..

https://github.com/SynaLinks/HybridAGI GitHub - SynaLinks/HybridAGI: The Programmable Cypher-based Neuro-Symbolic AGI that lets you program its behavior using Graph-baThe Programmable Cypher-based Neuro-Symbolic AGI that lets you program its behavior using Graph-based Prompt Programming: for people who want AI to behave as expected - SynaLinks/HybridAGIgithub.com 소개인공지능(AI) 분야가 발전함에 따라, 복잡한 작업을 ..