DD 님의 블로그

오늘은 langchain에서 core component 인 document, document_loaders에 대해서 뜯어보려한다. 문서를 처리하는것은 langchain에서 핵심적인 컴포넌트이고 문서 처리 이후 변환하는 작업은 langchain만의 특장점이기도하다. 그래서 메모리에 효율적으로 로딩하고 파싱하는 특별한 방식이 있을 것 같아서 기대를 갖고 분석을 시작했다. 1. document_loaders는 문서를 로드하는 폴더2. documents는 문서를 처리하는 폴더 로 보여진다. 1. document_loadersdocument_loaders는 BaseLoader, BaseBlobParser라는 두가지 추상 클래스를 정의하고 있다.class BaseLoader(ABC): # noqa: B024 ..

지난번엔 langchain의 공식 문서를 어느정도 훑어보았고, 이제는 본격적으로 코드에 대해서 뜯어보려한다. 우선 langchain의 폴더 구성은 이렇게 되어있다. langchain과 같은 큰 규모의 생태계를 가진 코드를 분석하는게 생각보다 막막함을 코드를 fork 뜨자마자 느꼈다. 수많은 파일들이 각각 어떤 역할을 하는지 파악하는게 쉬운 일이 아니었다. 이전 이동욱 개발자님의 오픈소스 분석 방법에 관한 글을 보면, 전체적인 아키텍처를 먼저 파악하고 디테일을 보는 것이 우선이라고 하셨으니, 전체적인 아키텍처가 어떻게 구성되어있는지 파악하기 위해 노력했다. 오픈 소스 분석 방법 | 개발자 이동욱 오픈 소스 분석 방법 | 개발자 이동욱오픈 소스 분석 방법 머리속 한켠에는 오픈 소스 활동을 다시 하고 싶다는 ..

공식문서상 Core Components는 8가지로 구성된다.Agents, Models, Messages, Tools, Short-term memory, Streaming, Middleware, Structured output 이다.각 components의 의미와 활용에 대해서 자세하게 명시되어있는데, 내용은 다음과 같다. 1. Agents Core componentsAgents는 LangChain에서 정의하기로, Task를 추론할 수 있는 시스템을 만드는 Tool이다(LLM을 곁들인) LLM Agent는 Stop 조건이 달성되기 전까지 지속적으로 돌아가는데, Stop 조건은 주로 반복 횟수의 limit에 도달하거나, 최종적인 결과물의 도출이다. Agent 내부에서의 Core components는 Mod..

지난번에 오픈소스를 분석해보겠다는 포부를 갖고 Langchain의 동작원리를 익혀보려고 코드를 받아두었다. 열어보니 방대한 양의 폴더와 파일들이 있었고, Langchain 뿐 아니라 Langchain Community라는 또다른 폴더가 있어서, 그 둘을 모두 읽어볼 계획이다. 우선 그 전에 Langchain에서 제공하는 공식 문서를 읽어보면서 기초적인 개념부터 다져보려한다. Home - Docs by LangChain Home - Docs by LangChainWe've raised a $125M Series B to build the platform for agent engineering. Read more.docs.langchain.com LangChain, LangGraph, LangSmith의 차..

오픈소스 분석하는 이유개발자라면 누구나 마음한 켠에 오픈소스 기여를 품고 있다. 내가 존경하는 국내의 유명한 개발자 분들은 대부분 큰 오픈소스에 기여했거나, 본인이 만든 오픈소스를 배포해서 좋은 기회를 얻는 것을 많이 봤다. 그만큼 오픈소스란 어느정도 개발에 대해서 이해가 생겼다면 실력을 올리기에 좋은 방법이라고 생각해서 나도 오픈소스를 시작해보고자한다. 사실 PR을 성공하면 가장 좋겠지만, 꼭 PR을 해야만 의미있는 것은 아니라고 본다. 그냥 내가 자주 쓰는 프레임워크, 프로그램의 코드를 하나하나 뜯어보는 것 자체가 흥미로울 것 같고, 잘쓰여진 코드들을 분석하는 것만으로도 개발 실력을 향상시키는데 큰 도움이 될 것 같다. 어떤 오픈소스를 분석해볼까?분석할 오픈소스를 선택하는 기준으로 두가지가..