오늘은 langchain에서 core component 인 document, document_loaders에 대해서 뜯어보려한다. 문서를 처리하는것은 langchain에서 핵심적인 컴포넌트이고 문서 처리 이후 변환하는 작업은 langchain만의 특장점이기도하다. 그래서 메모리에 효율적으로 로딩하고 파싱하는 특별한 방식이 있을 것 같아서 기대를 갖고 분석을 시작했다. 1. document_loaders는 문서를 로드하는 폴더2. documents는 문서를 처리하는 폴더 로 보여진다. 1. document_loadersdocument_loaders는 BaseLoader, BaseBlobParser라는 두가지 추상 클래스를 정의하고 있다.class BaseLoader(ABC): # noqa: B024 ..
