KalelPark's LAB

Chroma란?- Embeding vector를 저장하기 위한 오픈소스이다. LLM 앱 구축에 용이하게 활용될 수 있습니다. 주요 특징은 다음과 같다.임베딩 및 메타데이터 저장: 대규모의 임베딩 데이터와 이와 관련된 메타데이터를 효율적으로 저장할 수 있습니다.문서 및 쿼리 임베딩: 텍스트 데이터를 벡터 공간에 매핑하여 임베딩을 생성할 수 있으며, 이를 통해 검색 작업이 가능합니다.임베딩 검색: 사용자 쿼리에 기반하여 가장 관련성 높은 임베딩을 찾아내는 검색 기능을 제공합니다.OpenAIEmbeddings 란?- 문서의 내용을 수치적인 벡터로 변환하는 과정이다. 문서의 의미를 수치화하고, 다양한 자연어 처리 작업에 활용할 수 있습니다. 더 나아 가, 이러한 정보를 포착하여 문서의 의미를 인코딩합니다. ..

LangChain Expression Language (LCEL)- 라이브러리에서 제공하는 선언적 방식의 인터페이스로, 복잡한 LLM (Large Language Model) 애플리케이션을 구축하고 실행하기 위 한 도구. 쉽게 말하면, 각 구성 요소를 함수처럼 “파이프(|)”로 연결해 대화 흐름을 만들 수 있게 해주는 문법. - 목적은, 체인을 간결하게 표현하고, 동기/비동기 모두 지원하도록 설계한 것이다.from langchain_ollama import ChatOllamafrom langchain.prompts import PromptTemplatefrom langchain.schema.output_parser import StrOutputParser# 1. 프롬프트 템플릿 정의prompt =..

PromptTemplate 이란?- 언어 모델에 프롬프트를 생성하기 위한 사전 정의된 포맷이다. Template에는 instructions, few-shot 예제, 특정 컨텍스트와 질문등을 포함할 수 있습니다. - 다양한 것들을 활용하여, prompt template을 구축하는 것이 가능합니다.from langchain.prompts import PromptTemplatetemplate = "{task}을 수행하는 함수를 {language}으로 작성해 줘~"prompt_template = PromptTemplate.from_template(template)print(prompt_template) prompt = prompt_template.format(task="0부터 5까지 덧헴", languag..

LangChain 이란?- 대규모 언어 모델 (LLM)을 활용한 애플리케이션 개발에 특화된 오픈소스 프레임워크이다. 단순하게 말하자면, 복잡한 워크플로우를 구성하는 tool이라고 보면 됩니다.LangChain, LangGrah, LangFlow 주요 기능들LangChain 기능 - LLM 애플리케이션 개발을 위한 기본 프레임워크LLM 지원: GPT-4, Llama 3 등 다양한 LLM을 지원하며, API 키만 입력하면 바로 사용프롬프트 템플릿: 하드코딩 없이 유동적으로 프롬프트를 구성체인(Chains): 여러 작업을 연결하여 하나의 워크플로우로 실행인덱스(Indexes): 문서 로더 및 벡터 데이터베이스를 통해 외부 데이터를 활용메모리: 애플리케이션이 이전 대화 내용을 기억할 수 있도록 지원합니다.에이전..