Soo 배움일지

Crew AI 실습

Serp API란?웹 검색을 자동화해서 검색 결과를 JSON 형태로 받아올 수 있는 API.Crew AI에서 SearchTool로 실시간 웹 검색 에이전트 구현 시 필수로 사용됨.준비 단계 요약Serp API 사이트 접속구글에 "serp api" 검색아래 링크로 접속:https://serper.dev/회원 가입이름, 이메일, 비밀번호 입력 후 가입가입하면 기본 크레딧 제공 (약 3000건)API Key 확인로그인 후 좌측 메뉴 → API Key 복사예시: sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxColab 또는 로컬에서 환경 변수 저장secrets 혹은 .env에 저장예시 (Python):python 복사편집 import os os.environ["SERPER_API_KEY"] =..

AI Agents with CrewAI

Agentic RAG을 넘어서 Crew AI 기반의 멀티 에이전트 시스템 구축에 도전말 그대로 "AI 팀"을 구성해서 협력하고 동시에 작업하며, 복잡한 문제를 능동적으로 해결하게 만드는 거죠.Crew AI란?Crew AI는 AI 에이전트들이 함께 협력하고, 각자의 역할에 따라 일을 나누어 처리하는 구조를 제공하는 라이브러리입니다.비유하자면?당신은 우주선의 선장이며, AI 에이전트는 전문화된 선원들입니다.각 선원은 "특화된 역할"과 "도구", "업무 절차"를 가지고 함께 우주(=문제)를 탐험합니다!1. Crew AI의 핵심Agent: 역할이 분명한 AI 구성원Task: 에이전트가 수행하는 작업 (업무 지시서)Tool: 정보를 검색하거나, 계산하거나, API를 호출하는 데 사용하는 도구Process: 이 모..

Agentic RAG : AI Agents for RAG

자율적으로 판단하고 대화하는 AI를 만드는 단계입니다.요약: Agentic RAG란 무엇인가요?핵심 목표단순히 정보를 가져오기(fetch)만 하는 것이 아니라,사용자의 요청을 이해하고적절한 판단을 하며정보를 검색하고자연스럽게 대화로 응답할 수 있는 자율적인 AI 에이전트를 만드는 것입니다. AI 에이전트의 핵심 개념1. 자율성 (Autonomy)사람의 개입 없이 스스로 작동사용자의 입력에 따라 적절한 정보를 검색하고 응답2. 인식 (Perception)텍스트, 음성, 이미지 등의 입력 데이터를 받아들이고 분석"이 식당에서 아이들에게 적합한 메뉴가 뭐야?" → 메뉴 정보 검색3. 목표 지향적 행동 (Goal-Oriented Behavior)특정 목표(예: 사용자 질문에 대한 최적의 응답 제공)를 달성하기..

Multimodal Data Project

캡스톤 프로젝트: 스타벅스 실적 발표 분석 RAG 시스템 만들기프로젝트 목적스타벅스의 실적 발표 자료(PDF + 오디오) 기반으로질문-응답이 가능한 RAG 시스템을 구축합니다.목표는 복잡하고 긴 발표 문서 대신,사용자 질문에 정확하고 간결하게 답변해주는 봇을 만드는 것입니다.사용 파일들project_briefing.pdf — 프로젝트 개요earnings_release.pdf — 스타벅스 실적 발표 리포트audio.mp3 — 실적 발표 미팅의 오디오 녹음starter_file.ipynb — (선택 사항) 스타터 코드solution.ipynb — 최종 해답 예시 (학습용)최종 목표멀티모달 RAG 시스템을 통해텍스트(PDF)와음성(오디오 → 텍스트) 자료를 분석사용자의 질문(query)에 대해텍스트 자료 기반..

Multimodal RAG

멀티모달 RAG란?우리가 세상을 이해할 때 단순히 텍스트 정보만 사용하는 것이 아니라 이미지, 음성, 감각까지 활용하듯이,AI도 다양한 데이터 소스를 조합하여 더 깊이 있고 정교한 답변을 생성하도록 설계된 것이 멀티모달 RAG 시스템입니다.핵심 내용1. 멀티모달 데이터 통합텍스트, 이미지, 오디오 데이터를 결합하는 기법각각의 데이터 유형이 서로를 보완하며 강화되는 시스템 구축2. 실전 프로젝트비디오 프레임 추출 및 오디오 텍스트 변환Whisper 모델을 활용한 음성 데이터 처리Clip 모델을 사용한 이미지-텍스트 정렬3. AI 모델 활용OpenAI Whisper 모델을 사용하여 오디오 → 텍스트 변환OpenAI CLIP 모델을 사용하여 이미지 ↔ 텍스트 비교 및 임베딩AI가 텍스트와 이미지를 비교, 연관..

OpenAI RAG

고급 검색(Retrieval)과 생성(Generation)을 결합한 RAG 시스템 제작1. 핵심 개념1) 데이터 변환 마스터하기PDF, 이미지 등 비정형 데이터를 AI가 처리할 수 있도록 변환텍스트, 메타데이터를 추출하여 정리된 AI 데이터로 가공2) GPT를 활용한 OCR(광학 문자 인식) 적용기존 OCR 기술보다 더욱 정교한 텍스트 인식 및 의미 추출단순한 문자 추출이 아닌, 문서의 구조와 의미를 분석하는 기술 적용3) RAG 시스템 구축을 위한 임베딩과 검색 엔진 활용FAISS(Facebook AI Similarity Search) 활용하여 대량 데이터에서 빠르게 검색OpenAI 임베딩 모델을 사용하여 문서를 AI가 쉽게 이해할 수 있도록 변환4) 강력한 검색 시스템 개발기본적인 검색을 넘어 사용자..

Open AI API

1. 이미지 확인하기이 링크는 이미지 URL입니다.해당 링크를 Ctrl + C로 복사한 후 Ctrl + V로 브라우저에 붙여넣어 확인할 수 있습니다.이제 이 이미지를 활용할 준비를 하고,이번 영상에서는 기본적인 셋업 과정을 진행하겠습니다.2. Google Drive와 연결하기먼저 Google Drive에 연결해야 합니다.Colab에서 런타임에 연결 버튼을 클릭한 후, 아래 명령어를 실행하세요.pythonCopyEditfrom google.colab import drivedrive.mount('/content/drive')이제 API 키를 설정할 준비가 되었습니다.3. 현재 디렉토리 설정하기Colab 환경에서 현재 작업 디렉토리를 설정합니다.pythonCopyEditimport osos.chdir('/co..

Long RAG & Light RAG 개요 및 분석

이번 섹션에서는 Long RAG와 Light RAG라는 최신 RAG 프레임워크를 심층적으로 분석했습니다.이 두 모델은 기존 RAG 시스템이 갖고 있던 문제점을 개선하고, 검색 및 생성의 정확성을 높이기 위한 중요한 발전을 보여줍니다.RAG의 기본 구조 및 한계RAG 시스템은 대형 언어 모델(LLM)의 성능을 향상시키기 위해 외부 지식을 검색(Retrieval) 후 활용(Generation)하는 방식으로 동작합니다.하지만 기존 RAG 시스템에는 다음과 같은 문제점이 있었습니다.1. 검색 단위가 작음 → 일반적으로 100~200 단어(짧은 단락) 단위로 검색이 이루어짐.→ 결과적으로 문맥을 충분히 유지하기 어렵고, 관련성이 떨어지는 정보를 검색할 가능성이 높음.2. 검색 최적화 부족 → 대부분의 RAG 모델..

RAG 시스템 개요

RAG는 단순한 텍스트 생성 모델보다 더 정확하고, 더 신뢰할 수 있는 정보를 제공할 수 있는 강력한 방법입니다.RAG란 무엇인가?전통적인 텍스트 생성 모델(GPT 등)의 한계기존 LLM은 훈련 데이터에 의존하여 응답을 생성함최신 정보 반영이 어렵고, 사실 오류(Hallucination) 발생 가능전통적인 검색 기반 모델의 한계검색 시스템은 관련 문서를 잘 찾지만, 자연스럽게 텍스트를 생성하지 못함RAG는 이 두 가지를 결합하여 "검색 + 생성"을 동시에 수행하는 모델→ 검색 시스템으로 먼저 정보를 가져온 후, 생성 모델이 문맥을 반영하여 응답 생성RAG 시스템을 구축하면 할 수 있는 것1. RAG 모델 구현검색 시스템과 생성 모델을 연결하여 외부 문서를 활용한 응답 생성 가능2. 응답 정확도 향상최신 ..