발자취

목차머신러닝 역사 & 기본 개념머신러닝의 종류머신러닝에 주로 사용되는 파이썬 라이브러리Scaling(스케일링)과 정규화스케일링 종류Feature Engineering 머신러닝 Model 개발 플로우전통적인 지도학습 알고리즘평가 지표용어 정리1. 머신러닝 역사 & 기본 개념전통적 프로그래밍 (Traditional Programming)전통적인 프로그래밍 방식은 사람이 규칙(rule) 을 직접 만들어주는 rule base 방식이다. 이 방식은 데이터가 많아질수록 규칙을 모두 사람이 정의하기 어려워지는 한계가 있다.예: if-else 규칙 기반 시스템특징: 규칙은 알지만, 답은 모르는 방식 → 사람이 "조건"을 정의해야 하고, 컴퓨터는 그 규칙을 실행만 한다.머신러닝 (Machine Learning)머신러닝은..

Apache Spark 개념 및 특징 정리Apache Spark는 대규모 데이터 분석과 분산 처리를 위해 만들어진 오픈소스 프레임워크입니다.빅데이터 환경에서 빠른 속도, 다양한 데이터 처리 기능, 그리고 확장성을 제공합니다.특징1. High Performance (고성능)In-Memory 연산을 통해 기존 Hadoop MapReduce보다 훨씬 빠른 속도를 제공합니다.MapReduce는 디스크 기반으로 데이터를 저장하고 네트워크를 통해 데이터를 주고받는 과정이 많아 속도가 느립니다.Spark는 데이터를 메모리에 올려서 연산을 수행하고, 꼭 필요할 때만 디스크나 네트워크를 사용합니다.덕분에 최대 100배 이상 빠른 성능을 보여주기도 합니다.머신러닝용 라이브러리(MLlib), 그래프 연산 라이브러리(Grap..

AI와 LLM을 공부하면서 “GPU 메모리와 시스템 메모리는 각각 어떤 역할을 할까?”라는 의문이 들었다.처음엔 단순히 처음엔 단순히 “GPU가 빠르니까 무조건 좋겠지”라고 생각했는데,LLM 모델을 직접 다뤄보면서 이게 그렇게 간단한 게 아니라는 걸 알게 됐다.공부하면 할수록 두 메모리의 역할이 확실히 다르다는 걸 알게 됐다.이 글은 내가 공부하면서 직접 정리한 내용들을 중심으로,AI 서버의 메모리 구조와 LLM이 실제로 어떻게 메모리를 사용하는지 정리한 것이다. 1. GPU 메모리(VRAM)와 시스템 메모리(RAM)의 차이일단 간단하게 말하면,VRAM(GPU 메모리) → 계산이 직접 일어나는 공간RAM(시스템 메모리) → 계산을 준비하고 관리하는 공간이렇게 구분할 수 있다.예를 들어 이미지를 분류하는 ..

요청별 추적과 구조화된 로깅이 필수적입니다. 이번 글에서는 FastAPI와 Mixin 패턴을 활용하여 효과적인 로깅 시스템을 구축하는 방법을 소개하겠습니다. 1. 구조화된 JSON 로깅 시스템1.1 핵심 구성 요소먼저 JSON 형식의 구조화된 로그를 생성하는 시스템을 만들어보겠습니다.비동기 환경에서의 요청 추적: FastAPI나 다른 비동기 웹 프레임워크에서는 여러 요청이 동시에 처리됩니다 요청별 로그 분리: 각 HTTP 요청마다 고유한 request_id를 부여하여, 하나의 요청과 관련된 모든 로그를 쉽게 추적할 수 있습니다 자동 로그 태깅: 모든 로그 레코드에 현재 컨텍스트의 request_id를 자동으로 추가합니다 일관성 보장: 개발자가 매번 수동으로 request_id를 로그에 추가할 필요가 없습..

vLLM은 대형 언어 모델(LLM)의 추론 및 서빙을 효율적이고 고속으로 처리할 수 있는 오픈소스 라이브러리입니다. 특징고성능 추론 및 서빙OpenAI 호환 API 서버다양한 모델 지원하드웨어 및 분산 추론 지원vllm web 서버 생성먼저 로컬 모델이나 허깅페이스에서 사용할 모델을 다운로드하거나 정해야 한다.chat-template ./qwen3_nonthinking.jinja은 https://qwen.readthedocs.io/en/latest/deployment/vllm.html 에서 다운로드할 수 있다. qwen3의 nothink를 위한 chat template이다 think를 사용하고 싶으면 안 해도 된다.vllm serve 로컬 모델경로 or 허깅페이스 가능 --served-model-nam..

1. Milvus 다운로드Milvus는 vectordb로 리눅스 환경에서 동작한다.https://milvus.io/docs/ko/install_standalone-docker-compose.md Docker Compose로 Milvus 실행하기(Linux) | Milvus 문서화Docker Compose를 사용하여 Milvus를 독립형으로 설치하는 방법을 알아보세요. | v2.6.xmilvus.io Docker Compose를 다운로드하기 위해 https://github.com/milvus-io/milvus/releases/ 에 접속해서 원하는 버전의 Docker Compose 파일을 다운로드한다.docker-compose.yaml은 Milvus를 실행시키기 위해 필요한 3개의 서비스 컨테이너 서비스를 ..

보호되어 있는 글입니다.

LangGraph는 상태 기반 LLM을 만들기 위한 프레임워크입니다. 쉽게 말해 LLM의 현재 상태에 따라 조건문 반복문 등을 사용하여 유연한 LLM 워크플로우를 만들 수 있는 기능으로 StateGraph, MessageGraph, ReAct 등이 있습니다.  구성요소구성요소설명노드(Node)실행 단위. LLM 호출, 함수 실행 등.엣지(Edge)다음에 어떤 노드로 갈지 정의. 조건 분기, 루프 가능.상태(State)전체 흐름에서 공유되는 데이터. 상태를 기준으로 흐름 결정 가능. 상태(State) - 모든 노드가 공유하는 데이터상태는 전체 그래프 에서 사용하는 공용 데이터로 그래프가 처리하는 데이터 구조를 정의하는 객체입니다. 일반적으로 StateGraph에서는 기존 상태를 ovrride(덮어쓰기)합니..

[Tool Calling 이란?]Tool Calling(도구 호출)은 LLM이 단순 텍스트 응답을 넘어서, 등록된 함수나 프로그램을 직접 실행하고 그 결과를 응답에 반영하는 기능이다. 즉, LLM이 사용자의 질문을 분석해 필요한 툴을 스스로 판단하고 실행하는 구조이다. 예시 질문필요한 툴LLM에게 질문LLM이 선택한 필요한 툴“서울 오늘 날씨 어때?”날씨 API“파스타 요리법 알려줘”위키백과 검색 도구“삼성전자 주가 알려줘”주식 데이터 API“23 + 45는?”계산기 함수“내 회사 문서에서 찾은 요약 보여줘”벡터 DB 툴 (RAG) Tool Calling 흐름Tool Calling 흐름[User 입력] ↓[LLM 판단: "이건 툴이 필요하군!"] ↓[툴 이름 + 인자 → Tool 호출] ↓[결..

대형 언어 모델(LLM)을 활용한 파인튜닝은 이제 누구나 해볼 수 있을 만큼 쉬워졌지만, SFT, PEFT, RLHF, DPO, PPO, RL 등 용어가 너무 많고 헷갈리는 경우가 많습니다. 이번 글에서는 LLM 파인튜닝 전략을 개념 중심으로 정리해보고,언제 어떤 방법을 선택해야 하는지 흐름별로 알아보겠습니다.전체 개념 흐름 데이터 있음   |   |-- 자원이 부족하거나 빠르게 실험하고 싶다   |      -->  PEFT (LoRA, QLoRA)   |   |-- 자원이 충분하고 최대 성능이 목표다   |      -->  Full SFT   |   v 모델이 기본적인 응답을 하게 됨 (SFT 완료)   |   |-- 더 공손하고, 사람 같은 답변을 만들고 싶다   |      -->  RLHF (..