분류 전체보기 498

[AI] 딥러닝(정리중)

목차머신러닝 역사 & 기본 개념머신러닝의 종류머신러닝에 주로 사용되는 파이썬 라이브러리Scaling(스케일링)과 정규화스케일링 종류Feature Engineering 머신러닝 Model 개발 플로우전통적인 지도학습 알고리즘평가 지표용어 정리1. 머신러닝 역사 & 기본 개념전통적 프로그래밍 (Traditional Programming)전통적인 프로그래밍 방식은 사람이 규칙(rule) 을 직접 만들어주는 rule base 방식이다. 이 방식은 데이터가 많아질수록 규칙을 모두 사람이 정의하기 어려워지는 한계가 있다.예: if-else 규칙 기반 시스템특징: 규칙은 알지만, 답은 모르는 방식 → 사람이 "조건"을 정의해야 하고, 컴퓨터는 그 규칙을 실행만 한다.머신러닝 (Machine Learning)머신러닝은..

AI 2025.11.27

[AI] Apache Spark 특징 (정리중)

Apache Spark 개념 및 특징 정리Apache Spark는 대규모 데이터 분석과 분산 처리를 위해 만들어진 오픈소스 프레임워크입니다.빅데이터 환경에서 빠른 속도, 다양한 데이터 처리 기능, 그리고 확장성을 제공합니다.특징1. High Performance (고성능)In-Memory 연산을 통해 기존 Hadoop MapReduce보다 훨씬 빠른 속도를 제공합니다.MapReduce는 디스크 기반으로 데이터를 저장하고 네트워크를 통해 데이터를 주고받는 과정이 많아 속도가 느립니다.Spark는 데이터를 메모리에 올려서 연산을 수행하고, 꼭 필요할 때만 디스크나 네트워크를 사용합니다.덕분에 최대 100배 이상 빠른 성능을 보여주기도 합니다.머신러닝용 라이브러리(MLlib), 그래프 연산 라이브러리(Grap..

AI 2025.11.27

[C#서버] Akka.net과 Cluster Part.5 적용해보자!

그동안 공부했던 Akka.net과 IOCP 등 여러 기술을 조합하여 Messenger 서버를 개발해 보고 있습니다. https://github.com/tkddls3319/Akka.net-IOCP-Web-MessengerServer GitHub - tkddls3319/Akka.net-IOCP-Web-MessengerServer: Akka.net과 IOCP를 결합한 채팅 서버 ( Cluster )Akka.net과 IOCP를 결합한 채팅 서버 ( Cluster ). Contribute to tkddls3319/Akka.net-IOCP-Web-MessengerServer development by creating an account on GitHub.github.com

[C#서버] Akka.net과 Cluster Part.4

Akka.NET 클러스터란?Akka.NET 클러스터는 여러 대의 서버(노드)를 하나의 분산 시스템으로 구성하여 확장성, 고가용성, 그리고 장애 복구 기능을 제공하는 시스템입니다. 각 서버는 독립적인 역할을 수행하며, 클러스터를 통해 서로 협력하여 부하를 분산하고 높은 가용성을 유지할 수 있습니다.클러스터의 주요 특징과 개념확장성 및 역할 기반 분산 처리:Akka.NET 클러스터는 서버를 필요에 따라 쉽게 추가하거나 제거할 수 있습니다. 이를 통해 시스템은 수평으로 확장 가능하며, 클라이언트 수나 데이터 처리량이 증가해도 효율적으로 대응할 수 있습니다.각 서버는 클러스터 내에서 특정 역할을 맡습니다. 예를 들어, MMORPG 같은 게임에서는 이동 서버, 전투 서버, 채팅 서버 등 기능별로 서버를 나눠 관리..

[C#서버] Akka.net과 Actor모델 Part.3

주요내용분산 메세지 전달과 RouterPool RouterActorSelect와 Route 비교HOCON을 사용한 Router 설정비동기 actor간 메시지 전달 PipeTo와 ReceiveAsync비동기 호출 단순화 akka.Interfaced액터 메세지 수신 교착 상태 방지와 ReceiveTimeout1. 분산 메세지 전달 Router라우터는 다른 actor 그룹으로 메시지를 전달하는 메시징 허브 역할을 하는 특별한 종류의 actor 입니다. 라우터의 목적은 실제 작업을 수행할 배우들(즉, 라우티)을 통해 작업(메시지 스트림)을 분배하고 균형을 맞추는 것입니다.라우터는 actor이지만 기존 actor와 다르게 한 번에 여러 메시지를 처리할 수 있습니다. 라우터의 목적은 메시지를 처리하는 것이 아니라,..

[C#서버] Akka.net과 Actor모델 Part.2

주요내용액터 메시지 처리 스레드 관리 DispatcherAkka.Net 애플리케이션 설정 HOCON(Human-Optimized Config Object Notation)ReceiveActor메세지 예약 Scheduler퍼블리시 구독 (pub-sub) 패턴런타임 액터 동작 전환 BecomeStacked와 UnbecomStacked액터 동작 전환과 메세지 임시저장 Stash1. Dispatcher ( 액터 메시지 처리 스레드 관리 )액터를 사용할 때, 메시지가 액터에 도달하는 과정은 매우 중요합니다. 여기서 핵심 역할을 하는 것이 바로 Dispatcher입니다. Dispatcher는 액터의 메일박스에서 메시지를 꺼내어 액터가 실제로 작업을 수행하는 OnReceive() 메서드로 전달하는 중개자입니다. 쉽게..

[C#서버] Akka.net과 Actor모델 Part.1

주요내용Akka.net 이란?액터관리와 ActorSystem 액터간 메세지 전달 Tell액터참조와 IActorRef액터생성과 Props액터간 감독과 예외처리 supervision주소로 액터 찾기 ActorSelectionActorSelection과 IActorRef 차이점액터 라이프사이1. Akka.net이란?.NET 플랫폼에서 사용할 수 있는 오픈 소스 프레임워크로, Actor 모델을 구현하여 병렬성과 분산 시스템을 쉽게 구축할 수 있도록 도와줍니다.2. Actor모델 이란?Actor 모델은 큰 프로젝트에서 여러 작업을 동시에 처리하거나, 많은 사용자가 동시에 접속하는 시스템을 만들 때 매우 유용한 패턴입니다. 이 모델을 이해하기 위해 먼저, 우리가 흔히 사용하는 객체 지향 프로그래밍(OOP)과 비교해..

[AI]AI 서버의 메모리 구조와 LLM 메모리 동작 원리 (양자화 등)

AI와 LLM을 공부하면서 “GPU 메모리와 시스템 메모리는 각각 어떤 역할을 할까?”라는 의문이 들었다.처음엔 단순히 처음엔 단순히 “GPU가 빠르니까 무조건 좋겠지”라고 생각했는데,LLM 모델을 직접 다뤄보면서 이게 그렇게 간단한 게 아니라는 걸 알게 됐다.공부하면 할수록 두 메모리의 역할이 확실히 다르다는 걸 알게 됐다.이 글은 내가 공부하면서 직접 정리한 내용들을 중심으로,AI 서버의 메모리 구조와 LLM이 실제로 어떻게 메모리를 사용하는지 정리한 것이다. 1. GPU 메모리(VRAM)와 시스템 메모리(RAM)의 차이일단 간단하게 말하면,VRAM(GPU 메모리) → 계산이 직접 일어나는 공간RAM(시스템 메모리) → 계산을 준비하고 관리하는 공간이렇게 구분할 수 있다.예를 들어 이미지를 분류하는 ..

AI 2025.11.06

[NetWork] 기업에서 VPN과 ACL를 사용하는 이유

VPN(Virtual Private Network)란?VPN은 공용 네트워크(예: 인터넷)를 통해 사설 네트워크에 안전하게 접속할 수 있도록 하는 암호화된 터널로 인터넷을 통해도 내부망처럼 동작가능합니다 이런 동작이 가능한 이유는 IP마스킹을 통해 사용자 IP를 숨기고 사내망 IP로 대체 하기 때문입니다. 즉 VPN은 인증된 사용자만 원격 접속을 가능하게 하는 고급 암호화 및 인증 기법입니다. 기업에서 VPN을 사용하는 이유는 보통 원격 근무 지원, 보안 통신, 내부망 리소스 접근 제어, 지사 간 통신 보안 확보를 위해 사용됩니다.사용 목적설명 원격 근무 지원 외부 직원이 사내망에 안전하게 접속 가능보안 통신내부 시스템이나 파일 서버 접속 시 데이터 보호내부망 리소스 접근 제어VPN을 통해서만 접근 가능..

IT지식/NetWork 2025.08.05

[AI] logging Mixin 패턴으로 구현하는 구조화된 로깅 시스템과 FastAPI 요청 추적

요청별 추적과 구조화된 로깅이 필수적입니다. 이번 글에서는 FastAPI와 Mixin 패턴을 활용하여 효과적인 로깅 시스템을 구축하는 방법을 소개하겠습니다. 1. 구조화된 JSON 로깅 시스템1.1 핵심 구성 요소먼저 JSON 형식의 구조화된 로그를 생성하는 시스템을 만들어보겠습니다.비동기 환경에서의 요청 추적: FastAPI나 다른 비동기 웹 프레임워크에서는 여러 요청이 동시에 처리됩니다 요청별 로그 분리: 각 HTTP 요청마다 고유한 request_id를 부여하여, 하나의 요청과 관련된 모든 로그를 쉽게 추적할 수 있습니다 자동 로그 태깅: 모든 로그 레코드에 현재 컨텍스트의 request_id를 자동으로 추가합니다 일관성 보장: 개발자가 매번 수동으로 request_id를 로그에 추가할 필요가 없습..

AI 2025.07.28