[AI] AI 용어정리

• 프롬프트 - 특정 작업을 수행하도록 생성형 AI에 요청하는 자연어 텍스트입니다.
• NLP -  자연어 처리(NLP)는 인간의 언어를 해석, 조작 및 이해하는 능력을 컴퓨터에 부여하는 기계 학습 기술입니다.
• RAG (Retrieval-Augmented Generation) - 랭체인을 이용하여 LLM을 학습시키는 방식으로 LLM의 재학습 없이 그냥 외부 텍스트를 프롬프트 단에 묶어줘서 결과를 도출하는 것 
• 할루시네이션 - AI 모델이 정확하지 않거나 사실이 아닌 조작된 정보를 생성하는 것을 의미합니다.
• 임베딩(Embedding) - 복잡한 지식 영역을 이해하는 데 사용하는 실제 객체를 수치로 표현한 것입니다.
• vectorStores - 이미 임베딩된 결과값을 저장하는 용도
• one-hot Encoding - 표현하고 싶은 단어의 인덱스에 1의 값을 부여하고, 다른 인덱스에는 0을 부여하는 단어의 벡터 표현 방식입니다. 이렇게 표현된 벡터를 원-핫 벡터(One-Hot vector)라고 합니다.
• sparsity problem (희소성 문제) -  데이터 과학과 자연어 처리 분야에서 자주 마주치는 문제로, 데이터가 매우 드물게 분포되어 있어 분석이나 모델 학습에 어려움을 겪는 현상을 말한다. 특히 자연어 처리에서는 단어가 매우 많고 각 단어가 다양한 문맥에서 사용되기 때문에, 단어 간의 관계를 표현하는 벡터(예: 원-핫 인코딩)가 대부분 0으로 채워지는 희소 벡터가 되는 경우가 많다. 이러한 희소 벡터는 저장 공간과 계산 자원을 비효율적으로 사용하고, 모델의 성능을 저하시킬 수 있다.