Chunking과 Embedding: Fixed Size / Recursive / Overlap Chunking

Chunk1
제품의 배터리는 후면 커버를 제거한 후 교체할 수 있습니다.
배터리 교체 후에는

Chunk2
배터리 교체 후에는 반드시 전원을 다시 켜야 합니다.
A/S 기간은 구매일 기준 1년입니다.

Chunking과 Embedding은 RAG에서 항상 함께 등장한다. Chunking은 긴 문서를 LLM이 처리하기 좋은 작은 단위(Chunk)로 나누는 과정 100페이지 PDF를 하나의 덩어리로 검색하면 원하는 내용을 찾기 어렵기 때문에 일정한 크기로 분할한다. LLM은 한 번에 처리할 수 있는 입력(Token)이 제한되어 있고 문서 전체를 하나의 벡터로 만들면 질문과 관련된 일부 내용만 정확하게 찾기 어렵기 때문이다 . Chunking의 출력은 텍스트(Text)로 숫자로 변환되지않았다.

[
    "회사 소개...",
    "제품 구성...",
    "배터리 교체...",
    "환불 정책..."
]

 

 

Fixed Size Chunking 일정한 글자 수 또는 토큰 수로자르거나
Recursive Chunking 문단 → 문장 → 단어 순으로 최대한 의미를 유지하며 분할한다.
Overlap Chunking 앞뒤 일부 내용을 겹쳐서 저장해 문장이 중간에 끊기는 문제를 줄일 수 있다. 

 

Fixed Size Chunking 

구현이 제일 간단하고 속도가 빠르나 문장이 중간에서 끊겨 의미가 손실될 수 있다.

제품의 배터리는 후면 커버를 제거한 후 교체할 수 있습니다.
배터리 교체 후에는 반드시 전원을 다시 켜야 합니다.
A/S 기간은 구매일 기준 1년입니다.
환불은 구매 후 14일 이내 가능합니다.

Chunk1
제품의 배터리는 후면 커버를 제거한 후 교체할 수 있습니다.
배터리 교체 후에는

Chunk2
반드시 전원을 다시 켜야 합니다.
A/S 기간은 구매일 기준 1년입니다.
환불은 구매 후 14일 이내 가능합니다.

 

 

Recursive Chunking

의미손실이 적고 검색정확도가 높으나 Fixed Size보다 처리 과정이 조금 더 복잡하다.

제품의 배터리는 후면 커버를 제거한 후 교체할 수 있습니다.
배터리 교체 후에는 반드시 전원을 다시 켜야 합니다.
A/S 기간은 구매일 기준 1년입니다.
환불은 구매 후 14일 이내 가능합니다.

Chunk1
제품의 배터리는 후면 커버를 제거한 후 교체할 수 있습니다.

Chunk2
배터리 교체 후에는 반드시 전원을 다시 켜야 합니다.

Chunk3
A/S 기간은 구매일 기준 1년입니다.

Chunk4
환불은 구매 후 14일 이내 가능합니다.

 

 

 

Overlap Chunking'

문장이 중간에서 끊겨도 문맥이 유지되고 검색 정확도가 향상되나 중복저장으로 인해 Chunk 갯수가 증가하며 저장공간과 임베딩 비용이 조금 늘어난다 .

제품의 배터리는 후면 커버를 제거한 후 교체할 수 있습니다.
배터리 교체 후에는 반드시 전원을 다시 켜야 합니다.
A/S 기간은 구매일 기준 1년입니다.

 

 

Fixed Size	...배터리 교체 후에는 / 반드시 전원을...	글자 수·토큰 수 기준으로 잘라 문장이 끊길 수 있음
Recursive	배터리 교체 후에는 반드시 전원을 다시 켜야 합니다.	문장·문단을 최대한 유지하여 의미 보존
Overlap	배터리 교체 후에는가 두 Chunk에 모두 존재	앞뒤 내용을 겹쳐 문맥 손실을 줄임

 

 

 

 

 

 

Embedding은 텍스트를 의미를 담은 고차원 숫자 벡터(Vector)로 변환하는 과정이다.

LLM은 문장을 직접 비교하지 않고 이 벡터를 비교하여 의미가 비슷한 문장을 찾는다.

컴퓨터는 문장의 의미나 비슷한 의미를 잘 알지 못하니가까운 위치에 벡터등을 배치해 인식시키는것. 

출력은 숫자벡터이다. 

환불은 어떻게 하나요?

[0.12,
-0.55,
0.71,
...
1536개 숫자]

https://standout.tistory.com/1834

문장을 숫자로 바꾸기 워드임베딩, 단어의 의미 벡터(embedding)를 데이터로부터 학습하는 신경망

 

 

 

 

 

RAG에서는 항상 Chunking → Embedding 순서로 진행돈다 .

chunk 하나당 embedding 하나가 생성된다.

구분	Chunking	Embedding
목적	긴 문서를 작은 단위로 분할	텍스트를 숫자 벡터로 변환
입력	원본 문서(PDF, DOCX, TXT 등)	Chunk(텍스트)
출력	여러 개의 텍스트 Chunk	여러 개의 벡터(Vector)
데이터 형태	문자열(String)	숫자 배열(Float Vector)
수행 시점	임베딩 전에 수행	청킹 후 수행
이유	검색 정확도 향상, LLM 입력 크기 제한 해결	의미 기반 유사도 검색 가능
결과 개수	여러 개의 Chunk 생성	Chunk마다 하나의 벡터 생성
예시	100페이지 → 300개 Chunk	300개 Chunk → 300개 벡터