LLM
LLM의 주요 파라미터는 생성되는 답변의 창의성 후보단어 선택범위, 출력길이를 제어하는 설정이다.
얼마나 다양한 단어를 선택할 것인지 Temperature, 후보단어 범위를 결정하는 Top P은 Nucleus Sampling 이라고도 하며, 모델이 생성할 수 있는 최대 출력 길이를 제한하는 설정 Maximun Tokens
https://standout.tistory.com/1879
LLM의 정의와 LLM 종류
LLMLarge Language Model, 대규모 언어모델GPT-3 는 2020 년에 공개된 대표적인 초거대언어모델이며, 1,750 억 개 파라미터를 가진 자기회귀 언어 모델기존 NLP모델은 감성분석, 번역모델, 요약모델, 질문답
standout.tistory.com
각 설정의 의미
| 역할 | 값이 낮을 때 | 값이 높을 때 | |
| Temperature | 단어 선택의 다양성 조절 | 일관성, 정확성 증가 | 창의성, 다양성 증가 |
| Top P (Nucleus Sampling) | 후보 단어 선택 범위 결정 | 상위 확률 단어만 선택 | 다양한 후보 단어 고려 |
| Maximum Tokens | 생성 가능한 최대 출력 길이 제한 | 짧은 답변 생성 | 긴 답변 생성 가능 |
작업유형
| Temperature | Top P | Maximum Tokens | ||
| 사실 기반 질문(Q&A) | 0.0 ~ 0.3 | 0.8 ~ 1.0 | 300 ~ 1,000 | 정확성을 우선하며 일관된 답변을 생성 |
| 프로그래밍(Code 생성) | 0.0 ~ 0.2 | 1.0 | 500 ~ 2,000 | 코드 오류를 줄이고 일관성을 유지 |
| 문서 요약 | 0.2 ~ 0.4 | 0.9 ~ 1.0 | 500 ~ 1,500 | 핵심 내용 위주로 안정적인 요약 생성 |
| 번역 | 0.0 ~ 0.3 | 1.0 | 500 ~ 2,000 | 의미를 정확하게 전달하는 번역 |
| 보고서 작성 | 0.4 ~ 0.6 | 0.9 ~ 1.0 | 1,000 ~ 4,000 | 자연스럽고 논리적인 문장 구성 |
| 블로그 글 작성 | 0.6 ~ 0.8 | 0.9 ~ 1.0 | 1,500 ~ 4,000 | 다양한 표현과 읽기 쉬운 문체 생성 |
| 소설·동화 작성 | 0.8 ~ 1.0 | 0.9 ~ 1.0 | 2,000 ~ 8,000 | 창의적인 전개와 다양한 표현 생성 |
| 시(詩) 작성 | 0.9 ~ 1.2 | 0.95 ~ 1.0 | 500 ~ 2,000 | 독창적인 표현과 감성적인 문장 생성 |
| 아이디어 브레인스토밍 | 0.8 ~ 1.2 | 0.95 ~ 1.0 | 1,000 ~ 3,000 | 다양하고 창의적인 아이디어 제안 |
| 마케팅 카피 | 0.7 ~ 1.0 | 0.9 ~ 1.0 | 300 ~ 1,000 | 흥미롭고 설득력 있는 문구 생성 |
| 챗봇 일반 대화 | 0.7 | 1.0 | 500 ~ 2,000 | 자연스럽고 유연한 대화 유지 |
목적TemperatureTop PMaximum Tokens
| Temperature | Top P | Maximum Tokens | |
| 정확한 답변 | 0.2 | 1.0 | 1,000 |
| 균형 잡힌 답변 | 0.5 | 1.0 | 2,000 |
| 창의적인 글쓰기 | 0.9 | 0.95 | 4,000 |
| 매우 창의적인 스토리 | 1.1 | 0.95 | 8,000 |
