본문 바로가기

명사 美 비격식 (무리 중에서) 아주 뛰어난[눈에 띄는] 사람[것]

이론

최신 AI 모델을 쉽게 사용하는 Hugging Face: Model Hub, Transformers 라이브러리, Datasets

 

Hugging Face

최신 AI 모델을 쉽게 사용할 수 있도록 PyTorch, TensorFlow 프레임워크를 지원한다. 

복잡한 모델도 몇줄의 코드만으로 사용할 수 있다. 

 

특히 NLP, 이미지 모델, 생성형 AI를 다루는 표준 도구처럼 사용된다.

원래 Ai모델을 사용하려면 모델 구조 직접 구현, 데이터 전처리, 학습 코드 작성, GPU 설정, 가중치 관리가 필요했다 . 이를 Hugging Face는 이미 만들어진 모델을 불러와서 2~5줄 코드로 사용하도록 도와준다 .

 

 

 

핵심구성에는 Model Hub, Transformers 라이브러리, Datasets가 있다.

 

- Model Hub

BERT, GPT, T5, ELECTRA, CLIP 등 거의 모든 AI 모델 저장소인 GitHub처럼 “AI 모델 버전 관리”의

https://huggingface.co/models

 

 

- Transformers 가져다 쓸수있는 라이브러리와

from transformers import pipeline

classifier = pipeline("sentiment-analysis")

print(classifier("I love AI"))- Hugging Face

POSITIVE (0.99)

 

 

- Datasets

데이터셋도 한 줄로 다운로드 가능하다.

from datasets import load_dataset

dataset = load_dataset("imdb")

 

 

 

 

 

예전 방식 모델 직접 구현 → 학습 코드 작성 → GPU 설정 → 결과 확인을 Hugging Face가 pipeline("sentiment-analysis")로 끝내버렸으니 혁신이아닐 수가 없다 .

 

#감정분석

from transformers import pipeline

sentiment = pipeline("sentiment-analysis")

sentiment("This movie is amazing!")
#번역

translator = pipeline("translation_en_to_ko")

translator("I love AI")
#텍스트 생성

generator = pipeline("text-generation")

generator("Once upon a time")

 

 

 

 

Hugging Face는 직접 AI를 만들지 않는다.

Hugging Face는 “AI 실행 도구”가 아니라 PyTorch, TensorFlow 두 프레임워크 위에서 동작하며 AI사용을 쉽게 만드는 상위 레이어라 볼 수 있다.

사용자 코드

↓

Transformers API

↓

사전학습 모델 (BERT, GPT 등)

↓

결과 출력