본문 바로가기

명사 美 비격식 (무리 중에서) 아주 뛰어난[눈에 띄는] 사람[것]

AI/LLM

NLTK의 토큰화 모델이 다운로드되지 않았을 때: Resource punkt not found Resource punkt_tab not found. (feat.nltk.download('punkt'))

LookupError                               Traceback (most recent call last)
/tmp/ipykernel_2213/2634140280.py in <cell line: 0>()
----> 1 sent_tokens = nltk.sent_tokenize(clean_lower)
      2 print(sent_tokens)

/usr/local/lib/python3.12/dist-packages/nltk/tokenize/__init__.py in sent_tokenize(text, language)
    117     :param language: the model name in the Punkt corpus
    118     """
--> 119     tokenizer = _get_punkt_tokenizer(language)
    120     return tokenizer.tokenize(text)
    121 

/usr/local/lib/python3.12/dist-packages/nltk/tokenize/__init__.py in _get_punkt_tokenizer(language)
    103     :type language: str
    104     """
--> 105     return PunktTokenizer(language)
    106 
    107 

 

 

 

 

 

다운로드시 추가 실행.

nltk.download('punkt_tab')

 

 

 

 

 

해결