AI (22) 썸네일형 리스트형 Model load error. Was model saved using code from an older Gensim Version? Python과 gensim의 버전문제 key_to_index 버전에 영향을 덜받도록 key를 숫자화해 사용하기 실행하는데 어러가났다. Model load error. Was model saved using code from an older Gensim Version?발견된 ko.bin 경로: ['/content/models/ko.bin', '/content/models/ko.bin']사용할 ko.bin 경로: /content/models/ko.binERROR:gensim.models.word2vec:Model load error. Was model saved using code from an older Gensim Version? Try loading older model using gensim-3.8.3, then re-saving, to restore compatibility with current code... 토픽 모델링이란?: 비슷한 위치에 모인 단어와 문서를 같은 주제 Topic으로 묶는 기술. 토픽 모델링비슷한 위치에 모인 단어와 문서를 같은 주제 Topic으로 묶는 기술. 스포츠, 영화, 정치”라고 라벨을 달지 않아도, 알고리즘이 단어들의 분포와 동시 등장 패턴을 분석해서 문서를 몇 개의 주제(topic)로 묶는다 .단순한 긍정 부정 분류를 넘어 영화 내용등 주제별로 세밀하게 나누어 분석함. 좋다/나쁘다라는 감정분석이 아니라 '무슨이야기인가'를 묻는 토픽은 감정분석 목적이 다르다. 텍스트 분석은 텍스트표현, 유사도계산, 토픽 군집화로 3단 계층이다. 텍스트표현: 문장을 숫자로 바꾼다. TF-IDF, Word2Vec, BERT 유사도계산: 벡터간 얼마나 비슷한지 코사인유사도토픽 군집화: 비슷한것들끼리 묶어서 주제를 생성 LDA, K-means, BERTopichttps://standout.t.. 비슷한것들끼리 묶어서 주제를 생성하는 토픽 군집화의 전통적인 방법: LDA Latent Dirichlet Allocation. (feat.pyLDAvis) 비슷한 맥락에서 등장하는 단어들은 비슷한 의미를 가진다는 분산가설 Distributional Hypothesis 에서 출발함“You shall know a word by the company it keeps”Word2Vec, BERT, GPT 전부의 철학. 단어를 여러 축 차원에 따라 좌표로 표현하며 같은 공간에 위치한 단어들은 비슷한 뉘앙스나 시제를 가졌다고 판단함. 유사성 측정뿐만 아니라 단어간의 관계를 수학적으로 처리가 가능해 왕 - 남자 + 여자 = 여왕 추론이 가능함. 우리말을 벡터공간으로 변환해 의미를 숫자로 파악하고 다시 자연어로 변환하는 과정을 거침. chat gpt 사람의 언어로는 약간 비슷하다 처럼 추상적이지만 컴퓨터로 10점만점에 몇점 식으로 정량적 연산을 수행할 수 있음. 충분한 .. 문장을 숫자로 바꾸기 워드임베딩, 단어의 의미 벡터(embedding)를 데이터로부터 학습하는 신경망 모델 Word Vector, Word2Vec 자연어를 컴퓨터가 이해할 수 있는 숫자 벡터로 변환하는 과정 (feat.원핫 인코딩 One-Hot-Encoding) 빈도분석문장을 숫자로 바꾸는 가장 기초 방법은 빈도기반 방법이있다. 문장을 숫자로 바꾸는 가장 기초 방법은 빈도기반 방법이있다. Count, Frequency, Binary occurrence.https://standout.tistory.com/1833 빈도분석이란? Count, Frequency(count를 비율로 바꾼것), Binary occurrence(나왔는지, 안나왔는지만 보는빈도분석문장을 숫자로 바꾸는 가장 기초 방법은 빈도기반 방법이있다. Count, Frequency(count를 비율로 바꾼것), Binary occurrence(나왔는지, 안나왔는지만 보는 방식).텍스트 데이터를 수치화하기 위해standout.tistory.com 이후 개선된 가중치 방식으로 TF-IDF, IDF, 확장되.. 빈도분석이란? Count, Frequency(count를 비율로 바꾼것), Binary occurrence(나왔는지, 안나왔는지만 보는 방식). feat.TF-IDF, Term Frequency Inverse Document Frequency 단어빈도 역문서 빈도의 조합 빈도분석문장을 숫자로 바꾸는 가장 기초 방법은 빈도기반 방법이있다. Count, Frequency(count를 비율로 바꾼것), Binary occurrence(나왔는지, 안나왔는지만 보는 방식).텍스트 데이터를 수치화하기 위해 단어가 등장하는 횟수를 세는 가장 기초적인 방법감상문 등에서 긍정, 부정 단어가 몇 번 나왔는지 세어 점수를 매기는 방식의 단순 단어빈도방법으로 직설적인 부정표현이 드문 평가문일 경우 단순 빈도 분석만으로는 긍정적으로 해석될 수 있다. from sklearn.feature_extraction.text import CountVectorizervectorizer = CountVectorizer()X = vectorizer.fit_transform(docs)print(vectorize.. 빈도분석 - TF-IDF란? , Term Frequency Inverse Document Frequency 단어빈도 역문서 빈도의 조합. 빈도분석 - TF-IDF, Term Frequency Inverse Document Frequency 단어빈도 역문서 빈도의 조합. 빈도가 높다는 것은 글을 대표한다라는 질문에서 시작됨. 빈도가 높다고 해서 무조건 중요한 것은 아니라는 한계를 극복하고자했다. IT문서내에서는 컴퓨터라는 단어가 빈도가 높지만 중요도가 낮고 , 초등학교 일기에서 '나는 오늘'이 가장 많이 나온다고 해서 일기의 핵심주제가 된다는 의미가 아니듯.from sklearn.feature_extraction.text import TfidfVectorizerdocs = [ "나는 오늘 밥을 먹었다", "나는 오늘 빵을 먹었다", "나는 어제 국을 먹었다"]vectorizer = TfidfVectorizer()X = ve.. 단어유사도 측정 방법 : 코사인 유사도 Cosine Similarity 벡터 간 방향이 얼마나 비슷한가 단어유사도 측정 방법 : 코사인 유사도 Cosine Similarity 벡터 간 방향이 얼마나 비슷한가모든 벡터 기반 NLP에서 공통으로 쓰이는 표준 거리 함수Word Embedding 계열(Word2Vec, GloVe, FastText), TF-IDF 문서 비교, BERT / GPT 임베딩등에 사용됨. K-means BERTTopic 등 클러스터링/토픽 모델링에 간접적으로 사용됨. from sklearn.metrics.pairwise import cosine_similarityv1 = model.wv["밥"].reshape(1, -1)v2 = model.wv["빵"].reshape(1, -1)sim = cosine_similarity(v1, v2)print(sim) 단어 벡터에 입력된 두 단어의 좌.. wordcloud 만들때 데이터가 string형인가 dict형인가 generate() , generate_from_frequencies() - TypeError: unhashable type: 'dict' wordcloud.generate TypeError: unhashable type: 'dict'키를 찾고있는데 딕셔너리가 보여 에러가남.^^^^^^^^^^^^ File "D:\study\sk_playdata\study_ai\llm_workspace\day32_llm_nlp_analysis\test_konlpy_pjt\.venv\Lib\site-packages\wordcloud\wordcloud.py", line 586, in process_text words = re.findall(regexp, text, flags) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "C:\Users\playdata2\AppData\Local\Programs\Python\Python311\Lib\re\__in.. NLTK의 토큰화 모델이 다운로드되지 않았을 때: Resource punkt not found Resource punkt_tab not found. (feat.nltk.download('punkt')) LookupError Traceback (most recent call last) /tmp/ipykernel_2213/2634140280.py in () ----> 1 sent_tokens = nltk.sent_tokenize(clean_lower) 2 print(sent_tokens) /usr/local/lib/python3.12/dist-packages/nltk/tokenize/__init__.py in sent_tokenize(text, language) 117 :param language: the model name in the Punkt corpus 118 """ --> 119 tokenizer .. random_state는 왜 42일까? 또 항상 써야할까? 선택일까? random_state=42는 선택. 하지만 거의 항상 넣는 게 맞다. 예로결과 동일해야 하는 상황 즉 과제 / 보고서, 모델 비교, 실험 재현, 디버깅시 써야하며단순 테스트 혹은 랜덤성 자체가 목적일 때는 사용하지않아도 된다. 예로ML에서는 거의 항상 사용하며 특히 classification에서는 stratify까지 고정으로 같이 쓰게된다.train_test_split(..., random_state=42, stratify=y) 의미는 항상 같은 방식으로 섞어라라는 고정값이다.42는 그저 관례일뿐, 0, 1, 123 을 써도동일하게 작동한다. train_test_split(X, y, random_state=42)random_state는 데이터 섞는 기준을 고정한다.만약 없으면? 실행할 때마다 .. cursor 사용량 소진했을때, 대체품 Windsurf Windsurf 설치https://windsurf.com/ Windsurf - The best AI for CodingWindsurf is the world's most advanced AI coding assistant for developers and enterprises. Windsurf Editor — the first AI-native IDE that keeps developers in flow.windsurf.com 설치 및 실행 사용2026현재 기준으로는 copilot보다 cursor가 '잘'했고windsurf는 cursor보다 빠른듯 하다. 개발형 chat gpt, Cursor AI 우선 cursor ai를 다운로드 하자https://www.cursor.com/ CursorThe AI Code Editorwww.cursor.com 언어 - 한국어 입력 vscode에서 사용중이던 extension들도 불러올 수 있다. 데이터는 나중에 지울 수 있음을 참고하자. 회원가입 - 앱으로 돌아가라는 안내가 뜬다. cursor 앱이 열리며 vscode에서 사용중이던 툴들이 곧 모습을 들어낸다.listtile에서 커서를 focus한 뒤 1초 가량 '머뭇'거리다 tab을 눌러보자 혹시 listtile을 하나 더 만들거냐는 듯 추천해 추가해준다. 원하는게 있다면 Ctrl + L을 눌러보자.창이 열리며 chat gpt와 흡사한 화면을 볼 수있다. 마음에 들었는가?apply를 누르.. chatgpt writer: gpt로 메일쓰기, 답장쓰기 크롭앱스토어 - chatgpt writer - 추가 https://chrome.google.com/webstore/category/extensions?hl=ko Chrome 웹 스토어 Chrome에 사용할 유용한 앱, 게임, 확장 프로그램 및 테마를 찾아보세요. chrome.google.com gmail방문 - 편지쓰기 - writer 아이콘 클릭 답변내용 + 명령하기 - generate email 클릭 insert generated response클릭해 삽입 완료 유튜브를 요약한다, youtube symmary chatgpt 크롭앱스토어 - youtube symmary chatgpt - 추가 https://chrome.google.com/webstore/category/extensions?hl=ko Chrome 웹 스토어 Chrome에 사용할 유용한 앱, 게임, 확장 프로그램 및 테마를 찾아보세요. chrome.google.com 원하는 영상방문 - Transcipt & summary 화살표 클릭시 대본이, gpt 아이콘 클릭시 화면이 새창으로 열리며 요약해준다. 완료. GPT, CLOVA X, BARD 승자는? 당연한 소리겠지만 GPT가 우세하다. 간단한 예로 그 이유를 확인해보자. 같은 문장으로 테스트했을때 결과를 보면 GPT의 답변이 보다 풍부함을 알 수 있다. https://standout.tistory.com/205 openai GPT, 인공지능에게 물어보기 우선 설명에 앞서 openai가 무엇인지 확인해보자. 새로운 대화창을 만들거나, New chat 대화장기록을 삭제하거나 이어갈 수 있고, 답변을 듣는 도중에 취소하고 새로운 질문을 던질 수 있다. 우선 한 standout.tistory.com https://standout.tistory.com/889 google의 gpt, Bard https://bard.google.com/ Bard - Google의 채팅 기반 AI 도구(PaLM2 기반) Goo.. 네이버의 gpt, CLOVA X https://clova-x.naver.com/ CLOVA X 무한한 가능성을 여는 새로운 대화의 시작 clova-x.naver.com 접속 - 시작하기 로그인 - 동의 질문하기 google의 gpt, Bard https://bard.google.com/ Bard - Google의 채팅 기반 AI 도구(PaLM2 기반) Google에서 개발하고 PaLM2를 기반으로 하는 협업형 AI 도구인 Bard에 대해 자세히 알아보고, 이를 통해 아이디어를 실현해 보세요. bard.google.com 접속 - 사용해보기 개인정보보호 동의 질문하기 완료 you, chat gpt기반의 새로운 검색엔진 gpt는 최근 가장 각광받고있으나 질문을 던지면서 고개를 갸웃하며 검색창을 다시 켜본 경험이 있을 것이다. https://standout.tistory.com/205 openai GPT, 인공지능에게 물어보기 우선 설명에 앞서 openai가 무엇인지 확인해보자. 새로운 대화창을 만들거나, New chat 대화장기록을 삭제하거나 이어갈 수 있고, 답변을 듣는 도중에 취소하고 새로운 질문을 던질 수 있다. 우선 한 standout.tistory.com you는 chat gpt기반의 새로운 검색엔진으로 채팅창과 검색결과까지 끌어온다. https://you.com/ 더이상 새로운 인공지능의 시대가 아니라 인공지능이 결합되어 보다 새롭거나 꼼꼼해지는 시대가 찾아오고있다. WordPress 새글쓰기: AI도우미 WordPress GPT 이용해 글쓰기 도구 - AI도우미 - 질문 - ENTER혹은 보내기 클릭 완료 https://standout.tistory.com/841 WordPress 새글쓰기: 새글쓰기 및 썸네일지정 wordpress에서 글쓰기 창으로 넘어가는 방법은 쉽게 찾을 수 있다. 편한루트로 이용하자. 글을 쭉 쓰다가 필요한 형식이있다면 검색하거나 선택해서 이용한다. 이상태로 저장하면 본문에 있는 이 standout.tistory.com https://standout.tistory.com/834 WordPress 카테고리/글 관리하기 글 - 카테고리 보기 - 구버전보기 빠른편집가능 서브 카테고리 설정가능 글 - 모든글 보기 - 구버전보기 빠른편집가능 글 카테고리 설정 가능 standout.tistory.com + 아직 실험버전이기에 추후.. [GPT일지] ChatGPT 코드설명/언어설정 명령 코드설명을 부탁한다. 코드설명 언어설정 모든답변은 한글로 해주세요. https://standout.tistory.com/205 openai GPT, 인공지능에게 물어보기 우선 설명에 앞서 openai가 무엇인지 확인해보자. 새로운 대화창을 만들거나, New chat 대화장기록을 삭제하거나 이어갈 수 있고, 답변을 듣는 도중에 취소하고 새로운 질문을 던질 수 있다. 우선 한 standout.tistory.com chat GPT로 웹페이지를 만들 수 있을까? 앞써 우리는 GPT를 살펴보고 이용해보며 장담점을 느껴봤다. https://standout.tistory.com/205 openai, 인공지능에게 물어보기 우선 설명에 앞서 openai가 무엇인지 확인해보자. 새로운 대화창을 만들거나, New chat 대화장기록을 삭제하거나 이어갈 수 있고, 답변을 듣는 도중에 취소하고 새로운 질문을 던질 수 있다. 우선 한 standout.tistory.com 오늘 우연히 스파르타코딩클럽에서 GPT를 이용한 웹사이트만들기 강의를 봤고 궁금해졌다. 내가 아는 그 GPT로 정말 웹페이지를 만들 수 있을까? https://spartacodingclub.kr/online/special/chatgpt?origin=shared chatGPT로 10분 만에 웹사이트 만들기 | 스파.. GPT란? openai GPT, 인공지능에게 물어보기 GPTGeneral Purpose Technology 일반목적기술 여러 산업과 분야에 걸쳐 적용될 수 있는 범용적이고 광범위한 기술 적용 영역이 넓어 다양한 산업과 분야에 걸쳐 지속적인 경제적 성장을 촉진할 수 있다. 우선 설명에 앞서 openai가 무엇인지 확인해보자. 새로운 대화창을 만들거나, New chat대화장기록을 삭제하거나 이어갈 수 있고, 답변을 듣는 도중에 취소하고 새로운 질문을 던질 수 있다. 우선 한달갈 사용해본 결과답이 확연하게 알려져 검색했을때 여러 비슷한 게시물이 나오는류의 지식검색이 필요할경우인공지능은 인터넷 서치보다 효율적인 결과를 가져온다.하지만사람들의 의견이 다르거나,누군가가 실수를 범한 이론을 웹상에 올린경우 인공지능이 스크랩핑하며 잘못된 지식을 알려줄 수 있다. GP.. 이전 1 다음
