분류 전체보기 (1870) 썸네일형 리스트형 SK 네트웍스 AI 캠프 - 3_초거대언어모델(LLM) - Day43_Tools를 활용한 ReAct 에이전트 구현 어제 휴가로 인한 보충이론 기록 startPrompt EngineeringRole 역할, Instruction 지시, Context 맥락, Format 형식.위 4개를 채울수록 결과가 안정된다. 역할지시 맥락은 system_instruction에 데이터는 contents에 넣는다. 맥락에 모르면 모른다는 안정장치를 넣으면 환각이 줄어든다. shot 예시는 너무 적으면 모델이 기준을 못잡고 너무 많으면 토큰 비용이 늘고 효과는 점점 줄어든다. json으로만 답하라고프롬프트로 명령할 수도 있고 response_mime_type으로 강제할 수 있다 .후자가 더 안전하다. response = client.responses.create( model="gpt-5", input="""다음 정보를 JSO.. [SK네트웍스 Family AI 캠프] 32기 11주차 회고: Day40 ~ Day43 회고목적수려한 문장체, 완벽한 기승전결을 중시하지않고 어디까지나 좋은 개발자로 성장하기 위 한 도구로써 지속가능한 주간회고록을 작성한다.요약회고1. 지난 일주일 동안 가장 인상 깊었던 배움에는, 내가 학습을 하지않고 안주하며 회사생활을 하는동안에도 여러기업들은 LLM을 발전시키고있었다는 것 2. 그 배움까지에 어떤 어려움이 있었는가를보면, 생가기보다 LLM이 방대하고 종류가 많고 현재 진행중인 분야다 보니 좋은 학습방법을 찾기 어렵다는 점3. 그 과정에서 나의 깨달음, 감정/생각 이 있다면, 결국은 넓게 보는게 유리한것같다. 관심을 가지고, 이것저것 해보면서 학습하는것이다 .4. 결과적으로, 현재 나의 상태는, 약간 과부하가 온것같다. 해커톤 면접 자격증 공부 외 개인적인 스케줄을 .. SK 네트웍스 AI 캠프 - 3_초거대언어모델(LLM) - Day42_Vector DB vector databasevector db는 텍스트, 이미지, 음성등을 벡터 embedding 형태로 저장하고 유사도 검색을 수행하는 데이터베이스 많은 문서를 빠르게 검색하기 위한 전용 데이터 베이스FAISS, Chroma, Milvus, Qdrant, Pinecone, Weaviate, Elasticsearch, OpenSearch, LanceDB가 있다. AI 및 RAG 학습에는 FAISS, pdf 기반 챗봇은 CHroma, 기업용 RAG서비스에는 Qdran, 초대규모 데이터에는 Milvus, 서버관리없이 빠른구축에는 Pinecone, 키워드 및 의미검색 통합에는 Elasticsearch와 Opensearch를 사용한다https://standout.tistory.com/1876 RAG(Retrie.. Vector Database: [LangChain] FAISS, Chroma, Milvus, Qdrant, Pinecone, Weaviate, Elasticsearch, OpenSearch, LanceDB vector database회사에 제품설명서, 업무 메뉴얼, 사내규정, 환불정책, 고객 faq, 기술문서, 계약서 등 수백개에서 수천개까지 존재해 이 문서를 잘게 나눠 chunking 임베딩 embedding하면 엄청난 양의 벡터가 만들어진다. 이를 단순한 numpy 검색으로 처리하기 어려워지며 vector database를 사용한다.vector db는 텍스트, 이미지, 음성등을 벡터 embedding 형태로 저장하고 유사도 검색을 수행하는 데이터베이스 많은 문서를 빠르게 검색하기 위한 전용 데이터 베이스FAISS, Chroma, Milvus, Qdrant, Pinecone, Weaviate, Elasticsearch, OpenSearch, LanceDB가 있다. AI 및 RAG 학습에는 FAISS, .. Chunking과 Embedding: Fixed Size / Recursive / Overlap Chunking Chunk1제품의 배터리는 후면 커버를 제거한 후 교체할 수 있습니다.배터리 교체 후에는Chunk2배터리 교체 후에는 반드시 전원을 다시 켜야 합니다.A/S 기간은 구매일 기준 1년입니다.Chunking과 Embedding은 RAG에서 항상 함께 등장한다. Chunking은 긴 문서를 LLM이 처리하기 좋은 작은 단위(Chunk)로 나누는 과정 100페이지 PDF를 하나의 덩어리로 검색하면 원하는 내용을 찾기 어렵기 때문에 일정한 크기로 분할한다. LLM은 한 번에 처리할 수 있는 입력(Token)이 제한되어 있고 문서 전체를 하나의 벡터로 만들면 질문과 관련된 일부 내용만 정확하게 찾기 어렵기 때문이다 . Chunking의 출력은 텍스트(Text)로 숫자로 변환되지않았다.[ "회사 소개...", .. ANN 알고리즘이란? HNSW, IVF, PQ, DiskANN ANN 알고리즘 Approximate Nearest Neighbor 근사 최근접 이웃일반적인 검색이 벡터 100, 000개를 모두 비교해 정확하지만 시간이 오래걸린다면, ANN검색은 가까울 가능성이 높은 후보만 선택해 후보끼리만 비교해 가장 가까운 벡터를 선택해 빠르게 탐색한다.약간의 오차를 동반한다.대표적인 ANN 인덱스 알고리즘에는 HNSW, IVF, PQ, DiskANN이 된다 .HNSW, IVF, PQ, DiskANN은 직접 구현해서 사용하는 알고리즘이 아니라, Vector DB나 FAISS가 내부적으로 사용하는 인덱스(Index) 구조. 개발자는 "어떤 인덱스를 사용할지"만 선택하면 되고, 실제 그래프 생성이나 클러스터 분할은 라이브러리가 자동으로 수행한다. - HNSW(Hierarchica.. SK 네트웍스 AI 캠프 - 3_초거대언어모델(LLM) - Day41_LLM의 주요 기능과 활용 사례 LLM자연어를 이해하고 생성하는 AI모델https://standout.tistory.com/1879 LLM의 정의와 LLM 종류LLMLarge Language Model, 대규모 언어모델GPT-3 는 2020 년에 공개된 대표적인 초거대언어모델이며, 1,750 억 개 파라미터를 가진 자기회귀 언어 모델기존 NLP모델은 감성분석, 번역모델, 요약모델, 질문답standout.tistory.com openai api는 텍스트 생성, 자연어 처리, 이미지 이해등 다양한 작업을 api로 사용할 수 있다. https://standout.tistory.com/1891 openai api란? api_key, 예시코드, web_search, File Search, Code Interpreter, Function Cal.. Playground LLM API 실습도구: OpenAI Gemini(Google AI Studio) Claude Playground코드를 작성하지 않고 웹화면에서 LLM API를 직접 테스트할 수있는 실습도구Playground에서는 system Instruction, Model, Temperature, Top p, Max Output Tokens를 설정할 수 있다. api를 발급받아 활용해 직접 구현을 할수도있고, AI 회사가 제공하는 playground에 직접 접속해 테스트해 볼 수 도 있다 . https://platform.openai.com/playground?utm_source=chatgpt.com OpenAI Platform platform.openai.com OpenAI가 최신 추론 모델(GPT-5 계열 등)에서는 일부 생성 파라미터보다 다음과 같은 옵션을 더 강조하기 시작해 다소 속성이 바뀌었다. .. BaseModel과 BaseSettings (feat.Pydantic) pydantic_settings BaseSettings 애플리케이션 설정을 관리하기 위한 Pydantic클래스.코드에 직접 적지않고 환경변수 .env 파일또는 운영체제 환경변수에 저장된 설정값을 자동으로 읽어오는 기능.api키, 데이터베이스 주소, 비밀번호등을 코드에 하드코딩하면 보산상 좋지않으니 설정을 안전하고 일관되게 관리할수있도록 도와준다.https://standout.tistory.com/1893 Pydantic으로 basemodel 와Field() 사용하기: schema, Pydantic, 기본값(default), 설명(description), 예시(example),PydanticPython에서 데이터를 검증하고 관리하기 위한 라이브러리 데이터의 구조를 정의하는 클래스 BaseModel, 설정을.. Pydantic으로 basemodel 와Field() 사용하기: schema, Pydantic, 기본값(default), 설명(description), 예시(example), 숫자 범위(ge, gt, le, lt), 문자열 길이(min_length, max_length), 별칭(alias), PydanticPython에서 데이터를 검증하고 관리하기 위한 라이브러리 데이터의 구조를 정의하는 클래스 BaseModel, 설정을 관리하는 클래스 BaseSettings가 있다. BaseModelPydantic에서 제공하는 부모클래스request와 response데이터의 구조 schema를 정의하기 위해 사용한다. Schema란 데이터의 설계도.from pydantic import BaseModelclass User(BaseModel): name: str age: int BaseModel을 사용하면 FastAPI가 요청데이터를 검증, 자료형 확인, json데이터를 python 객체로 변환, python객체를 json으로 변환하여 응답 반환, swqgger ui 에서 api문서를.. Chatbot이란? (feat.openai chatgpt) Chatbot사람과 자연어로 대화하는 프로그램초기의 챗봇은 미리 준비된 답변, 키워드 검색, 규칙기반 방식을 사용했으나 ChatGPT는 LLM, 딥러닝, Transformer, NLP 기술을 이용해서 사람과 거의 비슷한 수준의 대화를 수행한다.https://standout.tistory.com/1879 LLM의 정의와 LLM 종류LLMLarge Language Model, 대규모 언어모델GPT-3 는 2020 년에 공개된 대표적인 초거대언어모델이며, 1,750 억 개 파라미터를 가진 자기회귀 언어 모델기존 NLP모델은 감성분석, 번역모델, 요약모델, 질문답standout.tistory.comhttps://standout.tistory.com/1877 GPT (Generative Pre-trained Tr.. openai api란? api_key, 예시코드, web_search, File Search, Code Interpreter, Function Calling, Remote MCP, Streaming, Agents openai api는 텍스트 생성, 자연어 처리, 이미지 이해등 다양한 작업을 api로 사용할 수 있다. OpenAI API는 프로그램에서 ChatGPT(GPT-5.5)를 사용할 수 있도록 해주는 서비스sk-xxxxxxxxxxxxxxxxxxxx 처럼 생긴 비밀번호 키로 인증해 권한설정.api_key="sk-xxxx" 등으로 문서에 작성하면 git에도 올라갈수도있어 위험하니 환경변수에 저장하라. export OPENAI_API_KEY="your_api_key_here". Windows에서는 OPENAI_API_KEY라는 이름으로 등록하면 SDK가 자동으로 읽는다 .SDK는 직접 HTTP요청을 보내지않아도되는 API를 쉽게 사용할 수 있게 만든 라이브러리[js] npm install openai / [pyt.. SK 네트웍스 AI 캠프 - 3_초거대언어모델(LLM) - Day40_LLM 텍스트 생성 제어 파라미터 LLMLLM의 주요 파라미터는 생성되는 답변의 창의성 후보단어 선택범위, 출력길이를 제어하는 설정이다. 얼마나 다양한 단어를 선택할 것인지 Temperature, 후보단어 범위를 결정하는 Top은 Nucleus Sampling 이라고도 하며, P, 모델이 생성할 수 있는 최대 출력 길이를 제한하는 설정 Maximun Tokenshttps://standout.tistory.com/1879 LLM의 정의와 LLM 종류LLMLarge Language Model, 대규모 언어모델GPT-3 는 2020 년에 공개된 대표적인 초거대언어모델이며, 1,750 억 개 파라미터를 가진 자기회귀 언어 모델기존 NLP모델은 감성분석, 번역모델, 요약모델, 질문답standout.tistory.com Temperatrue가 높을.. 429 RESOURCE_EXHAUSTED. {'error': {'code': 429, 'message': 'You exceeded your current quota, please check your plan and billing details 오류가 발생했습니다. 429 RESOURCE_EXHAUSTED. {'error': {'code': 429, 'message': 'You exceeded your current quota, please check your plan and billing details. For more information on this error, head to: https://ai.google.dev/gemini-api/docs/rate-limits. To monitor your current usage, head to: https://ai.dev/rate-limit. \n* Quota exceeded for metric: generativelanguage.googleapis.com/generate_content_free.. GPT 프롬프트 명령어 및 올바른 명령법 : TL;DR, ELI10, CRITIQUE, SIMPLIFY || QOE, /X10THINK 프롬프트는 영어 단어의 의미를 이해해서 동작하는 것이지, 미리 등록된 기능이 있어서가 아니다.접두사하나보다 출력형식을 함께 지정하는 것이 훨씬 효과적이다. 예를들어, 다음 글을 요약해 줘.조건- 5줄 이내- 핵심만- 마지막에 한 문장 결론 작성https://standout.tistory.com/1875 프롬프트 엔지니어링 Prompt Engineering: AI에게 원하는 결과를 얻기 위해 입력(프롬프트)을 효과적으프롬프트 엔지니어링 Prompt Engineering프롬프트만 잘작성해도 원하는 결과를 얻을 수 있다. 프롬프트 엔지니어링(Prompt Engineering) AI에게 원하는 결과를 얻기 위해 입력(프롬프트)을 효과적으로 작성standout.tistory.com 그러나 만일 개인프롬프트 .. 시스템 지시 system instruction: 모델에게의 배역 설명서 시스템 지시 system instruction모델에게 너는 누구이고, 어떻게 답해야하는지의 규칙. 배역 설명서'당신은 친절한 상담원이고 항상 존댓말이어야한다.'라는 문구에 사용자 질문이 바뀌어도 역할이 유지되게한다. 좋은 시스템지시는 역할, 태도, 안정장치등의 누가 어떻게 모를경우를 명시한다.config에 보통 작성된다. Config │ ▼ System Instruction (역할 및 규칙 설정) │ ▼ 사용자 질문(User) │ ▼ LLM │ ▼ 역할과 규칙을 유지한 답변SYS.. Agents Agentic AI의 4요소 LLM, 도구, 기억, 루프 : 프롬프트, API 호출, Agent Loop, RAG, 장기기억, 팀협업(feat.에이전트 아키텍처 그리기) Agentic AI 에이전트형 AI 두뇌 LLM에 세가지를 붙인 시스템 도구, 기억, 루프.말은 잘하지만 스스로 행동은 못하는 도구. 여기에 도구.기억.반복 루프를 붙여 실제로 일을 끝내게 만든것이 에이전트. https://standout.tistory.com/1879 LLM의 정의와 LLM 종류LLMLarge Language Model, 대규모 언어모델GPT-3 는 2020 년에 공개된 대표적인 초거대언어모델이며, 1,750 억 개 파라미터를 가진 자기회귀 언어 모델기존 NLP모델은 감성분석, 번역모델, 요약모델, 질문답standout.tistory.comhttps://standout.tistory.com/1876 RAG(Retrieval-Augmented Generation)와 LLM의 Halluci.. LLM의 파라미터 Temperature, Top P( Nucleus Sampling), Maximun Tokens LLMLLM의 주요 파라미터는 생성되는 답변의 창의성 후보단어 선택범위, 출력길이를 제어하는 설정이다. 얼마나 다양한 단어를 선택할 것인지 Temperature, 후보단어 범위를 결정하는 Top P은 Nucleus Sampling 이라고도 하며, 모델이 생성할 수 있는 최대 출력 길이를 제한하는 설정 Maximun Tokenshttps://standout.tistory.com/1879 LLM의 정의와 LLM 종류LLMLarge Language Model, 대규모 언어모델GPT-3 는 2020 년에 공개된 대표적인 초거대언어모델이며, 1,750 억 개 파라미터를 가진 자기회귀 언어 모델기존 NLP모델은 감성분석, 번역모델, 요약모델, 질문답standout.tistory.com 각 설정의 의미 역할값이 낮.. [SK네트웍스 Family AI 캠프] 32기 10주차 회고: Day35 ~ Day39 + 6월 종합 회고목적수려한 문장체, 완벽한 기승전결을 중시하지않고 어디까지나 좋은 개발자로 성장하기 위 한 도구로써 지속가능한 주간회고록을 작성한다.요약회고1. 지난 일주일 동안 가장 인상 깊었던 배움에는, gpt에 시크릿모드가있었다는것을 새롭게 알게됬다. 왜 그동안 그렇게 많이 써놓고 몰랐을까? 또 배워도배워도 배울게많다.2. 그 배움까지에 어떤 어려움이 있었는가를보면, 여러가지 지식이 몰려와도 평정심을 잃지않고 하나하나 짚어가며 공부하는것.3. 그 과정에서 나의 깨달음, 감정/생각 이 있다면, 배우면 배울수록 내가아는것들이 결국 교집합이었고 알아야할게 많아진다.4. 결과적으로, 현재 나의 상태는, 바쁘다. 공고지원도 병행하고있으며 면접도 두개잡혔다.5. 이 상태에서 다음 일주일을 더 잘 보내려면,.. 파이썬 머신러닝 판다스 데이터 분석 - part1_판다스 입문 데이터 과학은 데이터를 연구하는 분야.판다스 라이브러리는 데이터르 수집하고 정리하는데 최적화된 도구.오픈소스라 무료다. 판다스만 배우면 데이터 과학의 80~90% 업무를 처리할 수 있다.서로 다른 종류의 데이터를 한곳에 담는 컨테이너 1차원 시리즈와 2차원 데이터프레임이 있다. 시리즈인덱스와 값과 일대일 대응이 된다. 사전구조와 비슷하다. 판다스 내장함수. Series()type() 객체 자료형 확인하기 .index 인덱스 배열 선택.values 값 배열만 선택len 원소 개수 확인하기dtype 원소의 자료형 확인하기shape 배열의 형태 확인하기ndim 배열이나 데이터 구조의 차원 수sr[1,2] 리스트 형태로 짝을 이루는 원소 데이터를 모두 반환st[1:2] 정수형 위치 인덱스, 여러개의 원소 데.. SK 네트웍스 AI 캠프 - 3_초거대언어모델(LLM) - Day39_LLM의 개념과 API LLM기존 NLP모델은 감성분석, 번역모델, 요약모델, 질문답변 모델 등 작업별로 따로 학습해야했지만 GPT-3이후 LLM은 프롬프트만 바꿔도 여러 작업을 수행할 수 있게 되었다. Pre-trainingLLM을 만들때 가장 먼저 수행하는 대규모 사전 학습단계, 모델은 인터넷, 문서, 책, 코드, 위키문서 등 대량의 텍스트를 학습하면서 정답패턴을 예측한다. 이 과정을 매우 큰 데이터로 반복하면 모델은 문장구조이해, 단어의미관계학습, 문맥파악, 상식적표현, 코드패턴, 질문답변 구조를 학습 할수 있다. LLM 종류Decoder-only모델: GPT 계열 이전 토큰을 보고 다음 토큰 생성Encoder-only모델: BERT 계열 문장을 이해하고 분류Encoder-decoder 모델 : T5, BART 입력문.. FastAPI란? Python으로 REST API와 웹 백엔드 서버 개발하기 FastAPIPython으로 REST API와 웹 백엔드 서버를 매우 쉬고 빠르게 개발 할 수 있도록 만들어진 고성능 웹프레임워크클라이언트 요청을 받아 데이터처리를 하며 결과를 JSON으로 응답한다. 백엔드 API 서버를 만드는 도구.async/await 기반 비동기 처리를 지원해 동시에 많은 요청을 처리 가능하다.코드가 간결하고 성능이 매우 좋고 데이터 검증을 자동 처리하고 SQLAlchemy등 DB연동이 쉽지만Django처럼 관리자 페이지가 없고 구조를 직접 설계하며, async 개념을 알아야 제대로 활용이 가능하다는 단점이 있다 . @app.get() → 조회@app.post() → 생성@app.put() → 수정@app.delete() → 삭제BaseModel → 데이터 검증/docs → 자동 A.. GPT 채팅방 전체삭제 및 시크릿모드 계정클릭 - 설정 - 데이터제어 - 삭제 잠시 쓸 개인적인 질문들에 유용한 임시채팅 새 채팅으로 돌아오면 임시채팅은 즉시사라지며, gpt는 기억하지못한다. LLM의 정의와 LLM 종류 LLMLarge Language Model, 대규모 언어모델GPT-3 는 2020 년에 공개된 대표적인 초거대언어모델이며, 1,750 억 개 파라미터를 가진 자기회귀 언어 모델기존 NLP모델은 감성분석, 번역모델, 요약모델, 질문답변 모델 등 작업별로 따로 학습해야했지만 GPT-3이후 LLM은 프롬프트만 바꿔도 여러 작업을 수행할 수 있게 되었다. LLM 종류Decoder-only모델: GPT 계열 이전 토큰을 보고 다음 토큰 생성Encoder-only모델: BERT 계열 문장을 이해하고 분류Encoder-decoder 모델 : T5, BART 입력문장을 다른 문장으로 변환instruction-tuned모델: InstructGPT, ChatGPT 계열 사람의 지시를 잘 따르도록 추가학습Multimod.. SK 네트웍스 AI 캠프 - 3_초거대언어모델(LLM) - Day38_자연어 처리를 위한 어탠션과 트랜스포머 언어모델은 규칙 기반 시스템과 통계적 언어모델에서 현재는 Transformer 기반의 대규모 언어모델로 발전했다 . Transformer 아키텍처는 문장 속 단어들 사이의 관계와 중요도를 계산하는 Attention 매커니즘을 사용한다. 방대한 데이터를 미리 학습하는 사전학습 방식을 적용해 다양한 작업에서 높은 성능을 제공한다. https://standout.tistory.com/1846 Attention 메커니즘만을 이용하여 문장을 처리하는 딥러닝 모델 Transformer (feat.Self-Attention, Multi-Head ATransformer란? Attention 메커니즘만을 이용하여 문장을 처리하는 딥러닝 모델기존의 RNN, LSTM, GRU는 단어를 순서대로 처리했지만, Transform.. GPT (Generative Pre-trained Transformer) , Decoder-Only Transformer: Transformer의 Decoder만 사용하는 언어모델, GPT-1, GPT-2, GPT-3, GPT-4 GPT (Generative Pre-trained Transformer)GPT는 언어모델에 속하는 인공지능 모델이다 OpenAI 는 GPT 를 지속적으로 발전시켜 더욱 뛰어난 모델을 출시하고 있다. 이미지를 이해하는 멀티모달기능, 인식능력향상, 추론능력향상, 높은 성능의 유로 서비스 등.. 챗봇, 문서작성, 코드생성, 번역, 요약에 사용된다 .https://standout.tistory.com/1848 자연어 처리에서 사용하는 대표적인 딥러닝 모델: DNN, CNN , RNN , LSTM , GRU , Seq2Seq , Attention, Transforme자연어 처리에서 사용하는 대표적인 딥러닝 모델 DNN (Deep Neural Network)가장 기본적인 딥러닝 모델 여러개의 은닉층을 가진 인공신경.. RAG(Retrieval-Augmented Generation)와 LLM의 Hallucination(환각): 외부 문서를 검색한 후 검색 결과를 바탕으로 답변을 생성하는 기법 RAG(Retrieval-Augmented Generation)기업은 범용 언어모델을 그대로 사용하는 것이 아니라 사내 문서, 정보, 고객데이터 등을 추가해 기업전용 AI시스템을 구축하며 LLM은 이때 존재하지않는 정보를 생성하는 환각 Hallucination문제가 발생할 수 있다. 이를 해결하기 위해 외부 문서를 검색한 후 검색 결과를 바탕으로 답변을 생성하는 RAG 기법을 사용한다. 기업에서 ChatGPT와 같은 LLM을 업무에 활용할 때 거의 필수적으로 사용한다 .검색(Retrieval) + 생성(Generation) 합친 기술 2025년까지의 데이터를 학습했는데 우리 회사 2026년 휴가 규정이 뭐야? 라 질문했을때LLm은 모르지만 답을 만들어낼 수 있는데 이것이 Hallucination(환각.. 프롬프트 엔지니어링 Prompt Engineering: AI에게 원하는 결과를 얻기 위해 입력(프롬프트)을 효과적으로 작성하는 기법 - Zero-shot / One-shot / Few-shot Prompting 프롬프트 엔지니어링 Prompt Engineering프롬프트만 잘작성해도 원하는 결과를 얻을 수 있다. 프롬프트 엔지니어링(Prompt Engineering) AI에게 원하는 결과를 얻기 위해 입력(프롬프트)을 효과적으로 작성하는 기법생성형 AI는 같은 모델이라도 프롬프트를 어떻게 작성하느냐에 따라 결과의 품질이 크게 달라집니다. 그래서 모델을 다시 학습시키지 않고도 프롬프트만 잘 설계하여 원하는 답변을 얻는 것을 프롬프트 엔지니어링이라고한다.번역해. -> 다음 한국어 문장을 자연스러운 영어로 번역하세요. Zero-shot Prompting: 예시를 하나도 주지 않고 바로 작업을 지시하는 방법이 영화는 정말 재미있었다., 이 문장의 감정을 분석하세요. One-shot Prompting예시를 1개 .. 최신 AI 모델을 쉽게 사용하는 Hugging Face: Model Hub, Transformers 라이브러리, Datasets Hugging Face최신 AI 모델을 쉽게 사용할 수 있도록 PyTorch, TensorFlow 프레임워크를 지원한다. 복잡한 모델도 몇줄의 코드만으로 사용할 수 있다. 특히 NLP, 이미지 모델, 생성형 AI를 다루는 표준 도구처럼 사용된다.원래 Ai모델을 사용하려면 모델 구조 직접 구현, 데이터 전처리, 학습 코드 작성, GPU 설정, 가중치 관리가 필요했다 . 이를 Hugging Face는 이미 만들어진 모델을 불러와서 2~5줄 코드로 사용하도록 도와준다 . 핵심구성에는 Model Hub, Transformers 라이브러리, Datasets가 있다. - Model HubBERT, GPT, T5, ELECTRA, CLIP 등 거의 모든 AI 모델 저장소인 GitHub처럼 “AI 모델 버전 관리.. 파인튜닝(Fine-Tuning): 전이학습시 사전학습된 모델에 새로운 데이터를 추가해 목적에 맞게 다시 학습시키는 과정 파인튜닝(Fine-Tuning)전이학습시 사전학습된 모델에 새로운 데이터를 추가해 목적에 맞게 다시 학습시키는 과정. 일반적인 언어 지식을 의료 법률 금융 등 특정 산업의 전문지식으로 확장할 수 있다. https://standout.tistory.com/1813 모델이 학습이 덜됬거나 과하게 됬거나: Underfitting (언더피팅), Overfitting (오버피팅)과 해결방법 -Underfitting (언더피팅)모델이 충분히 학습되지않은 상태,아직 덜 배운상태.모델이 너무 단순하거나 학습이 부족하거나 특징이 부족할 수있다. 학습이 부족해서 발생한 언더피팅 → 더 학습하면standout.tistory.com 대규모로 학습시킨 BERT 모델을 영화감정분석 모델로 활용할 수 있다 .https://st.. 이전 1 2 3 4 ··· 63 다음
