분류 전체보기 (1781) 썸네일형 리스트형 모델이 학습이 덜됬거나 과하게 됬거나: Underfitting (언더피팅), Overfitting (오버피팅)과 해결방법 - 데이터증강 ImageDataGenerator, 드롭아웃 nn.Dropout() , 조기종료 EarlyStoping(), 가중치 감쇠 weight_decay, 모델을 단순화, 배치 정규화 BatchNorm2d, BatchNorm1d, 데이터 추가, 전이학습, 교차검증 KFold(), 라벨스무딩 CrossEntropyLoss() Underfitting (언더피팅)모델이 충분히 학습되지않은 상태,아직 덜 배운상태.모델이 너무 단순하거나 학습이 부족하거나 특징이 부족할 수있다. 학습이 부족해서 발생한 언더피팅 → 더 학습하면 개선되고모델 자체가 너무 단순하면 한계가 있다 . Overfitting (오버피팅)어느순간부터 안좋아지기 시작하는.훈련데이터에서는 매주 좋은 결과가 나오지만 새로운데이터에서 성능이 떨어지는 것. 훈련데이터에 너무 맞춰져서 일반화 능력이 떨어진 상태암기한 상태 직선/평면으로 경계하는 선형모델 로지스틱 회귀에서와 다르게신경망은 선형 + 비선형을 여러층 쌓은 모델이다 .https://standout.tistory.com/1535 선형모형: 다중선형회귀모형, 선형 로지스틱 회귀모형, 다항회귀모형, 일반화 가법모형선형모.. SK 네트웍스 AI 캠프 - 3_딥러닝 - Day28_딥러닝 다중 퍼셉트론 다중퍼셉트론 MLP비선형문제해결이 가능해 XOR문제를 해결하고 다양한 분류 회귀 문제에 적용이 가능하다. 딥러닝 기본 구조를 제공하여 복잡한 패턴학습이 가능하다.데이터가 많아야 성능이 좋다. 학습시간이 길 수 있고 과적합이 발생이 가능하다.이미지에서는 CNN 보다 비효율적이고 시계열에서는 RNN, LSTM 보다 비효율적이다 .입력 - 순전파 forward - 예측값 생성 - 손실함수 계산 - 역전파 - 기울기 - optimiaer - 가중치 수 손글씨 숫자분류, 품질검사등의 이미지분류와, 대출심사, 신용평가, 사기탐지등의 금융, 질병진단, 환자분류등의 의료분야불량품 판정, 예측 유지보수 등의 제조과정에서 활용된다. https://standout.tistory.com/1528 인공지능의 역사: 기원(계산 .. render로 github사용해 무료 호스팅하기: 내 컴퓨터에만 돌아가던 코드를 인터넷 주소로 접속 가능하게하자 git hosting은 html을 지원하기때문에 python을 어떻게 호스팅할까 고민했다 .그중 render를 선택했다. render접속개발한 앱을 올리면 자동으로실행해주는 PaaS.내 컴퓨터에만 돌아가던 코드를 인터넷 주소로 접속 가능하게 만들어준다.https://render.com/ Render | The cloud for buildersDeploy and scale any app or agent from your first user to your billionth. Build faster on intuitive cloud infrastructure for the modern web.render.comhttps://standout.tistory.com/1255 PaaS와 IaaS와 SaaS: 클라.. RenDer 실행 중 오류 ValueError: numpy.dtype size changed, may indicate binary incompatibility. Expected 96 from C header, got 88 from PyObject :pandas 2.1.1 + numpy 1.26.4 조합은 Render/Docker에서 자주 ABI 깨진다. 해결법 ValueError: numpy.dtype size changed, may indicate binary incompatibility. Expected 96 from C header, got 88 from PyObjectTraceback:File "/app/app.py", line 2, in import pandas as pdFile "/usr/local/lib/python3.9/site-packages/pandas/__init__.py", line 46, in from pandas.core.api import (File "/usr/local/lib/python3.9/site-packages/pandas/core/api.py", line 1, in from pandas._libs im.. NumPy 2.x와 OpenCV의 호환성 문제 A module that was compiled using NumPy 1.x cannot be run in NumPy 2.4.6AttributeError: _ARRAY_API not found: Python 3.10~3.11numpy 1.26.4opencv-python 4.8.x A module that was compiled using NumPy 1.x cannot be run inNumPy 2.4.6 as it may crash. To support both 1.x and 2.xversions of NumPy, modules must be compiled with NumPy 2.0.Some module may need to rebuild instead e.g. with 'pybind11>=2.12'.If you are a user of the module, the easiest solution will be todowngrade to 'numpy import cv2 File "E:\study\sk_playdata\study_ai\ml_workspace\day26_ml_.. cv2.imshow() is disabled in Colab, because it causes Jupyter sessionsto crash; see https://github.com/jupyter/notebook/issues/3935: cv2.imsow()를 Colab이 표현할 수 없을때 google.colab import drive cv2.imsow()는 원래 pc에서 별도의 윈도우 창을 띄워 이미지를 보여주는 함수이다. colab은 웬 브라우저 기반 jupyter notebook으로 gui 창을 생성이 불가능해 에러가 난다. 즉 colab이 아닌 다른곳에서 출력하면 해결된단 말이다 .하지만 꼭..! 지금 확인해야겠다면?import cv2img = cv2.imread("cat.jpg")cv2.imshow("Image", img)cv2.waitKey(0)cv2.destroyAllWindows()---------------------------------------------------------------------------DisabledFunctionError Traceback (most rec.. 활성화함수종류: Step Function, Sigmoid, Tanh, ReLU, Leaky ReLU, PReLU, ELU, SELU, GELU, Swish, Mish, Softmax 활성화 함수여러층의 신경망에 비선형성을 넣는것. 0근처나 1근처에서 기울기가 거의 0이 된다는 단점.활성화 함수출력 범위장점단점주 사용처Step Function0, 1구현 단순미분 불가, 역전파 불가초창기 퍼셉트론Sigmoid0 ~ 1확률 해석 쉬움Vanishing Gradient이진분류 출력층Tanh-1 ~ 1평균 0 중심Vanishing Gradient과거 RNNReLU0 ~ ∞빠름, 현재 표준Dead ReLU은닉층Leaky ReLU-∞ ~ ∞Dead ReLU 완화음수 기울기 수동 지정은닉층PReLU-∞ ~ ∞음수 기울기 자동 학습파라미터 증가실험적 모델ELU-1 ~ ∞음수 영역도 Gradient 존재exp 연산 필요일부 딥러닝 모델SELU약 -1.76 ~ ∞Self-Normalizing초기화 조건 .. 손실함수 종류 loss, criterion: BCEWithLogitsLoss CrossEntropyLoss BCEWithLogitsLoss MSELoss HuberLoss 손실 함수모델이 얼마나 틀렸는지 계산하는 함수이진분류MLP, CNN, LSTMBCEWithLogitsLoss다중분류MLP, CNN, LSTMCrossEntropyLoss다중라벨분류MLP, CNN, LSTMBCEWithLogitsLoss회귀MLP, LSTMMSELoss이상치 있는 회귀MLP, LSTMHuberLoss이미지 분류CNNCrossEntropyLossNLP 분류LSTM, TransformerCrossEntropyLoss객체 탐지YOLO, Faster R-CNN전용 Loss이미지 생성GAN, VAE, Diffusion전용 Loss 이진분류 nn.BCELoss() Binary Cross Entropy Loss, sigmoid()를 거친 확률값이어야한다.import torchimport torch... 최적화 알고리즘, 최적화 함수: optimizer 종류 SGD, NAG, Momentum, Adagrad, RMSprop, Adam, AdamW optimizer는 loss를 줄이기 위해 가중치를 어떻게 업데이트 할것인가를 결정하는 알고리즘SGD가장 기본낮음NAG MomentumSGD 개선보통Adagrad희소 데이터에 강함낮음RMSpropRNN 학습에 사용보통Adam범용적으로 강력높음AdamWAdam 개선판매우 높음 Optimizer, 가중치를 어떻게 수정할 것인지 결정하는 알고리즘Optimizer - SGD Stochastic Gradient Descent loss 줄어드는 방향으로 조금 이동한다. 단순하고 계산이 안정적인대신 느리고 흔들림이 크다. loss가 지그재그로 내려가며 learning rate 설정에 매우 민감하다.import torchimport torch.nn as nnimport torch.optim as optimx = t.. [SK네트웍스 Family AI 캠프] 32기 7주차 회고: Day24 ~ Day26 회고목적수려한 문장체, 완벽한 기승전결을 중시하지않고 어디까지나 좋은 개발자로 성장하기 위 한 도구로써 지속가능한 주간회고록을 작성한다.요약회고1. 지난 일주일 동안 가장 인상 깊었던 배움에는, 아파서 암것도못했다. 인상깊은 배움? 마스크 잘쓰자.2. 그 배움까지에 어떤 어려움이 있었는가를보면, 어려움 아주 많다 아프고, 불안해서 책을 펼치면 다시 열이 올라서 게속 병들었다는점3. 그 과정에서 나의 깨달음, 감정/생각 이 있다면, 아프면 다 포기하고 그냥 쉬는것에 집중하는게 오히려 빨리낫는다.4. 결과적으로, 현재 나의 상태는, 아직 묘한 두통과 어지러움, 적은 염증이 남아있다. 5. 이 상태에서 다음 일주일을 더 잘 보내려면, 적당히 무리안하면서 컨디션과 집중력을 끌어올려야한.. 팀 개발을 위한 Git GitHub시작하기 버전관리란 내가 원하는 시점/버전으로 이동할 수 있게 해주는 것. github.com 공개저장소 생성 무료, 비공개저장소. 세계 최대규모의 git호스팅 사이트 작업자 3인이상 무료. 설치형 버전 enterprisegitlab.com 공개저장소, 비공개저장소 생성 무료bitbutchet.org 5인 이하 팀일경우 공개저장소 비공개저장소 생성 무료.https://standout.tistory.com/207 git이란?git 버전 관리 시스템(VCS) 소스 코드의 변경 사항을 추적하고 이를 효율적으로 관리 협업시 각자의 변경 내용을 쉽게 합칠 수 있도록 도움 https://git-scm.com/ Git git-scm.com 오픈소스이며, 무료로 사용standout.tistory.comhttps://stando.. SK 네트웍스 AI 캠프 - 3_딥러닝 - Day27_딥러닝 모델 저장 및 활용 딥러닝 모델을 학습시키고 사용한 가중치와 편향들은 학습이 끝난 뒤 메모리에 있는 학습결과가 사라진다. 이 값들을 파일로 저장한것이 모델저장. 저장하징낳으면 다음날 다시 5시간동안 학습해야하기때문에 비효율적이지않은가.!이 기존 모델을 불러온 뒤 새로운 데이터로 다시 학습하는것을 재학습 Fine Tuning 이라고 한다. 학습한 모델을 웹 서버에 올려 실제 사용자가 사용할 수 있게 하는것을 웹서비스 배포라고 한다. import torchimport torch.nn as nn# 간단한 모델model = nn.Sequential( nn.Linear(10, 5), nn.ReLU(), nn.Linear(5, 1))# 학습이 끝났다고 가정# ...# 모델 가중치 저장torch.save(model.st.. SK 네트웍스 AI 캠프 - 3_딥러닝 - Day26_딥러닝 네트워크 신경망 알고리즘 계층 아래를 스키밍한다.DAY2. 딥러닝 네트워크 신경망 알고리즘 계층구조DAY3. 딥러닝 데이터 처리와 데이터셋DAY4. 딥러닝 네트워크 모델 설계DAY5. 딥러닝 모델 훈련 및 평가 DAY2. 딥러닝 네트워크 신경망 알고리즘 계층구조약 40분 정리했던 내용을 다시 흝어가며 정리해보자. https://standout.tistory.com/1800 SK 네트웍스 AI 캠프 - 3_딥러닝 - Day25_딥러닝 네트워크 신경망 알고리즘 계층 구조인공신경망뉴런 신경세포 구조를 단순화한것. 입력 - 계산 - 출력: 다른 뉴런에서 신호받아 가중치/편향으로 계산 - 다음 뉴런으로 전달 퍼센트론직선으로만 구분가능한 1개의 층, AND OR은 가능하standout.tistory.com 퍼셉트론인공뉴런, 현재 딥러닝의 .. SK 네트웍스 AI 캠프 - 3_딥러닝 - Day25_딥러닝 네트워크 신경망 알고리즘 계층 구조 인공신경망뉴런 신경세포 구조를 단순화한것. 입력 - 계산 - 출력: 다른 뉴런에서 신호받아 가중치/편향으로 계산 - 다음 뉴런으로 전달 퍼센트론직선으로만 구분가능한 1개의 층, AND OR은 가능하나 XOR를 풀지못한다. 딥러닝여러개의 은닉층을 쌓아 복잡한 패턴을 학습하는 모델데이터입력 - 순전파 forward - 예측값 생성 - 손실 계산(MSE, BCE, CrossEntropy) - 역전파 backpropagation - 가중치 업데이트(optimizer - SGD, mentum, RMSProp, Adam) - 반복 활성화 함수Sigmoid 0 ~ 1, 확률출력, 이진분류 출력층Tanh -1 ~ 1 sigmoid 개선형ReLU max(0, x) 빠르고 현재표준, Dead ReLU (0만 나오는 뉴.. 이것이 MySQL이다 - part04_MySQL 응용 프로그램 및 공간 데이터 Chapter 12 PHP 기본 프로그래밍Apache, MySQL, PHP 는 회사/기관이 각각 달라 별도로 설치하는것이 원칙이나 종종 호환성 문제를 일으켜 XAMPP로 미리 해결해서 배포하는 소프트웨어를 사용한다. XAMPP = Apache + MySQL(혹은 mariadv) + PHP + Perl설치시 select components에서 apache, php 2개만 남기고 체크를 끄고, bitnami for zampp에서 learn more about bitnami for xampp의 체크를 꺼도 좋다 .컴퓨터 재부팅 후 xampp-controel.exe 실행apache 가 활성화되있다면 start를 클릭해 활성화한다. php파일을 xampp/htdocs에 utf-8로 저장해 localhost/파일.. SK 네트웍스 AI 캠프 - 3 _딥러닝 - Day24_딥러닝개념_프레임워크설치 인공지능컴퓨터가 사람처럼 생각하고 판단하도록 만드는 기술학습, 추론, 문제해결, 의사결정, 언어이해, 시각인식등의 능력을 목표로 한다.https://standout.tistory.com/103 약인공지능과 강인공지능인공지능 artificial intelligence 인간의 지능을 인공적으로 구현하려는 컴퓨터과학의 분야중 하나 https://ko.wikipedia.org/wiki/%EC%9D%B8%EA%B3%B5%EC%A7%80%EB%8A%A5 인공지능 - 위키백과, 우리 모두의 백과사전 위standout.tistory.com AI : 합집합,인간의 지능을 컴퓨터로 구현하는 기술 └─ Machine Learning: AI의 한분야, 데이터를 보고 스스로 규칙을 학습 └─ Deep Learning.. AI 개발자취업특강 260606 - AI개발자의 일과 현업에서의기준들 신입은 모델연구보다 AI를 서비스에 연결하는 응용 업무에서 시작하는 경우가 많다. gpt를 써봤다보다 어떤 문제에 사용했고 결과가 어땟는지가 중요하다.AI 결과물을 그대로 쓰지않고 검증하는 사람을 신뢰한다.스펙보다 문제정의, 기술선택, 실패, 개선의 논리가 차별점이다.점점 코딩이 쉬워지기에 어디까지 이해하고 생각하고있는지, 말이 중요하다. 포트폴리오시 내가 어떤 데이터를 어떻게 다뤘는가.왜 이 모델과 구조를 선택했는가.사용자 기능으로 어떻게 연결했는가실패와 병목을 어떻게 설명하는가.프로젝트과정기록에는 문제정의, 선택이유, 실패한 가설, 개선전후를 남긴다.데이터, 백엔드, 문제정의, 현업등의 나의 강점으로 나를 설명할 키워드를 찾는다.모델명 툴 이름만 나열하지않고 왜골랏고 어떤 대안이잇엇는지 설명이 필요하.. 이것이 MySQL이다 - part03_MySQL 고급 Chapter 08 테이블과 뷰 MySQL 5.0부터 테이블 압축 기능을 제공해 대용량의 데이턱 들어간 테이블 저장공간을 대폭 절약할 수 있다.CREATE TABLE sanghee ( id INT, name VARCHAR(255)) ROW_FORMAT=COMPRESSED; 제약조건이란 데이터의 무결성을 지키이 위한제한된 조건을 의미한다.기본키 제약조건: 많은 행의 데이터를 구분할 수 있는 식별자. 테이블 정보 확인하기describe 테이블이름;속성에 바로 정의하거나, constraint ~ 혹은 alter를 사용해 지정한다.mysql은 primary ey로 지정하면 항상 키 이름을 primary로 보여주기에 이름을 직접 지정하는 것이 별 읨가 없다. 그러나 foreign key는 하나의 테이.. [SK네트웍스 Family AI 캠프] 32기 6주차 회고: Day20 ~ Day23 + 5월 종합 회고목적수려한 문장체, 완벽한 기승전결을 중시하지않고 어디까지나 좋은 개발자로 성장하기 위 한 도구로써 지속가능한 주간회고록을 작성한다.요약회고1. 지난 일주일 동안 가장 인상 깊었던 배움에는, 훔.. 정신없어서 기억이 안난다 .인상깊었던 배움은 없다. 따라가느라 바빴고 이해하느라 바빴다. 2. 그 배움까지에 어떤 어려움이 있었는가를보면, 우선 사고방식때문에 처음에 힘들었다. 기존에 알던 코드는 '모두 내가 제어'하기때문에 모든 코드와 결과에 '이유'가 있었는데 머신러닝은 그런것들이 안보이거나 혹은 은닉층에 의해 모르거나 하니까.. 확실하지않은 것들의 집합이라 처음에 감잡기가 어려웠던듯하다. 3. 그 과정에서 나의 깨달음, 감정/생각 이 있다면, 포기하면 편하다. 언어가 다르고 장르가 다.. SK 네트웍스 AI 캠프 - 2 _데이터 분석과 머신러닝 / 딥러닝 - Day23_머신러닝 비지도학습알고리즘 비지도학습정답이 없는 레이블로 내부 패턴, 구조, 관계를 스스로 찾아내는 머신러닝 기법.주로 비슷한 데이터끼리 그룹으로 묶는 군집화, 많은 특성을 적은 특성으로 압축하는 차원축소, 함께 발생하는 패턴발견의 연관규칙 분석, 정상패턴에서 벗어난 데이터의 발견 이상치 탐지에 사용된https://standout.tistory.com/1533 기계학습과 기계학습의 분야: 지도학습/비지도학습/강화학습기계학습과 기계학습의 분야 기계학습이란?인공지능(AI)의 한 분야데이터와 통계적 모델링 기법을 사용하여 컴퓨터 시스템이 스스로 학습할 수 있게 만드는 기술https://standout.tistory.com/1529 자동standout.tistory.com 군집화 Clustering가장 대표적인 비지도학습, 비슷한데이.. 파이토치 딥러닝 마스터 - 1부 - 2장 사전 훈련된 신경망 컴퓨터 비전은 딥러닝 발전으로 많이 영향받은 분야중 하나로 이미지 내용을 분류하고 해석하기 위한 요구사항이 존재했고 엄청난 데이터가 사용가능해졌고 마증유의 정확도로 gpu에서 번개처럼 프로그램을 돌릴 수 있게 됬다. 직접 모델을 훈련시키거나 그렇지 않거나 어찌되었든 간에 모델을 획득하고 실제 데이터로신경망을 돌리며 출력을 시각화하고 평가하는 과정에 익숙해질 필요가 있다. 오픈소스, 최근에는 연구자가 논물발표와 함께 소스코드를 공개하고 참조 데이터셋으로 모델을 훈련시켜 얻은 가중치까지 제공하는 경우가 많아졌다. 남이 훌련시킨 모델을 사용하면 매우 적은 노력으로 이미지 인식이가능한 차세대 웹서비스를 만들 수 있다. 이미지넷스탠포드 대학에서 관리하는 1400만개의이미지세트. 대규모 영어 어휘 데이터셋인 워크넷.. 뉴럴토크 NeuralTalk: 이미지를 보고 문장으로 설명을 생성하는 모델 앞선 GAN은 생성모델으로 진짜같은 이미지를 생성하는 모델이라고 했다 .그러면 이 이미지가 가짜인지 혹은 이 엉터리 그림들이 어떤 그림인지 설명하는 모델도 있을까? 있다!Neural Talk은 이미지를 설명하는 모델이다 .https://standout.tistory.com/1791 상대적 적대신경망 GAN게임 & 순환 일관성이 보장되는 포토샵신경망 사이클 GAN앞서 resNet은 출력을 처음부터 만드는게 아닌 입력에서 얼마나 수정할지만 학습하는 잔차학습이라했다 .https://standout.tistory.com/1773 ResNet, 역전파를 그대로 사용하되 Residual Connection을 추가한 CNNResNstandout.tistory.com 뉴럴토크 NeuralTalk이미지를 보고 문장으로 .. 상대적 적대신경망 GAN게임 & 순환 일관성이 보장되는 포토샵신경망 사이클 GAN 앞서 resNet은 출력을 처음부터 만드는게 아닌 입력에서 얼마나 수정할지만 학습하는 잔차학습이라했다 .https://standout.tistory.com/1773 ResNet, 역전파를 그대로 사용하되 Residual Connection을 추가한 CNNResNet역전파를 그대로 사용하되 Residual Connection을 추가한 CNN 잔차연결 Resudual Connection, Skip Connection,일반 CNN이 처음부터 게속 해서 다시 배운다면 ResNet은 입력을 버리지않고 순회시 수정해야할 부standout.tistory.com 이 resNet과 닮은 신경망이 있다면 GAN/CycleGAN이다. 전차학습, 즉 함수를 직접 새로 만드는 것이 아니라 기존 입력을 기준으로 변화량을 학습.. 비선형 차원축소, 직선거리를 버리고 Geodesic Distance를 사용하는 Isomap Isometric Mapping Isomap Isometric Mapping 비선형 차원 축소 알고리즘, PCA는 직선구조를 잘 처리한다고 했다. 동시에 구부러진 구조를 잘 표현하지 못하는데.Swiss Roll 말려있는 종이 데이터라고 했을때 2차원의 종이라 3차원으로 말려있는 형태이지만 PCA는 말려있는 상태 그대로 압축해버리니 잘 처리하지못한다.https://standout.tistory.com/1781 선형차원축소, PCA Principal Component Analysis: 가장 기본적인 차원축소입력변수 개수를 차원, 차원의 저주를 보완하기위해 혹은 시각화하기위한 과정을 차원축소라고 한다 .https://standout.tistory.com/1779 입력변수의 개수 차원 Dimension, 차원의 저주 Curse of Dim.. 선형차원축소, 비음수 잠재요인 발견목적의 NMF Non-negative Matrix Factorization NMF Non-negative Matrix Factorization차원축소/행렬분해 기법, 비음수 행렬 분해모든 데이터 값이 0 이상인 경우 사용하는 행렬 분해 기법원본 행렬을 여러개의 잠재요인 작은 행렬로 분해한다. 원본 데이터를 여러 잠재요인의 선형 결합으로, 곱셈과 덧셈만 사용함으로 기본적인 선형모델이다. 선형모델 PCA와 목적이 다르다. PCA는 분산이 가장 큰 방향을 탐색해 축을 회전시키고 음수가 가능하다면 NMF는 부분 특징을 추출해 음수를 금지시켜 해석이 쉽다. https://standout.tistory.com/1781 선형차원축소, PCA Principal Component Analysis: 가장 기본적인 차원축소입력변수 개수를 차원, 차원의 저주를 보완하기위해 혹은 시각화하기위한 과정을.. 선형차원축소, 비지도학습, ICA Independent Component Analysis: 신호 분리(Blind Source Separation) ICA Independent Component Analysis독립성분 분석,PCA처럼 차원 축소가 목적이 아니라 서로 섞인 신호를 원래 독립 신호로 분리하는 것이 목적이다 .차원축소계열로 분류되기도 하지만 사실 진짜 목적 신호분리로 미묘히 다르다. 비지도학습 │ ├── 군집화 │ ├── K-Means │ ├── Hierarchical │ └── DBSCAN │ ├── 차원축소 │ ├── PCA │ ├── ICA │ ├── t-SNE │ └── UMAP │ ├── 연관규칙 │ └── Apriori │ └── 이상치 탐지 ├── Isolation Forest └── One-Class SVM 방안에서 사람 1, 2, 3 이 동시에 말하고 있다면 마이크 A 는 .. VS code에서 Google Colab커널에 연결하려다가 실패, Failed to start the Kernel 'Python 3 (ipykernel)'. ~ google.colab Failed to start the Kernel 'Python 3 (ipykernel)'. View Jupyter log for further details. Unable to get resolved server information for google.colab:colab:21746f52-c166-49e3-9828-bedeb43062ee VS code에서 Google Colab커널에 연결하려다가 실패했다. Colab 세션이 종료되었으 수 있으니 브라우저로 코랩에 재접속.https://colab.research.google.com Google Colab NotebookRun, share, and edit Python notebookscolab.research.google.com vscode에서.. 선형차원축소, 중요한 정보만 추출한다: 특이값 분해 SVD, Singular Value Decomposition SVD, Singular Value Decomposition특이값 분해하나의 행렬을 여러개의 작은 행렬로 분해해 데이터의 중요한 정보만 추출하는 선형대수 기법 원래 데이터가 1000개의 변수를 가지고있다하더라도 실제 중요한 정보는 100개 성분 안에 들어있는 경우가 대부분이다 .데이터의 패턴정보, 중요도를 나타내는 특이값, 변수간 관계정보를 활용해 데이터크기도 감소하고, 노이즈제거를 통해 학습속도를 향상시키고 과적합까지 감소시킬수 있다. svd = TruncatedSVD(n_components=100) 머신러닝에서 활용하는 이유는 필요없는데이터가 있는 전체 데이터를 그대로 학습하면 계산량이 매우 커져 모델이 느려지기때문이다.중요하지않는 데이터는 센서잡음, 압축오류, 불필요한 픽셀을 야기하기도한다.변수가.. 비선형 차원축소, 딥러닝 기반 차원 축소, Autoencoder 입력변수 개수를 차원, 차원의 저주를 보완하기위해 혹은 시각화하기위한 과정을 차원축소라고 한다 .https://standout.tistory.com/1779 입력변수의 개수 차원 Dimension, 차원의 저주 Curse of Dimensionality 와 차원축소 Dimensionality Reduction하차원Dimension입력변수의 개수.사람 등록을 위해 키, 몸무게, 나이가 필요하다면 이 3개가 차원이 된다 .x=(170,65,20)즉 위 벡터는 3개의 요소를 가지므로 3차원 공간의 한 점이 된다. 차원의 저주Curse ostandout.tistory.com 차원축소의 방법에는 특성선택, 특성추출이있다. https://standout.tistory.com/1780 차원축소의 방법: 특성선택.. 비선형 차원축소, UMAP , Uniform Manifold Approximation and Projection 입력변수 개수를 차원, 차원의 저주를 보완하기위해 혹은 시각화하기위한 과정을 차원축소라고 한다 .https://standout.tistory.com/1779 입력변수의 개수 차원 Dimension, 차원의 저주 Curse of Dimensionality 와 차원축소 Dimensionality Reduction하차원Dimension입력변수의 개수.사람 등록을 위해 키, 몸무게, 나이가 필요하다면 이 3개가 차원이 된다 .x=(170,65,20)즉 위 벡터는 3개의 요소를 가지므로 3차원 공간의 한 점이 된다. 차원의 저주Curse ostandout.tistory.com 차원축소의 방법에는 특성선택, 특성추출이있다. https://standout.tistory.com/1780 차원축소의 방법: 특성선택.. 이전 1 2 3 4 ··· 60 다음
