2024.03.04 YoloYOLO: you only look once의 약자openCV: 영상처리가 중심(모델 등)yolo: 영상관련된 모델(분류, 인식 등)최근에 v8모델이 나왔고, 오늘 해볼건 v3 정도로 진행yolo가 인기 있는 이유는 빠르고 적당한 성능 때문이다. 기본 구조 : conv 중심 모델 Yolo의 이미지 분류, 이미지 검출이미지 분류 : 개인지 고양이인지이미지 검출: 개가 있는지, 어디에 있는지참고) 이미지 검출yolo는 기본적으로 2가지 정보(전체 grid)를 나눠서 진행각기 box들에 대해서 유효한지 체크, 확률적으로 높은지.⇒ R-CNN, Fast R-CNN 이미지 검출성능은 기존 모델이 더 좋기는 하지만 속도 문제가 있었음.속도를 그래도 괜찮다 하고 인식할 정도로 제시한 것이 ..
ASAC 빅데이터전문가과정
2024.02.27 NLP : TransformerRNN ⇒ LSTM ⇒ Transformer2017년도에 구글에서 tranformer를 개발하면서 제일 기반이 되는 언어 모델의 시작이 되었다.그 다음으로 BERT가 유행했고, 2020년 GPT3의 등장으로 이어지고 있다. 이런 모델들을 LLM으로 통칭하고 있다. Transformer 실습자연어 처리 교재의 챕터별 내용 다운!git clone https://github.com/rickiepark/nlp-with-transformers.git%cd nlp-with-transformersfrom install import *install_requirements(chapter=1) 0. 예제 텍스트 준비예제 텍스트: 아마존 항의 메일text = """Dear ..
2024.02.26 Style 스타일은 모든 레이어마다 가각 비교하며 오차를 수정한다. 이 때문에 오래 걸리는 한계가 있다. CNN을 기반으로 VGG19를 사용해서 Feature Map 사이의 유사성을 비교하여 Loss Funcition을 새롭게 정의한다. grammitrix를 통해 측정한다. FeatureMap 3D → Matrix 2D (style)→ Transpose (Noise) 실습큰 이미지는 연산이 엄청 오래 걸리므로 줄여서 진행import tensorflow as tfimport cv2import tensorflow_hub as hubimport matplotlib.pyplot as plt# Style에 대한 이미지style_path = tf.keras.utils.get_file("style..
2024.02.22 ResNetGoogleNet(Inception Net)은 2014년 ILSVRC대회 우승 : 오차 6.67%ResNet은 2015년 ILSVRC대회 우승 : 오차 3.57%=> 엄청난 성능 향상을 이루어 주목 받게 됨. MS Research 팀에서 제시를 한 방법론이다.이름에 답이 있듯이 이 모델의 핵심은 Residual module (잔차모듈) + Skip Conncetion (스킵연결)이다.깊이는 증가를 해도 모델의 복잡도는 감소하는 식이며단일이 아니라 앙상블을 해서 제일 적은 3.57로 우승을 했다고 한다. 잔여 블록에 대한 구조
2024.02.21 Inception Net 실습(54일차 이론 이후 이어서 진행) 기본정보 데이터셋 : 캐글 견종 데이터셋 (https://www.kaggle.com/c/dog-breed-identification)train.zip, test.zip, submission, labels.csv 파일 다운로드 colab에서 zip 파일 풀기# zip --> !unzip -qq 풀파일명 -d 풀어둘폴더경로!unzip -qq "/content/train.zip" -d "/content/train/"!unzip -qq "/content/test.zip" -d "/content/test/"# 풀렸는지 확인import osimport globlen(list(glob.glob("/content/train/*.jpg"..
2024.02.20AE : Auto Encoder모델의 기본적인 구조가 대칭형이다. 입력: 인코더(데이터를 숫자로 변경)출력: 디코더(숫자로 변경된 것을 원본으로 복원)(한글) utf-8 인코딩 ⇒ utf-8디코딩 AE 기본 개념대칭적인 구조를 활용을 해서 근원적인 특징을 생각할 수 있다.대칭적인 부분을 통해 생성이나 복원 등의 분야에서 활용 가능하다데이터에서 근원적인 값으로 변경을 ‘인코더’,근원적인 값에서 데이터로 변경 양식을 ‘디코더’라고 함인코더/디코더 다 각각 네트워크다.필요에 따라서 네트워크 구조가 변경 할 수 있다. 실습기본세팅MNIST 데이터 셋을 가져온다. (손글씨 28*28짜리 데이터)import tensorflow as tfimport numpy as npimport matplotli..
2024.02.19 이미지 처리하기 : cv2이미지 불러와서 출력하기import matplotlib.pyplot as plt%matplotlib inlineimport matplotlib.cm as cmimport numpy as npimport cv2import osimg_path = "/content/sohn.jpg"image = cv2.imread(img_path)print(image.shape)plt.imshow(image)# colab은 RGB가 아니라 BGR을 사용하기 때문에 순서 변경imgRGB = cv2.cvtColor(image, cv2.COLOR_BGR2RGB) plt.imshow(imgRGB)# colab에서 이미지 출력을 위해 cv2.imshow 함수 대신 cv2_imshow 사용f..
2024.02.15 VGG 모델 실습2* 지난 일차에 이어서 진행 데이터 증강 적용60,000장의 데이터를 50% 증강한 90,000장 적용import tensorflow as tffahion_mnist = tf.keras.datasets.fashion_mnist(train_X, train_y), (test_X, test_y) = fahion_mnist.load_data()print(train_X.shape)print(train_y.shape)print(test_X.shape)print(test_y.shape)# 전처리train_X = train_X/ 255.0test_X = test_X /255.0train_X = train_X.reshape(-1,28,28,1) # 3d --> 4dtest_X = ..
2024.02.14VGG 모델CNN 구조를 가지는 VGG 모델 적용실습VGG16 관련 모델 논문을 참고하여 Fashion-MNIST 셋에 맞추어 튜닝model_vgg_fshion= tf.keras.Sequential([ # 원본 입력 : 224 224 RGB ===> 28, 28, 1 Conv2D(input_shape=(28,28,1),kernel_size=(3,3), filters=64, padding="same", activation="relu" ), Conv2D(kernel_size=(3,3),filters=64, padding="same", activation="relu"), MaxPool2D(pool_size = (2,2), strides=(2,2)), ..
2024.02.13 CNN 실습* 이전 일차에 이어서 진행시도 2overfit 문제 해결 위한 stride, pooling, dropout 적용model = tf.keras.Sequential([ tf.keras.layers.Conv2D(input_shape=(28,28,1), kernel_size=(3,3), filters=16), tf.keras.layers.MaxPooling2D(pool_size(2,2), strides=(2,2)), tf.keras.layers.Conv2D(kernel_size=(3,3), filters = 32), tf.keras.layers.MaxPooling2D(pool_size(2,2), strides=(2,2)), tf.keras.layers.Conv2D(kernel_s..
2024.02.07 CNNconvolution Neural NetworkImage 연산, CNN의 역할특징 추출: 가로 특성, 세로 특성, edge추출 등이미지 변환 : 뿌옇게 하는 현상,⇒ 전통적인 이미지에 filter를 적용하는 방식이다. 이미지 데이터의 입력 데이터 shape이미지 데이터는 2D가 아니라 3D다.CNN 실습* 구글 코랩에서 진행할 때는 GPU를 적용해서 해야한다.import tensorflow as tf# Fashion-MNIST 데이터 적용# CNNfashion_mnist = tf.keras.datasets.fashion_mnist(train_X, train_y), (test_X, test_y) = fashion_mnist.load_data()# train_X.shape : 600..
2024.02.05 실습2* 지난일차 실습에 이어서 진행됩니다. 지난 일차의 구성은 단순하게 layer도 1번만 사용했다보니 overfit이 발생했습니다. 모델의 layer도 추가로 구성하고 복잡도 컨트롤을 위해 dropout을 layer 사이에 추가하는 방법을 적용해봅니다. # 수정 및 추가한 부분model = tf.keras.Sequential( [ tf.keras.layers.Flatten( input_shape = ( 28, 28) ), tf.keras.layers.Dropout(0.1), tf.keras.layers.Dense( units=128, activation="relu"), tf.keras.layers.Dropout(0.1), ..
