deep learning23 [유사도측정, 데이터분석] 유사도 측정의 중요성 최근 빠져있는 주제가 있습니다. 바로 유사도 입니다. 빠져있기 보다는 데이터 분석에서 항상 중요하다고 생각되는 부분이라고 말하고 싶습니다. 대부분의 Deep learning 모델에서 이런 유사도를 이용하여 분석이 이루어지기도 합니다. 앞으로 포스팅은 이 유사도 방법에 대한 개념들을 몇가지 포스팅 하고자 합니다. 1. 유사도란? 유사도는 다양하게 이용할 수가 있는데, 주로 classification에 이용된다고 생각합니다. 어떠한 데이터가 들어왔을 때, 이 데이터를 판별하기 위하여 사람들은 유사도를 이용합니다. 아주 유명한 짤이 머핀과 치와와 짤입니다. 유사도의 특징은 주로 0~1사이의 값을 갖고, 0로 갈수록 매우 낮은 유사성을 갖고, 1로 갈수록 높은 유사성을 갖습니다. 치와와 머핀 이외의 간단한 예시.. 2022. 12. 2. RuntimeError: Sizes of tensors must match except in dimension 1. Expected size 16 but got size 15 for tensor number 1 in the list. 에러 해결 Unet 모델을 제작해서 돌리는데, 아래와 같은 에러가 나왔습니다. 정말 여기저기 찾아봤는데,, 해결이 안되었는데, 코드를 이것저것 돌려보니 해결이 되었네요.. RuntimeError: Sizes of tensors must match except in dimension 1. Expected size 16 but got size 15 for tensor number 1 in the list. 위와 같은 에러가 발생할 경우 모델을 제작할때, 256으로 제작했을때, 실제 input으로도 같은 사이즈를 넣어줘야 합니다. 아니면 위와 같은 에러가 발생할수 있습니다. 그렇기 때문에 transforms function을 이용해서 그림의 크기를 조절하는 Resize를 이용하여 분석하면 됩니다. # inputs의 경우.. 2022. 11. 9. [pytorch] 필요한 GPU메모리를 알아봅시다. 딥러닝을 초기에 분석을 할때, 가장 힘들었던 부분이 장비 세팅 부분이었습니다. 딥러닝 코드는 kaggle이나 google교수님이 잘 공개를 해놓기 때문에 참고해서 분석하다보면 금방 배울 수 있습니다. https://mopipe.tistory.com/183 [pytorch] 이미지 분석에 필요한 GPU 메모리 정도를 확인해보기 이미지 분석을 본격적으로 진행할 때, 혹은 해보고 싶을때, 고민되는 부분은 GPU를 어떤것을 구매해야하는가 입니다. 어떻게 GPU를 맞춰야할지 주변에 물어볼수도 없는 상황이 발생할수도 있습니 mopipe.tistory.com 이번 포스팅에서는 GPU를 고르는데 참고하시라고 다시 한번 내용을 정리해서 올리고자 합니다. GPU모델 평가로 위 포스팅에 사용된 데이터를 이용했습니다(10만장.. 2022. 8. 25. [딥러닝 연습문제] 딥러닝 연습용 데이터 공유 딥러닝을 연습하기 위해서는 다양한 경험이 필수인듯합니다. 제가 공부하면서 찾은 사이트들 공유드립니다. 추가로 업데이트 진행할 예정입니다. 1. TCGA 데이터가 있는 GDC 사이트이고, 병리이미지를 다운받을수 있습니다. 단점은 level이 3~4개정도 밖에 없습니다. 그래도 몇 안되는 WSI 데이터를 다운 받을 수 있는 곳 입니다. https://portal.gdc.cancer.gov/ GDC We detected you are using Internet Explorer. This site is best viewed with Chrome, Edge, or Firefox. portal.gdc.cancer.gov 2. colon관련 이미지를 찾다가 찾은 데이터 베이스입니다. segmentation 데이터도 .. 2022. 8. 8. [pytorch, 이미지분석] CustomDataset 제작시 주의해야할 점. CustomDataset을 제작하는데 있어서 익숙한 포멧은 다음과 같습니다. import os import pandas as pd from torchvision.io import read_image class CustomImageDataset(Dataset): def __init__(self, annotations_file, img_dir, transform=None, target_transform=None): self.img_labels = pd.read_csv(annotations_file) self.img_dir = img_dir self.transform = transform self.target_transform = target_transform def __len__(self): return l.. 2022. 8. 5. [pytorch] 이미지 분석에 필요한 GPU 메모리 정도를 확인해보기 이미지 분석을 본격적으로 진행할 때, 혹은 해보고 싶을때, 고민되는 부분은 GPU를 어떤것을 구매해야하는가 입니다. 어떻게 GPU를 맞춰야할지 주변에 물어볼수도 없는 상황이 발생할수도 있습니다. 대부분의 이미지 분석하시는 돈 많은 렙들은 그냥 비싼거 사서 널널하게 쓰는 경우가 많고, 실제로 여쭤보면 자세히 모르시는 경우가 많습니다(알아도 안알려주는 경우겠죠? 아마?). 일단 알아두셔야하는 부분은 GPU에서 중요한 부분은 cuda개수가 있습니다. cuda를 예를 들어 설명하자면 많은 양의 계산을 할때 똑똑이 4명보다 덧셈뺄샘 할줄하는 초딩들을 이용하여 하나하나 계산하는것이 편합니다. 이때 초딩들이 cuda라고 생각하시면되고, 똑똑이의 경우 cpu라고 생각하시면 됩니다. 그리고 중요한 부분은 GPU메모리 부.. 2022. 7. 5. 이전 1 2 3 4 다음
