본문 바로가기

딥러닝\머신러닝32

[pytorch] 이미지 분석에 필요한 GPU 메모리 정도를 확인해보기 이미지 분석을 본격적으로 진행할 때, 혹은 해보고 싶을때, 고민되는 부분은 GPU를 어떤것을 구매해야하는가 입니다. 어떻게 GPU를 맞춰야할지 주변에 물어볼수도 없는 상황이 발생할수도 있습니다. 대부분의 이미지 분석하시는 돈 많은 렙들은 그냥 비싼거 사서 널널하게 쓰는 경우가 많고, 실제로 여쭤보면 자세히 모르시는 경우가 많습니다(알아도 안알려주는 경우겠죠? 아마?). 일단 알아두셔야하는 부분은 GPU에서 중요한 부분은 cuda개수가 있습니다. cuda를 예를 들어 설명하자면 많은 양의 계산을 할때 똑똑이 4명보다 덧셈뺄샘 할줄하는 초딩들을 이용하여 하나하나 계산하는것이 편합니다. 이때 초딩들이 cuda라고 생각하시면되고, 똑똑이의 경우 cpu라고 생각하시면 됩니다. 그리고 중요한 부분은 GPU메모리 부.. 2022. 7. 5.
[pytorch] device-side assert triggered error 해결방법 1. 에러 발생 상황 torchvision.model 에서 resnet 50을 불러와서 fully connected 부분을 변경시킨 모델을 응용하여 새로운 모델을 작성중에 에러가 발생되었습니다. 에러 내용은 다음과 같습니다. RuntimeError: CUDA error: device-side assert triggered 또는 RuntimeError: CUDA error: CUBLAS_STATUS_ALLOC_FAILED when calling `cublasCreate(handle)` 첫번째 에러의 경우 colab에서 확인된 에러이고, 두번째의 경우 로컬 컴퓨터에서의 에러입니다. RuntimeError: CUDA error: device-side assert triggered CUDA kernel erro.. 2022. 6. 13.
[딥러닝공부] Model의 기본 - pytorch 저번 포스팅에 이어서 pytorch에서는 model을 어떻게 제작을 하는지 공유드리고자 합니다. 포스팅 내용이 괜찮았다면 주변 광고 클릭 몇번 눌러주시면 감사하겠습니다. pytorch는 tensorflow와 같이 python에서 Deep learning할때 필수적으로 사용되는 양대산맥이라고 할 수가 있습니다. 뭐 들리는 소문으로는 Tensorflow보다는 Pytorch가 좀 더 최근 트렌드에서 선호된다는 말을 들었던것 같습니다(그러나 모델 제작 정보는 tensorflow가 아직까지는 더 많은 것 같습니다.). pytorch의 경우 기본적인 model의 틀이 tensorflow의 GradientTape를 사용하는 방법과 유사하다고 생각될 수 있습니다(GradientTape와 같이 loss들을 업데이트 해주.. 2022. 5. 17.
[딥러닝공부] 모델의 기본 - tensorflow 내용 정리에 앞서서 내용이 괜찮으시다면 광고 클릭부탁드립니다~! 내용정리에 사용할 모델은 딥러닝에서 가장 기초적인 데이터인 Mnist 데이터를 사용한 모델을 기반으로 만들었습니다. 그렇기 때문에 기본적인 옵션을 import및 다운을 시켜주도록 하겠습니다. import numpy as np import tensorflow as tf import matplotlib.pyplot as plt mnist=keras.datasets.mnist (x_train,y_train), (x_test,y_test) = mnist.load_data() x_train,x_test = x_train/255. , x_test/255. tensorflow - keras에서 모델을 만드는 뼈대는 다양하게 있습니다. 그중에가 keras.. 2022. 5. 16.
[image분석] 의료이미지데이터 분석 준비 1. 의료 이미지 데이터 준비 의료 이미지 데이터는 다양합니다. 그중에서 여기서 다룰 내용은 H&E 이미지 슬라이드에 대한 것입니다. H&E 이미지는 단순 세포슬라이스에서 염색을 하는 데이터입니다. 염색에 대한 자세한 내용은 생략하겠습니다. 이 이미지에서 우리가 얻을수 있는 것은 암세포가 어떻게 생겨먹었는지 확인이 가능합니다. 그렇기 때문에 병리학적으로 진단이 가능합니다. (암세포 뿐만아니라 주변 미세환경을 확인가능합니다.) 최근들어 다양한 회사에서 H&E slide한장으로 병리과 진단을 위한 이미지 모델제작을 시도중에 있습니다. (뭐 사람눈으로 보는 것도 어느정도 에러가 있을터인데, 컴퓨터를 이용하면 좀더 정확하고 빠르게 가능하니까요.) 이렇게 이미지 모델을 제작하기 위해서는 모델 training이 필.. 2022. 3. 21.
[tensorflow]python에서 이미지 읽는 방법 이미지를 읽는 예제는 빵형에 공개한 캐글 데이터를 이용하였습니다. https://www.kaggle.com/kairess/find-waldo Find Waldo www.kaggle.com python에서 이미지 분석을 하기 위해서는 가장먼저 이미지를 읽어야겠죠. python에서는 다양하게 읽어올 수가 있습니다. 주로 numpy, pilow, opencv를 이용합니다. 1. numpy numpy의 경우 계산하는 모듈로 생각하는 사람들이 많은데, numpy의 기능중에 array데이터를 읽어 올 수가 있어서 가능합니다. 그렇다면 array데이터란 무엇일까? array를 사람들은 list같은 객체라고 이야기를 합니다. list같이 다양한 차원의 데이터를 가질수가 있으나, 각 데이터에는 n*m이 모두 같은 메트릭.. 2022. 3. 12.