본문 바로가기

딥러닝\머신러닝32

[유사도측정, 데이터분석] 유사도 측정의 중요성 최근 빠져있는 주제가 있습니다. 바로 유사도 입니다. 빠져있기 보다는 데이터 분석에서 항상 중요하다고 생각되는 부분이라고 말하고 싶습니다. 대부분의 Deep learning 모델에서 이런 유사도를 이용하여 분석이 이루어지기도 합니다. 앞으로 포스팅은 이 유사도 방법에 대한 개념들을 몇가지 포스팅 하고자 합니다. 1. 유사도란? 유사도는 다양하게 이용할 수가 있는데, 주로 classification에 이용된다고 생각합니다. 어떠한 데이터가 들어왔을 때, 이 데이터를 판별하기 위하여 사람들은 유사도를 이용합니다. 아주 유명한 짤이 머핀과 치와와 짤입니다. 유사도의 특징은 주로 0~1사이의 값을 갖고, 0로 갈수록 매우 낮은 유사성을 갖고, 1로 갈수록 높은 유사성을 갖습니다. 치와와 머핀 이외의 간단한 예시.. 2022. 12. 2.
RuntimeError: Sizes of tensors must match except in dimension 1. Expected size 16 but got size 15 for tensor number 1 in the list. 에러 해결 Unet 모델을 제작해서 돌리는데, 아래와 같은 에러가 나왔습니다. 정말 여기저기 찾아봤는데,, 해결이 안되었는데, 코드를 이것저것 돌려보니 해결이 되었네요.. RuntimeError: Sizes of tensors must match except in dimension 1. Expected size 16 but got size 15 for tensor number 1 in the list. 위와 같은 에러가 발생할 경우 모델을 제작할때, 256으로 제작했을때, 실제 input으로도 같은 사이즈를 넣어줘야 합니다. 아니면 위와 같은 에러가 발생할수 있습니다. 그렇기 때문에 transforms function을 이용해서 그림의 크기를 조절하는 Resize를 이용하여 분석하면 됩니다. # inputs의 경우.. 2022. 11. 9.
[pandas, DataFrame] ValueError: The truth value of a Series is ambiguous. Use a.empty, a.bool(), a.item(), a.any() or a.all(). 에러해결 최근 급하게 pandas를 써야되서 기초부터 배우기 보다는 중간중간 찾으면서 일을 진행중에 있는데, 다음과 같은 에러가 떳습니다. # 다음과 같이 진행하였을때, Filter_mat_1= Filter_mat['img_name'][Filter_mat['variance1']==1&Filter_mat['variance2']!=1] # 아래와 같은 에러가 뜹니다. ValueError: The truth value of a Series is ambiguous. Use a.empty, a.bool(), a.item(), a.any() or a.all(). 이 오류를 구글링을 해보니까. "and", "or" 대신에 "&", "|" 이걸 사용하면된다. 라는 답변을 보았는데, 이미 그걸 쓰고 있는데..... 무슨이유일까 .. 2022. 9. 8.
[pytorch] 필요한 GPU메모리를 알아봅시다. 딥러닝을 초기에 분석을 할때, 가장 힘들었던 부분이 장비 세팅 부분이었습니다. 딥러닝 코드는 kaggle이나 google교수님이 잘 공개를 해놓기 때문에 참고해서 분석하다보면 금방 배울 수 있습니다. https://mopipe.tistory.com/183 [pytorch] 이미지 분석에 필요한 GPU 메모리 정도를 확인해보기 이미지 분석을 본격적으로 진행할 때, 혹은 해보고 싶을때, 고민되는 부분은 GPU를 어떤것을 구매해야하는가 입니다. 어떻게 GPU를 맞춰야할지 주변에 물어볼수도 없는 상황이 발생할수도 있습니 mopipe.tistory.com 이번 포스팅에서는 GPU를 고르는데 참고하시라고 다시 한번 내용을 정리해서 올리고자 합니다. GPU모델 평가로 위 포스팅에 사용된 데이터를 이용했습니다(10만장.. 2022. 8. 25.
[pytorch, 딥러닝] CUDA out of memory 에러 해결방법(이미지분석) 모델을 제작하거나, 사용할 때 가장 많이 발생되는 에러를 정리해보겠습니다. 1. CUDA out of memory?! 말 그대로 메모리 부족으로 모델 작동이 안되는 경우입니다. GPU로 분석할 경우 전용 GPU메모리가 넘치면 멈추게 됩니다. 이런 error의 경우 모델을 제작할때, 혹은 모델을 사용할때 발생이 됩니다. 2. 에러를 어떻게 해결해야하는가? CUDA out of memory 에러의 일반적으로 구글링에서의 해결방법은 batch size를 줄여라. 다른 프로세스의 GPU점유를 줄여라 입니다. 이 방법은 모델을 제작할때 발생하는 에러에 대한 해결방법입니다. 만약 여러분 중에 일부가 어떠한 모델을 사용할때 위 같은 에러가 발생을 한다면, 모델 제작할때 해결방법과 같다고 생각이 되시겠지만, 그렇지 않.. 2022. 8. 10.
[pytorch, 딥러닝] pin_memory 란 무엇인가? Pin memory란 무엇인가? 우리가 모델을 제작을 함에 있어서 GPU를 사용하려면 GPU에 데이터를 로드를 해줘야 하는데, 이때 빠르게 데이터를 옮기기 위해 사용하는 것이 pin memory입니다(대부분의 데이터는 cpu + RAM에서 작동이 되기 때문에 이를 GPU에 세팅을 해줘야합니다.) 좀 더 자세히 이야기하자면(제가 이해하는데로 말하겠습니다.) 우리가 일반적으로 분석할때에는 CPU + RAM을 이용합니다. 변수를 DRAM에 할당시켜서 분석이 이루어집니다. 이때 GPU의 경우 DRAM에 할당된 데이터를 사용하지 못합니다. 그렇기 때문에 GPU 전용 메모리 쪽에 옮기기 위해서는 pinned memory를 사용하게 됩니다. 즉 DRAM (pageable Memory)에서 pinned memory로 .. 2022. 8. 10.

티스토리툴바