본문 바로가기

deep learning23

[pytorch vs. Tensorflow] 딥러닝 프레임워크? 어떤 차이가 있을까? 1. Intro python으로 Deep learning 연구를 할때, 대부분의 사람들이 pytorch, Tensorflow를 이용합니다. 저는 pytorch를 이용합니다. 그런데 이 둘의 차이점에 대해서 궁금해 보신적이 없나요? 저도 항상 궁금하던 찰나에 외국 블로그를 참고하여 정리해 보았습니다. 2. pytorch vs. Tensorflow pytorch는 Facebook 그룹이 제작을 하였고, 2017년 github를 통해 open-source로 공개되었습니다. Tensorflow는 구글에서 만들어졌고, pytorch보다 더 일찍인 2015년에 open-source로 공개가 되었습니다. 그리고 구글에서 제작하다보니 안드로이드를 포함한 다양한 장치와의 호환성으로 인해 많은 스타트업이나, 조직에서 사용.. 2024. 4. 4.
[scikit-learn, python] machine learning 에 주로 사용되는 python module 이번 포스팅은 machine learning을 하려면 필수적으로 알아야할 library인 scikit-learn에 대해서 이야기하고자 합니다. 1. scikit-learn은 (소개) 머신러닝은 데이터에서 지식을 추출하고, 패턴을 학습하며, 예측을 수행할 수 있는 강력한 기술로, 현대의 많은 기술 혁신과 응용 프로그램에서 중심적인 역활을 합니다. 요즘은 딥러닝이 핫한거 아닌가? 라고 하실 하실 수 있겠지만, 딥러닝은 머신러닝에 속해 있습니다. 그리고 여전히 딥러닝 이외의 machine learning들이 최근 연구에서도 다양하게 사용되는 것을 연구하다보면 알수가 있습니다. 예를들어 netfilx에서 개인에게 작품을 추천할때에도 machine learning을 이용한다고 들었습니다. scikit-learn은.. 2024. 4. 4.
[pytorch] transforms.Compose 사용법 1. Intro 요즘 이미지 분석에 대해서 흥미가 생겨서 열심히 공부하고 있습니다(사실 관련된 일을 맡게 되었습니다. 먹고살려고 빡시게 공부중입니다.). tensorflow를 공부하려다가 pytorch가 사용하기 편하다는 이야기를 듣고 바로 pytorch로 마음을 돌렸습니다. 바로 본론으로 들어가도록 하겠습니다. 딥러닝에서 이미지관련 모델을 제작할 때, 힘든 부분 중 하나가 바로 데이터의 양이지 않을까 싶습니다. 제한된 이미지에서 좋은 모델을 제작하기 위해서 사람들이 생각을 해낸 것은 Data augmentation입니다. Data augmentation은 생각보다 쉽습니다. 각도나, 명암을 변경하던지, 부분을 자르던지 다양한 방법으로 통해 augmentation 을 할 수 있습니다. Data augme.. 2024. 1. 15.
[Torch] RuntimeError DataLoader worker pids 15332 exited unexpectedly 에러가 나는 이유? 1. Introduction 딥러닝을 하다보면 다음과같은 에러가 발생할 때가 있다. RuntimeError : DataLoader worker pids * exited unexpectedly 구글에 찾아보면 dataloader에 num_workers = 0 으로 수정하면 된다는 포스팅이 보인다. 혹은 에러나는 부분의 구문을 삭제하라는등.. 이런 해결책이 보인다. dataloader에서 사용하고 있는 num_workers는 병렬로 처리해서 분석해주는 것이기 때문에 데이터가 클 때 빠르게 분석하고 싶다면 필수적으로 사용해야한다. 대신 무턱대로 숫자를 올리면 서버가 너무 느려지니 고려해야한다. 2. 이유가 뭔데? 에러의 이유는 다양하다. - 이것저것 많이 돌려서 메모리가 충분하지 않거나 - 데이터의 문제가 있.. 2023. 9. 26.
[pytorch,smp] 모델 weights 경로 일하는 곳이 병원이다보니 민감한 데이터를 다루게 되고, 그에 따라 제한적으로 연구가 가능합니다. 너무 불편한점 중 하나가 분석하는 컴퓨터에 외부인터넷을 못하게 하는 단점이 있습니다. 그러다 보니 딥러닝 모델의 weights를 외부에서 따로 넣어줘야 하는데, 설명이 안 써져 있어서 많이 찾아보았습니다. 휴우... 결과는 뭐냐.. torch와 segmentation_models_pytorch 이 두 module다 같은 경로에서 model weights를 가져오더군요.. 윈도우 기준 C:\Users\사용자이름\.cache\torch\hub\checkpoints 우분투 기준 /home/사용자이름/.cache/torch/hub/checkpoints/ 여기다가 모델들 weights를 넣어주면 됩니다. ( 인터넷이 .. 2023. 3. 14.
[cv2] 색감을 보는 방법 (RGB, BGR, HSV, LAB) 이미지 분석을 하다보면 흔하게 볼 수 있는 색감 관련 개념은 GRAY 혹은 RGB를 많이 사용해보셨을겁니다. 저도 이미지분석을 공부중이라 분석에 적용할 때에는 잘 알고있는, GRAY 혹은 RGB를 이용한 분석을 주로 하였습니다. 그런데 GRAY, RGB 만 이용해서 분석을 하면서 표현적 한계에 부딪치는 경우가 있었습니다. 예를들어 cv2.inRange를 이용하여 색감들을 고를 경우 같은 색감일지라도 RGB로는 표현이 불가능 할 때가 있습니다. 아래의 코드를 이용하여 보라색 계열을 일부가져 왔습니다. image_color = np.array([ [255, 72, 255], [204, 0, 204], [153, 0, 153], [102, 0, 102], [51, 0, 51], [51, 0, 102], [10.. 2023. 1. 19.

티스토리툴바