본문 바로가기

Python18

[유사도측정, 데이터분석] 유사도 측정의 중요성 최근 빠져있는 주제가 있습니다. 바로 유사도 입니다. 빠져있기 보다는 데이터 분석에서 항상 중요하다고 생각되는 부분이라고 말하고 싶습니다. 대부분의 Deep learning 모델에서 이런 유사도를 이용하여 분석이 이루어지기도 합니다. 앞으로 포스팅은 이 유사도 방법에 대한 개념들을 몇가지 포스팅 하고자 합니다. 1. 유사도란? 유사도는 다양하게 이용할 수가 있는데, 주로 classification에 이용된다고 생각합니다. 어떠한 데이터가 들어왔을 때, 이 데이터를 판별하기 위하여 사람들은 유사도를 이용합니다. 아주 유명한 짤이 머핀과 치와와 짤입니다. 유사도의 특징은 주로 0~1사이의 값을 갖고, 0로 갈수록 매우 낮은 유사성을 갖고, 1로 갈수록 높은 유사성을 갖습니다. 치와와 머핀 이외의 간단한 예시.. 2022. 12. 2.
[xml,lxml, python] xml, lxml 정리 및 python으로 다뤄보기 이미지 분석 중에 segmentation 분석을 하기 위해서는 annotation 파일을 다룰 줄 알아야 합니다. annotation 데이터 중에는 xml 포멧이 있는데 보기만 해도 어렵습니다. xml의 경우 annotation 데이터이외에도 다양한 자료를 정리할때 사용이 됩니다. 또한 보면 html, lxml과도 정말 비슷한 구조를 하고 있고, 분석을 할때도 유사한 패턴으로 분석이 가능합니다. 1. xml 구조 정리 xml분석에 앞서 필요한 것들만 간단하게 정리를 하자면, xml은 일반적으로 트리(tree)형태의 계층구조를 갖습니다. 하나의 root에 아래 다양한 child요소가 차례로 연결되어 있으며, 역슬래시 / 로 끝을 구분(end-tag)합니다. xml 파일을 보면 알아서 정렬이 되어 있는 경우.. 2022. 9. 14.
[pandas, DataFrame] ValueError: The truth value of a Series is ambiguous. Use a.empty, a.bool(), a.item(), a.any() or a.all(). 에러해결 최근 급하게 pandas를 써야되서 기초부터 배우기 보다는 중간중간 찾으면서 일을 진행중에 있는데, 다음과 같은 에러가 떳습니다. # 다음과 같이 진행하였을때, Filter_mat_1= Filter_mat['img_name'][Filter_mat['variance1']==1&Filter_mat['variance2']!=1] # 아래와 같은 에러가 뜹니다. ValueError: The truth value of a Series is ambiguous. Use a.empty, a.bool(), a.item(), a.any() or a.all(). 이 오류를 구글링을 해보니까. "and", "or" 대신에 "&", "|" 이걸 사용하면된다. 라는 답변을 보았는데, 이미 그걸 쓰고 있는데..... 무슨이유일까 .. 2022. 9. 8.
[이미지분석,python] Multiclass 에서 Sensitivity, Specificity, F1 score 구하기 1. Introduction 이미지 분석에서 Multi class를 나누는 모델을 제작하고 하면 무조건 해야하는 것 중 하나가 성능검증입니다. 성능검증에는 흔하게 사용되는 방법이 바로 Specificity, Sensitivity, Precision 입니다. Sensitivity의 경우 다른 말로 recall, True positive rate, hit rate라고 불리며, Specificity는 True negative rate이고, Precision의 경우 Positive predictive rate입니다. 그리고 최근 많이 사용하기 시작한 것이 F1 Score입니다. 각 식의 경우 위키디피아에 요약이 되어있으니 확인해보시길 바랍니다. 2. Sensitivity, Specificity, F1 Score.. 2022. 7. 11.
[Rosalind, python] Mendel's First Raw 오늘은 Mendel의 첫번째 법칙! 우열의 법칙에 대한 문제에 대한 풀이를 하려고 합니다. 참고로 Rosalind 결과 스포가 있을 수 있습니다. 휴우.. 대학교때 공부를 못해서 그런지 이번에도 오답이 많았습니다. (실수도 많이 하구요) 문제에서는 일단 확률 이야기를 합니다. 조합(Combination) 이야기도 나오고 합니다만 잘 읽어보시고, 그래서 문제를 잘 읽어 보셔야합니다. k, m, n을 주는데 k는 homo(dominant), m은 hetero, n은 homo (recessive) 입니다(이것 순서 때문에 오답 한번 추가했습니다.). k=2,m=2,n=2일 경우 짝을 지어서 자식을 낳을경우 만들 수 있는 표현형 중에 dominant를 포함하는 확률을 구해라 입니다. 1. Homo(dominan.. 2022. 6. 21.
[python] pip설치 시에 SSL오류가 났을 때, 해결방법 파이썬을 설치하다가 잘못 설치를 한건지.. 보안망에 걸려서 그런지 몰라도 아래와 같은 에러가 발생이 되었습니다. WARNING: Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None)) after connection broken by 'SSLError(SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: self signed certificate in certificate chain (_ssl.c:1129)'))': /packages/c7/56/52a05ec2ad6c58472a768351a6ea4b600c532a3f4.. 2022. 6. 16.