전체 글
-
cross-entropy, entropy, information에 대한 수긍가는 설명카테고리 없음 2023. 1. 13. 15:55
크로스엔트로피에 대한 설명은 정보량에서 시작합니다. "정보량은 이렇게 정의되어 있습니다"라는 설명대신 정보량이 왜 그렇게 정의되어 있는지부터 설명합니다. 엔트로피 엔트로피는 정보량에 대한 기댓값입니다. 기댓값의 정의에 따르면 기댓값은 확률분포함수가 있어야 계산할 수 있습니다. 크로스엔트로피 크로스엔트로피는 남의 확률분포함수를 사용하여 엔트로피 (정보량의 기댓값)를 계산합니다. 정보량 (information) 정보량은 어떤 사건의 가치를 수치화 한 것으로 확률의 역수에 로그를 취한 것으로 정의되어 있습니다. 아래 동영상의 설명을 듣어 보면 충분히 수긍이 갈것이라고 생각합니다. https://youtu.be/AW9gQDirJvo
-
Variational Autoencoder (VAE) 쉽게 이해하기카테고리 없음 2023. 1. 13. 15:35
VAE는 대표적인 생성모델입니다. Variational 이라는 용어의 의미부터 잘 와닿지 않습니다. 우리 속담에 "꿩 대신 닭"이라는 표현이 있는데 여기서 쓰인 "대신" 이란 말로 대체해서 생각하면 좋을 것 같습니다. 먼저 그림을 통해 개념을 이해한 후 손실함수에 대한 상세한 수식을 유도합니다. https://www.slideshare.net/jaepilko10/variational-autoencoder-vae-255270887 개념 이해가 쉬운 Variational Autoencoder (VAE) Variational이라는 단어로는 아무것도 안떠오릅니다. 그래서, '꿩 대신 닭'이라고 표현해 봤습니다. 초반 독자적인 그림을 통해 개념잡기가 쉬워요. 설명부분은 초록색으로 표시했습니다. 확률변수 www.s..
-
Diffusion Model 개념, 상세한 수식카테고리 없음 2023. 1. 13. 15:12
Diffusion Model의 개념은 간단하지만 신경망의 손실함수를 유도하는 과정은 꽤나 복잡합니다. Diffusion Model에 대한 개념이해에서 상세한 수식까지, CVPR 2022 Tutorial의 DPM 부분을 상세하게 설명합니다. https://www.slideshare.net/jaepilko10/cvpr-2022-tutorial-diffusion-probabilistic-model-255316416 CVPR 2022 Tutorial에 대한 쉽고 상세한 Diffusion Probabilistic Model - CVPR 2022 Tutorial 해석설명 - 쉬운 개념 이해 (신경망구조 및 손실함수 이해) - 상세한 수식 설명 제공 www.slideshare.net
-
확률변수 (random variable), 확률분포 (probability distribution)카테고리 없음 2023. 1. 13. 14:31
딥러닝, 머신러닝을 공부하려면 확률통계가 기본이라고 이야기 합니다. 이 분야를 위한 확률통계는 계산보다는 정확한 용어에 대한 이해를 요구합니다. 중요한 몇 가지 용어를 정확히 이해만 해도 공부하는데 상당히 도움이 됩니다. [확률변수][random variable] 확률변수를 한마디로 설명하기는 쉽지 않습니다. 이를 설명하기 위해서는 먼저 다음 용어를 알고 있어야 하기 때문입니다. 확률실험, 확률사건, 샘플스페이스 예들 들어 보겠습니다. 동전을 1개 던진다고 해 봅시다. 동전을 1개 던지는 실험을 해 봅시다. 앞면이나 뒷면이 나올 것입니다. 그러나, 동전을 던지기 전에는 앞면이 나올지 뒷면이 나올지 아무도 모릅니다. 결과를 예측할 수 없습니다. 이와 같이 결과를 예측할 수 없는 실험을, '확..