정보량
-
cross-entropy, entropy, information에 대한 수긍가는 설명카테고리 없음 2023. 1. 13. 15:55
크로스엔트로피에 대한 설명은 정보량에서 시작합니다. "정보량은 이렇게 정의되어 있습니다"라는 설명대신 정보량이 왜 그렇게 정의되어 있는지부터 설명합니다. 엔트로피 엔트로피는 정보량에 대한 기댓값입니다. 기댓값의 정의에 따르면 기댓값은 확률분포함수가 있어야 계산할 수 있습니다. 크로스엔트로피 크로스엔트로피는 남의 확률분포함수를 사용하여 엔트로피 (정보량의 기댓값)를 계산합니다. 정보량 (information) 정보량은 어떤 사건의 가치를 수치화 한 것으로 확률의 역수에 로그를 취한 것으로 정의되어 있습니다. 아래 동영상의 설명을 듣어 보면 충분히 수긍이 갈것이라고 생각합니다. https://youtu.be/AW9gQDirJvo