ABOUT ME

-

Today
-
Yesterday
-
Total
-
  • cross-entropy, entropy, information에 대한 수긍가는 설명
    카테고리 없음 2023. 1. 13. 15:55

    크로스엔트로피에 대한 설명은 정보량에서 시작합니다. "정보량은 이렇게 정의되어 있습니다"라는 설명대신 정보량이 왜 그렇게 정의되어 있는지부터 설명합니다.

     

    엔트로피

    엔트로피는 정보량에 대한 기댓값입니다.

    기댓값의 정의에 따르면 기댓값은 확률분포함수가 있어야 계산할 수 있습니다.

     

    크로스엔트로피

    크로스엔트로피는 남의 확률분포함수를 사용하여 엔트로피 (정보량의 기댓값)를 계산합니다.

     

    정보량 (information)

    정보량은 어떤 사건의 가치를 수치화 한 것으로 확률의 역수에 로그를 취한 것으로 정의되어 있습니다.

    아래 동영상의 설명을 듣어 보면 충분히 수긍이 갈것이라고 생각합니다.

     

    https://youtu.be/AW9gQDirJvo

     

    댓글

Designed by Tistory.