참고자료) https://youtu.be/NHAatuG0T3Q

Pi는 각 class에 해당하는 값이 나올 확률

entropy 값이 1인경우 완전히 골고루 펼쳐진 상태. 에너지가 골고루 퍼진 상태. disorder값이 최대인상태

(Info 1.1) Entropy – Definition
https://youtu.be/LodZWzrbayY

X random variable은 conitinuous가 아니고 discrete이다. 

log의 base는 10, e 자연상수를 사용할수도 있으나 information theory에서는 보통 2를 사용한다. 특별한 언급이 없는 경우는 2라고 생각한다. base가 2가 아닌 경우 Hb(X)와 같은 형태(b는 base값)로 표기한다. 

Comments are closed.

Post Navigation