머신러닝/딥러닝을 위한 수학

정확도의 이론적 바운드

(본 글은 유투브 영상을 글로 재구성 한 것입니다.) 머신러닝/딥러닝을 하다보면 크로스 엔트로피(cross entropy)가 자주 등장합니다. 정확히는, 분류(classification) 문제를 풀 때 크로스 엔트로피를 이용해서 손실(loss, cost) 함수를 정의하곤 하죠. 우선 크로스 엔트로피 식을 한번 살펴볼까요? 정의역이 같은 두 랜덤변수 X, Y...

확률에 대한 확률

우리가 익히 잘 아는 베이즈 정리(Bayes' theorem)는 다음과 같습니다: B라는 사건이 일어난 상태에서 A가 발생할 확률을 계산하는 방법인데, 여기선 단순히 이 식에 대한것이 아니라 베이지안 통계 그리고 추론을 한다는 것의 의미를 알아보도록 합시다. 보통 우리가 사용하는 통계적 추론은 빈도 확률론자(frequentist)의 관점을 사용합니다. 시행...

퀵소트(Quicksort)는 왜 시간복잡도가 평균 O(nlogn)일까? 증명하는 방법에는 여러가지가 있지만, 그 중에서도 기댓값(expectation)의 선형성(linearity)을 사용해서 깔끔하게 증명하는 방법을 소개하고자 합니다. 1. 기댓값의 선형성 두 랜덤 변수 X, Y에 대해, E[X + Y] = E[X] + E[Y]가 성립합니다. 매우 익숙한 ...