수학 Mathematics 3

베이즈 룰 (Bayes Rule, Bayes Equation)

이 글은 학부 수업을 들으면서 개인적으로 정리한 글입니다. 잘못된 내용이 있다면 댓글로 말씀 부탁드립니다! Frequentist Probability VS Bayesian Probability - Frequentist Probability ( 빈도 확률, 도수 확률 ) : 우리가 흔히 아는 동전의 앞면이 나올 확률을 구하는 예를 생각할 수 있습니다. 만약 동전을 100번 던져서 앞면이 38번 나온다면 (앞면이 나올 확률) = 38 / 100. 이렇게 시행을 반복 해 빈도수를 측정해 빈도 확률을 구할 수 있습니다. ( 이 방식은 시행을 더 많이 반복할수록 정확한 확률을 구할 수 있습니다. ) - Bayesian Probability ( 베이지안 확률 ) : 위의 예시에 제시한 동전 던지기 또는 주사위 던지..

LU Factorization (LU Decomposition)

이 글은 학부 수업을 들으면서 개인적으로 정리한 글입니다. 잘못된 내용이 있다면 댓글로 말씀 부탁드립니다! Ax = b Ax = b 형태의 연립 선형 방정식을 풀기 위한 방법에는 다양한 방법이 있습니다. 가장 기본적인 방법으로는 역행렬을 이용하는 방법, Gauss Elimination 등이 있습니다.하지만 행렬의 크기가 커지면 커질수록 역행렬을 이용하는 방법은 쉽지 않고, Gauss Elimination을 사용하자니 b의 값도 계속해서 계산해줘야하기에 비효율적입니다. LU Factorization 따라서 위에서 말한 방법들도 좋지만, 행렬을 분해해 Solution을 찾는 LU Factorization을 알아보겠습니다. 위와 같은 형태의 식을 Ax = b 로 두겠습니다. 이런 형태에서 A를 L과 U (L ..

스칼라 미분, 벡터 미분, 행렬 미분

딥러닝 이론 공부 중 역전파의 수식을 보다가 스칼라, 벡터, 행렬에 대한 미분을 정리해놓는 게 좋을 것 같아서 기록합니다. 스칼라, 벡터, 행렬 스칼라는 크기만 있고 방향을 가지지 않는 양입니다. 상수나 변수 함수 모두 크기만 있고 방향을 가지지 않는다면 스칼라가 될 수 있습니다. 벡터는 스칼라와 대비되는 개념으로 크기와 방향을 가집니다. 열벡터 또는 행벡터를 아울러 의미합니다. 행렬(matrix)이란 실수 또는 복소수를 위 그림의 좌변과 같이 직사각형으로 배열한 것 입니다. 원소로 다항식이 들어가는 경우도 있습니다. CASE 스칼라, 벡터, 행렬 간 미분에서 따져볼 경우는 아래와 같습니다. 나머지 부분(행렬-벡터, 행렬-행렬)은 스칼라 - 벡터 또는 스칼라 - 행렬 간의 미분처럼 생각하면 구할 수 있겠..