[인공지능] vector differentiation, matrix differentiation, analytic optimal solution, 용어정리와 vector미분방법

인공지능에서 사용하는 용어에 대한 의미를 정리한다.

 

함수를 벡터에 대해 혹은 행렬에 대해 미분하는 방법

scalar함수를 vector로 미분

 함수 f를 아래 그림과 같이 d차원 벡터를 input으로 받아 d차원 벡터를 output하는 함수 라고 하고

(x : d차원 벡터)

이러한 f를 x에 대해 미분한다면 scalar를 vector로 미분 한 것이기 때문에 각 x값마다 미분값이 생긴다.

 

함수를 행렬로 미분

matrix를 입력값으로 받아 scalar값을 output 하는 함수 f: A -> y라 할 때,

이러한 f를 A로 미분하면 matrix가 나오며, 위 과정과 같은 과정을 거쳐 다음과 같은 값이 나온다.

 

 

 

기본적인 미분 식 정리

기본적인 미분 식 증명

• 1번 식 증명

• 4번식 증명

 

 

trace(대각 합)

• 기호 : tr(A)
• 정의 : n x n 정사각행렬 A의 대각합은 다음과 같다.

• 미분 : f(B) = tr(ABC)라고 한다면

 

미분 예시

*f(x ; w)의미

y = f(x ; w)라고 한다면, 우리는 x에 대해서 y값이 어떻게 변하는지 알고싶다는 것을 의미한다.

(data x가 들어갈 때 마다 w가 다르게 나오지 않는다)

w는 고정값처럼 생각하지만, 실질적으로 함수를 조절하는 parameter로 w가 사용될 수 있다.