computer_study

Graphical models이란? 확률분포를 좀 더 쉽게 해석하기 위한 그래프 도식 방법이다. 장점 확률 모델의 구조를 쉽게 시각화 하여 새로운 모델을 디자인하는데 도움을 준다 그래프화된 구조를 분석함으로써 모델 숙성에 대한 직관을 얻을 수 있다. 복잡한 학습과 추론 과정을 가지는 모델의 계산 과정을 그래픽적인 요소로 표현이 가능하다. 그래프는 node와 edge로 표현되는데, 확률 그래프 모델에서 node는 random variable을 의미하고, link(edge)는 random variable사이의 확률적인 관계를 나타낸다. 이런 Graphical model은 Directed graphical model 혹은 Undirected graphical model 중 하나이다. motivation p(x..

Gaussian probability density function 일반적인 가우시안 분포 d차원 space 상에서 정의된 가우시안 (multivariate gaussian) 위 식에서 p(x) = p(x1, x2...xD ) 즉, marginal pdf이기 때문에, x = (...x1 ... x2 ...xD...) 를 뜻한다. 시그마는 DxD covariance matrix로, symmetric positive definite matrix이다. (∑ = ∑T , 6ij = 6ji) 그림으로 vocariance matrix를 보자면 다음과 같다. d차원 space 상에서 정의된 가우시안을 임의의 direction(w) 에 projection conditional probability density fun..

용어정리 Linear classifier Linear classifier은 앞성 작성 한 내용들 처럼 Logistic regression, Fisher discriminant analysis, Large margin classifier이 있다. 이들은 선을 통해서 데이터를 분류하는 방법을 말한다. 이러한 Linear classifier은 dimension에 영향을 받는다. dimension이 D, data 수가 N이라고 할 때, D >= N-1 이면 label이 어떤 식으로 존재하던 linear classifier하다고 할 수 있다.(아래 covers theorem에서 증명) 예를 들어, 데이터가 1개 ~ 4개라면, 3차원 공간에서 이들을 완벽하게 classifier하는 hyper plane을 만들 수 ..

제약조건이 있을 때 optimiztion 일반적으로 object function L(x)를 잡고, 그 값이 min이 되는 경우나 max가 되는 경우가 optimal한 경우로 봤었다. 하지만 만약, L(x) 이외에 g(x)라는 제약조건이 있다면, 언제가 optimal한 값이 될까? 예를들어 prediction 함수로 L(x), 제약조건으로 g(x)가 주어졌다고 하자. prediction함수를 maximize하여 optimization 하는 경우를 생각해보면 다음과 같이 쓸 수 있다. L(x)와 g(x)가 아래 그림과 같은 등고선을 갖는다고 가정하자. feasible region(그림상 노란색 영역) 안에서. 가장 큰 L(x)를 찾는 것이 목표가 되는 것이다. L(x)가 가장 큰 점은 위 그림의 빨간 지점이..

Nearest neighbor mothod란? 학습과 분류 과정 중 하나로써, 현재까지의 training data가 존재하고 새로운 data x가 주어졌을 때, x에 대한 결과값을 x에 가장 가까운 data들을 이용하여 구하는 방법이다. 새로운 데이터와 가장 가까운 i번째 data를 찾아서, i번째x의 label(yi)에 따라 새로운 데이터의 label을 정한다. 이는 분류가 Classification으로 이루어지고 있는 경우와 Regression으로 나누어지고 있는 경우로 나누어볼 수 있다. Classification xnew의 위치가 노란색 부분에 위치한다면, y(xnew)는 class3으로 정할 수 있다. Regression x_new의 위치가 다음과 같다면 xnew의 y값은 y2로 결정된다. k-..

Perceptron Convergence theorem이란? 잘못 분류 된 data들을 찾아서 다시 분류하는 update rule이다.(boundary를 조금씩 바꾸어가면서) perceptron(퍼셉트론) 초기 형태의 인공신경망으로 다수의 입력으로부터 할당된 웨이트 w를 곱한 다음 하나의 결과를 내보내는 알고리즘이다. 즉. Perceptron convergence theorem이란, 퍼셉트론 알고리즘을 이용해서 값을 수렴시키는 이론이라는 의미이다. Example Perceptron Convergence의 특징 d차원에서 hyper plane으로 분류가 완벽하게 되는 경우(Linearly separable한 경우) 다음과 같이, 모든 data가 하나의 구 안에 들어있다고 볼 수 있다. 이때 그 구의 반지름..

Fisher Discriminant Analysis란? FDA 혹은, Linear Discriminant Analysis(LDA)라고 불린다. 데이터들을 하나의 직선(1차원 공간)에 projection시킨 후 그 projection된 data들이 잘 구분이 되는가를 판단하는 방법이다. 데이터가 잘 구분되어있다는 의미는 위 그림 중, 왼쪽 보단 오른쪽 처럼 구분이 되어야 됨을 의미한다. 이 특성을 보자면, 데이터들이 모여있고, 중심부가 서로 멀수록 데이터의 구분이 잘 됐음을 알 수 있다. 즉, projection 후 두 데이터들의 중심(평균)이 서로 멀수록, 그 분산이 작을수록 구분이 잘 되었다고 얘기할 수 있다. 이렇게 잘 분류되게끔 하는 하나의 vector w를 구하는 것이 LDA이다. variance..

수치해석에서의 Min/Max 구하기 min/max 값을 구할 땐, 보통 그 min 값이나 max값이 주 목적이 된다. (ex. 돌을 하늘로 던졌을 때, 최대로 높이 올라간 높이는?) 수치해석에서 min/max구하는 문제는 변수(parameter)를 최적화하는 문제이다. cost나 energy값 자체보단, 그 값들이 min/max값을 갖게 하는 변수가 중요하고 이 변수가 실질적인 solution이다. 앞선 01.Root에선 f(x)=0이 되는 x값을 구하는 문제였다면 Min/Max찾기는 f '(x)=0이 되는 x값을 찾는 것이다. 과정은 비슷하지만, f ''(x) (이계도함수)가 사용된다. Global과 Local global min/max는 모든 구간에서 min/max인 값을 얘기하고 local min/..