[선형대수학] 벡터의 내적(Inner Product) 과 Affine Functions

 

 

1. 벡터의 내적(Inner Product) 이란?

벡터의 내적이란 두 벡터의 각 성분끼리의 곱한 후, 합하는 것을 의미한다. 내적이란 것은 안쪽으로 곱한다는 의미이다.두 벡터 내적 연산을 통해 우리는 두 개의 벡터를 단 하나의 스칼라 값으로 변환시킬 수 있다. 내적은 Inner Product, Dot Product 등으로도 불리운다. 조건은 두 벡터의 길이는 같아야 한다.

 

그렇다면, 내적을 통해 기대할 수 있는 혹은 얻을 수 있는 효과는 무엇일까?

바로, 두 벡터간의 유사함(=닮음의 정도)을 값으로 나타낼 수 있다.

 기하학 혹은 물리학적으로는 방향과 크기를 가진 물리량(힘 = 효율 = 스칼라 값)을 얻을 수 있다. 1장에서 우리는 벡터는 바로 방향성과 크기를 가진 값이라고 배울 수 있었다.

그렇다면, 두 벡터는 각각 방향과 크기를 가진 물리량이고, 어떤 방향으로 얼마나 움직였는가를 의미 한다. 그래서 벡터를 사용해서 연산하는 것은 바로, 특정한 방향으로 가한 힘, 움직인 방향들을 의미한다.  

힘의 방향과 크기는 존재하는데, 움직인 거리의 방향과 크기는 존재하지 않는다. 그렇다면, 일을 하지 않은 것으로 본다. (=움직임이 없는 것 으로 본다.) 

마찬가지로, 특정한 방향으로 힘과 움직임이 있는 경우. 내적을 사용해서 한 벡터를 다른 벡터에 투영해서 같은 방향으로 만든 다음, 이 곱만을 결과의 일로 따진다.

다른 예로, 힘을 가해준 방향과 움직인 방향이 서로 수직이라면 물리학적으로는 일을 하지 않은것으로 간주한다. 물리학에서 두 벡터의 방향이 서로 수직이라는 것은 두 벡터가 직교(orthogonal)한다는 의미이다. 이런 경우 벡터의 내적 값은 0이 된다. 그리고, Data Science 관점에서 두 벡터는 서로 독립적(=닮지 않다) 이며, 다른 특성을 가진다는 것을 의미한다.

 

결론적으로, 벡터를 내적한다 라는 말의 의미는 두 벡터가 얼마나 닮았는지를 구하는 것이며, 스칼라 값으로 표현할 수 있다는 것을 의미한다. 두 벡터를 내적 했을때, 하나의 방향을 가진 벡터와 다른 벡터가 얼마나 닮았는지.

 혹은, 두 벡터가 각각 방향과 크기를 가지고 그 벡터가 작용한 일의 유효성(단일 스칼라값)을 구하는 것이 바로 내적을 하는 이유이다. 그리고, 그 스칼라 값이 얼마나 유사하냐에 따라 두 벡터간의 유사성을 계산할 수 있다.

혁펜하임님의 설명을 참고하였습니다.

 

1-1. 쉽게 설명해줘.

 

혁펜하임 님 설명

 

위의 a는 벡터, b도 벡터이다. 그리고 두 벡터의 곱의 합은 8이다. a * b의 합은 8이다. 벡터끼리 곱하고 합한다. 그게 내적이다. 그러고, 추가 설명이 있는데 aTb(TransPose)를 취하고 내적해도 값은 같다. 그리고, 기하학적으로 표현시 이와 같다. 아래부분은 증명 혹은 정의에 대한 설명이니, 어려우면 걍 패스해도 된다.

 

벡터의 내적 특성은 벡터의 특성처럼

1. 1(x+y) = 1x+1y

2. x*y = y*x

특성을 당연히 따른다.

 

그 외에, 연립방정식 처럼 분배법칙을 따른다.

 

2. Linear Functions

 

Linear Function 은 입력은 N 차원 Vector를 파라미터로 입력받고, 결과를 스칼라 단일 값으로 출력하는 변수를 의미한다.

 

 f  :R^n 은 Function 이며. n 차원 벡터를 파라미터로 입력받고, l 이라는 스칼라 값을 결과로 갖는다.

그리고,  function(=f) 은 Superposition(중첩)을 충족한다. 중첩을 충족하다는 의미는 아래와 같다.

 

 

 

 

 

Linear Combination 을 하고, Linear Function 함수를 통과하나, 함수를 통과하나 Linear Combination 을 하고 함수를 통과하나 결과는 같다. Superposition(중첩)을 충족한다는 것을 해당과 같은 의미이다. 

 

1-2. Inner Product Functions

Inner Production Function : 벡터끼리 내적한 곱의 합은 각 원소끼리 곱의 합이다. 그리고, Inner Production Function 은 Linear(회귀식) 과도 같다. 특히, a1x1, a2x2 .. 등과 같은 식이 존재할 때, a3은 100이 기울기(계수)로서 입력될 수도 있다.

 그리고, 해당과 같이 분배법칙에 의해서 Function(ax + by) 는 af(x) +bf(y) 도 성립을 하며, 이는 내적 함수가 Linear Function 을 충족한다는 말이다. 둘은 서로 상호 충족한다.

 

그리고, 모든 Linear 한 함수는 Inner Product Fucntion 이고, 이는 f(x) = aTx 로 증명할 수 있다.

 

 

Superposition(중첩) 이 충족한다는 것은 위 설명과도 같다.

2. Affine Functions

Affine 하다는 것은? Linear 한 것에 Constant(상수) 가 더해진 것을 의미한다. aTx + b (스칼라 + 스칼라) 이다. 그러나, Affine Function 의 특징은 아무 상수나(실수)나 곱하는 것이 아니라, 둘의 합이 1이 되는 케이스를 의미한다. Affine Functions 는 Linear Combination 보다 조금 더 한정되었다. LC는 이런 제한이 없지만, Affine Function은 두 계수(상수) 값이 한정되어있다. 

 그리고, 위에서 배운 Superposition 은 Affine Functions 에도 충족한다. 

 

 

 

Linear 와 Affine 은 둘이 원점을 지나느냐 아니냐에 따라서 구분지을 수 있다. 그러나, 일반적으로 사람들은 Affine 을 선형이라고도 부른다. (Affine은 일반적으로 원점을 지나지 않는다.)

 그리고, Inner Product + Constant = Affine Function 을 충족한다.

 

 

3. First-Order Taylor Approximation

 

비선형 그래프의 어떤 포인트(z) 에 대해서 선형으로 approximation(근사) 하는것이 First-order Taylor approx.라 한다.(=^f(x))  

 어떤 주어진 포인트(z) 에 대해서만 할 수 있다. z라는 포인트의 위치와 f(x) 의 위치가 해당 포인트에선 굉장히 근사한다. 이것이 First Order Approx. 여기서 함수라는 것은 해당 포인트를 지나는 선을 의미한다.

HOW? n-vector 편미분 기울기에 대한 값을 구해, 어떤 비선형 그래프의 특정 포인트에 대한 n-vector 의 근사값을 구할 수 있다.

 

4. Vector 의 Transpose

Vector의 Transpose : Raw Vector 를 Column 벡터로 변경. Column 벡터 값은 Raw로 변경한다.

* 설명 : [ 1,2,3 ] 은 [1,

                               2,

                               3 ] 으로 변경된다.

 

Matrix의 Transpose : Diagonal 자리에 있는 원소값은 고정하고, 나머지 원소값의 자리는 대칭되는 자리의 원소끼리 서로 변경해준다.

* 설명 : 

[1, 2, 3                                                     [1, 4, 7

 4, 5, 6                                                      2, 5, 8,

 7, 8, 9 ] Vecotr를 Transpose 시키면,      3, 6, 9 ] 으로 변경된다.

 

 

5. 내적과 정사영

 

* 추가적으로, 내적과 정사영에 대한 좋은 설명이 있어 추가한다. 해당 링크를 참고하면 벡터의 내적에 대한 개념을 확장적으로 가져갈 수 있다. 링크

 

* 참고 : 선대 1-3강. Inner product, linear and affine functions (링크)

* 김종한 교수님 : 링크

* Introduction Linear Algebra(링크)

* 파인만 블로그 : 링크

* 혁펜하임 설명 : 링크