Tensor 텐서란?: Scalar, Vector, Matrix함께 이해하기, 물리학과 머신러닝에서의 쓰임

Tensor 텐서

수학, 물리학, 머신러닝에서 사용하는 다차원 데이터 표현 개념
차원을 가진 수학적 객체, 숫자를 담는 다차원 배열
스칼라, 백터, 행렬을 일반화한 개념이다. 

Scalar가 0차원, 5, 3.14, -2처럼 크기만 있다 .

Vector가 2차원, [123] 숫자가 일렬로 나열된 구조로 크기, 방향을 가진다.

Matrix가 2차원, vector여러개를 모은 2차원 구조
[[1 2]
[3 4]]
= 행렬

Tensor가 n차원. Matrix보다 더 높은 차원까지 확장한 개념으로
= 3차원(깊이, 행렬), 4차원(배치, 채널, 높이, 너비)..

 

Tensor는 물리학에서 매우 중요하다 .가만보면 Numpy의 ndarray와 차이가 없어 보이나 실제 Tensor의 개념은 '여러방향의 관계를 동시에 표현'한다는 것에 의미가 있다. 

코드의 표현에 비해 현실세계는 아주 복잡하여 어떤물체를 여러방향에서 누른다고 할때의 위, 옆, 대각선에서 의 누르는 힘들을 벡터 하나로 표현이 어렵다. 한방향힘이 다른 방향에 영향을 주기 때문이다 .스펀지를 눌렀을때 위에서 누르면 아래로 압축되고 옆을 퍼지는 모습을 상상하면 쉽게 이해할 수 있다 . 이럴때 응력 텐서가 사용된다 .

행렬의 깊이, '어느 방향 힘이 어느 방향 변화에 영향을 주는가'를 나타낼 수 있다 . 단순 숫자배열이 아니라 방향간 관계를 담고있다는 것.  또 동쪽 좌표가 바뀌고 북쪽 좌표가 바뀌어도 실제 물리현상은 바뀌지않는것처럼 Tensor또한 그렇게 가능하니 '좌표계를 바꿔도 의미를 유지'가 가능하다는 점에서 핵심적인 기능을 가지고 있다 .

즉 단순 배열이라기보다 '좌표변환에도 일관도니 관계를 유지하는 객체'로 훨씬 더 깊은 개념이라고 이해해보자 .

 

 

 

이 Tensor가 머신러닝에서는 위 물리학에서의 어려운 의미를 많이 단순화해 사용한다. '고차원 숫자 데이터묶음' 

이미지를 연상해보자 .흑밸이미지는 높이, 너비만 있으면 된다. 그에 반해 컬러이미지는? rgb가 추가로 필요할것이다. 만약 영상이라면? 시간축까지 추가될것이다. 데이터는 얼마든지 점점 고차원이 된다 .

 

신경망 내부는 거의 전부 벡터연산, 행렬 곱, 차원변환으로 엄청난 양의 행렬계산이 이루어지고 이는 이미지 수천장, 픽셀 수백만개, 가중치 수억개 등이다 .이는 Tensor형태로 계산된다. GPU가 Tensor에 최적화된 이유도 같은 계산을 엄청 많이 동시에 수행하기 때문.

 

사실 TensorFlow도 Tensor가 흐르는 Flow연산그래프란 의미이다.