Sparsity는 무엇을 의미하는가?

우리가 얻는 신호 중에 실제 인지가능한 정보를 나타내는 신호의 수는 아주 적다. 

 

 

$20*20$ pixel로 이루어진 흑백이미지가 있다고 해보자. 이 흑백이미지가 표현할 수 있는 신호의 개수는 얼마나 될까?

한 pixel이 흑과 백 두가지 상태를 가질 수 있으므로 $2^(20*20)$에 표현가능한 이미지 공간을 형성한다. 

계산 결과는 $2.58225e+120$로 우리가 상상으로도 범접하기 힘든 숫자이다.

해당 이미지 공간에서 우리가 인지 가능한 이미지의 수는 극히 일부를 차지한다.

 

그러면 표현가능한 이미지 공간상에서 인지가능한 이미지를 구성하는 요소들이 존재하여

해당 요소들과 관련된 성분만 추출할 수 있다면 우리는 필요한 성분만 남기고 압축된 형태로 저장 및 전송을 할 수 있으며

이 성분들만 가지고 원래의 형태를 만들 수 있다.

 

universal basis는 인지 가능한(필요한)신호들을 구성하는 기저들이다. 예를 들어 Fast Fourier Transform에 기저가 이에 해당한다.

 

original signal은 universal basis를 거치면 uiversal basis기저에 관한 성분들만 남고

이에 해당되지 않는 성분들은 모두 필터링 된다.

 

필터링 이후 남은 성분들을 sparsity라고 하며 인지가능한 정보를 구성하는데 필요한 성분들만 남은 것이다.

 

orignal signal의 성분들중 대부분은 없어지고 극히 일부만 남아 sparsity를 구성하므로

sparsity의 성분들은 대부분은 0으로 이루어져 있다. 

 

위의 과정을 이용하면 신호를 압축하고 이를 다시 복구시켜 원래의 신호를 얻는 방식이 가능해진다. 

예를 들어 이미지 벡터를 받아서 universal basis를 거쳐 얻은 압축된 신호의 형태인 sparsity를 전송하고

이 sparsity를 전의 과정을 역으로 행하면 원래의 이미지를 볼 수 있게 된다. 

---