Math♾️/Sparsity and Compression
-
Sparsity는 무엇을 의미하는가?Math♾️/Sparsity and Compression 2022. 9. 28. 13:11
우리가 얻는 신호 중에 실제 인지가능한 정보를 나타내는 신호의 수는 아주 적다. $20*20$ pixel로 이루어진 흑백이미지가 있다고 해보자. 이 흑백이미지가 표현할 수 있는 신호의 개수는 얼마나 될까? 한 pixel이 흑과 백 두가지 상태를 가질 수 있으므로 $2^(20*20)$에 표현가능한 이미지 공간을 형성한다. 계산 결과는 $2.58225e+120$로 우리가 상상으로도 범접하기 힘든 숫자이다. 해당 이미지 공간에서 우리가 인지 가능한 이미지의 수는 극히 일부를 차지한다. 그러면 표현가능한 이미지 공간상에서 인지가능한 이미지를 구성하는 요소들이 존재하여 해당 요소들과 관련된 성분만 추출할 수 있다면 우리는 필요한 성분만 남기고 압축된 형태로 저장 및 전송을 할 수 있으며 이 성분들만 가지고 원래의..
-
왜 정보는 압축이 가능한가?Math♾️/Sparsity and Compression 2022. 9. 27. 23:30
"원숭이들이 자판을 무한히 자판을 두드렸을 때 세익스피어가 나올 수 있다" 위의 말은 무엇일까? 원숭이들이 자판을 무작위로 두드리면 말도 안되는 철자의 조합으로 구성된 글이 나올것이다. 하지만 확률에 신비한 마법으로 세익스피어와 같은 명작이 나올수도 있다. 즉 이 말은 철자의 조합으로 만들어질 수 있는 수 많은 글이 하나의 공간을 이룰 때 우리가 읽을 수 있는 글자는 해당 공간 상에서 극히 일부를 차지하며 그 중에서도 고전과 같은 명작이 나오는 것은 더 적은 수라는 것이다. 살아오면서 보고,듣는 것들로 세상이 이루어져 있다고 체험을 통해 느끼지만 우리가 인지 할 수 있는 구조화 된 신호인 오디오, 사진, 영상등은 무작위적인 조합으로 만들어 질 수 있는 것들로 이루어진 공간에 극히 일부에 해당한다. 반대로..