Large Text Compression 최근 근황

 최근에 인공지능이 유명이 타면서, 인공지능을 이용해서 다양하게 표현하는 것이 있다.

 과거에 알려준 Hutter Prize^[각주:1]라는 상으로 최대의 압축을 하면, 상을 주는 상이 있다.

 여기서 MCM등의 압축 프로그램을 추천한 적이 있다.

 MCM이 아직 미완성 품이라서 발전 상황을 보고 있는데, 최근에 7월 1일날 업데이트가 되어있길래(MCM은 아직 업데이트가 되지 않았다.), 포스팅 하고자 한다.

 6월 중순에 최고의 압축률(시간과 메모리가 비효율적이다.)을 가지고 있는, CMix라는게 있다.

 여기서 메모리의 증가에 따라서 압축률이 증가 하였다.(본 사이트에서 참조 할것.)

 해당 사이트에서는 압축률이 높은 프로그램을 얻을 수 있고, 소스를 참조 할 수 있을 것이다.

 

 필자는 mcm 파일을 사용하고 있다.

 최대 효율이 높은 작품은 drt | lpaq9m을 이용하는 것으로, 메모리가 약 1.5GB에 압축 및 풀기 시간이 약 900ns/byte의 속도가 나온다.

 mcm은 약 6GB가 들지만, 그 만큼 속도가 빠르고, drt|lpaq9m과 거진 비슷하다.(그래도, 차이는 많이 난다.)

 mcm은 압축 및 풀기가 메모리를 많이 들어간다. 단, drt|lpaq9m는 windows에는 작동이 안된다는 단점을(바이러스로 인식한다.[2016-07-04]) 가지고 있다.

 그래서 drt|lpaq9m을 제대로 사용하기 어렵다.

 최근에는 cmix라는 프로그램이 개선이 되었지만, 그래도 메모리의 크기가 보면, 알 수 있듯이 약 30GB라는 엄청난 내용물이 필요하다.

 현재, 이 기술은 무손실 압축으로 표현이 된다.

1. http://mattmahoney.net/dc/text.html(2016-07-06) [본문으로]