Работа со мултимедија

Содржина

• Компресија и трансформација
• Аудио
• Слики
 Компресија и трансформација

• Аналогната форма на мултимедијата

доведува до големи фајлови
• Решение: компресија и трансформација
• Техниките за компресија ја намалуваат
големината на документот без загуба на
значајни информации
• Избор на техника:
–Големина на компресирана содржина
–Потребно време за компресија и
декомпресија
 Компресија и трансформација

• Типови компресија:
–Без загуба (Соодветна за текст, се користи
во PostScript, PDF итн)
–Со загуба (Се користи за мултимедија, иако
во некои случаи, пр. медицински слики, не
е соодветна)
 Техники на компресија без загуба

• Основни техники на компресија без

загуба:
–Хуфманово кодирање
–Аритметичко кодирање
• Се базираат на следниот принцип:
кодирање на често појавуваните
симболи со најмал можен број битови
• Не употребуваат однапред позната
кодна табела, туку ја генерираат
 Техники на компресија без загуба

• Хуфманово кодирање генерира табела

на симболи за еден фајл или група на
фајлови и ја доставува пред да почне
кодирањето
• Аритметичко кодирање ја модифицира
иницијалната табела на симболи во
текот на кодирањето
• Двете техники даваат компресија
блиску до оптималната според
фрекфенцијата на појавување на
симболите
 Техники на компресија со загуба

• Наједноставен пример е квантизација –

поделба на можните рангови на делови
и доделување вредност на секој од нив
• Пр. Заокружување на амплитудата на
аудио сигнал на најблиските 8 бита
• Квантизација може да се примени и на
вектори – пр. Вектори од аудио или
слики
 Техники на трансформација

• Основни техники на трансформација

кои резултираат со компресија со
загуба:
–Фуриеви трансформации
–Дискретни косинус трансформации
–Wavelets
 Фуриеви трансформации

• Процес на трансформација на
временско-базиран сигнал во домен од
фреквенции (со последователно
пробување на синусни бранови и
забележување на поклопувања)
• Оските x и y ги прикажуваат
фреквенцијата и амплитудата
• Со пресметка на инверзна фуриева
трансформација се добива оргиналниот
сигнал
Фуриеви трансформации
Две ноти средно C и А
Фуриеви трансформации
Фуриеви трансформации
50ms од популарна песна со вокали и музика
Фуриеви трансформации
 Содржина

• Компресија и трансформација
• Аудио
• Слики
 Аудио

• Аналогни сигнали кои се дискретизи-

раат за компјутерско преставување
• Рани формати: WAV, AIFF, AU
• Едноставни и релативно големи во
споредба со денешните формати
• Почнуваат со заглавје (header) во кој е
запишана ратата на примерок (sample
rate) и детали за дискретизација, а
потоа следуваат податоците
 Аудио - WAV

• Waveform Audio File Format е пример на

Resource Interchange File Format (RIFF)
методот за зачувување на податоците
во “chunks” – секој фајл се зачувува
низа од парчиња, соодветни на логичка
единица информација или сирови
податоци
• Секое парче започнува со 8 бајти
информација – тип на парче и големина
 Аудио - WAV

• Заглавјето покрај sample rate, број на

канали и битови по канал, вклучува и
која техника на компресија е употребена
• Дефинира типови на елементи, како fmt
(информациите од заглавјето) и data
(содржината)
 Аудио - WAV

• Како дериват на RIFF WAV фајловите

може да бидат означувани со
метаподатоци во INFO “парчето”
–Пр. Title, Artist, и Genre
Аудио - WAV

http://soundfile.sapp.org/doc/WaveFormat/
 MPEG Аудио – MP3 и слични

• MPEG ја компресира аудио снимката со

користење на техника со загуба каде
документот се намалува на 1/12 од
оригиналот
• Го користи феноменот на акустично
маскирање – човечкиот слушен систем
не може да ги перцепира елементите со
ниско-појасни фреквенции во близина
на високо-појасни фреквенции
–Овие фреквенции може да се кодираат со
помалку битови или воопшто да не се
кодираат
MPEG Аудио – MP3 и слични
 MPEG Аудио – MP3 и слични

• Сличен е феноменот на темпорално

маскирање – не се слушаат слабите
(тивките) елементи кои се појавуваат до
силните (гласните)
• MPEG стандардот прецизно го дефинира
декодерот, но не и кодерот
• Дефинира 3 различни шеми за
компресија, наречени слоеви, за аудио
компресии
• Најкористен е MPEG Слојот III, познат
како MP3
 MP3 кодирање

• Може да се избере колку информација

ќе се задржи во текот на кодирањето и
компресијата – bit rate (број на битови
во секунда енкодирани во MP3 фајлот)
• bit rate варира од 96 до 320 Kbps
–128 Kbps резултира со квалитет на звук на
радио
• MP3 за компресија користи 3 основни
слоја, следува опис на првиот (Слој 1),
другите два го засилуваат првиот
http://computer.howstuffworks.com/mp31.htm
 MP3 кодирање
• Сигналот се дели на 32 опсези, според
однапред одредени рангови од
фрекфенции, не се еднакви
• Се групираат по 12 примероци од 32та
опсези (вкупно 384 подопсези)
• Секој опсег се трансформира кој се
анализира за кандидати за компресија
• Се трансформира со користење на
Модифицирана дискретна косинус
трансформација (Слој 3)
• Па коефициентите се квантизираат и
кодираат
 MP3 кодирање

https://cs.stanford.edu/people/eroberts/courses/soco/projects/data-compression/lossy/mp3/layer_coding.htm
 MP3 структура

https://xjaphx.wordpress.com/2011/06/28/a-quick-study-on-mp3-
file-structure/

http://www.beaglebuddy.com/content/pages/javadocs/index.html?com/beaglebuddy/id3/v23/ID3v23TagHeader.html
 MP3 метаподатоци

• ID3 v1 (на сликата на слајдот погоре,

фиксен 128 бајти) и v2

http://ample.sourceforge.net/developers.shtml
Пост MP3 формати - AAC, Ogg Vorbis

• Advanced Audio Coding (AAC, се користи

од Apple) и Ogg Vorbis постигнуваат
подобра компресија од mp3 или подобар
квалитет при иста големина
• Се фокусираат на ублажување на
непожелните аудио артефакти при
кодирање со помали bit rates
 Пост MP3 формати - FLAC

• Free Lossless Audio Codec (FLAC)

• Намалува 30%-50% за музика, повеќе
за говор
• Отворен формат
• Сепак резултатните документи се доста
поголеми од MP3
Аудио дигитална библиотека
 Содржина

• Компресија и трансформација
• Аудио
• Слики
 Слики

• Матрица од пиксели
• Формати кои користат компресија без
загуба - GIF, PNG
• Формати кои користат компресија со
загуба - JPEG
• Формати кои работат и на двата
начина- TIFF, JPEG 2000
–Често се користат за дигитални библиотеки
• Слики дефинирани на структуриран
начин - scalable vector graphics (SVG)
 GIF

• Graphics Interchange Format (GIF)

• Секој пиксел се претставува со 8 бита
или помалку
• Кодовите за пикселите може да бидат
grayscale вредност или индекс во lookup
табела, наречена мапа на бои (color
map)
• Мапата на бои може да содржи до 256
различни бои со 24-битна
спецификација (8 бита за секоја од
основните бои)
 GIF

• Една вредност од 256те бои е

резервирана за транспарентност
• Мапата на бои се креира за секоја слика
поединечно и се зачувува како префикс
на таа слика
• Низите од по 8 бита се компресираат со
LZW
• Може да содржи една слика или повеќе
(давајќи анимација)
• Поради патент на LZW (кој истече во
2004) се појави нов формат- PNG
GIF

https://en.wikipedia.org/wiki/GIF
 PNG

• Нуди подобра компресија бидејќи

сликата ја гледа дво-димензионално
• Дефинира филтери кои се применуваат
пред компресија
–Филтер хоризонтално растојание – го
одзема пикселот од претходниот до него(на
ниво на бајти)
–Филтер вертикално растојание – го одзема
пикселот од претходниот над него
–Филтер просечно растојание – го одзема
пикселот од просекот на соседите до него и
над него
 PNG

• Кодерот дефинира како и кои филтри ќе

се употребуваат
• Се користи на gzip (поточно DEFLATE)
компресија
• 10%-30% помали слики од GIF
• Пикселите не мора да се 8 бита – може да
се земаат од 256 битна палета, но може да
бидат до 16 бита за grayscale или 48 бита
за боја
• Вклучува gamma корекција – компензира
за разлики во приказ на бои на монитори
 GIF и PNG - метаподатоци

• GIF
–Содржи секции како Comment Extension,
Plain Text Extension, и Application Extension
• PNG
–Exif
 JPEG

• Joint Photographic Experts Group (JPEG)

• Вклучува и принцип на работа без
загуба, но многу ретко се користи
• Процес на кодирање:
–Сликите се делат на 8х8 пиксел блокови
–Секој блок се трансформира (дискретна
косинус трансформација)
–Па се применува хуфманово кодирање
• Може да контролира колку бита по
пиксел ќе се користат
JPEG – кодирање и декодирање
JPEG – Разлика со 0.1, 0.2 и 1
бит/пиксел
 TIFF и JPEG 2000

• JPEG 2000 за разлика од JPEG користи

дискретна wavelet трансформација
• Дозволува делови од слика да се
реконструираат без да се декомресира
целиот фајл
• Нуди и транспарентност и презентација
во повеќе резолуции
• Користи EXIF тагови за метаподатоци
(кодирани во XML)
Разлика меѓу JPEG и JPEG 2000
 TIFF и JPEG 2000

• TIFF започнува како формат за црно-

бели слики, но сега има доста опции:
–Grayscale и слики во боја
–Различни шеми на компресија
–Различни модели за бои
–Слоеви или повеќе страници во еден фајл
–integer, floating point и комплексни броеви
за претставување пиксели
• Поради последната опција нуди
прецизност за медицински и научни
слики
 TIFF и JPEG 2000

• Tagged Image File Format (TIFF)

• Се базира на нотација на тагови
• Поради својата обемност (и големиот
декодер) се нарекува и “Thousands of
Image File Formats”
 Дел од TIFF таговите
Димензии Должина и ширина на слика (во пиксели)
Мерка на резолуција (none, inch, cm)
X и Y резолуција (пиксели во една резолуциска единица)
Боја Фотометричка интерпретација (црно-на-бело или бело-на-црно)
Битови по примерок (1 за bilevel, 4 до 8 за grayscale)
Семплови во пиксел (за RGB): обично по 3
Мапа на бои (за palette-color): табела на бои
Компресија За bilevel: некомпресирана, пакувана во бајти, CCITT компресија,
byte-oriented run-length кодирање
Други: некомпресирана, byte-oriented run-length кодирање
Локација на Број на редови по лента, offset на лентата, бр. бајтови по лента
податоци
Опционални Име на документ, Име на страна (обично бр. на страна),
полиња Креатор, Опис на слика (слободен текст), софтверска програма
која ја генерирала сликата, датум и време на креирање,
компјутер на кој е креирана, марка и модел на опрема со кој е
скенирана сликата (ако е скенирана)
ДБ со слики
 Растерски vs Векторски слики

• Растерската графика/слики
употребуваат пиксели во боја или
блокови за да креираат слика
–Бидејќи се изградени од фиксен број
пиксели не може лесно да се промени
нивната големина
• Векторска графика/слики се креираат со
употреба на математички формули и со
нивно користење исцртуваат слика
–Лесно може да менуваат големина
Растерски vs Векторски слики

https://modassicmarketing.com/understanding-image-file-types
 SVG

• Scalable Vector Graphics (SVG)

• Се рендерира како слика, но се
изразува во XML (како PostScript и PDF)
• Вклучува и аудио и видео можности
• W3 стандарден формат за слики во
векторски формат
Пример SVG – рендериран и XML
Пример SVG – рендериран
и XML
Пример SVG – рендериран и XML
 EPS

• Encapsulated PostScript (EPS)

• PostScript документ кој опишува слика
или цртеж
• Може да содржи 2D вектор графика,
bitmap слики или текст
EPS –дел од дефиниција и
рендериран
 Референци

• How to Build a Digital Library, I.H Witten,

D. Bainbridge, D.M.Nichols (Morgan
Kaufmann, 2009) – Глава 5.1-5.3