Пошук характерних ознак у зображенні з широким динамічним діапазоном
удк 004.383
К.т.н., доцент Зорін. Ю. М., д.т.н., с.н.с. Сергієнко А. М., студент Сергієнко П. А.
Національний технічний університет України
«Київський політехнічний інститут імені Ігоря Сікорського»
Yury Zorin, assoc. prof., PhD; Anatoli Sergiyenko, senior sci., DrSci, Pavlo Serhiienko, student
Abstract. Feature extraction from the high dynamic range images
The paper presents some issues concerning the pattern recognition system development for the high dynamic range (HDR) images. The modified Retinex method for the HDR image compression is proposed, in which the bilateral filter is substituted by the adaptive filter. The detector outputs of this filter give the information about the local properties of the image and can help to perform the effective pattern recognition. The experimental HDR video camera with the feature extraction is built on the base of the Lattice HDR-60 board.
Вступ.Одним з найскладніших завдань систем розпізнавання графічних образів є виділення характерних ознак, таких як кути, краї зображення, характерні точки [1]. Для вирішення цього завдання існують програми, які налаштовані на обробку зображень з 8-бітовим представленням яскравості. Останнім часом поширюється обробка зображення з широким динамічним діапазоном (HDR). Але зображення HDR має розрядність даних, яка досягає двадцяти і більше бітів. Тому таке зображення потребує інших алгоритмів для своєї обробки, ніж звичайні зображення. Наприклад, цифрове представлення країв HDR-зображення у тінях у багато разів вдрізняється від такого представлення у світлих місцях, якщо його обробляти за звичайними алгоритмами і це не дає змогу розпізнавати образи на основі результатів такої обробки.
У роботі пропонується алгоритм та структура для обробки HDR-зображень, результатами якої є зображення з виділеними характерними ознаками, а також стисненене до восьми біт зображення.
Стиснення зображення за методом Retinex. Cтиснення динамічного діапазону HDR-сигналу без втрати інформативності сцен зображення як в освітлених, так і затемнених місцях виконують за методом Retinex, який оснований на представленні освітленості I(x, y) у пікселі (x, y) як добутку
I(x, y) = L(x, y) × R(x, y),
де L(x, y) — освітленність, R(x,y) — віддзеркалена яскравість об’єкта [2]. Згідно з цим методом, зображення I(x,y) розкладається певним чином на компоненти L(x, y) та R(x, y). Потім компонент L(x,y) обробляється зі стисканням динамічного діапазону, а в компоненті R(x,y) покращується контрастість. Оброблені компоненти зображення перемножуються, щоб отримати стиснене зображення I’(x,y).
Компоненти яскравості добуваються за допомогою функції визначення освітленості F(I)
L(x,y) = F(I); R(x,y) = I(x,y) / F(I);
L’(x,y) = Γ(L(x,y)); R’(x,y) = β(R(x,y)); (1)
I’(x,y) = L’(x,y) × R’(x,y).
Тут функції стиснення та покращення контрасту є наступними [3]
Γ(y) = KMo(y / KM) γ(1+ y/KM); β(y) = (1 + e-b×log y)-1 + 0.5, (2)
де KM, KMo — динамічні діапазони вхідного та вихідного синалів, γ, b — настроювані коефіцієнти. Функція освітленості F(I) для збереження правильної передачі країв зображення часто реалізується як білінійний фільтр, який обчислюється за формулою
де Ω — окіл піксела діаметром п’ять і більше пікселів з координатами центру (x0, y0), (x, y) ∈ Ω; WΩ — ядро двовимірного фільтра низьких частот; f — функція, яка досягає максимуму, якщо різниця яскравостей в Ω та в пікселі I(x0, y0) є мінімальною; вираз у знаменнику є нормуючою функцією для яскравості. Білатеральний фільтр діє так, що якщо зображення має невеликі зміни у околі Ω, воно сильно згладжується, а якщо є різка зміна яскравості, то воно одержує незначну фільтрацію, тому що відповідні відліки ядра фільтра WΩ помножується на функцію f [4].
Білатеральний фільтр (3) є важким у обчисленнях. У даній роботі пропонується замінити його на адаптивний фільтр, який також зберігає краї зображення і додатково видає інформацію про його характерні ознаки.
Адаптивний фільтр для HDR-зображення Структура адаптивного фільтра показана на рис. 1. Фільтр складається з аналізатора зображення та регульованого двовимірного LPF. Аналізатор зображення використовує детектор Харіса-Лапласа [1,5]. Його результуючий сигнал є власним вектором матриці автокореляції в околі Ω. Використовуються п’ять детекторів W|, W_, W/, W\, W*, які чутливі до вертикальних, горизонтальних, нахилених країв або точок на зображенні й один фільтр низьких частот WLPF, який оцінює локальну яскравість зображення.
Рис.1. Структура адаптивного фільтру
На виході детектора сигнал логарифмується. Схема прийняття рішення аналізатора зображення вибирає максимальний сигнал з детекторів і віднімає від нього сигнал локальної яскравості. Одержаний нормалізований сигнал D(x,y) подається як адреса у таблицю ядер фільтрів ROMK. ROMK зберігає ядра фільтрів, які відрізняються в залежності від локальних характерних ознак зображення, тобто, від наявності границі зображення з певним нахилом і від її різкості. Усі ядра фільтрів є нормалізованими і тому результат остаточної фільтрації в ФНЧ не потребує нормалізації, такої як у фільтрі (3).
Приклади обробки зображень символу ® у різному масштабі та з нахилом показані на рис. 2. Вони показують, що сигнал D(x) на виході аналізатора зображень чітко відображає просторові властивості деталей зображення. Ця інформація є корисною для розпізнавання образів, оскільки її нескладно перетворити на локальні інваріантні функції [5].
Експериментальні результати. Для обробки зображення з HDR-компресією була розроблена система технічного зору на базі плати Lattice HDR-60, яка використовує ПЛІС ECP3-70. Як відеодатчик використано датчик Aptina MT9M024, який виробляє потік HDR-зображення 720∙1280 зі швидкістю 60 кадрів на секунду з динамічним діапазоном 120 дБ.
Для обробки зображення були розроблені ряд модулів, таких як модулі дебайєризації, медіанної фільтрації, перетворення кольорів, формувача гістограми та інші. Серед них модуль адаптивного фільтру грає основну роль. В ньому застосовано 40 різних ядер фільтрів, які зберігаються у ROMK. Кольорове зображення розділяється на канали яскравості та кольоровості. Сигнал у каналі яскравості стискається згідно з формулами (1). Потім кольорове зображення відновлюється з використанням інформації у каналі кольоровості.
Фільтри детекторів аналізатора зображення виконані як конвеєрні схеми без використання блоків множення, завдяки чому вони забезпечують як швидкісні обчислення, так і невеликі апаратні витрати. Функції Γ(y) та β(y) (2), які виконують компресію і підвищення контрасту зображення, розраховуються з використанням кусково-лінійної апроксимації.
Максимальна частота слідування пікселів досягає 130 МГц. У таблиці 1 показані апаратні витрати при розміщенні системи у ПЛІС. Аналіз таблиці показує, що розроблена система займає лише чверть доступних апаратних ресурсів. Отже, в ПЛІС є місце для додаткової системи, яка слугуватиме для нескладного розпізнавання образів.
Таблиця 1. Апаратні витрати HDR-компресора у ПЛІС Lattice ECP3-70
| Елементи ПЛІС | Зконфігуровані | Доступні | % |
| CLB slices | 8563 | 33264 | 25,7 |
| Тригери | 5694 | 66528 | 8,6 |
| Блоки множення 18х18 | 34 | 128 | 26,6 |
| Блоки пам’яті BlockRAMs 1024х18 | 56 | 240 | 23,3 |
Висновки. Запропоновано модифікацію алгоритму стиснення HDR-зображень на основі методу Retinex. Вона полягає у заміні білатерального фільтра на адаптивний фільтр, який зберігає краї зображення. Адаптивний фільтр оснований на наборі детекторів Харріса-Лапласа та гауссового фільтра. Такий адаптивний фільтр, крім визначення функції освітленності, видає характерні ознаки зображення, такі як краї зображення та їх нахил, які є важливими для побудови системи розпізнавання образів. Наступним кроком досліджень буде розробка системи розпізнавання образів, яка працює в умовах великого діапазону яскравостей.
Література
- Shin F. Y. Image Processing and Pattern Recognition. Fundamentals and Techniques. — Wiley, 2010. — 537 p.
- McCann J. J. Lightness and retinex theory / E. H. Land // Journal of the Optical Society of America, vol. 61, No. 1, 1971. — Р. 1 – 11.
- Saponara S. Application-Specific Instruction-Set Processor for Retinex-Like Image and Video Processing / L. Fanucci, S. Marsi, G. Ramponi, D. Kammler, E. M. Witte // IEEE Trans. оn CAS, II: Express Briefs, V. 54, N.7, 2007. — Р. 596 – 600.
- Paris S. Bilateral Filtering: Theory and Applications / P. Kornprobst, J. Tumblin, F. Durand / in: Foundations and Trends in Computer Graphics and Vision, vol. 4, No. 1, 2008. — Р. 1–73.
- Schmid C. Pattern Recognition with Local Invariant Features / G. Dorko, S. Lazebnik, K. Mikolajczyk, J. Ponce / in: Handbook of Pattern Recognition and Computer Vision, 3rd ed. C. H. Chen, P. S. P. Wang, Eds. World Scientific Pub. 2005. — Р. 71 – 92.