Дослідження і розробка нової цифрової портативної фото / відео апаратури для панорамної зйомки
Номер Угоди про надання субсидії: 14.581.21.0003
Керівник: д.т.н., професор І.С. Константинов
Пріоритетний напрямок: Інформаційно-телекомунікаційні системи
Критична технологія: Технології інформаційних, управляючих, навігаційних систем
Період виконання: 29.09.2014- 31.12.2016
Планове фінансування проекту: 453.00 млн. Руб.
- Бюджетні кошти 290.00 млн. Руб.,
- Позабюджетні кошти 163.00 млн. Руб.
Виконавець: Федеральне державне автономне освітня установа вищої професійної освіти «Білгородський державний національний дослідницький університет»
Індустріальний партнер: ВАТ «Красногорський завод ім С.А. Звєрєва », Росія
Ключові слова: Реєстрація зображень, машинне зір, панорамні зображення, стиснення зображення, панорамне відео в реальному часі, що масштабується цифрова камера.
Поточні основні результати проекту:
I етап
В ході виконання проекту щодо Угоди про надання субсидії від 20.09.2014 № 14.581.21.0003 з Міністерства освіти та науки Росії в рамках федеральної цільової програми «Дослідження і розробки за пріоритетними напрямами розвитку науково-технологічного комплексу Росії на 2014-2020 роки» на етапі № 1 в період з 29.09.2014 по 31.12.2014 виконувалися наступні роботи:
- проведення аналітичного огляду інформаційних джерел, обгрунтування і вибір напрямків досліджень;
- виконання адаптації, підтримки та супроводу програмного і апаратного забезпечення, використовуваного при виконанні ПНІЕР;
- проведення патентних досліджень;
- оцінка техніко-економічних показників проекту;
- дослідження методів та технологій стиснення цифрових растрових зображень;
- дослідження методів та технологій поліпшення і корекції цифрових растрових зображень;
- дослідження методів та технологій розпізнавання об'єктів на цифрових растрових зображеннях;
- аналіз підходів, методів і засобів функціонального і імітаційного моделювання технічного пристрою;
- розробка функціональної та імітаційної моделі технічного пристрою, що реалізує многопотоковую обробку цифрових зображень в режимі реального часу;
- дослідження методів та технологій отримання і обробки цифрових панорамних зображень від декількох джерел в режимі реального часу;
- аналіз існуючої елементної бази та спеціалізованих програмних засобів розробки і налагодження. Розробка технічних пропозицій для відповідної елементної бази і по її використанню при розробці цифрової портативної фото / відео апаратури для панорамної зйомки;
- створення спеціалізованого стенду для проектування, програмування, перевірки і налагодження цифрових пристроїв на базі програмованих логічних інтегральних схем (ПЛІС);
- розробка експериментальної лабораторної установки по дослідженню оптичної і мехатронної підсистем пристрою реєстрації панорамних зображень.
При цьому були отримані наступні результати:
1. Аналітичний огляд інформаційних джерел по темі проекту.
2. Звіт про патентні дослідження.
Аналіз знайдених патентів показав, що розробляється портативне засіб дозволить виконувати реєстрацію цифрових панорамних зображень з роздільною здатністю і якістю обробки значно вище аналогів. За результатами патентного пошуку можна зробити висновок про високу конкурентоспроможність розроблювального пристрою. Відповідно, продаж прав на використання даної системи може бути об'єктом комерціалізації.
3. Оцінка поточних техніко-економічних показників проекту.
Виконано розрахунок показників комерційної ефективності на основі ринкових цін на продукти, послуги та матеріальні ресурси. В результаті оцінки техніко-економічних показників проекту зроблено висновок про те, що без урахування дисконтування грошових потоків (в цінах 2014 г.) точка беззбитковості буде досягнута в 2021 г. (термін окупності інвестиційного проекту), засоби Індустріального партнера, що направляються на співфінансування ПНІЕР, окупляться в 2020 р
4. Функціональна і імітаційна модель технічного пристрою
, Що реалізує многопотоковую обробку цифрових зображень в режимі реального часу. Дані моделі будуть використані на наступних етапах робіт для проектування пристрою і аналізу його технічних характеристик, а також необхідних параметрів його вузлів.
5. Технічні пропозиції щодо використання існуючої елементної бази та спеціалізованих програмних засобів розробки і налагодження.
Як апаратних засобів обробки цифрових панорамних зображень запропоновано застосовувати ПЛІС серії Stratix V. Сформовано попередні вимоги до складу IP-ядер, необхідних для створення проекту спеціалізованого обчислювального пристрою. Обґрунтовано вибір OpenCL для прискореної обробки фото- та відео.
6.
Спеціалізований стенд для проектування, програмування, перевірки і налагодження цифрових пристроїв на базі програмованих логічних інтегральних схем (ПЛІС).
Склад розробленого стенду:
- модуль проектування і програмування;
- модуль перевірки і налагодження;
- комплект технічної документації.
Розробка даного спеціалізованого стенду є необхідною умовою для успішної реалізації ПНІЕР.
7. Експериментальна лабораторна установка з дослідження оптичної і мехатронної підсистем пристрою реєстрації панорамних зображень (ЕЛУ-ких)
. ЕЛУ-ких забезпечує виконання наступних досліджень:
- дослідження оптичної схеми розташування камер для реалізації заданих функції; дослідження оптичних характеристик об'єктивів;
- дослідження характеристик мехатронної підсистеми управління камерами;
- дослідження характеристик світлочутливих сенсорів.
- ЕЛУ-ких оснащена спеціалізованими програмними модулями для:
- оцінки параметра різкості растрових зображень;
- оцінки параметрів контрастності растрових зображень;
- оцінки ступеня поєднання растрових зображень;
- оцінки ступеня спотворення при смаз растрових зображень;
- оцінки ступеня ідентичності зображень отриманих з різних камер.
Для організації ефективної роботи з великою кількістю файлів різного змісту для експериментальної лабораторної установки створена база даних зберігання результатів обчислювальних експериментів.
Розроблена в рамках виконання ПНІЕР експериментальна лабораторна установка з дослідження оптичної і мехатронної підсистем пристрою реєстрації панорамних зображень забезпечить ефективне проведення різноманітних експериментів по оцінці параметрів створюваних підсистем.
Більш детальна інформація про результати реалізації проекту наведена в резюме проекту.
Комісія Міністерства освіти та науки Росії визнала зобов'язання щодо Угоди на звітному етапі виконаними належним чином.
II етап
В ході виконання проекту щодо Угоди про надання субсидії від 29.09.2014 № 14.581.21.0003 з Міністерства освіти та науки Росії в рамках федеральної цільової програми «Дослідження і розробки за пріоритетними напрямами розвитку науково-технологічного комплексу Росії на 2014-2020 роки» на етапі № 2 в період з 01.01.2015 по 30.06.2015 виконувалися наступні роботи:
- аналіз існуючих підходів і методів обробки великих обсягів графічної інформації при формуванні єдиного панорамного зображення;
- дослідження і розробка масштабируемой архітектури пристрою реєстрації панорамних зображень;
- дослідження і аналіз можливих технічних рішень з побудови оптичної і мехатронної підсистем пристрою реєстрації панорамних зображень;
- розробка алгоритмів управління оптичної і мехатронної частиною пристрою реєстрації панорамних зображень;
- реалізація алгоритмів управління оптичної і мехатронної частиною пристрою реєстрації панорамних зображень;
- дослідження принципів побудови операційної системи управління пристроєм реєстрації панорамних зображень;
- аналіз існуючих операційних систем і програмно-технічних засобів для реалізації операційної системи управління пристроєм реєстрації панорамних зображень;
- розробка технічних пропозицій щодо побудови пристрою реєстрації панорамних зображень;
- проектування підсистеми формування цифрового панорамного зображення;
- розробка паралельних алгоритмів обробки сигналів і потоків даних світлочутливих сенсорів;
- реалізація та налагодження паралельних алгоритмів обробки сигналів і потоків даних світлочутливих сенсорів на ПЛІС;
- проведення доопрацювання в частині реалізації функцій дослідження характеристик світлочутливих сенсорів експериментальної лабораторної установки по дослідженню оптичної і мехатронної підсистем пристрою реєстрації панорамних зображень;
- розробка програми і методики експериментальних досліджень для лабораторної установки по дослідженню оптичної і мехатронної підсистем пристрою реєстрації панорамних зображень;
- проведення експериментальних досліджень з лабораторної установкою по дослідженню оптичної і мехатронної підсистем пристрою реєстрації панорамних зображень.
При цьому були отримані наступні результати:
1. Масштабируемая архітектура пристрою реєстрації панорамних зображень.
Архітектура пристрою реєстрації панорамних зображень являє собою модульну структуру і складається з наступних елементів:
- оптичний модуль пристрою;
- модуль попередньої обробки зображень;
- базовий системний модуль.
Такий поділ функціональної моделі на структурні елементи забезпечує більшу гнучкість і масштабованість конструкції пристрою.
2. Технічні рішення з побудови оптичної і мехатронної підсистем пристрою.
З проведеного аналізу можливих технічних рішень слід, що для побудови оптичної і мехатронної підсистем пристрою доцільно використовувати бескінематіческую систему, оснащену трансфокальнимі об'єктивами з регульованою діафрагмою і мають поле зору не менше 60 градусів.
3. Алгоритми управління оптичної і мехатронної частиною пристрою реєстрації панорамних зображень.
Розроблено алгоритми автоматичного керування часом експозиції відео-сенсора і автоматичного управління діафрагмою об'єктива. Дані алгоритми реалізовані на мові Verilog HDL і адаптовані для роботи на ПЛІС.
Працездатність алгоритмів підтверджена протоколами атестації.
Сформовано комплект програмної документації на програму автоматичного керування часом експозиції відео-сенсора і на програму автоматичного управління діафрагмою об'єктива CMOS-сенсора в складі:
- специфікація;
- текст програми;
- опис програми;
- опис застосування;
- керівництво програміста;
- програма і методика атестації.
4. Технічні вимоги щодо побудови пристрою реєстрації панорамних зображень.
Для реалізації пристрою реєстрації панорамних зображень пропонується використовувати платформу nVidia Tegra K1 (або новішу - Х1), що представляє собою виріб, що включає апаратну платформу, наявність засобів розробки під операційну систему Linux, набір драйверів для відеоприскорювача і потужні засоби розробки для платформи CUDA, що дозволяють оперативно створювати додатки, ефективні з точки зору використання можливостей архітектури.
5. Підсистема формування цифрового панорамного зображення.
Ця підсистема дозволяє отримувати синхронне зображення від декількох камер і забезпечує виконання наступних функцій:
- управління камерами;
- отримання сигналів з декількох світлочутливих сенсорів і їх паралельної попередньої обробки;
- передачі даних в спеціалізований процесор;
- зшивання отриманих зображень.
6. Алгоритми паралельної обробки сигналів і потоків даних світлочутливих сенсорів.
Вирішують завдання управління параметрами світлочутливих сенсорів і перетворення сигналів в цифрове RGB-зображення з урахуванням параметрів, зазначених в технічному завданні. Розробка і реалізація алгоритмів виконана у вигляді програми для обчислювального модуля камери, реалізованого на ПЛІС MAX10 компанії Altera, підготовлений комплект програмної документації на «Програмне забезпечення обробки сигналів і потоків даних світлочутливих сенсорів» в складі:
- опис програми;
- опис застосування;
- текст програми.
Розроблені та протестовані модулі, що реалізують алгоритми:
- модуль отримання інформації від матриці;
- модуль перетворення RAW-RGB;
- модуль кадрування зображення;
- модуль корекції дисторсії зображення;
- модуль перспективних перетворень зображення.
7. Допрацьована технічна документація на експериментальну лабораторну установку реєстрації панорамних зображень (ЕЛУ-ких).
Метою доопрацювання є доукомплектування ЕЛУ-ких апаратно-програмною реалізацією для дослідження характеристик світлочутливих сенсорів.
Апаратна частина доопрацювання ЕЛУ-ких має в своєму складі:
- загальну плату для розміщення елементів схеми обробки сигналів;
- об'єктив із змінною фокусною відстанню і автоматичною діафрагмою;
- держатель об'єктива з можливістю кріплення об'єктива типу CS з посадковим діаметром 25,4 мм;
- плату оптичного модуля, що містить досліджуваний світлочутливий сенсор зі схемою живлення і узгодження сигналів;
- адаптер харчування 220/12 В потужністю не менше 24 Вт.
Програмна реалізація доопрацювання експериментальної установки забезпечує отримання характеристик досліджуваних світлочутливих сенсорів і володіє базовими інструментами статистичного аналізу результатів вимірювань.
Розроблені програмні модулі:
- модуль оцінки рівня шумів;
- модуль оцінки відносини з / ш зображень;
- модуль оцінки чутливості;
- модуль оцінки динамічного діапазону;
- модуль обробки експертних оцінок візуальної якості зображень, одержуваних за допомогою світлочутливих сенсорів.
Розроблено комплект технічної документації та програмна документація для кожного з модулів.
8. Програми та методики експериментальних досліджень для лабораторної установки по дослідженню оптичної і мехатронної підсистем пристрою реєстрації панорамних зображень.
На основі доопрацювання ЕЛУ-ких, яка складалася з апаратної і програмної частин, розроблені дві окремі методики:
- ПМ1. Завдання даної методики - перевірка працездатності апаратної частини, перевірка відповідності вимогам технічного завдання і проведення експериментальних досліджень з оптичними сенсорами;
- ПМ2. Завдання даної методики - перевірка працездатності програмної реалізації, перевірка відповідності вимогам технічного завдання і оцінка готовності програмних модулів для проведення експериментальних досліджень з оптичними сенсорами.
9. Експериментальні дослідження з лабораторної установкою по дослідженню оптичної і мехатронної підсистем пристрою реєстрації панорамних зображень.
Програма експериментальних досліджень складалася з наступних етапів:
- перевірка працездатності апаратної частини доопрацювання ЕЛУ-ких і відповідності досягнутих характеристик вимогах технічного завдання відповідно до програми і методикою ПМ1;
- перевірка працездатності програмної реалізації доопрацювання ЕЛУ-ких і відповідності досягнутого функціоналу вимогах технічного завдання відповідно до програми і методикою ПМ2;
- випробування оптичного модуля з різними встановленими світлочутливими сенсорами відповідно до програми і методикою ПМ1.
Більш детальна інформація про результати реалізації проекту наведена в резюме проекту.
Комісія Міністерства освіти та науки Росії визнала зобов'язання щодо Угоди на звітному етапі виконаними належним чином.
III етап
В ході виконання проекту щодо Угоди про надання субсидії від 29.09.2014 № 14.581.21.0003 з Міністерства освіти та науки Росії в рамках федеральної цільової програми «Дослідження і розробки за пріоритетними напрямами розвитку науково-технологічного комплексу Росії на 2014-2020 роки» на етапі № 3 в період з 01.07.2015 по 31.12.2016 виконувалися наступні роботи:
- <Розробка алгоритмів формирование цифрового панорамного зображення від декількох джерел;
- програмна реалізація алгоритмів формирование цифрового панорамного зображення від декількох джерел;
- розробка ескізної документації на макет пристрою реєстрації цифрових панорамних збережений;
- проектування операційної системи и алгоритмів керування прістроєм реєстрації цифрових панорамних збережений;
- програмна реалізація операційної системи і алгоритмів керування пристроєм реєстрації цифрових панорамних зображень;
- розробка і реалізація алгоритмів обробки, стиснення і декомпресії статичних і потокових зображень;
- розробка програми і методики проведення експериментальних досліджень зразка пристрою реєстрації цифрових панорамних зображень;
- адаптація програмних компонентів під вибрані апаратні рішення функціонування програмних засобів;
- формування технічних вимог до апаратної архітектурі пристрої;
- створення спеціалізованого стенду по прототіпірованію радіоелектронної апаратури;
- проведення оцінки поточних техніко-економічних показників проекту.
При цьому були отримані наступні результати:
1 Алгоритми формування цифрового панорамного зображення від декількох джерел.
Розроблені алгоритми реалізовані на основі нової математичної моделі додекаедру і дозволяють вирішувати завдання «зшивання» сферичного панорамного зображення від 12-ти світлочутливих сенсорів в режимі реального часу.
Для перевірки коректності реалізації і налагодження алгоритмів розроблена ескізна конструкторська документація на оцінний зразок, представлена у вигляді окремого комплекту документів. На основі даної документації виготовлений оцінний зразок пристрою.
Програмна реалізація алгоритмів формування панорамного зображення від декількох джерел виконана на програмному комплексі MatLab і в пакеті інструментів Image Processing Toolbox. Зазначена реалізація алгоритмів включає 8 програмних модулів, що виконують 10 основних функцій попередньої обробки і перетворення зображень.
Сформовано комплект програмної документації в наступному складі:
- специфікація;
- текст програми;
- опис програми;
- опис застосування.
2 Ескізна документація на макет пристрою реєстрації цифрових панорамних зображень.
Макет пристрою володіє наступними характеристиками:
- кількість використовуваних камер - не менше 12 шт .;
- кут охоплення поля зображення по горизонталі - 360 градусів, по вертикалі - 360 градусів;
- формат стиснення відеозображень - H.264, H.265;
- програмне (цифрове) наближення зображення, яке Ви - не менше 10 разів;
- максимальна частота кадрів записуються відеоданих з дозволом 3840 × 2160 (Ultra HD) точок - 30 кадрів в секунду;
- відносний коефіцієнт оптичних спотворень (дисторсії) - не більше 1,5%;
- споряджена маса пристрою з джерелом живлення - не більше 2 кг;
- габаритні розміри - не більше 200х200х200 мм.
Ескізна документація на макет пристрою реєстрації цифрових панорамних зображень представлена у вигляді окремого комплекту конструкторської документації.
3 Операційна система і алгоритми управління пристроєм реєстрації цифрових панорамних зображень.
Розроблені і програмно-імплементувати алгоритми управління пристроєм реєстрації цифрових панорамних зображень мають глибокої оптимізацією під цільову апаратну платформу, що дозволяє виконувати операції формування цифрових панорамних зображень в режимі реального часу.
Операційна система являє собою інтегрований програмний продукт, розроблений на основі оптимізованого базового ядра ОС Linux, адаптований для роботи на мобільних платформах NVidia і ПЛІС Altera. Дана операційна система містить інтегровані в оточення ядра системи спеціалізовані функції управління пристроєм реєстрації, обробки і формування панорамного зображення.
Сформовано комплект технічної документації на операційну систему управління пристроєм реєстрації цифрових панорамних зображень, що включає:
- специфікація;
- текст операційної системи;
- опис операційної системи;
- опис застосування операційної системи;
- керівництво системного адміністратора операційної системи;
- керівництво оператора операційної системи;
- опис алгоритмів управління пристроєм.
4 Алгоритми обробки, стиснення і декомпресії статичних і потокових зображень.
Розроблені алгоритми забезпечують перетворення зображення в сучасні формати: для статичних зображень - JPEG, RAW; для динамічних зображень - H.264, H.265 і адаптовані для реалізації на програмованих логічних інтегральних схемах.
Розроблено чотири комплекти програмної документації на програмне забезпечення стиснення і декомпресії в форматах JPEG, RAW, H.264, H.265. Кожен комплект документації включає:
- специфікацію;
- текст програм;
- опис програми;
- опис застосування.
5 Програма і методика проведення експериментальних досліджень зразка пристрою реєстрації цифрових панорамних зображень.
Дозволяє виконати оцінку відповідності основних характеристик розробленого пристрою вимогам, встановленим технічним завданням на виконання ПНІЕР, а також перевірка параметрів функціонування пристрою: температурний режим окремих компонентів і пристрої в цілому, споживана потужність від автономного джерела і час безперервної роботи від повністю зарядженого автономного джерела живлення.
6 Адаптація програмних компонентів під вибрані апаратні рішення функціонування програмних засобів.
Здійснено адаптація конфігурації сервісних і призначених для користувача служб операційної системи управління пристроєм реєстрації цифрових панорамних зображень в контексті розподілу функцій управління між центральним модулем і модулями FPGA.
Здійснено адаптація програми формування цифрового панорамного зображення від декількох джерел, реалізована в середовищі MatLab, в контексті поділу функцій між програмним модулем обробки панорамного зображення і модулями FPGA при формуванні панорамного зображення.
Розроблено комплект технічної документації на програмний комплекс управління формуванням панорамного зображення в режимі реального часу, в наступному складі:
- специфікація;
- текст програми програмного модуля підсумкової обробки і формування панорамного зображення;
- текст програми програмного модуля управління FPGA;
- опис програми;
- опис застосування.
7 Технічні вимоги до апаратної архітектурі пристрою.
Технічні вимоги представлені у вигляді окремого документа. Даний документ визначає:
- основні параметри пристрою;
- технічні вимоги до складу та характеристик;
- комплектність пристрою.
Склад компонентів пристрою і ключові характеристики:
- обчислювального модуля;
- агрегатного модуля;
- модуля кодека;
- модуля оптичного сенсора;
- плати вводу-виводу;
- дисплейного модуля;
- плати сенсорного введення модуля;
- живильних пристроїв і акумуляторної батареї.
8 Спеціалізований стенд по прототіпірованію радіоелектронної апаратури.
Призначений для виготовлення діючих прототипів радіоелектронної апаратури для проведення експериментальних досліджень.
Склад стенду:
- автоматизоване робоче місце (Центральна ПЕОМ);
- програмне забезпечення для проектування друкованих плат високої складності і моделювання РЕА;
- установка з виготовлення друкованих плат радіоелектронної апаратури;
- установка з монтажу друкованих плат радіоелектронної апаратури;
- програмний модуль автоматизованого виявлення дефектів друкованих плат за допомогою Відеомікроскопи;
- Відеомікроскопи.
Розроблено комплект технічної документації.
Конструкторська документація:
- Інструкція з експлуатації;
- схема електрична структурна;
- схема електрична функціональна;
- схема електрична підключень;
- схема розташувань.
Програмна документація для модуля автоматизованого виявлення дефектів при виготовленні друкованих плат:
- опис програми;
- текст програми;
- керівництво програміста.
Для перевірки працездатності і відповідності стенду вимогам технічного завдання розроблені програми і методики випробувань для апаратної і програмної частини.
Результати досліджень наведені в протоколах випробувань.
9 Оцінка поточних техніко-економічних показників проекту.
Результати оцінки показали, що без урахування дисконтування грошових потоків (в цінах 2015 г.) точка беззбитковості буде досягнута у 2022 г. (термін окупності інвестиційного проекту), засоби Індустріального партнера, спрямовані на співфінансування ПНІЕР, окупляться в 2021 р
Більш детальна інформація про результати реалізації проекту наведена в резюме проекту.
Комісія Міністерства освіти та науки Росії визнала зобов'язання щодо Угоди на звітному етапі виконаними належним чином.
IV етап
В ході виконання проекту щодо Угоди про надання субсидії від 29.09.2014 № 14.581.21.0003 з Міністерства освіти та науки Росії в рамках федеральної цільової програми «Дослідження і розробки за пріоритетними напрямами розвитку науково-технологічного комплексу Росії на 2014-2020 роки» на етапі № 4 в період з 01.01.2016 по 30.06.2016 виконувалися наступні роботи:
- створення проектного макета (експериментального зразка) пристрої реєстрації цифрових панорамних зображень (УРЦПІ) відповідно до ескізної документації;
- проведення експериментальних досліджень з експериментальним зразком пристрою реєстрації цифрових панорамних зображень;
- аналіз результатів експериментальних досліджень експериментального зразка пристрою реєстрації цифрових панорамних зображень;
- доробка і коректування технічних рішень експериментального зразка за результатами випробувань, внесення змін в технічну документацію;
- проектування і реалізація графічного інтерфейсу для операційної системи управління пристроєм реєстрації цифрових панорамних зображень;
- проектування і реалізація підсистеми відображення панорамного зображення на стандартних дисплеях з функціями наближення і насування по зображенню;
- визначення технічних, технологічних, економічних вимог до розробки пристроїв реєстрації цифрових панорамних зображень;
- розробка ескізної документації на проектний макет спеціалізованого процесора для обробки зображень на ПЛІС;
- розробка програми і методики випробувань експериментального зразка спеціалізованого процесора для обробки зображень;
- проведення експериментальних досліджень зразків спеціалізованого процесора для обробки зображень;
- створення партії експериментальних зразків спеціалізованого процесора для обробки зображень на ПЛІС;
- створення спеціалізованого стенду з тестування і налагодження цифрової радіоелектронної апаратури.
При цьому були отримані наступні основні результати:
1 Проектний макет (експериментальний зразок) пристрої реєстрації цифрових панорамних зображень. В ході виконання робіт створено експериментальний зразок пристрою реєстрації цифрових панорамних зображень відповідно до ескізної документації.
Основні характеристики експериментального зразка:
- кількість використовуваних камер - не менше 12 шт.
- кут охоплення поля зображення
- по горизонталі - 360 градусів;
- по вертикалі - 360 градусів;
- формат стиснення відеозображень - H.264, H.265;
- програмне (цифрове) наближення зображення, яке Ви - не менше 10 разів;
- максимальна частота кадрів, що записуються відеоданих з дозволом 3840 × 2160 (Ultra HD) точок - 30 кадрів в секунду;
- відносний коефіцієнт оптичних спотворень (дисторсії) - не більше 1,5%;
- споряджена маса пристрою з джерелом живлення - не більше 5 кг .;
- габаритні розміри - не більше 300х300х300 мм.
2 Експериментальні дослідження з експериментальним зразком пристрою реєстрації цифрових панорамних зображень. Мета експериментальних досліджень - оцінка основних характеристик розробленого об'єкта досліджень вимогам, встановленим Технічним завданням на виконання ПНІЕР.
3 Аналіз результатів експериментальних досліджень експериментального зразка пристрою реєстрації цифрових панорамних зображень. В результаті проведення досліджень виявлено, що при формуванні еквідистантним проекції панорамного зображення відбувається розтягування фрагментів зображення в зеніті і надирі, а при відображенні - стягування. Надалі планується опрацювання формату збереження фотографій в іншій проекції - куб (з причини особливостей роботи кодеків H.264 і H.265). А також для підвищення дозволу знімків і продуктивності пристрою за рахунок можливості використовувати оптичні сенсори більш високої роздільної здатності, необхідно реалізувати в пристрої апаратну підтримку сенсорів не тільки з паралельним, але і з послідовним інтерфейсом MIPI (Display Serial Interface (DSI) - специфікація Mobile Industry Processor Interface (MIPI) Allianc).
На основі результатів проведених досліджень можна зробити висновок, що експериментальний зразок успішно витримав перевірку за основними параметрами.
4 Допрацьована ескізна документація на макет пристрою реєстрації цифрових панорамних зображень. На основі аналізу результатів експериментальних досліджень з урахуванням зазначених зауважень внесені зміни в ескізний документацію проектного макета пристрою реєстрації цифрових панорамних зображень (розроблена плата інтерфейсів MIPI в складі модуля живильних пристроїв).
5 Графічний користувальницький інтерфейс для операційної системи управління пристроєм реєстрації цифрових панорамних зображень.
Програмна реалізація програм операційної системи представлена у вигляді:
- нативні додатки;
- web-додатки.
Оригінальне додаток розробляється з використанням фреймворку нативних додатків і фреймворка графічного інтерфейсу. В якості основи графічного інтерфейсу використовується компонента Enlightenment Foundation Libraries (EFL).
Web-додатки розробляються і виконуються за допомогою компонентів Web-фреймворка. Web-фрейворк ОС УРЦПІ базується на функціональних можливостях HTML5 (W3C / HTML5 API). Виконуюча система для web-додатків заснована на браузерному движку WebKit.
Апаратна платформа, виконана на базі системи на кристалі від Altera, яка поєднує в собі високопродуктивний двоядерний ARM Cortex-A9 процесор і програмовану логіку для досягнення максимальної гнучкості при створенні рішень.
6 Підсистема відображення панорамного зображення на стандартних дисплеях з функціями наближення і насування по зображенню. Підсистема реалізована у вигляді веб-додатки, що складається з веб-сервера і веб-клієнта. Програмного забезпечення з графічним призначеним для користувача інтерфейсом створення на базі HTML5, CSS і JavaScript технологій.
Підсистема реалізує наступні функції:
- реєстрацію статичного панорамного зображення;
- реєстрацію динамічного панорамного зображення;
- пошук і перегляд зображень на зовнішньому дисплеї;
- копіювання вибраних зображень на підключений USB 3.0 зовнішній пристрій зберігання даних;
- управління параметрами функціонування;
- наближення і насування по зображенню;
- інтерфейс для проведення випробувань УРЦПІ.
7 Ескізна документація на проектний макет спеціалізованого процесора для обробки зображень. Конфігурація проектного макета спеціалізованого процесора складається з двох зв'язаних модулів: програмного (реалізованого на ARM ядрах) і апаратного (реалізованого на логічних елементах ПЛІС). Фізично вони об'єднані в одному корпусі мікросхеми сімейства Cyclone V.
Відповідно до вимог ТЗ макет спеціалізованого процесора (СП) забезпечує виконання наступних функцій по формуванню і обробці панорамного зображення (алгоритми, що реалізують ці функції розроблені на етапі 3):
- обробка, стиснення і декомпресія статичних і потокових зображень в форматах: JPEG, RAW - для статичних і H.264, H.265 - для потокових;
- формування в режимі реального часу цифрового панорамного зображення (реалізація завдання "склеювання" безлічі цифрових зображень) від декількох камер, що працюють синхронно.
Розроблено комплект технічної документації в складі:
- програмної документації на керуючу програму спеціалізованого процесора;
- конструкторська документація на проектний макет спеціалізованого процесора.
8 Програма і методика проведення випробувань експериментального зразка спеціалізованого процесора для обробки зображень.
Розроблено дві окремі програми і методики:
- програма и методика лабораторних випробувань ПМ1 (визначення відповідності об'єкта випробування вимоги ТЗ);
- програма и методика дослідніх випробувань ПМ2 (оцінка показніків ресурсоємності процесів зшивання, стисненого и декомпресії зображення при їх реализации на обраної апаратній платформі).
9 Партія експериментальний зразків спеціалізованіх процесорів для ОБРОБКИ збережений на Пліс. Створена партія експериментальних зразків спеціалізованих процесорів і поведені експериментальні випробування відповідно до розроблених програм та методиками лабораторних випробувань. Випробування проводилися з використанням стенда проектування, програмування і налагодження цифрових пристроїв. Підключення експериментальних зразків спеціалізованого процесора до автоматизованого робочого місця (АРМ) стенду здійснюється за допомогою Ethernet по протоколу SSH.
10 Спеціалізований стенд з тестування і налагодження цифрової радіоелектронної апаратури. Призначений для тестування і налагодження експериментальних і дослідних зразків цифрової радіоелектронної апаратури.
Склад спеціалізованої стенду:
- програмні засоби діагностики;
- керуюча ЕОМ з встановленим ПЗ;
- лабораторні джерела живлення;
- цифро-аналоговий осцилограф;
- логічний аналізатор.
Всі компоненти стенду управляються за коштами ЕОМ за допомогою програмних засобів діагностики «Програмний комплекс спеціалізованого стенду з тестування і налагодження цифрової радіоелектронної апаратури».
Програмний комплекс спеціалізованого стенду виконує наступні функції:
- тестування цифрових електронних блоків (з мікроконтролерами або ПЛІС);
- тестування аналогових електронних блоків;
- тестування комбінованих електронних блоків;
- тестування електронних блоків із застосуванням засобів вимірювання;
- контроль параметрів при проведенні приймально-здавальних випробувань електронних блоків (виробів);
- контроль параметрів при проведенні приймально-здавальних випробувань електронних блоків (виробів) з термоустойчивостью.
Розроблено комплект технічної документації в складі конструкторської та програмної документації.
Більш детальна інформація про результати реалізації проекту наведена в резюме проекту.
Комісія Міністерства освіти та науки Росії визнала зобов'язання щодо Угоди на звітному етапі виконаними належним чином.
Керівник проекту: д.т.н., професор І.С. Константинов
Номер проекту: 14.581.21.0003
Резюме проекту, отримані результати: Результати 2 етапу: 
Завантажити / Результати 3 етапу: Завантажити /: Завантажити
Знайшли помилку? Виділіть фрагмент тексту і натисніть Ctrl + Enter.
Повідомлення про помилку автоматично відправиться в редакцію.