Всем добрый день ( или ночь))!
Прошу помочь мне со следующей задачей: есть необходимость обработки цифрового видеосигнала , получаемого с камеры микроскопа (вычитания последовательных кадров , полученных в результате подсветки образца стробоскопическим источником света с формированием изображения из разностных кадров).
Существует громоздкая система с использованием ноутбука и программным обеспечением под windows, сотворенная неизвестным мне автором. Хочу сделать свою компактную , с обработкой видео на встроенном процессоре и выводом картинки на дисплей микроскопа. Но никак не могу подступиться к этой задаче. К сожалению образование большей частью гуманитарное, хотя имею навыки программирования avr мк на С и asm, много возился с Arduino. Изучая литературу понял, что наиболее красивое и сложное решение было бы перепрошить dsp самой камеры с добавлением туда этих фильтров, но для этого мне нужно закончить Баумановский университет((.
Поэтому решил обрабатывать видео уже на выходе камеры. Подскажите пожалуйста:
1. можно ли для этого использовать что - нибудь типа stm32 с dsp инструкциями или нужен какой нибудь da vinchi от TI ( что было бы печально )), 2. какой формат видео было бы проще обрабатывать.
3. что лучше почитать по этой проблеме, поскольку несколько недель самостоятельного изучения интернета по этой теме лишь помогло мне понять степень моего невежества, но не приблизило к решению задачи)).
Заранее благодарен. Извините если кого оскорбил своей самонадеятельностью. )))

Один кадр 640*480 в 8 битном цвете занимает 300К. Вы хотите сравнивать два и формировать третий. То есть, Вам нужно не менее мегабайта оперативки только под буфера видеокадров.
Поэтому, уж лучше решать эту задачу на том же ноутбуке. Благо там уже готовых библиотек для обработки видео более, чем достаточно.

Решение такой задачи при помощи разработки специализированного контроллера и ПО потребует очень много усилий и средств, что вряд ли оправдано. Я бы, в первую очередь, посмотрел в сторону готовых миниатюрных компьютеров типа Raspberry Pi и ему подобных.

Спасибо за дельные советы. Попробую присмотреться к Raspberry pi

может мобилу в качестве видеопроцессора-экрана использовать?
написать приложение под андроид, а микроскоп через OTG подключить?
(а может, какое нибудь уже существующее приложение для работы с камерой имеет нужный фильтр или возможность его создания?)

Хорошая идея использовать смартфон .

Но тут есть два соображения: прибор планируется использовать в условиях операционной, экран для этого нужен побольше , и смотреть на него придётся с расстояния 1-2 метра, к тому же нужно ещё обеспечить синхронизацию мигания осветителя (светодиодов) с записью видео, что требует наличие микроконтроллера. Одноплатные компьютеры возможно выглядят более профессиональным решением. Возможно кто-то имеет опыт работы с модулями типа DM816x/C6A816x/AM389x . Выглядят очень круто , хотя и избыточно для этой задачи . Но в случае успеха могут стать основой профессионального медицинского прибора.

большой экран... ну не смартфон, а планшет... (ладно этот вопрос проехали)
а вот с синхронизацией... скорее всего это надо не с программой обработчиком согласовывать, а с чипом камеры... если я не очень отстал от технологий, то процесс восприятия кадра и процесс его передачи из матрицы в процессор не одновременны... (кстати, о каких FPS речь?)
если я правильно понял, то это поочередная засветка объекта светодиодами с различной длиной волны и, таким образом получение большего/нестандартного цветовосприятия камеры (сама камера может (а может и должна) при этом быть ч/б)...
—————
если направление я определил правильно, то, может, достаточно нащупать контакт на матрице отвечающий за включение световосприятия, на него посадить счётчик и им переключать каналы подсветки (один кадр оставлять без подсветки для синхронизации софта).

Stanislau, не забывайте, что многие смартфоны имеют HDMI выход и вполне способны отображать на большом экране, как через него (или перходник с TypeC-HDMI), так и по MHL

думаю, что у т.с. со смартом проблема больше не с выводом картинки, а с подключением к последнему подсвечивающих гирлянд... не в разъём для наушников же их пихать...

Добавлено after 3 minutes 4 seconds:
да и как самостоятельное устройство, а не как довесок к телефону, прибор будет выглядеть "солиднее"

Совершенно верно вы «нащупали» задачу. Смысл затеи - превратить обычный хирургический микроскоп в прибор, регистрирующий аутофлюоресценцию тканей на различных длинах волн, а также внедрение т.н. NBI (narrow beam imaging) для лучшей визуализации патологических участков.
Потрошить настоящий микроскоп ценой в три мерседеса дело опасное) , поэтому будем использовать что-то поприличнее из микроскопов для радиомонтажа . FPS может быть вестимая низким, поскольку картинка большей частью статичная. Достаточно 15 FPS или даже ниже .

Добавлено after 12 minutes 22 seconds:
И Камера, да, она может быть черно- белая и даже скорее именно такая.

Добавлено after 2 minutes 45 seconds:
Можно былобы выключить внешний свет , что и происходит эндоскопических операциях, но тут избавится от внешней засветки нереально. Поэтому и используется идея стробоскопа.

15фпс - слишком высокая скорость, если пытаться синхронизировать после юсб... полюбому придётся лезть внутрь камеры и искать синхроимпульс там, тогда эта скорось достижима для 2х цветов - по 1/30 на каждый цвет...
возможно: вычислять момент более точно и делать очень короткую яркую вспышку сразу перед съёмкой, для глаз она будет как обычный свет, а камера увидит только отблеск флюоресцента...

К сожалению вот этот момент - взаимодействия матрицы и процессора я знаю лишь в общих чертах, что недостаточно для того что бы лезть внутрь . Информация в интернете осень отрывочная нашёл только более - менее последовательное изложение обработки сигнала матрицы тепловизор на dsp. Но это отдельная тема. Может посоветуете мне что можно почитать по этому вопросу из литературы, желательно что бы совсем не сменить специальность))?

начни с описания того, что собираешься потрошить... название микроскопа, примененная матрица, если повезёт - Д.Ш. на матрицу или хотябы принцип её работы и взаимодействия...