Приветствую вас котаны))
Небольшое предисловие. Сам я по большей части ремонтник, чиню ноутбуки и пр. электронику уже так 14+ лет, но что-то серьезное никогда не проектировал и от программирования далек. Недавно купил дрон Autel EVO 2 640t V3 чтоб попробовать свои силы, ну и как игрушка очень интересное устройство учитывая, что на борту по мимо камеры еще и тепловизор. Дрон после падения и аппаратной части для меня +\- понятно, а вот с программной частью там серьезный затык в сопряжении с пультом т.к. внутри дрона очень специфическая прошивка.

По существу - в процессе ремонта мне приглянулся модуль тепловизионной камеры. Для глобального рынка дрон поставляется с камерой iRay (вероятно модуль G1) он же InfiRay Micro III с тепловым разрешением 640*512 пикс.! 8～14 мкм, 30fps. У камеры есть шина USB и внешняя EEPROM, увы контроллер USB который общается с FPGA чипом не имеет RAM для программного кода, а только ROM память в которую при включении дрона по идее записывается необходимый для работы код с материнской платы дрона, но это мои предположения.



Как я писал выше, с программированием у меня туго, все, что я смог сделать - небольшой реверс инжениринг изучив внимательно камеру и переходную IMU плату блока камер. Все, что необходимо для подключения камеры это +12В, земля и дополнительные 2.8В для питания внешнего кварца на 333.33 Гц расположенного на IMU плате.



При запитывании камеры компьютером она определяется как неизвестное устройство "Unknown device" без PID и VID. Как я полагаю, в прошивке дрона есть все необходимое для прошивки камеры и взаимодействия ее как физического устройства с операционной системой дрона на базе андроида. Я пробовал перехватить обмен данными обычным TTL-to-USB (на базе ICH340 + программа Terminal) с шины I2C но безрезультатно, при включении дрона синий диод на модуле камеры должен прерывисто мигать (как я понимаю идет обмен данными/запись в ROM) а с подпаянным преобразователем он просто светится буд-то преобразователь становится помехой. Хотя возможно это не I2C шина вовсе, а линия Analog video, там поднимается 2В и на осциллографе тишина. Хотя по топологии печатной платы и распиновке чипа больше похоже на I2C. Возможно 17ый контакт шлейфа камеры это как раз вывод аналогового видео, но на плате не распаян резистор, в прочем и там тишина (около 2В).

На модуль есть различные даташиты, например User manual для плат расширения пользовательских интерфейсов, заявлено, что есть аналоговое видео и по идее к камере подключается специальный кабель у которого с одной стороны type-C, а с другой USB 2.0, BNC коннектор под AV и какой-то конец под UART/I2C. И еще много разных мануалов ТУТ или ТУТ, даже есть манула по командам протокола. Программы для ПК совместимой с этим модулем пока не нашел, возможно надо попросить у поддержки iRay, но может произойти затык, что модуль не сможет сказать компу и программе что оно такое.

В дататшите ТУТ есть распиновка 70 пиновго разъема и на 10 выводе значится "Output Analog video", пока не подпаивался к нему. Разъем такой имеется, он ведет внутрь самого тепловизора, там одна плата, с одной стороны которой собственно микроболометр, с другой FPGA чип с своей SPI флешкой (MX25U51245GZ4100) и разная рассыпуха. В даташите на FPGA ti60f100s3f2 (100 пиновая версия) я не нашел аналогового вывода для AV видео, кроме того распиновка разъема по пинам GND не совпадает c тем, что в даташите, а "ключ" отмеченный на шлейфе и разъеме платы не совпадают с 1ым пином в даташите.



В общем идею изложил, пока дрон у меня попробую запросить софт у производителя. В принципе вижу в этом отличное, готовое аппаратное решение, только допилить бы и можно функциональное устройство сделать и поэкспериментировать с софтом. Просто рыночное решение с такими характеристиками стоит кругленькую сумму, а такой модуль можно купить относительно не дорого 10-20 тыс. В ремонте и поиске неисправностей незаменимая вещь. У меня правда есть Flir E8 и он просто ну очень как выручает, но хотелось бы что-то с бОльшим разрешением и не просто гляделку, а с функцией измерения температуры.

А попробуйте, korobass, по USB её попользовать. Может она похожа типа как камера ноута. Тем более основа, говорите Android. Попробуйте подцепите её по USB к компику и с VLC получить видеопоток с устройства захвата.

JMC.Hard, "... При запитывании камеры компьютером она определяется как неизвестное устройство "Unknown device"без PID и VID. ... "
Так что VLC не поможет.

Нну тут, bolek, не помогу ... не работаю с Windows
С ноутов немало камер подключал, проблем не возникало

В продолжение.
*При первых опытах подключения я использовал слишком длинный USB кабель, к тому-же проводками подпаял USB маму к плате камеры, а потом использовал довольно длинный кабель папа-папа ... так, что размер имеет значение и иногда лучше меньше))) Первый раз когда подключал, даже в меню установки драйвера вроде как была камера, думал может глюк.
Что имеем. Определяется камера как "AT600" имеет VID_04B4 и PID_02F8, Win11, на Win7 ставил программой zadig-2.9, драйвер к слову 2006г! т.е. он старше модуля камеры., VLC и онлайн тест web камеры показывают зеленую картинку, даже 2 раздельные т.к. формат данных иной. Во время работы по USB синий диод возле USB контроллера бодро мигает - теперь понятно как/когда он работает.



*По UARTу продвижения нет, при наличии картинки можно было бы получать обратную связь, пробовал рамдомные команды из мануала отправлять, менял местами Tx Rx т.к. я не могу пока понять где какой вывод. В любом случае никаких успехов, я в этом не силён, может как-то предварительно нужно инициировать общение со стороны хоста. Могу сказать только, что я получал логи загрузки устройств через этот переходник, на этом мои познания и опыт работы заканчиваются. А может банально в прошивке FPGA не реализован функционал для работы UART в данной реализации, у дрона задача скромная - по запросу показать тепловую картинку, все остальное делать может софт операционки дрона или пульта управления.
* Перепробовал больше 3х десятков приложения на андроид, только одно пыталось, что-то получить с камеры судя по LED диоду но на этом вылетает, остальные программы видимо рассчитаны на работу с конкретным совместимым устройством.
* Софт для ПК из всего многообразия в большинстве случаев так-же хочет видеть конкретные камеры, некоторые программы вылетают или показывает такую-же зеленую картинку. Пока пробовал на Win7 x86 и Win11 x64, некоторые программы попробую еще на Win 10 x64. Скачал даже ПО для модуля Flir Boson т.к. в версии дрона для США ставят boson - тоже зеленая картинка, так, что если драйвер может конвертировать данные в нужную картинку то достаточно драйвера. Из какой-то программы пробовал задействовать соединение по UART - тоже ничего.



*Написал запросы на софт в пару РФ компаний продающих модуль iRay Micro III и непосредственно китайцам-производителям и продавцам, но пока увы тишина. Судя по одному отчету французской лаборатории ИК тепловидения китайцы не особо парятся с поддержкой продукта, полагаю задача китайцев всунуть ИК модули массово и по больше заработать, увы поддержка китайского продукта всегда страдала.

Какие будут идеи? Есть мысль перепрограммировать VID и PID, но знать бы какие они у других устройств, но это пальцем в небо.

UART, korobass, видимо как и везде, только для прошивки контроллера. По крайней мере мне не встречалась передача видеопотока через UART. Ковыряйте USB, похоже так она и работала

UART для управления - однозначно, видеопоток там даже не рассматривал. В флешку MX25U512, а она на 64Мб можно много запихнуть, в последних ноутах, что ковырял максимум видел на 32Мб это уже с UEFI и то около половины нулями забиты. Тут во флешке своя программа, а может даже мини ОС, т.к. на сколько я знаю из теории работы тепловизоров, FPGA для корректной работы тепловой матрицы нужно где-то хранить несколько серий эталонных снимков при нескольких значений температур для своей матрицы, чтоб иметь усреднённое значение показателей в разных диапазонах для каждого пикселя и сверятся с этими снимками - для этого он шторкой и закрывается периодически.

UPD:
*Если только FPGA способен на своих выводах выдавать AV по запросу, потому как в мануале "Command Protocols" есть команды на вкл./выкл. CVBS video, переключение между PAL и NTSC, вкл./выкл. видео и переключение выдаваемых видеорежимов: disable, LVCOMS, LVDS, BT.656, BT1120, CDS_2. Кроме того у модуля MRIII00V110F016C по мануалу "User Expansion Component Manual V1_0_52021" с таким-же контроллером USB (cyusb3014-bzxi) все-же в распиновке Type-C есть AV. Но тогда управление должно осуществляться по USB.
*Попалась очень интересная статья немного проливающая свет на работу готовых USB термокамер и в них изображение с USB выдается сырое, в видео именно термографических данных и на экране это выглядит как зеленая рябь. Получается, что в нашем примере происходит обработка данных на FPGA, на это указывает внушительной емкости SPI флешка, собственно картинка которую я получил с камеры и команды "Command Protocols" для режимов работы NUC (Non-Uniformity Correction) коррекция неоднородностей, для получения более сглаженной картинки, без ряби и полосок. Поэтому, подмена VID и PID не прокатит, разве, что Flir boson работает по такому-же принципу.... ну или имеющаяся у меня камера неисправна т.к. дрон после падения.


Еще вот youtube видео с Caddx irc-640 + макролинза из селенида цинка, через AV-HDMI переходник.

Есть надежды, что все-же пришлют софт и драйвера). iRay почему-то с июля 2024го решила убрать ПО из открытого доступа, видимо в мире тепловизионного зрения аппаратная часть уже не особый секрет и технология отработана, а вот применение все еще имеет двойное назначение и дает определенное преимущество, поэтому программный код решили убрать с глаз или из-за патентных притязаний.

Сейчас мне видится, что вопрос в корректном драйвере даже более первостепенный, т.к. люди пишут, что у Flir Boson видеопоток как у YUV вебкамеры. Возможно и драйвер можно переделать под мой модуль или модуль выдать за Flir Boson подменив VID и PID.


Фото как выглядит кабель и Flir Boson.

YUV wiki "YUV — цветовая модель, в которой цвет состоит из трёх компонентов — яркость Y (Luma) и два цветоразностных компонента UV (Chroma)." - что в общем-то имеет логику для тепловизора и взаимосвязь с зеленой "картинкой". В меню настроек плеера K-lite codek pack-а есть что-то про YUV, но он не хочет воспроизводить видеопоток. VLC воспроизводит поток но картинка зеленая, в VLC-wiki есть отдельная статья, но как получить необходимую картинку хотя бы в плеере - непонятно.

"USBDeview" программа для Win показала куда больше информации, все-же это составное устройство и в нем есть программный COM-порот. В таком случае, возможно, что отправка команд идет через него, а FPGA умеет выдавать AV как раз по тем двум пинам. Некоторые программы видели COM6, но я не придавал этому значения т.к. счел за какой-то внутренний COM порт ноутбука.



Даже нашел оригинальный софт InfiRay IR Discovery! он видит камеру но не показывает(( SharpInfraredAnalyzer - вообще ничего не видит.



Нашел программку-видеоплеер простых видеопотоков и вот, что она сделала из захваченного кусочка видео сделанного VLC)) правда при воспроизведении там жуть из плывущих кадров, но уже рядом.))



И свойства видео от MPC (K-lite)

Может он просто устарел и списан. Когда китайское барахло устаревает то его удаляют с сайта производителя

Сослепу прочитал название темы как: Идея народного тепловоза. Ох.