3Д сенсоры для создания трехмерной модели в домашних условиях

Предлагаю для начала вспомнить главное.
Моменты о которых не стоит забывать(на мой взгляд).
Продолжение темы (3Д сенсоры для создания трехмерной модели в домашних условиях) с замолкшего форума: https://club.season.ru

За период наших экспериментов мы познакомились с программами для сканирования: KScan3D, Skanect, ReMe, RecFiusion.
И проверили возможности камер (сканеры): Kinect Xbox360. Kinect for Windows, RealSense D415

Определили, что сканирование группой сенсоров (три или четыре) на стойке с вращающимся подиумом затратнее, но позволяет получать сканы быстрее (особенно выгодно для того, кого сканируют) и с меньшей вероятностью брака.
Вот "классическая" схема расположения трех сенсоров (сенсоры надо "калибровать" относительно друг друга, что бы "работали" совместно):




Возможности кинекта.
Вот такую "лазерную сетку" проецирует кинект на поверхность что бы "видеть её в 3Д"

Оин кадр с расстояния 55см


Эта же поверхность полученная наложением кадров при повороте подиума


Максимальная четкость текстуры (для кинекта)


Пример сканирования формы, которую легко удерживать при реконструкции (нечего не съезжает). На такой форме стоит потренироваться.


А также пример сканирования не больших предметов - игрушек (мишка высотой 20см)
Процесс в программе Skanect

И результат (2015г)

Добавлю тут ниже некоторую важную информацию.

Кстати.
Если вдруг комуто немножко не хватает зоркости кинекта (не четко видит) и в то же время не нужно цветное изображение (будет типа чернобелое), то можете попробовать сканировать в режиме без цветной камеры (доступно в новых версиях). Что бы видела только инфракрасная. Особенно мелкие предметы кинект видит лучше. Вот скрин в инфракрасном виде (видит уверенно каждый палец)
https://i.servimg.com/u/f92/20/36/92/45/img710.png
а в цвете мелкие предметы путаются (ладошку видит также хорошо, а пальцы с "дырами")
https://i.servimg.com/u/f92/20/36/92/45/img810.png

Сегодня протестировал камеру, которую подарила мне  Добросердова Яна (еще раз спасибо).
Кстати, вот тут она предлагала перекупить, но так никто и не выразил желания.

Так вот мои предварительные впечатления (пока еще её не калибровал и не прошивал).
С настройками по умолчанию минимальное расстояние почти как у кинекта и особо большей четкости вроде как и не очень заметно. Хотя она есть, ну и захват больше. Т.е. если сканировать с расстояния до клиента от метра и больше (как в примере самих разработчиков), то на мой взгляд грубо приблизительно ... два кинекта заменяют один 415й.
А вот если на минимальных расстояниях, то видна четкость. Вот пример компьютерной клавиатуры.

Если в настройках "свести глазки ближе к носу" (позволяет видеть камере еще ближе), то четкость заметно повышается

Вот такого я с помощью кинекта добится не мог:




Эта камера заметно шумит по сравнению с кинектом. Если кинект выдает шум обычно от попадания предметов на расстоянии менее минимальной видимости. То 415я любит пошуметь, когда предметы слишком далеко. Точнее предметы слишком далеко, 415я их не видит и начинает шуметь.
Что бы избавится от такого шума, можно "пустое пространство" завесить ширмой или, например, закрыть фанерой.
И еще что заметил. Кинект видит не слишком четко, но его облако точек не шатается так сильно, как 415й. Если присмотреться к точечкам облака, то они как будто шевелятся.


Камера 415 позволяет в настройках выставить минимальное расстояние поменьше, но тут свои "подводные камни".
И производители, как и продавцы этих камер этого не афишируют.
Например, при дефолтных настройках, есть такой недостаток.
Если в поле зрения попадает предмет на расстоянии менее минимального (менее 0,4м), или вы расположите на таком расстояни лист или полотно, то камера ошибочно определит кучу всяких огрызков поверхностей, которых нет (артефактов). Вот на рисунке кадр. Перед камерой на рассоянии 32см стена

При этом пределы минимума и максимума (расстояния до камеры, на котором камера видит предметы) от бесконечности до 0,4м (по факту около 0,47).

Если "свести глазки" - подкрутить параметр "DISPARITY SHIFT" с нуля до 46...50, то стена становится видимой (артефактов нет).

Я специально не перемещал "куб" - видно где находились артефакты и где на самом деле стена.
При такой настройке камера будет видеть ближе, но уже не будет видеть далеко. Все что дальше метра ... 1,2м станет невидимым.

Если еще немного подкрутить, то диаппазон видимости настолько "уедет" ближе "к носу", что камера опять на сможет видеть стену (на расстоянии 0,32м) и могут появится вот такие артефакты

Предел тут (при DISPARITY SHIFT=182) от 0,165м до 0,282м.

DISPARITY SHIFT можно выставить даже 500, но тогда камера сможет видеть в очень узком диаппазоне (примерно от 80 до 100мм) - всего в 20мм. Сканировать так практически не реально. Да и с кучей (огромной) артефактов...

Это скрины с версии 1.47, т.к. в новой программа уже не пишет пределы. Зато дает возможность точнее настроить эти "ползунки".


По поводу того, как в Win_10 может получится так, что ваш кинект не будет работать, хотя вы вроде скачали в майкрософте драйвера и установили.
Я сегодня тоже попал на эту ошибку (изза не внимательности).
После установки на новый винчестер Win_10 установил RecFusion и заметил, что забыл скопировать на флешку драйвера для кинекта. Но поленился включать старый комп, что бы забрать оттуда драйвера.
Зашел в гугл, набрал "кинект драйвер" и по полученной ссылке на майкрософтовском сайте скачал
https://i.servimg.com/u/f92/20/36/92/45/image_53.png
и установил драйвера. Проверил в диспетчере задач - есть.
А запускаю RecFusion - как бы он видит, что должен быть кинект, но картинки нет (с камер глубины и цвета)... Задумался... И тут вспомнил, что кто то на форуме уже намекал на не те драйвера.
Посмотрел, что скачал, называется: KinectRuntime-v1.8-Setup.exe (114Мб)... Вроде оно, но что то маловато. Помню что раньше было толи 200 толи 300...
Еще раз залез в инет и скачал KinectSDK-v1.8-Setup.exe (227Мб).
https://i.servimg.com/u/f92/20/36/92/45/image_54.png
Предыдущий удалил, а этот установил - все заработало.

По быстрому из подручных материалов (и не выброшенного вентилятора от сдохшей лет 5 назад материнской платы) собрал систему охлаждения для 415й.
На 415й сзади оказалось есть два отверстия с резьбой М3. На их закрепил кусок стеклопластика. А с прозрачной крышки подходящей по размеру коробочки отпилял половинку...
Пока без фильтра. Хотя можно внутрь коробочки всунуть по контуру полоски поролона (будет хоть какаято защита от возможного попадания кошачего ворса внутрь камеры)


От блока зарядки старого мобильного (там около 7...8в) вентилятор сильно не крутится и не гудит, запуск надежный, охлаждает отлично (можно добавлять фильтр, и если не будет хватать охлаждения - перейти на БП 12в)

Толстый короткий кабель, что шел в комплекте к 415й практически на пределе. При подключении с лицевой стороны работает хуже (заметны тормоза и задержка изображения). Хотя внизу в углу пишет 30 фпс.
При подключении с задней стороны - лучше. Вывод: нужен очень хороший кабель, если длиной более 0,5...3м.

Но даже после проверки подключения и получения четкой картинки с каждой камеры (без задержек в рекфюжее. просто машу рукой перед камерами и смотрю в монитор). А при записи секвенции всеравно записывает со сдвигом.
Если это такое всегда будет, то сканировать допускается только очень медленно. Или надо будет разбираться на "аппаратнм уровне".

Подключил две камеры. Кинект и 415ю.
Разместил по кругу. Пока на дефолтном расстоянии (по дефолту 415я меньше шумит).
Вот так
https://i.servimg.com/u/f92/20/36/92/45/image_26.jpg
калибровал за один клик (маркер напечатал на обычном лазерном принтере - А4. и прицепил листочек скотчем на коробку от ботинок). С расположением и размером маркера не заморачивался, если что - потом...
https://i.servimg.com/u/f92/20/36/92/45/image_55.png
И так "выровнялось"
https://i.servimg.com/u/f92/20/36/92/45/image_56.png
Вроде не плохо. Хотя... плоховато. Облако точек 415й по прежнему "кипит" (во время статичного положения точки перемещаются в пределах небольшого расстояния)
Попробовал сканировать сразу (без записи секвенции). Реконструирует увереннее. Заметно, что на переходах видимости граней программа не теряется (не срывает положение).  
Результат сканирования детской игрушки (автобуса):
https://i.servimg.com/u/f92/20/36/92/45/image_57.png

А вот  при попытках записи и чтения секвенции у меня опять "неприятности". Кадры при записи "пляшут туда-сюда".

в секвеции записывает со сдвигом и кадры пляшут - это как?

Конкретно ЭТО... касается "мульти функций".
Это у кого есть несколько камер подключенных в одной программе.
По идее несколько камер после взаимной калибровки должны видеть поверхности больше (каждая видит дополнительно свою часть). И по смыслу реконструкция должна идти намного уверенней.

Одна камера не всегда может видеть достаточно четко такой кусок поверхности, по которому (по форме индивидуальной) программа может определить точное положение камеры в пространстве.
Например это может быть почти плоский участок, почти цилиндрический (поверхности полученные вращением, часть цилиндра, конуса или сложной формы вращения какой либо кривульки относительно какой либо прямой).
Или поверхности видит слишком мало (узкая полоска зеленого).
В таких положениях реконструкция срывается.
Если несколько камер работают вместе (запряженные, как тройка лошадей), то типа они должны помогать друг другу.
А по факту получается не совсем так...

Для начала, подключив камеры, я смотрю на количество кадров. В новой версии высвечивается внизу справа для каждой камеры.
Если там не уверенно 30, и проскакивает 25...20 или даже 15...10, то это плохо. Значит, что или кабель шумит и не все кадры успевают вовремя попасть в компьютер, или драйвер глючит, или где то что то перегрелось (перегружено, занято другими процессами)...
Дальше смотрю "быстродействие" или "задержки". Картинка с камер должна быть уверенной. Отображать должно быстро. Помахал рукой перед камерой и должно точно так же показывать в окошке (одинаково, быстро). А не показывать положение ладошки внизу, когда я успел махнуть уже вверх. Если что не так - выключаю программу, переключаю кабеля, загружаю по новой, выбираю настройки попроще.

С шумами я надеюсь все понятно. Всякие лишние куски, шатания и волны - не желательны. Они мешают. Особенно, если попадают в "куб".

В общем.
Метод реконструкции лучше всего работает на таких поверхностях, которые хорошо видимы камере. Например, когда вы сканируете лоток от яиц лежащий на полу и в зону видимости камеры при этом не попадают лишние предметы ближе минимального расстояния и не видно дальше максимального. За такую "ребристую поверхность легко "держать" положение. Программа уверенно рассчитывает каждое следующее положение и новый кадр добавляет в сцену с достаточной точностью.
Тело человека (особенно раздетого) не имеет достаточно таких ориентиов (как в лотке от яиц). Реконструкция "держится" за форму (цвет ей не главный). Поэтому важно внести в сцену побольше таких выпуклостей, за которые будет "держаться расчет".
Особенно поверхность подиума (обычно имеет красивую форму крышки цилиндра) - я рекомендую поставить (приклеить) в те места пирамидки от лотка для яиц (несимметрично, вразброс). Желательно такие, которые будут уверенно видны камере со всех сторон и не будут закрывать друг друга.

Если у вас одна камера,
то будет очень трудно сделать полный скан человека качественно (сразу четко). Как вариант можно сканировать за несколько подходов.
Первый, что бы получить "общую картину". В этом варианте нанесите на тело как можно больше "маркеров".
Например оденьте на тело ремешки, резинки, к которым пришиты пирамидки (выпуклости, которые не будут сильно закрывать поверхность своими выступающими частями, а только основанием). Можно рядом расположить две лестницы (я показывал на сезоне в самом начале своих экспериментов).
В этом варианте сканируйте не с слишком близкого расстояния. Чем больше камера будет видеть, тем точнее она добавит кусок поверхности рядом. Чтобы точнее получить обхват можно расположить вначале камеру перед клиентом на уровне бедер так, что бы камера еще и видела пол (подиум), тогда при обходе вокруг получится "замкнуть" поверхность не по спирали, а точно по обхвату.
В этом варианте может быть много дыр. Важно, чтобы были хорошо видимы ориентиры.
А потом (за второй и следующие сканирования) можно будет уточнить форму всех важных участков. Подмышечных складок, формы промежности и т.д. сканируя отдельно участками.
И потом уже после сканирования соберете это все в 3Д редакторе, удалив лишние маркеры и заменив плохие (далеко видимые) на четкие (близко видимые, но не полные).

есть еще некоторые "способы" уменьшить взаимные помехи лазерных пушек.
Вот к примеру очень давний


Смысл этого способа.
На кинект скотчем или изолентой привязывают моторчик (можно от детской игрушки) у которого к валу прицеплен небольшой эксцентрик (можно ластик воткнуть). При включении моторчика он слегка вибрирует.
В результате небольшого размытия каждый кинект видит чуточку не так четко, но главное, что соседние кинекты перестают замечать лазеры соседей.
Вибрация не должна быть большой. Иначе кинект может "потерять зрение" или его крепеж "поплывет".

...
идеально симметричный аватар... если максимально точно с исправлениями (при ошибках и перекосах с левой и правой частей берется среднее значение обьема), то самый качественный результат получается после натягивания на скан симметричного меша (симметричной полигональной сетки) в программе "Wrap"  и затем применения к результату инструмента "симметрировать" (FixSymmetry с параметром 0, учитывая объемы - галочка должна быть). FixSymmetry добавилось начиная с версии 3.

Такая доработка может занять от 15минут до полутора...двух часов (в зависимости от сложности меша и мощности компьютера).
При этом "автоматически" исправятся "винт"  и остальные всякие "перекосы" и "перенаклоны" фигуры (относительно лево-право).

Кому интересно, можете просмотреть "туториал": тут

Поскольку о всех особенностях RecFiusion вы не найдете полной информации на сайте разработчиков, постараюсь добавлять тут.
И в первую очередь о скрытых возможностях некоторых неоффициальных версий.

О русском интерфейсе.
Впервые мне удалось перевести версию RecFusion Pro 1.1.1  заменив китайскую часть русским. А поскольку в следующих версиях китайский удалили, я нашел способ заставить программу читать языковые ресурсы в других файлах (заменой ссылок на наружные файлы). В таком случае размер ресурсов не ограничен.

О импорте и экспорте.
В версии RecFusion Pro 1.1.1  очень удобно было сохранять результат сканирования в "собственном" формате меша: *.rmf
Как выяснилось, этот формат практически ничем не отличается от бинарного *.ply (ply в небинарном формате эта программа не понимает). С сохранением цвета вершин полигонов.
Таким образом эту программу можно использовать для "запекания текстур" из цвета вершин.
Т.е. если у вас есть любой меш с цветом вершин, то вы можете конвертировать его в бинарный .ply
в программе MeshLab с такими настройками:

Затем заменив расширение "ply" на "rmf" - можно открыть меш в RecFusion и запустить сохранение в Object (*.obj) с автоматическим генерированием "UV texture".

В следующих версиях загрузка легче. Например, неоффициальная версия RecFusion Pro 1.4.7 (последняя, где работало нормально  "автогенерирование UV")
может отрыт меш в формате *.rmf, *.ply, *.obj (с цветом вершин), *.stl (оффверсия только *.rmf *.ply) и может открывать меш, если файл "бросить в окно" программы.

В следующих версиях 2.0... разработчики увлеклись функцией создания UV texture методом наложения (проецирования на меш) "ключевых кадров" и убрали возможность генерирования UV  из цвета вершин.

Покажу некоторые возможности, которые пока не доступны в оффициальной версии программы. На примере версии - RecFusion Pro 2.3.0 (64-bit Windows)
Чтобы изменить количество вокселей (больше 768 ползунок не передвигается) сейчас это проще сделать нажав кнопку F8 и вызвать вот такой диалог:
https://i.servimg.com/u/f48/20/37/28/50/image_86.jpg
В этом диалоге я увеличиваю значение "резолюции" так, что бы получить размер вокселя менее 1,6 мм настолько, насколько позволяет видеокарта (зависит от размера её памяти).
И в результате сканирования получаю вот такой плотности меш (количество полигонов более 1500000), что вполне достаточно, что бы видеть мелкие складки.
https://i.servimg.com/u/f48/20/37/28/50/image_87.jpg
Такой меш просто так не выгодно сохранять. В нем много отверстий (дыр), много мусора (мелких лишних частей), и очень много полигонов (огромный размер файла и доработка такого меша проблемная).
Поэтому нужно выполнить чистку и "закрыть отверстия" (Fill holes).
https://i.servimg.com/u/f48/20/37/28/50/image_88.jpg
Этот инструмент не имеет опций настройки и все выполняет по дефолту. В результате мы получаем меш с количеством полигонов от 100 до 300 тысяч. Полигоны практически одинаковы по размеру.
И в результате у нас и очень много полигонов и мы потеряли детализацию.
----------------
У меня получилось изменить (модифицировал код) в программе ход команды "Fill holes" и получить закрытый меш (без отверстий) с большей плотностью:
https://i.servimg.com/u/f48/20/37/28/50/image_89.jpg
Видите - результат лучше. Следующая "настройка":
https://i.servimg.com/u/f48/20/37/28/50/image_90.jpg
Это уже почти без потерь (1:1). И следующая "настройка":
https://i.servimg.com/u/f48/20/37/28/50/image_91.jpg
Тут явно с перебором. Полученный меш явно намного более плотный, чем оригинал. Но это совсем не страшно, поскольку есть инструмент уменьшения количества полигонов "Decimate"
Установив галочку "Preserve curvature" мы не потеряем наши мелкие складки (в таких местах меш останется плотнее) мы сможем уменьшить количество полигонов до оптимального:
https://i.servimg.com/u/f48/20/37/28/50/image_93.jpg
И вариант полегче:
https://i.servimg.com/u/f48/20/37/28/50/image_92.jpg
.
Таким образом я смог (используя свой вариант программы) получить в RecFusion сразу готовый закрытый меш готовый для дальнейшей обработки (например вырезания слипшихся частей подмышек).
Вам же остается только надеяться, что разработчики в следующих версиях программы добавят такую настройку.

По поводу перевода этой программы на другие языки.

RecFusion - программа немецких специалистов. В ней кроме английского есть переключатель на немецкий язык ( в одной из версий была попытка добавить еще китайский и французский и оба этих варианта у меня уже есть).
Я не имею никакого желания поддерживать перевод программы на  русский язык.
Более того. Если есть желающие видеть интерфейс программы на своем родном ином. Например на польском, грузинском или казахском.
То есть возможность сделать такое.
Я выложу тут файл с двумя колонками. Вот он: RecFusion translate En-Ru.xls
В первой колонке английские фразы, во второй они по руски (мой вариант перевода). Далеко не всегда переводил дословно, т.к. я пытался донести смысл исполняемого в программе.
Если вы работали в программе и ориентируетесь в значениях этих фраз, то можете заполнить рядом третью колонку с фразами на своем языке.
Очень желательно не просто перевести "гуглопереводчиком" (такое я и сам могу), а выбрать такой вариант текста, что бы было и понятно и кратко. Особенно кратко там, где я в русском варианте применил сокращения (с точкой в сокращенном слове), т.к. в таких местах мало места и текст побольше может не поместится.

Для тех, кто пользуется камерами  Intel RealSense
Как известно для этих камер есть проблема с подбором кабеля. Родной (который в комплекте) слишком короткий.
Просто кабель USB Type A -> USB Type-C врят ли подойдет ибо продавцы не понимают особенности USB 3.0
Если у вас есть лупа или нормальный смартфон, то вы можете заглянуть "внутрь" разъема.
Вот такая "мама" на компьютере
https://i.servimg.com/u/f48/20/37/28/50/img_2010.jpg
Соответственно и в "папах" кабеле как минимум должны быть все контакты. 9 контактов  ( VCC, D+, D-, GND, RX-, RX+, TX-, TX+, Drain).
Должно быть вот такое:
https://i.servimg.com/u/f48/20/37/28/50/usb-3-10.jpg
Показываю оба конца
https://i.servimg.com/u/f48/20/37/28/50/u_di-t10.jpg
В названии кабеля (или его характеристиках) должно быть:
USB 3.0;  Скорость передачи данных до 5 Гбит/с (или "superspeed" или "Gen1")

Не верьте только "синей пластмаске". Обязательно посмотрите сколько контактов. Хотя наличие контактов не гарантирует, что там еще провода есть. Но без наличия 9-и контактов однозначно не подойдет.
Не берите  с USB 3.0 у которого "Скорость передачи данных до 480 Мбит/с"
 - такая скорость достигается в USB 2.0
И вот такое тоже не "потянет"
https://i.servimg.com/u/f48/20/37/28/50/img_2011.jpg
несмотря на то, что вроде новый кабель, может и провода не плохие, но нужных контактов - НЕТ

Всем добрый день. Очень рада найти знакомых людей с Сезона. Очень нужна Ваша помощь/консультация ,есть ли какая нибудь информация о Kinekt и Win 11? Пришел сканер из далекого Зарубежья, с  ним переходник. На ноуте win 11, и в диспетчере устройств определяется как "другие" устройства. При попытке обновить драйвер - безуспешно, самостоятельно драйвера не нашла.. (может и есть, но на офиц сайте Windows - не вижу)

Djanna пишет:информация о Kinekt и Win 11

Kinekt довольно старый сканер. Драйвера для него делали на "семерку" (Win 7).
Насколько я знаю, то на Win 10 реально получается подключить кинект для 3Д-сканирования. Но даже в таком случае не следует надеяться на автоматическое определение нужных драйверов (касаемо кинекта, то чаще всего автоматика запишет криво и потом труднее настроить).
Надо перед подключением кинекта установить SDK:  Для кинекта нужен именно KinectSDK-v1.8-Setup.exe (227Мб) .
Этот SDK создавался для Windows 7, Windows 8, Windows 8.1, and Windows Embedded Standard 7
Для Windows 10 - то же подходит  (работает, проверено - альтернативы нет)
Как бы и для  Win 11 должен быть такой же путь.
Вы перед подключением кинекта устанавливали KinectSDK-v1.8-Setup ???

Admin пишет:У меня получилось изменить (модифицировал код) в программе ход команды "Fill holes" и получить закрытый меш (без отверстий) с большей плотностью

В последнее время я не использую автоматическую функцию "Fill holes".
Как показала практика, лучше всего закрывать отверстия, ремонтировать меш и еще много всякого делать (с мешем) в бесплатной программе Meshmixer (программа японсого качества)
Скачать программу можете на офф сайте, тут
А если есть желание перевести на Украинский язык (полный перевод с полной справкой), или хотите работать в английском интерфейсе и иметь полную справку на английском, то вам сюда