Компьютерное зрение в строительстве: что это такое и зачем нужно

При помощи компьютерного зрения можно распознать номера машин, превышающих скорость, или определить товар, чтобы заказать такой же на маркетплейсе. В строительной отрасли эта же технология может применяться буквально везде, но пока ее развитие находится на начальном уровне.

В статье расскажем, что такое компьютерное зрение на стройке, зачем оно нужно, и какие есть практические примеры его использования.

Что дает компьютерное зрение в строительстве

Доцент МГСУ, заведующая кафедрой «Информационные системы, технология и автоматизация строительства» Ольга Кузина выделяет шесть основных направлений для использования компьютерного зрения :

1. Мониторинг безопасности работников. Возможно, самая известная функция — распознавание строителей без касок и других средств индивидуальной защиты. Эта технология получила серьезное развитие во время ковида, когда на многих предприятиях вводили автоматизированный контроль масочного режима.
2. Обнаружение и отслеживание строительной техники. Речь идет о контроле за ее перемещениями, выявлении простоев и поломок.
3. Автоматизированный контроль качества строительных материалов. Компьютерное зрение можно использовать, чтобы, например, выявить трещины на поверхности бетонной плиты или непроектные искривления металлоконструкций.
4. Мониторинг прогресса. Технология компьютерного зрения позволяет отслеживать ход строительных проектов. Например, система может определить количество готовых этажей или стен.
5. Информационное моделирование. Камеры в здании и на дронах помогают в создании цифровых двойников зданий.
6. Обнаружение дефектов. Технология позволяет выявлять отклонения от рабочей документации, технологической карты или плана выполнения работ. В связке с ТИМ-моделью компьютерное зрение в строительстве фактически означает автоматизированный контроль за площадкой в режиме онлайн.

Как это работает

Система компьютерного зрения предполагает многоуровневый процесс распознавания и обработки. Вот основные этапы.

Получение данных. Помимо обычных видеокамер исходный массив информации могут дополнять данные с датчиков, радаров, лидаров, ультразвуковых или инфракрасных приборов. На выходе может быть как 2D, так и 3D-картинка в цвете или оттенках серого.

Предварительная обработка. Чаще всего это обычная цветокоррекция: удаление шума и искажений, улучшение контрастности, масштабирование, повторное получение изображения, если система поняла, что не может обработать данные. Создатель системы вправе задать любые условия различимости: разрешить дальнейшую обработку, только если выполнены 100% требований по качеству картинки или же допустить процент дефектов.

Выделение деталей и сегментация. Это и есть компьютерное зрение: при помощи алгоритмов система выделяет линии, границы и кромки, определяет структуру объектов, их форму, решает, движется объект или стоит. Программное обеспечение решает, какие точки важны для обработки, затем на основе этого сегментирует исходное изображение.

В результате получаются наборы точек внутри сегментов — именно так их видит алгоритм на этой стадии.

Обработка. Наборы данных сравниваются с шаблонами, чтобы классифицировать объекты. Здесь нужна классическая тренировка нейросети, ведь качество обработки зависит от качества обучения системы. Объекты помещают в рамки и приписывают им определенные классы — указывают, что вот это экскаватор, это трактор, а это — самосвал.

Строительная нейросеть понимает, что у экскаватора есть определенные габариты, стрела и гусеницы или колеса. То же самое с человеком: у него ноги, руки и туловище определенных размеров. Неважно, что перед камерой, — живой объект или болгарка, с точки зрения алгоритмов это набор точек и линий, складывающихся в определенной конфигурации.

Что на практике

Компьютерное зрение — новая технология для строительства во всем мире. В России пока не так много примеров ее внедрения.

Так, компания Magnus Tech в 2019 году создала прототип строительной нейросети, который умеет фиксировать объекты на площадке и их перемещения и создавать дашборд с аналитикой для руководителя. Чтобы обучить нейросеть, инженеры дали ей около 20 000 изображений строительной техники — брали видео на ютубе, готовые сборки изображений и результаты поисковой выдачи.