MapShots – Computer-Vision- Technologie für Baudokumentation und BIM

MAP

COMPUTER VISION TECHNOLOGY …

Missing building plans, complex documentation and poor error management represent a significant efficiency problem for the construction and real estate industry. In Germany alone, this results in additional costs amounting to several billion euros every year.

MapShots GmbH is a start-up based in Berlin, whose objective is to largely automate the documentation and modelling processes with the help of computer vision and AI methods.

BY Alexander Dyck, Björn Silberbauer, Dario Gaudart

SHOTS

… FOR BUILDING DOCUMENTATION AND BIM

THE CHALLENGE A McKinsey study from 2017 arrived at the following conclusion: While the German economy as a whole has become 1.32% more efficient every year since 1995, the construction sector lags far behind, with annual productivity growth of just 0.26%. This low productivity costs German companies almost 100 billion euros every year and, at the same time, the country’s infrastructure needs are not being met.¹ In 2018, error costs represented an average of 14% of the entire turnover of the sector, which amounts, countrywide, to 17.8 billion euros.² These high error costs are largely caused by incomplete and inaccurate documentation, communication problems and “botched work”. The low rate of digitalisation of many of the subcontractors on site makes these problems even worse. Given that the building sector environment is highly heterogeneous and that few working methods are digitalised, there is considerable potential for increasing efficiency through rethinking processes and introducing digital supports that are simple to operate. However, rather than only being innovative in the digital sense, such new building technologies should also have a social, ecological and economic impact on all construction projects. Hence, a holistic examination of the problem is required in order to generate a leap forward that, in turn, can also be applied to each individual challenge.³ In the case of modern building projects it is essential to produce complete digital project documentation. All information, such as defects, must be localised (where are they) and annotated (what are they) and also given a timestamp. This is currently only possible with a lot of human labour and is, correspondingly, timeconsuming, expensive and error-prone. There is no reasonably priced, largely automated tool that can rapidly record the existing conditions of construction and real estate projects and catalogue these projects.

OUR APPROACH We at MapShots started work this April in Berlin and Vienna with a view to filling this gap. Our objective is to develop an app for off-the-shelf smartphones that enables the recording, measurement and documentation of buildings and building sites to be largely automated. In this way, our approach is significantly different from previously available solutions, which were based on the use of specialist, cost-intensive hardware such as LiDAR sensors. Our app should reduce the time required for an initial conditions survey and data collection from several weeks to a matter of hours. Hence, the costs should also be dramatically reduced. These reduced costs and high speed also mean that this recording process can be regularly repeated so that the complete and timeresolved documentation of a project becomes possible. At the same time, the quality and usefulness of the recorded data will be maximised due to the fact that the results can be simply controlled at any time. By targeting such an increase in the degree of digitalisation and automation, we are also seeking to make an important contribution to the digital transformation of the building and real estate sector and to provide a basis for new data-based applications and business models.

EXISTING BUILDINGS BESTANDSIMMOBILIEN

SEMANTIC POINT CLOUDS

automatically generated

Semantische Punktwolken werden automatisch erstellt PLANS / BIM

3D CAD, 2D plans automatically generated (BIM)

3D-CAD, 2D-Pläne automatisch generiert (BIM)

WORK FLOW

User films with smartphone

Benutzer/in filmt mit Smartphone CONSTRUCTION SITES BAUSTELLEN DOCUMENTATION

User recognises features, defects, software partly documents automatically

Benutzer/in erkennt Merkmale, Mängel, Software dokumentiert teilautomatisiert LISTS OF FEATURES & DEFECTS

including photos, location, time

Merkmals-&Mängellisten inkl. Fotos, Ort, Zeit

The app will be extremely simple and user-friendly. The person using it films the building or object with a smartphone during a site visit. In the background, a 3D card is generated from the video stream. At the same time, objects in the images such as doors, windows or other building-related features are recognised with the help of a neuronal network. The continuous, simultaneous localisation ensures the correct and automatic location of recognised objects, whose documentation is completed by a timestamp and photos. An additional manual recognition of objects can be activated by touching the screen, whereby images, the location and a timestamp are again recorded in the background. An audio recording (dictation function) can also be made at the same time in order to describe the defect, and text input is also offered as an alternative. The workflow is almost completely based on singlebutton-use, which allows high levels of speed and user-friendliness to be achieved. The simple and intuitive use – including by untrained personnel – of the software that is being developed will permit the fast and continuous recording of the condition of objects as well as of additional information, such as defects. As the resulting documentation will be available as a digital model, this will also simplify communication between individual participants in the process. A partly automated comparison between the models created during the design process and the actual condition will also be easy to carry out. A further advantage of this technology is the fact that, in addition to new buildings for which digital CAD models are often created during the design process, it will also be easy to apply it to existing buildings. The smartphone app can be, on the one hand, seamlessly integrated into the existing workflows of BIM projects and, on the other hand, used in conventional projects. This integration into BIM workflows can be facilitated by the creation of either simple

High error costs are largely caused by incomplete&inaccurate documentation, communication problems and “botched work”.

IFC models or BCF commentaries on the basis of the survey. The use of BCF commentaries in particular facilitates flexible, multisoftware communication and information exchange.

OUR TECHNOLOGY This solution is especially innovative due to its combination of two novel processes from the field of computer vision, Visual Simultaneous Localisation and Mapping (vSLAM) and Object Recognition via Neuronal Networks, which enable a semantic, three-dimensional map to be generated. vSLAM describes a class of algorithms that make it possible to map an unknown environment while simultaneously locating this in the map that is generated. The principle that is used is very similar to stereoscopic and three-dimensional human vision, in which the depth of an image is determined by observing objects from at least two different directions of observation. vSLAM offers us answers to two of the three fundamental questions of intelligent environmental perception: “Where is an object?” and “Where am I?” In order to lend the generated map some semantic – or, in terms of human understanding, logical – meaning, we use the methods of artificial intelligence (AI). An artificial neuronal network delivers objects that are detected in the individual images of the video streams, with which we can repeatedly (and probabilistically) update the points on our map with the help of rear projection. And this, in turn, enables us to answer the third question of intelligent environmental perception: “And what is the object?”

OUR TEAM We are a young team with expertise in the areas of computer vision, AI, software development and civil engineering and huge enthusiasm for digital innovation. Our headquarters, where most of our software development work also takes place, are located in Berlin. Thanks to our excellent connections with the iC group and tbw – the better way, we are able to remain focussed on the specific needs and requirements of the sector vis-à-vis our app. Our current timetable envisages the completion of a first prototype in April 2022 and a commercial release in 2023.

1 McKinsey, “McKinsey-Studie: Produktivität der Baubranche in

Deutschland stagniert”, 2017. Available online at: www.mckinsey.com/ de/news/presse/mckinsey-studie-produktivitat-der-baubranche-indeutschland-stagniert#, accessed on 4 February 2021.

2 BauInfoConsult GmbH, “Deutsche Baubranche verursachte 17,8 Milliarden Euro Fehlerkosten in 2018”. Available online at: www.pressebox.de/pressemitteilung/bauinfoconsult-gmbh/Deutsche-

Baubranche-verursachte-17-8-Milliarden-Euro-Fehlerkosten-in-2018/ boxid/973860?utm_source=ext&utm_campaign=pe&utm_medium= web2, accessed on 30 September 2020.

3 Wilhelm Reismann, “Bauwirtschaft neu denken”, in: ÖIAZ Wissenschaft&Praxis, December 2020.

2 Feature points

Objekterkennung

Computer-Vision-Technologie für Baudokumentation und BIM

Fehlende Baupläne, aufwendige Dokumentation und schlechtes Fehlermanagement stellen für die Bau- und Immobilienwirtschaft ein signifikantes Effizienzproblem dar. Daraus resultieren allein in Deutschland jährliche Kosten von mehreren Milliarden Euro. Die MapShots GmbH ist eine Unternehmensneugründung in Berlin, die das Ziel verfolgt, den Dokumentations- und Modellierungsprozess mittels Computer-Vision- und KI-Methoden weitestgehend zu automatisieren.

VON Alexander Dyck, Björn Silberbauer, Dario Gaudart

DIE HERAUSFORDERUNG Eine McKinsey-Studie aus dem Jahr 2017 kam zu folgendem Ergebnis: Während die deutsche Gesamtwirtschaft seit 1995 um 1,32% jährlich produktiver wurde, hinkt die Baubranche mit 0,26% jährlichem Produktivitätswachstum hinterher. Dadurch entgehen der deutschen Wirtschaft jährlich fast 100 Milliarden Euro, gleichzeitig wird der Infrastrukturbedarf des Landes nicht gedeckt.¹ Der Fehlerkostenanteil am gesamten Branchenumsatz 2018 lag im Schnitt bei 14%, das entspricht deutschlandweit 17,8 Milliarden Euro.² Diese hohen Fehlerkosten entstehen meist durch lücken- und fehlerhafte Dokumentation, Kommunikationsprobleme und „Pfusch am Bau“. Der niedrige Digitalisierungsgrad vieler am Bau beteiligter Subunternehmen verschärft diese Probleme zusätzlich. Auch der Fakt, dass die Baubranche eine sehr heterogene Umwelt hat und die Arbeitsweise wenig digitalisiert ist, ergibt ein hohes Potenzial an Effizienzsteigerung durch das Neudenken von Prozessabwicklungen und die digitale Unterstützung mit einfacher Bedienung. Bautechnologien müssen daher nicht nur innovativ im digitalen Sinne sein, sondern eine soziale, ökologische und ökonomische Wirkung auf alle Bauprojekte haben. Es wird also eine gesamtheitliche Betrachtung der Problemstellung gefordert, um einen Fortschrittssprung zu schaffen, der sich wiederum auf die einzelnen Herausforderungen umlegen lässt.³ Bei modernen Bauprojekten ist es erforderlich, eine lückenlose, digitale Projektdokumentation anzufertigen. Sämtliche Informationen, wie zum Beispiel Mängel, müssen lokalisiert (wo befinden sie sich) und annotiert (worum handelt es sich) sein sowie mit Zeitstempeln versehen werden. Dies ist aktuell nur durch hohen menschlichen Arbeitsaufwand zu erreichen und dementsprechend zeitaufwendig, teuer und fehleranfällig. Es fehlt an einem kostengünstigen und weitestgehend automatisierten Werkzeug zur raschen Bestandsaufnahme und Inventarisierung von Bau- und Immobilienprojekten.

UNSER ANSATZ Mit der Absicht diese Lücke zu füllen, haben wir bei MapShots im April dieses Jahres in Berlin und Wien die Arbeit aufgenommen. Unser Ziel ist es, eine App für handelsübliche Smartphones zu entwickeln, mit der sich die Erfassung, Vermessung und Dokumentation von Baustellen und Immobilien weitestgehend automatisieren lässt. Damit unterscheidet sich unser Ansatz wesentlich von den

Hohe Fehlerkosten entstehen meist durch lücken-&fehlerhafte Dokumentation, Kommunikationsprobleme und „Pfusch am Bau“.

ALEXANDER DYCK

studied computer engineering/ technical informatics at TU Berlin. tbw has been benefitting from the expertise of the co-founder of MapShots GmbH in signal processing, computer vision, robotics, LiDAR, AI and software development since 2021.

Alexander Dyck studierte Computer Engineering/Technische Informatik an der TU Berlin. Seine Kenntnisse in Signalverarbeitung, Computer Vision, Robotik, LiDAR, KI und Softwareentwicklung bringt der Co-Gründer der MapShots GmbH seit 2021 in die tbw ein. BJÖRN SILBERBAUER

studied civil engineering and construction management at the FH Campus Wien – University of Applied Sciences. He has been working with ODE since 2018 in the fields of quality control, BIM overall coordination and digital site supervision.

Björn Silberbauer studierte Bauingenieurwesen – Baumanagement an der FH Campus Wien. Er ist seit 2018 bei ODE für Qualitätssicherung, BIM-Gesamtkoordination sowie digitale ÖBA zuständig.

bisher verfügbaren Lösungen, die auf dem Einsatz kostenintensiver Spezialhardware, wie z.B. LiDAR-Sensoren, basieren. Unsere App soll die Zeit für eine erste Bestandsaufnahme und Datenerfassung von mehreren Wochen auf wenige Stunden reduzieren. Damit können die Kosten dramatisch gesenkt werden. Reduzierte Kosten und hohe Geschwindigkeit erlauben es, die Aufnahme auch wiederholt durchzuführen, wodurch eine lückenlose und zeitaufgelöste Dokumentation des Projekts ermöglicht wird. Gleichzeitig werden Qualität und Nutzen der erfassten Daten maximiert, da die Ergebnisse jederzeit einfach überprüft werden können. Die erzielte Erhöhung des Digitalisierungs- und Automatisierungsgrades ist dabei ein wesentlicher Beitrag zur digitalen Transformation der Bau- und Immobilienbranche und liefert die Basis für neue datenbasierte Anwendungsfälle und Geschäftsmodelle. Die Anwendung der App wird sehr einfach und benutzerfreundlich sein. Die App-nutzende Person filmt mit einem Smartphone das Gebäude oder Objekt bei einer Begehung ab. Im Hintergrund wird aus dem Videostream eine 3D-Karte generiert. Gleichzeitig werden mittels eines neuronalen Netzes Objekte, wie z.B. Türen, Fenster oder andere baurelevante Merkmale, auf den Bildern erkannt. Die kontinuierlich mitlaufende Lokalisierung sorgt für eine korrekte und automatische Verortung erkannter Objekte, deren Dokumentation durch Zeitstempel und Fotos komplettiert wird. Eine zusätzliche manuelle Erkennung von Objekten kann durch Berührung des Bildschirms aktiviert werden, wobei im Hintergrund wiederum Bilder, Ort und Zeitstempel aufgezeichnet werden. Dabei kann gleichzeitig auch eine Audioaufnahme (Diktierfunktion) genutzt werden, um den Mangel zu beschreiben. Alternativ wird auch eine Texteingabe angeboten. Der Workflow zielt fast vollständig auf eine One-Button-Benutzung ab, wodurch eine hohe Geschwindigkeit und Benutzerfreundlichkeit erreicht werden. Die einfache und intuitive Anwendbarkeit der zu entwickelnden Software, auch durch ungeschultes Personal, erlaubt eine schnelle und kontinuierliche Bestandsaufnahme von Objekten und zusätzlichen Informationen, wie beispielsweise Mängeln. Da die resultierende Dokumentation als digitales Modell vorliegt, erleichtert dies gleichzeitig die Kommunikation zwischen einzelnen Prozessbeteiligten. Auch ein Abgleich zwischen aus der Bauplanung stammenden Modellen und dem tatsächlichen Zustand ist so einfach und teilautomatisiert durchführbar. Ein weiterer Vorteil dieser Technologie ist, dass sie neben Neubauten, für die oft bereits digitale CAD-Modelle während der Planung erstellt werden, auch für Bestandsbauten einfach anwendbar ist. Die Smartphone-App lässt sich einerseits nahtlos in bestehende Workflows von BIM-Projekten integrieren, andererseits kann sie aber auch in konventionellen Projekten angewandt werden. Zur Integration in BIM-Workflows können als Ergebnis der Aufnahme sowohl einfache IFC-Modelle als auch BCF-Kommentare erstellt werden. Insbesondere die Nutzung der BCF-Kommentare ermöglicht eine flexible, softwareübergreifende Kommunikation und den Austausch von Informationen.

UNSERE TECHNOLOGIE Die Innovation des Lösungsansatzes stellt die Kombination der beiden neuartigen, aus dem Feld der Computer-Vision stammenden Verfahren Visual Simultaneous Localization and Mapping (vSLAM) und Objekterkennung mittels neuronaler Netze dar, wodurch eine semantische, dreidimensionale Karte erzeugt werden kann. Als vSLAM wird eine Klasse von Algorithmen bezeichnet, die die Kartierung einer unbekannten Umgebung bei gleichzeitiger Lokalisierung in der entstehenden Karte ermöglichen. Das Prinzip ist dabei dem menschlichen stereoskopischen und dreidimensionalen Sehen sehr ähnlich, wobei durch die Beobachtung von Objekten die Bildtiefe aus zumindest zwei verschiedenen Betrachtungsrichtungen festgestellt werden muss. Mit vSLAM lassen sich zwei der drei fundamentalen Fragen intelligenter Umgebungswahrnehmung beantworten: „Wo befindet sich ein Objekt?“ und „Wo befinde ich mich?“

Um der generierten Karte semantische, also dem menschlichen Verständnis nach sinnvolle Bedeutung zu verleihen, setzen wir auf Methoden der Künstlichen Intelligenz (KI). Ein künstliches neuronales Netz liefert uns in den einzelnen Bildern des Videostreams detektierte Objekte, mit denen wir unsere Kartenpunkte durch Rückprojektion wiederholt, probabilistisch updaten können. Damit beantworten wir auch die dritte Frage intelligenter Umgebungswahrnehmung: „Was ist das Objekt?“

UNSER TEAM Wir sind ein junges Team mit Expertise in den Bereichen Computer Vision, KI und Softwareentwicklung sowie Ziviltechnik mit großem Enthusiasmus für digitale Innovation. Unser Sitz befindet sich in Berlin, wo auch der Schwerpunkt der Softwareentwicklung stattfindet. Durch unsere gute Vernetzung mit der iC group und tbw – the better way können wir die Anforderungen und Bedürfnisse der Branche an unsere Anwendung immer im Blick behalten. Unsere aktuelle Planung sieht die Fertigstellung eines ersten Prototyps im April 2022 sowie eine kommerzielle Veröffentlichung im Jahr 2023 vor.

DARIO GAUDART

studied civil engineering and construction management at FH Campus Wien – University of Applied Sciences. He is an expert in BIM, project management, process management and CAFM and has been BIM manager at ODE since 2019.

Dario Gaudart studierte Bauingenieurwesen und Baumanagement an der FH Campus Wien. BIM, Projektmanagement, Prozessmanagement und CAFM zählen zu den Schwerpunkten des BIM-Managers, der seit 2019 bei ODE tätig ist. 1 McKinsey, „McKinsey-Studie:

Produktivität der Baubranche in Deutschland stagniert“, 2017. Online verfügbar unter: www.mckinsey.com/de/news/ presse/mckinsey-studieproduktivitat-der-baubranchein-deutschland-stagniert#,

Zugriff am 4.2.2021.

2 BauInfoConsult GmbH, „Deutsche Baubranche verursachte 17,8 Milliarden

Euro Fehlerkosten in 2018“.

Online verfügbar unter: www. pressebox.de/pressemitteilung/ bauinfoconsult-gmbh/

Deutsche-Baubrancheverursachte-17-8-Milliarden-

Euro-Fehlerkosten-in-2018/ boxid/973860?utm_source= ext&utm_campaign=pe&utm_ medium=web2,

Zugriff am 30.9.2020.

3 Wilhelm Reismann, „Bauwirtschaft neu denken“, in: ÖIAZ Wissenschaft&Praxis,

Dezember 2020.