Im IGF-Forschungsvorhaben 19479 BG wurden anwendungsnahe Grundlagen für Werkzeuge zur multimodalen Inspektion von Produktoberflächen für Kommunikationssysteme auf Basis einer vibrotaktilen Signalgebung entwickelt. Die Forschungsarbeiten umfassten die Beschreibung haptischer Eigenschaften von Textiloberflächen unter Berücksichtigung taktiler und kinästhetischer Aspekte und die Übertragung taktiler Eigenschaften in einer geeigneten Signalstruktur mit Hilfe einer Physik-Engine.
Mit einer repräsentativen Auswahl von 23 Textilmaterialien (Bekleidungstextilien/ Gewebe, Maschenwaren aus Natur- und Synthesefasern, Automobiltextilien, Heim- und Haushalttextilien) aus einem Sample von ca. 130 Materialien wurden umfangreiche textilphysikalische und akustische Untersuchungen sowie optische Untersuchungen zur Beschreibung haptischer Kenngrößen durchgeführt. Eine für KMU praktikable Ringdurchzugsmethode wurde entwickelt, mit der insbesondere die kinästhetischen Aspekte durch die kombinierte Wirkung von Biegung, Reibung und Kompression abgebildet werden können. Außerdem wurden umfangreiche Untersuchungen mit dem TSA-Gerät der Firma emtec Electronic GmbH zur Bestimmung textilphysikalischer und geometrischer Kenngrößen nach einem akustischem Messprinzip durchgeführt. Dieses Gerät ist sehr gut geeignet, Textilmaterialien produktgruppenübergreifend hinsichtlich ihrer Rauheit (TS750) und Weichheit (TS7) zu charakterisieren und zu klassifizieren. Im haptischen Wahrnehmungsexperiment zeigte sich eine sehr gute Übereinstimmung der TSA-Rauheit und -Weichheit mit der subjektiven Wahrnehmung. Parallel dazu wurden die Textilien akustisch anhand eines dafür entwickelten Bewegungssimulators charakterisiert. Die damit aufgenommenen Frequenzspektren der Beschleunigungs¬pegel bilden die Grundlage für die vibratorische Strukturerfassung, wobei insbesondere die Rauheit der textilen Oberfläche vibrotaktil abgebildet werden konnte. Für die multimodale Interaktion ist es notwendig, die Textilstruktur digital und so realitätsnah wie möglich optisch zu präsentieren und gleichzeitig durch die Erfassung des Oberflächenprofils eine Information bereitzustellen, die die Zuordnung eines akustischen und vibratorischen Signals zur Fingerposition in z-Richtung beim „Berühren“ der Stoffprobe auf dem Display des Wiedergabegerätes ermöglicht. Die 2D- und 3D-Bildaufnahmen wurden unter definierten Bedingungen aufgenommen und in verschiedenen geometrischen Auflösungsstufen für die Präsentation auf dem Wiedergabegerät (Smartphone) bereitgestellt. Alle ermittelten textilphysikalischen, geometrischen, visuellen, auditiven und haptischen Kennwerte wurden in einer multimodalen Datenbank hinterlegt, auf die eine Physik-Engine zugreift, um die Daten zu verarbeiten und haptisch, visuell und auditiv in geeigneter Weise für die multimodale Wiedergabe zu kombinieren. Weitere Forschungsinhalte waren die Schaffung eines Kommunikationssystems sowie eines webbasierten Mensch-Maschine Interfaces für die multimodale Interaktion. Erste, erfolgversprechende Untersuchungen in emulierten Netzen mit 5G-Technologie wurden durchgeführt.
Die interdisziplinär gewonnenen Forschungsergebnisse werden final in einer entwickelten Android App für ein Smartphone aus dem Konsumerbereich zur Video-, Audio- und Haptikausgabe zusammengeführt. Die Audioausgabe berücksichtigt die Geschwindigkeit des Fingers beim Überstreichen über den Bildschirm während die Vibration basierend auf der Fingerposition und den Farbwerten der Höhenprofilbilder ermöglicht wird.
Die Projektergebnisse, sind für die digitale Kommunikation von Qualitätsan-forderungen sowohl innerhalb der globalen textilen Zuliefererkette als auch im Endkonsumerbereich nutzbar. Bei letzterem wird zukünftig eine nachhaltige Umweltentlastung reduzierte Retouren im online Handel erwartet. Branchenübergreifend ist der Forschungsansatz auch für Fertigungsketten in anderen Verarbeitungsbereichen, z. B. Papier und Leder, ebenso auch in der Medizintechnik, übertragbar.

In the IGF research project 19479 BG, application-oriented foundations were developed for tools for the multimodal inspection of product surfaces for communication systems based on vibrotactile signaling. The research work included the description of haptic properties of textile surfaces, taking into account tactile and kinaesthetic aspects, and the transmission of tactile properties in a suitable signal structure using a physics engine.
Using a representative selection of 23 textile materials (clothing textiles/woven fabrics, knitted fabrics made of natural and synthetic fibers, automotive textiles, home and household textiles) from a sample of approx. 130 materials, extensive textile-physical and acoustic investigations as well as optical investigations were carried out to describe haptic parameters. A ring pull-through method practicable for SMEs was developed, with which the kinaesthetic aspects in particular can be depicted through the combined effect of bending, friction and compression. In addition, extensive tests were carried out with the TSA device from emtec Electronic GmbH to determine physical and geometric textile parameters using an acoustic measuring principle. This device is very well suited to characterizing and classifying textile materials across product groups in terms of their roughness (TS750) and softness (TS7). The haptic perception experiment showed very good agreement between the TSA roughness and softness and subjective perception. At the same time, the textiles were characterized acoustically using a motion simulator developed for this purpose. The recorded frequency spectra of the acceleration levels form the basis for the vibrotactile structure detection, whereby in particular the roughness of the textile surface could be mapped vibrotactilely. For multimodal interaction, it is necessary to present the textile structure digitally and as realistically as possible and at the same time to provide information by recording the surface profile, which enables the assignment of an acoustic and vibratory signal to the finger position in the z-direction when "touching" the fabric sample on the display of the playback device. The 2D and 3D images were recorded under defined conditions and provided in various geometric resolution levels for presentation on the playback device (smartphone). All determined textile-physical, geometric, visual, auditory and haptic parameters were stored in a multimodal database, which is accessed by a physics engine in order to process the data and combine it haptically, visually and auditorily in a suitable way for multimodal playback. Other research topics included the creation of a communication system and a web-based human-machine interface for multimodal interaction. Initial, promising investigations were carried out in emulated networks with 5G technology.
The interdisciplinary research results will finally be combined in a developed Android app for a smartphone from the consumer sector for video, audio and haptic output. The audio output takes into account the speed of the finger when swiping across the screen, while the vibration is enabled based on the finger position and the color values of the height profile images.
The project results can be used for the digital communication of quality requirements both within the global textile supply chain and in the end consumer sector. In the latter case, a sustainable reduction in the environmental impact of returns in online retail is expected in the future. The research approach is also transferable across sectors for production chains in other processing areas, e.g. paper and leather, as well as in medical technology.