La producción industrial genera una gran cantidad de datos técnicos de funcionamiento diferentes. En este grupo se incluyen también los datos de proceso, los datos de medición y los metadatos. Los datos de proceso de una planta suelen adquirirse cíclicamente, mientras que los datos de medición pueden pertenecer tanto a un proceso como a un producto o lote. También se añadirán metadatos, como números de producto, números de cliente u otra información adicional. Los datos técnicos de funcionamiento pueden registrarse, almacenarse, analizarse y visualizarse con el sistema iba. En general, el registro detallado de datos es necesario para la documentación de calidad. También es útil para identificar el potencial de mejora de los procesos y la calidad.
La cantidad de datos generados en una empresa aumenta rápidamente con su tamaño y nivel de digitalización. El esfuerzo y la complejidad de la gestión de datos también aumentan. Por lo tanto, este libro blanco explora la cuestión de cómo los usuarios del software iba pueden manejar tales requisitos y qué soluciones están disponibles para gestionar cantidades muy grandes de datos. Para ello, se han llevado a cabo investigaciones en iba como parte del proyecto de investigación NewTech4Steel. Este libro blanco incluye información básica sobre Apache Hadoop, los resultados del proyecto y recomendaciones para los usuarios de iba que dispongan de una enorme cantidad de datos o tengan previsto utilizar Apache Hadoop para almacenar y analizar datos de medición. También es la continuación del anterior libro blanco sobre el benchmark ibaHD-Server. Los resultados del benchmark ibaHD-Server han demostrado que ibaHD-Server es muy adecuado para el registro de datos de alta frecuencia debido a su eficiente algoritmo de almacenamiento. Este documento se centra ahora en la escalabilidad y las soluciones para big data.
