La production industrielle génère une grande quantité de données techniques d'exploitation différentes. Ce groupe comprend également les données de processus, les données de mesure et les métadonnées. Les données de processus d'une usine sont généralement acquises de manière cyclique, tandis que les données de mesure peuvent appartenir à un processus ainsi qu'à un produit ou à un lot. Des métadonnées, telles que les numéros de produits, les numéros de clients ou d'autres informations supplémentaires, seront également ajoutées. Le système iba permet d'enregistrer, de stocker, d'analyser et de visualiser les données techniques d'exploitation. En général, un enregistrement détaillé des données est nécessaire pour une documentation de qualité. Il est également utile pour identifier les possibilités d'amélioration des processus et de la qualité.
La quantité de données générées dans une entreprise augmente rapidement en fonction de sa taille et de son niveau de numérisation. L'effort et la complexité de la gestion des données augmentent également. C'est pourquoi ce livre blanc se penche sur la question de savoir comment les utilisateurs du logiciel iba peuvent répondre à de telles exigences et quelles sont les solutions disponibles pour gérer de très grandes quantités de données. Pour ce faire, des recherches ont été menées à l'iba dans le cadre du projet de recherche NewTech4Steel. Ce livre blanc contient des informations de base sur Apache Hadoop, les résultats du projet et des recommandations pour les utilisateurs de l'iba qui disposent d'une énorme quantité de données ou qui prévoient d'utiliser Apache Hadoop pour stocker et analyser des données de mesure. Il fait également suite au livre blanc précédent concernant le benchmark ibaHD-Server. Les résultats du benchmark ibaHD-Server ont montré que le ibaHD-Server est très bien adapté à l'enregistrement de données à haute fréquence grâce à son algorithme de stockage efficace. Dans ce document, l'accent est mis sur l'évolutivité et les solutions pour le big data.
