Промышленное производство генерирует большое количество различных технических эксплуатационных данных. В эту группу также входят данные процесса, данные измерений и метаданные. Данные о технологическом процессе на предприятии обычно собираются циклически, а данные измерений могут относиться как к процессу, так и к продукту или партии. Также добавляются метаданные, такие как номера продуктов, номера клиентов или другая дополнительная информация. Технические эксплуатационные данные можно записывать, хранить, анализировать и визуализировать с помощью системы iba. Как правило, подробная запись данных необходима для качественной документации. Она также полезна для выявления потенциала в области улучшения процессов и качества.
Объем данных, генерируемых в компании, быстро растет с ее размером и уровнем цифровизации. Также увеличиваются усилия и сложность управления данными. Поэтому в данной статье рассматривается вопрос о том, как пользователи программного обеспечения iba могут справиться с такими требованиями и какие существуют решения для управления очень большими объемами данных. Для этого в iba были проведены исследования в рамках исследовательского проекта NewTech4Steel. Этот документ содержит основную информацию об Apache Hadoop, результаты проекта и рекомендации для пользователей iba, которые располагают огромным объемом данных или планируют использовать Apache Hadoop для хранения и анализа данных измерений. Он также является продолжением предыдущего технического документа, посвященного бенчмарку ibaHD-Server. Результаты бенчмарка ibaHD-Server показали, что ibaHD-Server очень хорошо подходит для высокочастотной записи данных благодаря своему эффективному алгоритму хранения. Теперь в этом документе основное внимание уделяется масштабируемости и решениям для больших данных.
