Big Data

Данные не зря называют новой нефтью — с их помощью можно значительно повысить эффективность бизнес-процессов компании. Например, в промышленности с помощью решений промышленной аналитики можно исследовать эффективность технологического процесса в целом или производственного процесса конкретного подразделения. Поскольку источников данных, например, цехов очень много, часто необходима именно аналитика больших данных, что позволяет изучить и проанализировать производственный процесс с разных сторон. В банках все чаще большие данные используются, чтобы предлагать банковские продукты потенциальным клиентам. В ритейле большие данные используются для формирования ассортиментной матрицы и прочих предложений.

Озера данных — это составляющая часть больших данных. Они предназначены для сбора разнородной информации — структурированной или неструктурированной. В случае неструктурированных данных зачастую нет возможности разобраться в их структуре до сохранения. Поэтому важным отличием озер данных является изменение парадигмы работы с данными: сначала данные сохраняются, а потом с ними начинают разбираться. Таким образом, озера данных позволяют «сохранить на будущее» полученные данные, а уже потом понять, как их использовать и интегрировать из озер в инфраструктуру.

В озера данных сохраняются любые наборы данных, которые могут дублироваться, и единая «версия правды» создается уже после сохранения. В хранилище же изначально сохраняется структурированная информация без дублей и с самого начала существует единая «версия правды». Кроме того, хранилища создаются в соответствии с регламентными процессами, и информация в них поступает только из проверенных источников, которые контролирует ИТ-служба предприятия. Сохранить же информацию в озере данных, обработать ее и подготовить витрины может фактически любой сотрудник, у которого есть на это право. Суммируя, разница заключается в типах данных, видах нагрузки, применении, паттернах работы и вовлечении пользователей в процесс обработки данных.

Унификация данных — классическая задача. Реализация проектов в области больших данных часто начинается с консолидации данных на единой аналитической платформе. Один и тот же объект может быть по-разному представлен в разных учетных системах, и сопутствующая типовая задача в рамках проектов в области больших данных часто заключается в унификации такого объекта, т. е. приведении его к единому целевому формату. Для этого, в зависимости от степени интеграции существующих систем и используемых форматов данных, могут применяться различные инструменты.

Функциональная архитектура платформы включает две ключевые подсистемы — подсистему интеграции для сбора и загрузки данных, их потоковой и пакетной обработки, и подсистему хранения и обработки данных, в которой выделяются различные слои хранения. Платформа также включает BI-платформу для создания аналитической отчетности и пользовательских отчетов, математических моделей и т. д. На базе платформы может быть организована лаборатория данных, в которой пользователям выделяются определенные ресурсы и полномочия для работы с данными и проверки гипотезы, в том числе с использованием Python. Вместе с платформой также внедряется подсистема управления данными класса Data Governance. Они обеспечивает прозрачность источников и процессов получения данных, преобразования данных перед использованием в витринах, что улучшает осведомленность пользователей и создает объективную картину данных. К платформе можно подключать различные системы, например подсистему управления бизнес-процессами (BPM).

Платформа для работы с большими данными использует компоненты Arenadata, например, стриминговую платформу Arenadata Streaming на базе NiFi и Kafka в составе подсистемы интеграции для работы с потоковыми данными. NiFi также часто используется как оркестратор, который запускает и выполняет различные процессы обработки данных. Для извлечения, трансформации и загрузки данных (ETL) применяются NiFi, Airflow, а также PXF — фреймворк для Arenadata DB Greenplum. Для ETL-задач можно использовать любые инструменты, уже интегрированные в пользовательскую инфраструктуру.

Для обработки и хранения данных в произвольном формате в составе подсистемы хранения и обработки данных используется Hadoop. В качестве хранилища данных применяется набирающее популярность решение Arenadata DB Greenplum. Как показывает наш многолетний опыт использования Greenplum (мы сотрудничаем с Greenplum с с 2014 года), этот продукт подходит как для решений в области больших данных, так и для обособленных хранилищ данных. При этом Greenplum и Hadoop формируют устойчивый тандем, позволяющий обмениваться данными. В быстрых витринах Arenadata QuickMarts используется ClickHouse. Например, для получения быстрого отклика по большому массиву данных можно сохранить такой массив в ClickHouse или подготовить данные в Greenplum на уровне Hadoop и отправить их в ClickHouse.