Big Data

Данные не зря называют новой нефтью — с их помощью можно значительно повысить эффективность бизнес-процессов компании. Например, в промышленности с помощью решений промышленной аналитики можно исследовать эффективность технологического процесса в целом или производственного процесса конкретного подразделения. Поскольку источников данных, например, цехов очень много, часто необходима именно аналитика больших данных, что позволяет изучить и проанализировать производственный процесс с разных сторон. В банках все чаще большие данные используются, чтобы предлагать банковские продукты потенциальным клиентам. В ритейле большие данные используются для формирования ассортиментной матрицы и прочих предложений.

Озера данных — это составляющая часть больших данных. Они предназначены для сбора разнородной информации — структурированной или неструктурированной. В случае неструктурированных данных зачастую нет возможности разобраться в их структуре до сохранения. Поэтому важным отличием озер данных является изменение парадигмы работы с данными: сначала данные сохраняются, а потом с ними начинают разбираться. Таким образом, озера данных позволяют «сохранить на будущее» полученные данные, а уже потом понять, как их использовать и интегрировать из озер в инфраструктуру.

В озера данных сохраняются любые наборы данных, которые могут дублироваться, и единая «версия правды» создается уже после сохранения. В хранилище же изначально сохраняется структурированная информация без дублей и с самого начала существует единая «версия правды». Кроме того, хранилища создаются в соответствии с регламентными процессами, и информация в них поступает только из проверенных источников, которые контролирует ИТ-служба предприятия. Сохранить же информацию в озере данных, обработать ее и подготовить витрины может фактически любой сотрудник, у которого есть на это право. Суммируя, разница заключается в типах данных, видах нагрузки, применении, паттернах работы и вовлечении пользователей в процесс обработки данных.

Унификация данных — классическая задача. Реализация проектов в области больших данных часто начинается с консолидации данных на единой аналитической платформе. Один и тот же объект может быть по-разному представлен в разных учетных системах, и сопутствующая типовая задача в рамках проектов в области больших данных часто заключается в унификации такого объекта, т. е. приведении его к единому целевому формату. Для этого, в зависимости от степени интеграции существующих систем и используемых форматов данных, могут применяться различные инструменты.

Функциональная архитектура платформы включает две ключевые подсистемы — подсистему интеграции для сбора и загрузки данных, их потоковой и пакетной обработки, и подсистему хранения и обработки данных, в которой выделяются различные слои хранения. Платформа также включает BI-платформу для создания аналитической отчетности и пользовательских отчетов, математических моделей и т. д. На базе платформы может быть организована лаборатория данных, в которой пользователям выделяются определенные ресурсы и полномочия для работы с данными и проверки гипотезы, в том числе с использованием Python. Вместе с платформой также внедряется подсистема управления данными класса Data Governance. Они обеспечивает прозрачность источников и процессов получения данных, преобразования данных перед использованием в витринах, что улучшает осведомленность пользователей и создает объективную картину данных. К платформе можно подключать различные системы, например подсистему управления бизнес-процессами (BPM).