Big Data в Облаке КРОК: работа с данными в новых реалиях

Эксперт Arenadata: Arenadata производит продукты на базе open source, старается, чтобы они были максимально удобными, с техподдержкой, SLA 24/7, необходимой документацией на русском языке и обучающим материалом. В том числе продукты для использования в промышленности.

Компания активно участвует в open source проектах, например Greenplum, мы второй в мире коммитер для этого проекта, обгоняем Alibaba.

Сейчас Arenadata – полномасштабный вендор, у которого есть партнеры, которых условно можно разделить на два типа. Первый – инфраструктурные партнеры, которые помогают с железом, облачной инфраструктурой. Второй – партнеры с экспертизой по внедрению продуктов Arenadata. Компанию КРОК можно отнести и к тем, и к другим.

Платформа для цифровой компании – Arenadata Enterprise Data Platform

Поговорим о решении Arenadata Enterprise Data Platform и его составляющих.

Arenadata Streaming (AD.S) – продукт, предназначенный для потокового извлечения и трансформации данных. Базируется на двух open source проектах – Kafka для потоковой передачи данных и NiFi для трансформации данных в рамках потока ETL и для управления.

Arenadata Hadoop (AD.H) – система для хранения холодных данных, платформа для data science, гетерогенный data lake. Все используют по-разному, конкретнее о данном продукте поговорим позже.

Arenadata LogSearch (AD.LS) – как Elasticsearch, только переработанный. Это OpenSearch плюс Kibana, продукт предназначен для полнотекстового поиска, например, в мониторинге информационных систем, KPI производительности из логов и прочее.

Arenadata DB (AD.B) – основан на Greenplum, нужен для создания корпоративных хранилищ данных. Это аналитическая, кластерная, многоузловая система, способная работать под тяжелой аналитической нагрузкой.

Arenadata QuickMarts (AD.QM) – решение, основанное на проекте Яндекса ClickHouse, необходимо для аналитики поверх плоских витрин (широкая таблица с множеством столбцов, из которой нужно извлекать определенные данные). QuickMarts можно использовать поверх источника, который производит с большой интенсивностью большое количество реляционных данных, либо как дополнение к Greenplum – к ADB, когда нужно часть аналитиков пересадить в отдельную систему, чтобы снизить нагрузку на хранилище.

Arenadata Postgres (AD.PG) – новое решение, дистрибьютив Postgres. Система для решения транзакционных задач, можно использовать для аналитических задач, но с небольшим объемом данных, 1-2 терабайта, если больше, то лучше использовать Greenplum.

Picodata – решение от родственной компании. Решение –переосмысление Tarantool. In-memory data grid – система для обработки, хранения, передачи уже обработанных данных. Актуально в том случае, если высокая интенсивность и объем данных, когда речь идет о десятках терабайт и десятках тысяч запросов в секунду.

Платформой все это называется потому, что продукты работают в определенной экосистеме, где должны быть коннекторы. Есть коннекторы, которые присутствуют в open source, а есть те, которые дописывает Arenadata. И вторая вещь, которая скрепляет вместе всю экосистему – это средство управления Arenadata Cluster Manager (AD.CM), собственная разработка Arenadata. Это графический интерфейс для администратора по эксплуатации. Решение позволяет развернуть продукты Arenadata, настроить, осуществлять мониторинг, обновлять и т.д. Достигается это за счет того, что продукты Arenadata поставляются в виде бандлов: продуктовый дистрибутив + Ansible playbook. AD.CM может исполнять определенные инструкции и автоматизировать все операции, о которых говорилось выше.

AD.CM может не только развертывать продукты Arenadata, но и управлять хостами, на которых эти продукты устанавливают. Например, можно один кластер ADB развернуть в дата-центре в одном городе, а другой для отказоустойчивости – в дата-центре в другом городе, эти кластеры будут управляться из единого окна AD.CM. Также поддерживается гетерогенная архитектура, когда часть в своем дата-центре, а часть в облаке.

История Arenadata Hadoop

В 2016 году было много дистрибутивов Hadoop, каждый вендор выпускал что-то свое. Появилась инициатива ODPi, чтобы все это стандартизировать, Arenadata была одной из первых компаний, которая вступила в эту инициативу и выпустила свой дистрибутив в ее рамках. В 2018 провели первую миграцию с Hortonworks на Arenadata Hadoop. Уже был тренд на переход на российские решения, но не было такой острой необходимости, как сейчас.

Прогресс не стоит на месте, Hadoop эволюционирует, появилась 3 версия – мы ее поддерживаем, появился тренд на облака – мы его поддерживаем. И еще один важный момент. Hadoop – такая система, в которую можно со многих сторон несанкционированно проникнуть. Все эти дыры Arenadata пытается закрыть, для этого выпущен специальный продукт Arenadata Platform Security, одно из наших больших новшеств в дистрибутиве Hadoop. 

Состав текущей версии представлен на слайде. Важно, что это независимая сборка, версии эволюционируют, от каких-то продуктов мы отказываемся, что-то выведено в отдельный продукт. Если, например, вы рассматриваете Hadoop прежде всего для потокового ETL, то возможно вам надо обратить внимание на AD.S, а не на AD.H. В последней версии появился Airflow, потому что достаточно большой интерес на рынке.

Большая доработка в дорожной карте – это переход на отечественные операционные системы, планируем сделать это в ближайшем будущем.

Кейсы, которые можно реализовать с помощью решений Arenadata

Традиционный сценарий – корпоративное хранилище данных. В компании есть многообразие источников и потребителей данных, задача – построить единое КХД, получить единый источник правды.

Здесь понадобятся инструменты для извлечения данных, для потокового режима можно использовать AD.S, для извлечения в пакетном или гибридном режиме – партнерский инструмент, например фреймворк КРОК. После извлечения данных их нужно куда-то складывать, зависит от того, как вы будете эти данные использовать. Например, реляционные, горячие данные с понятной ценностью можно положить в AD.B, холодные в Hadoop, где можно устроить песочницы для data scientists. Часть аналитиков можно выселить в QuickMarts, чтобы разгрузить хранилище или если нужен доступ, близкий к реальному времени. Подобной архитектурой можно обрабатывать любые типы данных, любые типы нагрузок, удовлетворять любое многообразие потребностей потребителей в вашей компании.

Второй сценарий – частный случай корпоративного хранилища данных – аналитика данных в реальном времени. Есть источники, которые с высокой интенсивностью производят данные, и на них нужно в режиме, близком к реальному времени, строить аналитику. Это могут быть сигналы для маркетинговой компании, отчеты в реальном времени. В этом сценарии можно использовать Arenadata Streaming для извлечения данных. Затем данные можно положить напрямую в QuickMarts и поверх него запустить BI-средство, где аналитики будут «крутить» данные. А можно пропустить данные через Spark, вычленить необходимые события и передать дальше в какое-нибудь upstream-приложение.

Сценарии автоматизации в облаке

Пару слов об облаке. Вернемся к AD.CM. Он поддерживает гетерогенные архитектуры: облако, on-premise, гибрид. Здесь есть несколько сценариев.

Можно зайти в интерфейс облака и в консоли настроить все нужные хосты, затем зайти в AD.CM и развернуть продукты.

Еще один сценарий, когда облачные хосты настраиваются через интерфейс AD.CM. Это не для всех облачных провайдеров работает, но для основных уже возможно. И Arenadata двигается к тому, чтобы сделать это доступным для всех облачных партнеров.

Еще несколько сценариев пока недоступны заказчикам, но мы над ними работаем. Это стандартизация размеров хостов, которые создаются в облаке, с точки зрения процессоров, памяти, скорости дисков, чтобы можно было пользоваться готовыми у облачных провайдеров.  И сценарии PaaS, когда делегируется часть задач по администрированию на сторону облачного провайдера.

Павел Егоров, КРОК. Расскажу о нашей экспертизе, о фреймворках, которые появились в рамках реализованных проектов, и о том, какие основные сценарии, которые могут дать бизнес-эффект, используют наши заказчики.

Архитектура аналитической платформы

Какие есть сценарии работы с данными? Есть ETL-сценарий обработки так называемых бачей – больших таблиц, которые мы можем забирать с систем-источников. Здесь мы используем либо NiFi как оркестратор, либо Airflow. Дальше за счет встроенного компонента PXF (Platform Extension Framework) можем получать данные из смежных реляционных источников. PXF поддерживает большое число источников – Oracle, MS SQL, MySQL. Фреймворк позволяет сделать унифицированный инструмент по загрузке реляционных источников.

Все реляционные данные мы складываем в хранилище на базе Arenadata DB (Greenplum) и предоставляем это как единую точку доступа для аналитической отчетности, для ML-приложений и других сервисов компании. Если необходимо получить высокую скорость отклика или быстрое обновление данных, то данные витрины можно загружать в ClickHouse. Благодаря коннектору PXF данные можно перегружать из Greenplum в ClickHouse и обратно путем их пост-обработки.

Для реализации обработки потоковых данных мы используем компоненты Arenadata Streaming (AD.S). У нас есть собственный фреймворк, который позволяет получать данные и обрабатывать их – производить расчеты близко к реальному времени. Расчет можно настраивать путем заведения формул. Есть внутренняя разработка, так называемый реестр онлайн-показателей, куда можно задавать формулу для расчета. Эта информация приземляется с помощью коннектора Arenadata в Greenplum, а также может приземляться в ClickHouse, если требуется высокая степень отклика или у вас большое количество пользователей, которые будут пользоваться данной витриной.

С точки зрения перехода на российское ПО, все решения, которые мы используем для получения и обработки информации, это Arenadata, все компоненты входят в Реестр российского ПО. Что касается аналитических инструментов, то если раньше мы использовали как российские, так и международные BI- системы, то на текущий момент мы ориентируемся на российских вендоров Форсайт, Visiology, Luxms и Полиматика. Мы не видим никаких блокирующих проблем для миграции на эти системы, базовые функции они выполняют.

ELT-фреймворк

ELT-фреймворк является ядром корпоративного хранилища данных, он позволяет декомпозировать процесс разработки. Мы используем ELT-подход, оркестрация в основном на базе NiFi, обработка на инфраструктуре именно Greenplum – оптимизация кода под MPP-платформу, то есть под Greenplum.

Мы используем принципы кодогенерации, для того чтобы автоматизировать и оптимизировать процесс загрузки данных в корпоративное хранилище. Для построения детального слоя используется методология Data Vault, но если у заказчика есть интерес к построению детального слоя в других методологиях, то мы можем кастомизировать наш фреймворк под его требования.

Отмечу, что раньше для моделирования данных и автоматизированного формирования мэпинга источник-приемник (source-target) мы использовали SAP Power Designer. Но на текущий момент с учетом тренда на переход на российские решения мы предлагаем собственный визуальный интерфейс. Он не закрывает требования по моделированию данных, для моделирования нужно специализированное решение, но дает возможность формировать мэпинг источник-приемник непосредственно из интерфейса. 

Как меняются процессы по загрузке данных при использовании ELT-фреймворка

Стандартная практика следующая. Есть инженер-разработчик и конкретная задача, например, нужно загрузить данные в SAP или MES-систему. Для этого пишется вручную код к системе-источнику, к таблицам, код по загрузке данных в аналитическое хранилище и код для загрузки данных в детальный слой. Помимо того, что это монотонная работа, при таком подходе отсутствует какой-либо контроль – как инженер-разработчик напишет, так и будет. Следование каким-либо методологиям и архитектурным принципам отдается исключительно на уровень осознанности и самоконтроля разработчиков. В данном варианте с учетом отладки каждый этап может занимать один-два часа.

При внедрении ELT-фреймворка достаточно зайти в интерфейс, либо в инструмент моделирования, создать модель данных и нажать кнопку «сгенерировать скрипт» для загрузки данных как в сырой, так и в детальный слой. Далее можно переходить к финальным этапам, которые необходимы бизнесу, таких как создание витрины данных, создание отчетности, создание ML-алгоритмов.

Внедрение ELT-фреймворка обеспечивает, во-первых, снижение требований к квалификации сотрудников. Нет необходимости нанимать опытного разработчика, можно передать работу обычному аналитику, без специальной подготовки. У него только должно быть понимание, из какой системы-источника данные можно взять и куда их нужно положить. Понятно, что какие-то сложные сценарии аналитик скорее всего реализовать не сможет, но это уже надо рассматривать в индивидуальном порядке.

Также мы получаем колоссальное сокращение time-to-market. Во всех простых сценариях можно сократить время на настройку загрузки данных – снижение в 8 раз по сравнению с вариантом, когда все пишется вручную. Тем самым мы повышаем качество – при промышленной эксплуатации не будет никаких ошибок и недочетов. В наши фреймворки встроена внутренняя система мониторинга процесса загрузки, которая включает как формирование логов, так и расчет метрик выполнения загрузки. В метриках фиксируется количество загруженных строчек из системы-источника в систему-приемник и время выполнения загрузки.  Все эти метрики можно посмотреть в BI-отчете. Администратор может проверить, все ли загрузилось, есть ли какие-то проблемы, и если они есть, он понимает причину и запускает перезагрузку данных. 

Real time-фреймворк

С помощью real time-фреймворка вы можете в режиме, близком к реальному времени, рассчитать любые показатели. Просто вводите формулу в интерфейс и получаете готовый расчет.

Как мы пришли к real time-фреймворку? Мы занимаемся системами промышленной аналитики с 2017 года и сталкиваемся с большим объемом показаний телеметрии и с тем, что на этапе реализации проекта требуется большое количество расчетов, которые валидируют те или иные данные или позволяют технологу понять, какие проблемы возникают в технологическом процессе.

Real time-фреймворк имеет встроенные функции расчета формул. Есть встроенные компоненты, применимые исключительно к производству – контроль нормативов, контроль установок и правила валидации показателей с телеметрии. Но фреймворком можно пользоваться и в других сферах, если необходим онлайн-калькулятор – просто забил формулу и получил расчет.

На этом слайде показан типовой интерфейс для ведения реестра показателей, которые получаются в рамках использования real time-фреймворка. Слева – дерево, как показатели могут мэпиться с производственными объектами. Справа – реестр показателей и реестр атрибутов. Это позволяет все рассчитанные показатели достаточно просто вводить в систему бизнес-аналитики и строить удобные отчеты на базе real time-данных.

Сценарии работы с данными

1. Аналитика 360

Перейдем к прикладным кейсам использования фреймворков. Как пакетная, так и онлайн-обработка нужны, во-первых, для того чтобы собрать все данные всех систем в одном месте и дать пользователям возможность самостоятельно строить необходимый отчет в нужных разрезах в системе бизнес-аналитики.

Мы до сих пор наблюдаем тренд в промышленности, когда есть большое количество производственных систем, MES-систем в каждом цеху, и необходимо собрать общую информацию по материальным потокам на производстве. Технологи должны понимать, что влияет на показатели качества полуфабрикатов, они хотят проводить аналитику, как технологический режим или показатель, характеризующий производственный процесс, влияет на показатели качества полуфабрикатов или готовой продукции. Или, например, специалистов из отдела ТОиР интересует, как качество сырья влияет на эффективность или стабильность работы производственной установки.

Мы даем пользователям инструмент, с помощью которого они могут быстро получить эти данные, а не выгружать их из различных бизнес-систем (из ERP, из множества MES-систем и т.д.) и потом сводить их в течение одного-двух дней в Excel (при этом информация может оказаться некачественной, придется ее перепроверять или переделывать).

2. Ситуационно-аналитический центр

В целом это продолжение сценария аналитики 360. Когда мы получили аналитику 360 по какому-то бизнес-процессу, хочется его улучшить и оптимизировать. Для этого нужно вывести сводные показатели, понять узкие места технологического процесса и добавить предиктивную составляющую. На производстве это может применяться в кейсах по экомониторингу, когда мы хотим понять зависимость экологических параметров от технологических режимов работы установок; в энергетической сфере, когда нужно понять, какие есть энергетические потери на каких технологических участках либо выявить наиболее эффективные технологические режимы работы установок; в системах ТОиР.

Ситуационно-аналитический центр может применяться не только в производстве, но и в других отраслях. Например, в банковской сфере можно построить ситуационно-аналитический центр на базе antifraud-решений, когда мы можем вводить общую сводную информацию по потенциальным рискам мошенничества.

Какие есть кейсы использования ситуационно-аналитического центра в системах поддержки принятия решений?

• В первую очередь это мониторинг сбора данных. Помогаем оперативно выявлять проблемы в сборе данных, для того чтобы ответственные могли исправить ситуацию, например, если есть обрывы каналов связи или другие проблемы.
• Второй кейс – моделирование бизнес-процессов на производстве. Например, можно моделировать сценарий применения тех или иных технологических режимов; сценарий, когда пришло сырье не того качества – что с ним можно сделать, какой технологический режим будет оптимальным для производства из такого сырья, либо имеет смысл от него вообще отказаться.
• Факторный анализ – мы можем выявлять факторы, которые влияют на те или иные негативные события, и подсказывать бизнес-пользователям, в чем проблема. Сейчас есть спрос на такой сценарий на производстве, когда технологи хотят выявить дополнительные факторы, которые влияют на технологический процесс, и понять, какие проблемы могут возникать. Математические модели позволяют проанализировать все факторы, которые приводят к тем или иным событиям.
• Еще один кейс – когда мы подсказываем пользователю, что нужно сделать, для того чтобы добиться тех или иных плановых значений.

Так может выглядеть пример сводной визуализации показателей в ситуационно-аналитическом центре. Мы видим динамику текущего технологического процесса, интуитивно понятно, на каком технологическом участке наибольшая проблема, на что имеет смысл обратить внимание.

Технические особенности платформы КРОК

Наши фреймворки – это разработка на базе продуктов Arenadata. В текущем сценарии развития мы интегрируемся в Arenadata Cluster Manager для автоматизации развертывания и обновления. Существуют сценарии работы как с реляционными, так и с потоковыми источниками. Есть стандартный протокол подключения к реляционным источникам, который поддерживается PXF, к промышленным протоколам по сбору данных, к интернету вещей с помощью, например, MQTT. Есть гибкий движок для онлайн-расчетов, который за счет введения показателей в интерфейсе может администрировать неподготовленный пользователь. Есть встроенные системы мониторинга, которые показывают, насколько качественно идет загрузка и обработка данных. 

Кейс крупного металлургического комбината 

Реализована загрузка данных из более 20 разрозненных источников, более 500 таблиц загрузили в новое корпоративное хранилище на базе Arenadata. Используется NiFi для оркестрации загрузки, спроектирована методология ведения хранилища на базе Data Vault и автоматизированы процессы по загрузке данных из систем-источников.

Добились сокращения времени обновления данных, заведения новых источников в корпоративное хранилище данных, как результат стало возможно быстро строить аналитические отчеты. За счет внедрения системы мониторинга стал прозрачным процесс загрузки данных и поиска ошибок и их полное исключение, если есть системная ошибка на базе источника. Снизили требования к квалификации администратора, потому что внедрен интерфейс по управлению загрузкой, который упростил заведение новых таблиц, новых источников и в целом работу по администрированию корпоративного хранилища данных.

Александр Фикс, КРОК Облачные сервисы. Если говорить о возможностях облачной платформы для бизнеса, то, в первую очередь, мы поможем при старте работы с big data, либо при запуске нового проекта, когда клиент хочет минимизировать начальные затраты, а также в развитии текущего проекта, когда требуется обновление оборудования и масштабируемость платформы. Если мы говорим про масштабируемость не горизонтальную, то в случае big data у клиента возникают сложности из-за того, что требуется единая большая группа специалистов, которая будет отвечать за все большие данные в компании. Кроме того, если необходимо ускорить аналитику, мы также готовы помогать, потому что у клиентов не всегда есть необходимые компетенции, возможности расширения стенда для ускорения аналитики, для тонкой настройки ПО.

Что касается возможностей для ИТ, то с уходом вендоров Cloudera, Oracle, SAP, Teradata и других многие клиенты остались без поддержки, без обновлений, что является для них проблемой. Помимо этого, некоторые компании находятся сейчас в облаках зарубежных провайдеров, которые могут в любой момент отказаться от своих российских клиентов и оставить их с огромными проблемами. Мы наблюдали это на примере SAP, когда из SAP HEC всех клиентов попросили мигрировать до определенной даты. Вопросы миграции сейчас остро стоят.

На рынке существует дефицит хороших специалистов, внутри компании многие сотрудники перегружены. Мы готовы помогать с разгрузкой, предоставляя компетенции и навыки, в том числе в области open source.

Преимущества облачной платформы больших данных

Основные преимущества нашей платформы:

• Быстрый старт проверки гипотез – мы готовы предоставить вам практически день в день инфраструктуру, чтобы вы могли проверять свою гипотезу, смотреть, как работа с большими данными влияет на вашу компанию, какую пользу приносит.
• По нашей оценке, основанной на данных из открытых источников и из проектного опыта КРОК, финансовая выгода от использования облачной платформы big data достигает 60 %. Вам не нужно покупать большое количество серверов, систем хранения данных, лицензий на программное обеспечение. Вы можете все это получить сразу с нашей платформой.
• Вам не нужно думать про масштабируемость – сколько оборудования понадобится и какой у вас будет объем данных через год или через три. Вы пользуетесь ресурсами по принципу pay as you go – платите только за то, что используете, и расширяетесь, если требуется.
• Как у любого облачного провайдера, у нас есть SLA – поддержка 24/7 и 10 минут реакции на запрос.
• Мы берем на себя ответственность за инфраструктуру. Опыт пилотных проектов в Облаке КРОК свидетельствует, что это позволяет сократить затраты на персонал и на обслуживание до трех раз.
• Сейчас все компании следуют вектору перехода на российские решения. Облако КРОК входит в Реестр российского ПО, так же как программное обеспечение Arenadata.

Облако КРОК существует с 2009 года, у нас уже более 750 клиентов. Это полностью наша разработка, написано нами самостоятельно, на основе открытого кода. Мы являемся вендоро-независимыми, то есть все развитие облачной платформы, поддержка, сопровождение инфраструктуры выполняются только специалистами КРОК, и это большой плюс для наших клиентов. 

У нас появилась новая услуга GPU as a Service – предоставление графических ускорителей для повышения скорости вычислений и обработки больших данных, аналитики данных, машинного обучения. Мы предоставляем графические карты вплоть до самой мощной Nvidia А100.

В связи с тем, что многие компании задумываются о миграции от зарубежных провайдеров или со своей инфраструктуры (в случае расширения проектов), у нас есть профессиональная команда специалистов, готовых помогать с миграцией – не только инфраструктуры, но и, в партнерстве с Arenadata, с миграцией целиком вашей big data с текущей инфраструктуры в облачную.

Вопрос. Распространяется ли сборка Arenadata Hadoop в свободном формате?

Эксперт Arenadata: почти у всех продуктов, кроме Postgres и Picodata, есть две версии, Community и Enterprise. Версию Community можно свободно скачать с сайта Arenadata, в рамках этой версии вы получаете в том числе AD.CM и можете установить и попробовать все его преимущества. Таким образом, мы распространяем свободно свою сборку Hadoop, свою сборку Greenplum, заходите и пользуйтесь. Отличия от Enterprise-версии – в наборе коннекторов, средствах мониторинга. Подробнее можем рассказать в индивидуальном порядке. 

Вопрос. Есть ли примеры интеграции фреймворков КРОК с линейкой продуктов 1С?

Павел Егоров, КРОК. Можно интегрироваться по разным сценариям, все зависит от кейсов. Например, можно использовать стандартный общий интерфейс OData. У NiFi есть специализированный процессор, который позволяет подключаться к смежным источникам, используя протокол OData или REST-сервисы. Такие образом вы можете загружать информацию из 1С в хранилище или готовые расчеты перегружать в 1С. Есть примеры использования OData в продуктиве.

Другой вариант – самостоятельно разработать кастомные интерфейсы интеграции на базе самого 1С.