Контейнерная одиссея: чем живет и куда движется российский рынок Kubernetes

Слушайте выпуск на подкаст-площадках

Сергей Зинкевич. Максим, расскажи пожалуйста, что такое Nova Container Platform?

Максим Морарь. Это платформа оркестрации контейнеров. Ее ядром является Kubernetes, вокруг которого настраивается большое количество разных дополнительных модулей, необходимых для того чтобы «из коробки» закрывать задачи наших клиентов. Это очень простая идея: независимо от типа инфраструктуры – локально на bare metal, на базе собственной виртуализации или в облаке – заказчик может за 10 минут получить готовую платформу со своим UI для управления, с правильно настроенным мониторингом, компонентами для безопасности, встроенными инструментами разработчиков и т. д. Такой системой можно сразу пользоваться. Мы со своей стороны предоставляем техническую поддержку L3 и все, что касается обновления компонентов платформы, которых уже сейчас больше 30.

Orion soft — российская ИТ-компания, разработчик программного обеспечения. В портфеле компании:

• система виртуализации zVirt
• контейнерная платформа Nova Container Platform
• система управления облаками
• CMP-платформа Cloudlink
• СУБД Proxima DB на базе Postgres

Сергей Зинкевич. Какие запросы получает облачный провайдер от клиентов по поводу контейнеров? 

Александр Фикс. Если говорить о средах контейнеризации, то чаще всего в облака переводят среды dev и test, а иногда и prod. Облака удобны для сред dev и test благодаря таким преимуществам, как легкая масштабируемость, гибкость, принцип pay-as-you-go, быстрое развертывание, возможность интеграции с PaaS. 

Эти преимущества упрощают жизнь DevOps-инженерам и отделам разработки. 

Сергей Зинкевич. Получается, что, как правило, к нам «заезжают» через среды dev и test, и, удостоверившись в нашей надежности, начинают масштабироваться в prod. 

По результатам опроса аудитории подкаста

• больше трети используют ванильный Kubernetes,
• 15% используют зарубежную платформу контейнеризации,
• 18% – российскую платформу.

Таким образом, больше половины аудитории уже используют какую-либо контейнерную платформу.

Сергей Зинкевич. Максим, чем полезны контейнерные платформы и есть ли преимущества у российских платформ?

Максим Морарь. Kubernetes с дополнительными модулями — это инфраструктурная задача, которая не оказывает прямого эффекта на основной бизнес заказчика. Такой эффект дает разработка, развитие автоматизации, развитие процесса тестирования, то есть то, что влияет на конечный продукт с точки зрения программного обеспечения (внутреннего или внешнего). Мы считаем, что именно в этой области клиенты, у которых основным бизнесом является не ИТ, а, например, логистика, ритейл, банковская деятельность, финтех и т. д., должны прилагать основные усилия. При этом низкоуровневую историю про Kubernetes и интеграцию с дополнительными open source-модулями можно оставить вендору, который на этом специализируется и, самое важное, готов брать на себя ответственность за то, чтобы все 

1. работало,
2. было безопасно, что особенно актуально в текущих условиях,
3. интегрировалось и правильно обновлялось в рамках понятного релизного цикла.

Программные продукты open source бывают разными. Чтобы следить за таким ПО самостоятельно,  нужно иметь много специалистов именно в этой области, иначе все будет сделано неправильно или будет неправильно работать. Именно в этом и заключается преимущество платформы —мы хотим дать возможность заказчикам заниматься тем, что развивает их бизнес, и не тратить время на Kubernetes и связанные модули. 

Сергей Зинкевич. Получается, что мы с меньшим количеством специалистов решаем большее количество задач. 

Максим Морарь. Так и есть. Важно понимать, что, если в организации уже есть какой-то Kubernetes, даже ванильный, наша платформа не отбирает работу у команды. Мы просто даем возможность заниматься задачами, более важными с точки зрения конечного продукта, такими как развитие автоматизации (в инфраструктуре, в CI/CD), развитие процесса тестирования и т.д.

По опыту общения нашей команды с инженерами клиентов, это всегда позитивно воспринимается, потому что очень многие инженеры не любят заниматься рутиной, а поддержка разных компонентов и налаживание их взаимодействия — это рутинная операция. Мы даем им возможность заниматься чем-то новым, например, в автоматизации, где они видят бизнес-эффект и упрощают жизнь своим разработчикам, а не просто запускают flags в Kubernetes. Это приводит к дополнительному росту мотивации использовать наш продукт и делать что-то интересное в своей инфраструктуре. 

Александр Фикс. Сейчас рынок платформ контейнеризации в России активно развивается, но многие компании, особенно крупные, боятся vendor lock. Насколько эти страхи обоснованы? Подтверждаются ли такие риски или опровергаются?

Максим Морарь. Каждый вендор сам выбирает подход. Сейчас на рынке уже не одно и не два решения, их гораздо больше, и они предлагаются на разных условиях. Мы для себя определили понятный для нас путь развития —это отсутствие vendor lock. Мы понимаем, что  важно для заказчиков. Мы берем за основу open source-компоненты, правильно их «готовим», делаем определенную обвязку, автоматизацию, а также веб-интерфейс и другие интерфейсы для взаимодействия. Проприетарного vendor lock на уровне технологий у нас нет. Это означает, что заказчик может в любой момент развернуть рядом ванильный Kubernetes. В этом случае ему придется переделать автоматизацию, как и при использовании любой платформы или при миграции на Kubernetes в другой среде. Более того, мы не планируем использовать какой-либо vendor lock в будущем, чтобы не ограничивать наших клиентов. 

Сергей Зинкевич. А если рассматривать этот вопрос на примере других платформ, особенно западных? Многие компании уже что-то купили и не знают, что им делать.  

Максим Морарь. Свой выбор делает каждая конкретная компания. Рынок поделился на несколько больших кластеров клиентов, и у каждого своя модель поведения. Некоторым компаниям, которые закупали западное ПО для инфраструктуры контейнеризации, например, OpenShift, Tanzu или Rancher, придется меняться, учитывая нормативные требования. Эти клиенты активнее других анализируют рынок, потому что установлены четкие сроки необходимых изменений. Это первый кластер клиентов, которые уже готовы к миграции. При этом они понимают, что есть блокирующие фичи, которые им обязательно нужны. Однако такие клиенты разумно оценивают рынок, понимают, что мы все же в роли догоняющих, и редко просят продублировать функциональность один в один.

Сергей Зинкевич. То есть они не просят того, что недоступно?

Максим Морарь. Да. Хотя можно, конечно, продолжать ностальгировать о зарубежном ПО. 

Сергей Зинкевич. Но потом придется работать еще и со своими ожиданиями. Сколько лет нам потребуется, чтобы не грустить о зарубежном ПО?

Максим Морарь. У нас есть своя специфика и нам потребуется, как минимум, два-три года. Наши компании не всеми фичами, которые были в зарубежных продуктах, пользовались активно. Нам могут быть важнее другие аспекты, например, безопасность или регулятивные требования. С точки зрения фичей, есть определенный паттерн запросов от наших клиентов. 

Вернемся к кластерам клиентов на российском рынке. Помимо тех, кому изменения необходимы уже сейчас, есть клиенты, готовые не торопясь тестировать любые решения. Часто таким компаниям нужна конкретная не экзотическая, но кастомная функциональность, которую они могут ждать год или два. Таким клиентам, конечно, надо помогать.

Сергей Зинкевич. Максим, ты пытаешься разделить клиентов по уровню зрелости. Этот уровень коррелирует с отраслевой принадлежностью?

Максим Морарь. Я разделяю клиентов, скорее, по подходу к задаче и срокам изменений. Если говорить про отрасли и контейнеризацию, то DevOps-методологии и микросервисная архитектура могут использоваться в любой отрасли, где есть разработка и цифровые технологии. Однако при этом среди компаний, которые к нам обращаются, есть лидеры, которые чаще используют такие подходы, используют их правильно и хорошо понимают, каких результатов хотят добиться. Такие компании есть в банковском секторе, финтехе, ритейле и, что стало неожиданностью лично для меня, в нефтегазовой и химической отрасли. Как правило, это крупные и средние компании. Они активно используют платформы контейнерной виртуализации и схожие технологии для внутренних и внешних сервисов, например, для разработки мобильных приложений удаленного контроля на месторождениях и т. д.

Если есть контейнеризация, то необходим оркестратор, и приходится  выбирать — покупать коммерческое решение или использовать open source.

Сергей Зинкевич. Где проходит грань между просто управлением Kubernetes и необходимостью перейти на платформу? После того, как ты написал мониторинг, логирование и множество сервисов?

Максим Морарь. Важен размер команд. Если ты один и делаешь проект, который не планируется выводить в prod и от него не будет зависеть бизнес, то есть счет за него не пришлешь, тебе не нужна тяжеловесная платформа с множеством разных модулей, надежная, безопасная и т. д. В этом случае можно развернуть Kubernetes или заказать его в облаке и разместить там свое приложение. 

Если несколько разработчиков (до 10) в небольшой компании делают один проект или продукт, им также может быть достаточно простого Kubernetes для сред dev и, возможно, для prod. Но если команд разработчиков много, они разрозненные, каждая работает в своем технологическом стеке или паттерне и использует свои среды разработки, то представителю инфраструктурного или DevOps-отдела придется постоянно предоставлять им идентичные или разные среды. Делать это руками сложно и долго – для разработки. В случае с prod уже другие ценности — надежность, устойчивость и безопасность. Можно ли все это собрать из open source? Конечно, можно. Нужно ли тратить на это силы и брать на себя ответственность—персональный выбор. 

Сергей Зинкевич. Да, чтобы всего этого достичь, нужны люди. Кроме того, важна поддержка со стороны вендора.

В одном из предыдущих выпусков нашим гостем был Александр Баталов из Фланта, который рассказывал об их продукте Deckhouse. Сейчас Максим Морарь рассказывает про Nova Container Platform. Нас захватывают контейнерные платформы. Надо ли интегрировать облака и контейнерные платформы?

Александр Фикс. Я из облака и считаю, что интегрировать нужно. Платформы контейнеризации часто имеют гибридную структуру. Их можно размещать как у себя на «железе», так и в облаке, пользуясь такими преимуществами, как быстрая масштабируемость, возможность развернуть платформу для тестирования и проверки гипотез и интегрировать с нужной инфраструктурой (например, резервирование, быстрые диски, быстрые процессоры под специфические задачи и т. д.). В облаке можно быстро получить необходимые функции, которых в собственной инфраструктуре нет или они дороже, чем в облаке. 

Как говорил Максим, к использованию платформ контейнеризации приходят большие компании, например, в финтехе или ритейле. Мы это видим по клиентам, которые пользуются Kubernetes в нашем облаке. Когда команде разработки большой компании нужна инфраструктура, на это должен быть выделен бюджет. Такие компании не просто считают свои ресурсы, они еще и оценивают, где можно взять необходимую инфраструктуру дешевле. При создании инфраструктуры разработчики проходят несколько кругов ада согласования, потому, например, что им могут выдать инфраструктуру, но не открыть порты. Это может привести к угасанию проекта.

Максим Морарь. По моему мнению, основанному, в том числе, на мнении наших клиентов, основные преимущества облака – это возможность масштабирования и pay-as-you-go. Это реально помогает заказчикам экономить, в первую очередь, деньги. Например, для ритейлера, у которого есть инфраструктура в Kubernetes, нужен пул ресурсов в черную пятницу. Эти ресурсы можно брать в облаке либо покупать огромное количество оборудования, которое, скорее всего, часть времени будет простаивать, что мало рентабельно. 

Разумеется, Kubernetes должен быть готов для размещения в облаке. Вспомните облачные KaaS, Kubernetes, встроенный в облако (elastic Kubernetes). Это интересная тема, потому что облачные KaaS предоставляются провайдером и интегрированы с другими компонентами облака, но там не всегда все учтено с точки зрения обвязки, которая может быть нужна заказчику. 

Чтобы ощутить пользу облака в случае внешней платформы, такой как Nova, нужно интегрировать ее с облаком, например через Teraform-провайдера или с помощью других подходов. 

Сергей Зинкевич. Максим, ты много говоришь про регуляторные требования и безопасность. Для России это очень актуальная тема. Что нам делать с безопасностью?

Максим Морарь. Мы часто наблюдали в компаниях разных размеров и отраслей, что к безопасности в Kubernetes относятся спустя рукава. Это происходит по разным причинам. Считается, что разработчики и DevOps-команды всегда находятся на технологическом острие и внедряют новые инструменты. А команды по ИТ-безопасносности часто оказываются в роли догоняющего – коллеги не до конца понимают, что и как защищать (какие инструменты и политики нужны, что хорошо и что плохо для конкретного случая). 

Отсюда большой запрос на observability, то есть на инструмент, который помогает понять, что происходит внутри кластера, какие есть уязвимости, что есть в образах контейнеров, что есть вредоносного в трафике, насколько инфраструктура умеет справляться с уязвимостями (в штуках) и что это за уязвимости по степени критичности и т. д. 

В текущей ситуации люди стали более осознанно подходить к вопросам безопасности. Очень многие сейчас уже на входе проектируют и внедряют инструменты и процессы (что немаловажно) для того, чтобы будущая инфраструктура была безопасной, включая различные сканеры, инструменты для выстраивания безопасного пайплайна разработки.

Сергей Зинкевич. Это то, что называют DevSecOps.

Максим Морарь. Это сейчас пользуется большой популярностью. Важно и то, что к этому нас подталкивает регулятор, есть специальные требования к системам контейнеризации. Чтобы разместить ГИС или значимую ИСПДн в инфраструктуре контейнеризации, нужно эту систему аттестовать, а продукт сертифицировать. Это дополнительный вызов как для тех, кто занимается контейнеризацией, так и для клиентов.

По результатам опроса аудитории подкаста

• 48% пока не подступались к вопросам безопасности
• 38% уже решают задачи безопасности
• 13% ищут решение для возникающих вызовов

Максим Морарь. Очень хорошие показатели опроса. Не думаю, что задачи безопасности решают только компании, которые не соответствуют требованиям регулятора. Мы постоянно видим запросы от коммерческих компаний, которые осознанно подходят к безопасности, что не может не радовать. При этом результаты опроса показывают, что половина аудитории еще не начала заниматься вопросами безопасности по тем или иным, скорее всего, объективным причинам. 

Тема безопасности сейчас очень популярна, появляется все больше информации о том, как это делать правильно, появились даже свои евангелисты. Очень хорошо, что в нашей стране развивают эту тему, поэтому я думаю, что те, кто пока не подступались к вопросам безопасности, скоро этим займутся.

Сергей Зинкевич. Еще несколько лет назад у КРОК Облачные сервисы проекты, связанные с DevSecOps, были большой редкостью.

Александр Фикс. В прошлом году мы делали несколько проектов, в которых большие среды контейнеризации защищались с использованием практик DevSecOps — выстраивался пайплайн для защиты контейнеров с использованием сканеров. 

В целом, в любом ИТ-проекте всегда есть часть, связанная с ИТ-безопасностью.  

Максим Морарь. Надо сделать поправку на то, что у нас в стране решений класса Container Security не так много. До недавнего времени было всего одно, а сейчас подтягиваются крупные игроки, поэтому, возможно, к концу года решений будет больше. Но это  подтверждает тренд: количество решений растет, заказчики начинают все больше ими пользоваться, и это говорит о том, что это важно и приносит деньги. 

Борис Клименко. Максим, вашу платформу можно использовать частично в облаке, а частично локально?

Максим Морарь. При проектировании решения одной из ключевых задач было обеспечить поддержку виртуализации в целом и гибридов между bare metal и виртуализацией, где нодами Kubernetes могут выступать различные машины. Если у клиента несколько дата-центров, внутри них разные платформы виртуализации и есть хорошие каналы связи (что важно для Kubernetes), можно растягивать кластеры по разным ЦОД. При этом машинами одного кластера выступают ноды Kubernetes, а под капотом — разные виртуальные машины в разных ЦОД, что обеспечивает резервирование. Мы делали акцент именно на это. 

По результатам опроса аудитории подкаста, почти треть использует Kubernetes в облаке или в облаке и на своем «железе», и еще треть — on premise.

Борис Клименко. Как система себя ведет при поломке? Например, если «упадет» сеть между ЦОД?

Максим Морарь. Если рассматривать не идеальную ситуацию, а реальную жизнь, в которой у каждого заказчика своя архитектура сети, свои правила и т. д.,  все будет зависеть от конкретной ситуации, потому что существуют определенные внутренние ограничения на уровне оборудования. Описать универсальное решение сложно, и я не стал бы обобщать, потому что реальная жизнь отличается от лучших практик.

Вопрос из чата. Как платформа Nova работает с отечественными NGFW?

Максим Морарь. Мы не тестировали интеграцию Nova или Kubernetes с российскими NGFW-решениями. Таких продуктов не так много, как и релевантных задач. Поэтому я не стал бы рекомендовать что-либо, пока мы не протестировали эти решения и не убедились, что они работают нормально. 

Александр Фикс. У нас тоже не было опыта работы с российскими вендорами. Насколько я знаю, крупные игроки на рынке сейчас разрабатывают свои NGFW, чтобы в будущем закрыть эти вопросы. 

Вопрос из чата. На сайте Orion soft перечислены Red Hat-подобные операционные системы, которые поддерживает Nova. Как насчет Debian-подобных?

Максим Морарь. У нас самый большой опыт работы с продуктами Red Hat – RHEL и CentOS, поэтому именно их взяли за основу. Сейчас поддерживаются две основные ветки — для тех, кому нужны отечественные ОС, и Alma как предложение CentOS для тех, кто предпочитает работать с «чистым» open source.  Мы поддерживаем все, что RHEL-based. 

Вопрос из чата. Возможно ли облачное развертывание Nova или on premise, как у Deckhouse?

Сергей Зинкевич. Конечно, возможно развертывание и в облаке, и on premise.

Максим Морарь. В Облаке КРОК уже есть несколько проектов, которые работают на базе Nova Container Platform, а также есть планы в одной из инсталляций растянуть кластер между on premise и облаком. 

Вопрос из чата. Расскажите пошагово, как и с помощью каких инструментов платформа реализует  DevOps (dev, test, prod)? Какой технологический стек вы используете для пайплайна доставки релизов?

Максим Морарь. В первую очередь, мы закрываем слой, относящийся к Kubernetes: заказчик за 10 минут по инструкции разворачивает платформу внутри своего контура и получает UI для управления. Дальше он может использовать собственную git-систему (например, GID или Jenkins) и принести свой пайплайн внутрь платформы. Мы не несем полноценные пайплайны, заранее подготовленные заказчиком, и делаем это осознанно. Очень часто у клиента уже есть собственный GID (или другая CI) и какие-то пайплайны, и ему нужен Kubernetes, чтобы с этим интегрироваться и разворачивать и тестировать свои приложения. С точки зрения Continuous Delivery мы предоставляем Flux как базовый инструмент. Но это, в первую очередь, относится к автоматизации, в том числе инфраструктурного слоя (так называемый GitOps). CI и полноценный конвейер пока остаются на стороне заказчика. Мы активно думаем, стоит ли это привносить, насколько это будет полезно клиенту, поскольку у многих это уже реализовано, и мы должны встраиваться и уметь с этим работать.

Александр Фикс. Тема будет развиваться. Мне кажется, что одна ветка развития — это усиление безопасности, а вторая — привнесение чего-то нового, например, MLOps. 

Максим Морарь. Я поддержу. На рынке есть определенные тренды, и MLOps уже используется в России. Пишутся различные операторы, чтобы дать коллегам, которые занимаются моделями, инструменты, которые позволяют тестировать модели, быстрее их обучать, добиваться результата и получать бизнес-аналитику. Это хайп в хорошем смысле слова. Это полезно, потому что самое основное — это скорость запуска, например, в контейнере что-то запускается значительно быстрее, чем в виртуальной машине. Кроме того, в контейнер интегрировано много дополнительных инструментов.

Из-за рубежа к нам приходит еще один интересный тренд — не просто гибрид, а мультиоблако, но не в смысле наличия инструмента управления, который «дергает» API разных облаков, а в смысле абстрагирования от уровня виртуальных машин на уровень нод Kubernetes. 

Сергей Зинкевич. Даже абстрагирование от уровня дата-центра… 

Максим Морарь. И если у тебя хорошие каналы и ты знаешь, как правильно построить сеть, то ты уже не оперируешь терминами низкоуровневой инфраструктуры, а разворачиваешь все в Kubernetes. Такая инфраструктура может быть растянута между несколькими дата-центрами. Это переход на следующий уровень абстракции, дающей большие преимущества. Можно сказать, что мультиоблако —наша цель.

Сергей Зинкевич. Один разработчик со своим сервисом пока может жить без мультиоблака.  Но чем больше компания, у которой много сервисов и пользователей, тем сильнее риски, включая выход из строя не только зоны доступности или дата-центра, но и целого облачного провайдера. Мультиоблако — это хорошая цель. 

Максим Морарь. Мультиоблако на уровне Kubernetes в России пока используется мало, но за рубежом уже достаточно кейсов, в том числе публичных историй успеха, например, в крупных банках. Мне кажется, что в какой-то момент и мы увидим большой запрос на похожие проекты.

Сергей Зинкевич. Меня иногда спрашивают, почему мы участвуем в подкастах с другими облаками. Ответ: наше сотрудничество развивает ИТ в стране, и в выигрыше оказываются конечные пользователи. Например, банковские приложения будут работать безотказно. Работа найдется для всех, кто хорошо делает сервисы. При этом одна из целей — независимость от любых рисков, поэтому другие облачные провайдеры – это не конкуренты, а партнеры. 

Максим Морарь. Мы делаем одно дело и помогает одним и тем же компаниям. Обмениваясь опытом, мы сможем понять, что мы делаем не так, как развивается рынок и каким образом лучше решать задачи наших клиентов.