АРЕНАДАТА [новости]
АКЦИИ РФ
Arenadata Streaming: обновления с функционалом CDC, многоуровневым хранением и сервисом мониторинга
5
<strong>Arenadata Streaming: обновления с функционалом CDC, многоуровневым хранением и сервисом мониторинга</strong>. Arenadata представила новую версию своего продукта для потоковой передачи и обработки данных Arenadata Streaming (ADS). В обновлении реализованы функции захвата изменений данных (CDC) и система мониторинга на базе Prometheus. Кроме того, добавлена поддержка концепции «многослойного» хранения данных (Tiered Storage) и протокола согласования Kafka Raft (KRaft). Для осуществления CDC в дистрибутив включены два source-коннектора Debezium для Kafka Connect, специально предназначенные для работы с базами данных PostgreSQL и Microsoft SQL Server. Эти коннекторы фиксируют изменения данных в СУБД и сохраняют их в топики Kafka, откуда sink-коннекторы могут передавать информацию в другие базы или хранилища. Также предусмотрена возможность использования готовых коннекторов Debezium и добавления собственных, а управление ими осуществляется через веб-интерфейс ADS Control. В новой версии реализована концепция Tiered Storage, которая позволяет оптимизировать хранение данных в топиках Kafka. Поступающие «горячие» данные размещаются в локальной файловой системе, а по установленным политикам могут перемещаться во внешние системы для долговременного хранения «холодных» данных, такими системами могут быть HDFS и S3. Технический руководитель продукта Arenadata Streaming отметил, что использование концепции Tiered Storage обеспечивает снижение затрат и предоставляет большую гибкость для хранения исторических данных. Он также указал на минимизацию необходимости в преждевременном масштабировании и сокращение времени расширения и восстановления после сбоев. В новую версию вошел сервис мониторинга, который разворачивает сервер Prometheus внутри ADS для сбора и хранения метрик кластера, включая системные данные и метрики сервисов Kafka, ZooKeeper, Kafka REST Proxy, Schema Registry, ksqlDB и других. Все собранные данные можно анализировать в веб-интерфейсе Prometheus или Grafana. Поддержка протокола KRaft упрощает управление метаданными внутри Kafka, устраняя необходимость в ZooKeeper. Это улучшает доступность системы и увеличивает количество партиций, которые может поддерживать один кластер. В данной версии функция доступна в режиме превью и не предназначена для продуктивного использования. Arenadata Streaming представляет собой масштабируемую отказоустойчивую систему для потоковой обработки данных в реальном времени, созданную на основе Apache Kafka и NiFi. Продукт включает графический интерфейс для управления кластерами (ADS Control), расширенные функции безопасности (Arenadata Platform Security), а также различные инструменты для обеспечения репликации и проверки качества данных. Среди возможностей Arenadata Streaming можно отметить: - построение потоковых конвейеров данных в реальном времени для надежной передачи между системами; - разработка потоковых приложений, обрабатывающих или реагирующих на потоки данных; - долговременное и отказоустойчивое хранение записей; - разграничение прав доступа к потокам данных. Продукт имеет свидетельство о государственной регистрации и включен в единый реестр российских программ для ЭВМ и баз данных. <em>Источник: www.cnews.ru</em>
0
