Как с вами связаться

Введите сообщение

Как с вами связаться

Введите сообщение

Аватар сообщества АРЕНАДАТА: НОВОСТИ

АРЕНАДАТА: НОВОСТИ

АРЕНАДАТА: последние новости сегодня

Arenadata Streaming: обновления с функционалом CDC, многоуровневым хранением и сервисом мониторинга

37

    Arenadata Streaming: обновления с функционалом CDC, многоуровневым хранением и сервисом мониторинга. Arenadata представила новую версию своего продукта для потоковой передачи и обработки данных Arenadata Streaming (ADS). В обновлении реализованы функции захвата изменений данных (CDC) и система мониторинга на базе Prometheus. Кроме того, добавлена поддержка концепции «многослойного» хранения данных (Tiered Storage) и протокола согласования Kafka Raft (KRaft). Для осуществления CDC в дистрибутив включены два source-коннектора Debezium для Kafka Connect, специально предназначенные для работы с базами данных PostgreSQL и Microsoft SQL Server. Эти коннекторы фиксируют изменения данных в СУБД и сохраняют их в топики Kafka, откуда sink-коннекторы могут передавать информацию в другие базы или хранилища. Также предусмотрена возможность использования готовых коннекторов Debezium и добавления собственных, а управление ими осуществляется через веб-интерфейс ADS Control. В новой версии реализована концепция Tiered Storage, которая позволяет оптимизировать хранение данных в топиках Kafka. Поступающие «горячие» данные размещаются в локальной файловой системе, а по установленным политикам могут перемещаться во внешние системы для долговременного хранения «холодных» данных, такими системами могут быть HDFS и S3. Технический руководитель продукта Arenadata Streaming отметил, что использование концепции Tiered Storage обеспечивает снижение затрат и предоставляет большую гибкость для хранения исторических данных. Он также указал на минимизацию необходимости в преждевременном масштабировании и сокращение времени расширения и восстановления после сбоев. В новую версию вошел сервис мониторинга, который разворачивает сервер Prometheus внутри ADS для сбора и хранения метрик кластера, включая системные данные и метрики сервисов Kafka, ZooKeeper, Kafka REST Proxy, Schema Registry, ksqlDB и других. Все собранные данные можно анализировать в веб-интерфейсе Prometheus или Grafana. Поддержка протокола KRaft упрощает управление метаданными внутри Kafka, устраняя необходимость в ZooKeeper. Это улучшает доступность системы и увеличивает количество партиций, которые может поддерживать один кластер. В данной версии функция доступна в режиме превью и не предназначена для продуктивного использования. Arenadata Streaming представляет собой масштабируемую отказоустойчивую систему для потоковой обработки данных в реальном времени, созданную на основе Apache Kafka и NiFi. Продукт включает графический интерфейс для управления кластерами (ADS Control), расширенные функции безопасности (Arenadata Platform Security), а также различные инструменты для обеспечения репликации и проверки качества данных. Среди возможностей Arenadata Streaming можно отметить: - построение потоковых конвейеров данных в реальном времени для надежной передачи между системами; - разработка потоковых приложений, обрабатывающих или реагирующих на потоки данных; - долговременное и отказоустойчивое хранение записей; - разграничение прав доступа к потокам данных. Продукт имеет свидетельство о государственной регистрации и включен в единый реестр российских программ для ЭВМ и баз данных. Источник: www.cnews.ru

    #arenadata #многоуровневое хранение #мониторинг #обработка данных

    Пост взят с международного финтех-медиа ресурса

    Другие новости сообщества / АРЕНАДАТА: последние новости сегодня

    EXPRESS NEWS

    • Трамп заявил, что США в ближайшее время возобновят продажи боеприпасов союзникам

    • Пашинян заявил, что Армения не собирается вводить визы для граждан России
      Пашинян заявил, что Армения не собирается вводить визы для граждан России

    • Китай готов развивать обмены с РФ в сферах культуры, туризма и образования, сообщил вице-премьер Госсовета КНР

    • РФ за полноформатное восстановление отношений с США, сообщил Путин. Контакты РФ с администрацией США продолжаются, президент видит позитивный настрой Трампа на конструктивную работу
      РФ за полноформатное восстановление отношений с США, сообщил Путин. Контакты РФ с администрацией США продолжаются, президент видит позитивный настрой Трампа на конструктивную работу

    • Трамп заявил, что для бизнеса было бы отлично поддерживать хорошие отношения с Россией

    • Трамп заявил, что готов провести встречу с Путиным, когда стороны будут готовы заключить мирное соглашение по Украине
      Трамп заявил, что готов провести встречу с Путиным, когда стороны будут готовы заключить мирное соглашение по Украине

    • ВС США уничтожили 28 кораблей в Ормузском проливе в ночь на 1 сентября, заявил Трамп в интервью автору подкаста Lt. Dan Дэну Патрику

    • ЕК предложила включить в 22-й пакет санкций 1600 российских физлиц и компаний, заявила Каллас
      ЕК предложила включить в 22-й пакет санкций 1600 российских физлиц и компаний, заявила Каллас

    • Трамп думает над тем, чтобы назвать Ормузский пролив в свою честь. «Как и сама Америка, Ормузский пролив станет "горячее", чем когда-либо!» — отметил американский президент

    • «Большое число» россиян могут внести в новые санкционные списки ЕС, которые предложила ФРГ. Об этом заявил глава МИД страны Йоханн Вадефуль

    • Добыча нефти в Венесуэле может превысить 1,5 млн баррелей в сутки в первой половине следующего года. Об этом заявил Крис Райт в интервью телеканалу CNBC
      Добыча нефти в Венесуэле может превысить 1,5 млн баррелей в сутки в первой половине следующего года. Об этом заявил Крис Райт в интервью телеканалу CNBC

    • Каллас заявила, что вызвала исполняющего обязанности постпреда России при ЕС в связи с инцидентом в Лейпциге

    • Ушаков опроверг, что Путин не захотел встречаться с главой ЦРУ, и подчеркнул в разговоре с журналистом Life Юнашевым, что таких планов и не было

    • В ФРГ делают всё, чтобы изничтожить всё позитивное, что было накоплено в отношениях с РФ десятилетиями. Об этом заявила Мария Захарова на полях ВЭФ

    • Бессент отметил важность контактов с РФ для урегулирования на Украине
      Бессент отметил важность контактов с РФ для урегулирования на Украине
    • Контакты между спецслужбами осуществляются всегда, заявил Путин, говоря о визите главы ЦРУ
      Контакты между спецслужбами осуществляются всегда, заявил Путин, говоря о визите главы ЦРУ

    • США уничтожат Иран в случае новых ответных атак, утверждает Трамп в интервью Fox News. Он считает, что иранские власти «не останавливаются», и назвал их действия «безумными» и «глупыми»

    • Германия идет по дальнейшему пути эскалации, обвинения в отношении России после инцидента в Лейпциге не подкреплены никакой аргументацией со стороны Берлина, заявил Дмитрий Песков
      Германия идет по дальнейшему пути эскалации, обвинения в отношении России после инцидента в Лейпциге не подкреплены никакой аргументацией со стороны Берлина, заявил Дмитрий Песков

    • США нанесли удар по аэропорту в Джирофте на юге Ирана, сообщила иранская гостелерадиокомпания

    • Пашинян назвал очень хорошей встречу с Путиным в Бишкеке и заявил о намерении в ближайшее время совершить визит в Москву
      Пашинян назвал очень хорошей встречу с Путиным в Бишкеке и заявил о намерении в ближайшее время совершить визит в Москву
    • Трамп заявил, что не за горами проведение крупнейшей атаки на Иран, после которой почти ничего не останется
      Трамп заявил, что не за горами проведение крупнейшей атаки на Иран, после которой почти ничего не останется
    • Встреча Путина и Эрдогана завершилась, продлившись около полутора часов, передает корреспондент ТАСС
      Встреча Путина и Эрдогана завершилась, продлившись около полутора часов, передает корреспондент ТАСС
    • Новым гендиректором Apple стал Джон Тернус
      Новым гендиректором Apple стал Джон Тернус

    • Министры обороны ЕС не приняли никаких конкретных решений о предоставлении ракет для Patriot Киеву, заявила Каллас

    • Уиткофф и Кушнер активизируют переговорные усилия на украинском направлении, сообщил источник ТАСС

    • США применили против Ирана меньше оружия, чем передали Киеву при Байдене, заявил Трамп
      США применили против Ирана меньше оружия, чем передали Киеву при Байдене, заявил Трамп

    • Трамп, говоря о приглашении России на мероприятия G20, заявил, что хочет поладить со всеми: «Одна из причин моего успеха заключается в том, что я со всеми лажу»

    • Лионель Месси завершил выступления за сборную Аргентины по футболу. Об этом он сообщил в соцсетях
      Лионель Месси завершил выступления за сборную Аргентины по футболу. Об этом он сообщил в соцсетях

    • Токаев назначил и. о. вице-премьера Аиду Балаеву зампредом Совета безопасности Казахстана. Секретарь Совбеза Гизат Нурдаулетов освобожден от должности, говорится в указе президента.

    • Токаев подписал указ о назначении Ерлана Карина на пост вице-президента Казахстана, сообщает пресс-служба
      Токаев подписал указ о назначении Ерлана Карина на пост вице-президента Казахстана, сообщает пресс-служба

    • США в течение недели введут санкции против одного из банков для давления на Иран, заявил американский министр финансов Скотт Бессент

    • Верховный лидер Ирана Моджтаба Хаменеи призвал все мусульманские страны объединиться и противостоять США
      Верховный лидер Ирана Моджтаба Хаменеи призвал все мусульманские страны объединиться и противостоять США

    • Сына Нетаньяху экстренно эвакуировали из США из-за угрозы покушения, сообщила The Jerusalem Post. Яир Нетаньяху уехал из Флориды в сопровождении охраны, даже не взяв с собой вещи, отмечает газета

    • Трамп подписал указ о создании Космической академии США
      Трамп подписал указ о создании Космической академии США
    • Телефонного разговора Путина с Трампом пока в планах нет, сообщил Песков
      Телефонного разговора Путина с Трампом пока в планах нет, сообщил Песков

    • Трамп составил рейтинг президентов США, назвав себя величайшим из них. К числу «великих» он отнес Авраама Линкольна, Джорджа Вашингтона, Франклина Рузвельта, Вудро Вильсона, Томаса Джефферсона и Эндрю Джексона

    • Администрация США может вводить санкции против сотрудничающих с Ираном китайских банков и не объявлять об этих рестрикциях, заявил Трамп

    • Трамп заявил, что у шефа ЦРУ и Нарышкина очень хорошие отношения, они встречаются раз в год-полгода. Президент США назвал поездку шефа ЦРУ в Москву «обычным делом»

    • Гросси заявил ТАСС, что у него сложились очень хорошие рабочие отношения с Россией

    • Хегсет рассматривает кандидатуру представителя Пентагона на должность министра армии
      Хегсет рассматривает кандидатуру представителя Пентагона на должность министра армии

    Вы уверены, что хотите выйти из аккаунта?