Компания «Тантор Лабс» обновила PipelineDB
Компания «Тантор Лабс» обновила PipelineDB. Компания «Тантор Лабс», которая является частью «Группы Астра», объявила о масштабных доработках расширения PipelineDB — высокопроизводительного инструмента для обработки временных рядов, совместимого с PostgreSQL и СУБД Tantor. Данное решение, основанное на открытом исходном коде, позволяет выполнять SQL-запросы в реальном времени на потоках данных с инкрементальным сохранением результатов в таблицах, и теперь поддерживает новые версии систем управления базами данных и предлагает ряд актуальных функций. PipelineDB является расширением PostgreSQL, которое дает возможность оперативно и гибко обрабатывать потоковые данные и интегрировать их с историческими данными для анализа и сравнения. При помощи только SQL-запросов пользователи могут передавать данные непосредственно в базы данных и осуществлять их непрерывное преобразование. PipelineDB хранит лишь результаты непрерывных запросов, что позволяет избежать увеличения объема базы данных в зависимости от обрабатываемых данных с течением времени. Проект PipelineDB изначально был создан как OpenSource-инициатива (PipelineDB Core), став форком PostgreSQL. В 2018 году решение было адаптировано в расширение PostgreSQL, значительно упростив его использование, но в 2019 году проект был закрыт. Последней совместимой версией PostgreSQL для PipelineDB стала 11-я. Специалисты «Тантор Лабс» инвестировали значительные усилия в восстановление проекта, перенастроив PipelineDB на новые версии PostgreSQL (13, 15 и 16) и добавив новые функции, а также исправив множество ошибок. Современная версия Tantor PipelineDB включает в себя такие функции, как непрерывная агрегация и фильтрация потоковых данных, запросы с заданными временными интервалами, интеграцию потоков с таблицами, а также поддержку вероятностных структур данных (например, фильтры Блума и count-min sketch) для приближенных вычислений на больших потоках данных. Кроме того, было введено партицирование — возможность делить одну большую таблицу на несколько физических файлов или таблиц, что визуально выглядит как единое целое для пользователя. Это позволяет существенно снизить затраты на обновление индексов, выбор данных при чтении, удаление и архивирование устаревших данных. Подобный механизм особенно востребован в системах с высокой нагрузкой. Tantor PipelineDB доступен как бесплатное OpenSource-расширение в репозитории Tantor, а также в качестве отдельного продукта с дополнительными функциональными возможностями. Источник: www.astragroup.ru
Пост взят с международного финтех-медиа ресурса
ДЛЯ ЛЮДЕЙ