Как с вами связаться

Введите сообщение

Как с вами связаться

Введите сообщение

Аватар сообщества АРЕНАДАТА: НОВОСТИ

АРЕНАДАТА: НОВОСТИ

АРЕНАДАТА: последние новости сегодня

Как Kafka обрабатывает сообщения и избегает дублей: технический разбор от Arenadata

1 296

    В нашем блоге на Хабре вышла новая статья о том, что происходит внутри Kafka между вызовом producer.send() и записью сообщения в лог Автор — Максим Шуматбаев, инженер технической поддержки Arenadata. В материале рассматриваются внутренние механизмы Kafka со стороны клиента: как приложение находит нужный брокер, формирует и отправляет сообщения, получает подтверждения и использует механизмы защиты от потерь и дублей. Отдельно — о ситуациях, когда проблема выглядит как сбой кластера, но связана с клиентом, сетью или конфигурацией. Из статьи вы узнаете: ▫️ как клиент находит leader нужной partition и обновляет метаданные ▫️ что происходит после send(): от выбора partition и batching до ProduceRequest и ACK ▫️ как acks, ISR и min.insync.replicas влияют на надежность записи ▫️ откуда появляются дубли и как работают retries и idempotence ▫️ почему некоторые проблемы, похожие на сбой кластера, могут быть связаны с клиентом, сетью или конфигурацией. Кому будет полезно? Разработчикам и архитекторам распределенных систем, data/platform engineers, администраторам Kafka и специалистам сопровождения — всем, кто работает с Kafka в production и разбирает проблемы с записью сообщений, задержками, дублями и отказоустойчивостью. [Arenadata в MAX](https://max.ru/join/OEVkKU6JBgOFdoLIKmiVG_6cnYgaz6vLj4jkK8zQwUM) Полный профиль компании доступен в MONDIARA [MONDIARA](https://mondiara.com/) Сделано Людьми. Для людей Котировки • Отчётность • Дивиденды • Аналитика • Новости

    Пост взят с международного финтех-медиа ресурса

    Другие новости сообщества / АРЕНАДАТА: последние новости сегодня

    EXPRESS NEWS

    • Гутерриш назвал деэскалацию главным приоритетом на Ближнем Востоке. Он также призвал полностью восстановить и уважать права и свободы судоходства в Ормузском и Баб-эль-Мандебском проливах в соответствии с международным правом

    • РФ готова и к двусторонним, и к трехсторонним переговорам по Украине, никогда от них не отказывалась. Больших иллюзий насчет предложений переговоров по Украине Россия не питает, подчеркнул Лавров

    • Контакты с американцами продолжаются и будут продолжены, заявил Рябков, комментируя инициативу по энергетическому перемирию
      Контакты с американцами продолжаются и будут продолжены, заявил Рябков, комментируя инициативу по энергетическому перемирию

    • ШОС выступает за разработку международного документа по предотвращению гонки вооружений в космосе, заявил генеральный секретарь организации Нурлан Ермекбаев

    • Кремль считает хорошей инициативой идею Трампа об энергетическом перемирии, заявил Песков
      Кремль считает хорошей инициативой идею Трампа об энергетическом перемирии, заявил Песков

    • Россия готова как к двусторонним, так и к трехсторонним переговорам по Украине, заявил Лавров

    • РФ приветствует заинтересованность США содействовать урегулированию на Украине, главное, что они понимают первопричины конфликта, заявил Лавров
      РФ приветствует заинтересованность США содействовать урегулированию на Украине, главное, что они понимают первопричины конфликта, заявил Лавров

    • Около 200 нелегалов каждый день добровольно возвращаются из Сеуты в Марокко, сообщил премьер Испании Педро Санчес

    • Эмиссар Трампа Джон Коул прибыл в Минск на переговоры с Лукашенко, сообщает «Пул первого»
      Эмиссар Трампа Джон Коул прибыл в Минск на переговоры с Лукашенко, сообщает «Пул первого»
    • Вучич сообщил, что подаст в отставку 27 сентября. Об этом президент Сербии заявил в эфире телеканала Pink
      Вучич сообщил, что подаст в отставку 27 сентября. Об этом президент Сербии заявил в эфире телеканала Pink

    • Рост цен на газ в Европе — это закономерный результат провальной энергетической политики евробюрократов, считает Кирилл Дмитриев

    • США могут претендовать на контроль над иранской нефтью, заявил Трамп. «В конечном счете мы уйдем, если только мы не решим задержаться и оставить себе нефть, как в Венесуэле», — заявил американский лидер

    • США будут одними из первых западных стран, кто восстановит экономические связи с РФ. Такое мнение выразил Кирилл Дмитриев в комментарии «Вестям»

    • РФ не исключает, что в октябре будут трехсторонние переговоры по Украине, сообщил Песков
      РФ не исключает, что в октябре будут трехсторонние переговоры по Украине, сообщил Песков

    • Китай создаст для стран БРИКС площадку доступа к технологиям ИИ с открытым кодом и доступом, заявил Си Цзиньпин

    • Украина была одной из главных тем во время двусторонних встреч Путина на полях БРИКС, сообщил Ушаков «Известиям»
      Украина была одной из главных тем во время двусторонних встреч Путина на полях БРИКС, сообщил Ушаков «Известиям»

    • Встреча Путина с Зеленским на саммите G20 в Майами (США) в декабре невозможна, заявил Песков агентству AFP. Он также повторил, что встреча может состояться только в Москве

    • Итоговая декларация 18-го саммита БРИКС единогласно принята в Нью-Дели, сообщил Моди
      Итоговая декларация 18-го саммита БРИКС единогласно принята в Нью-Дели, сообщил Моди

    • Си Цзиньпин заявил, что КНР в 2027 году примет председательство в БРИКС и проведет его 19-й саммит, сообщает Центральное телевидение Китая

    • Возможность поездки Путина на саммит G20 пока даже не обсуждалась, рассказал Ушаков «Известиям»
      Возможность поездки Путина на саммит G20 пока даже не обсуждалась, рассказал Ушаков «Известиям»

    • Партия «Альтернатива для Германии» выразила готовность участвовать в бизнес-форуме между Россией, США и Германией, сообщил Дмитриев. Он подчеркнул, что диалог с бизнесом западных стран важен для России

    • Лукашенко заявил, что его сын Николай служит в армии «в самом сложном подразделении»
      Лукашенко заявил, что его сын Николай служит в армии «в самом сложном подразделении»

    • Добыча нефти в Венесуэле удвоится к концу 2027 года, заявил Крис Райт. По его словам, военные действия в Венесуэле открыли дверь для значительного увеличения нефтедобычи

    • Кая Каллас признала, что отношения ЕС и США при нынешней администрации во главе с Трампом «подвергаются серьезному испытанию»

    • Делегаты съезда республиканцев приветствовали Вэнса как следующего президента США. Во время выступления Вэнса присутствовавшие начали скандировать слова «сорок восьмой»
      Делегаты съезда республиканцев приветствовали Вэнса как следующего президента США. Во время выступления Вэнса присутствовавшие начали скандировать слова «сорок восьмой»

    • Трамп утверждает, что США не ведут конфликт с Ираном в полную силу из-за выборов: «Ну, возможно, я не делаю этого из-за выборов. Понимаете? Хочу, чтобы все оставалось»

    • Трамп допускает, что конфликт с Ираном может закончиться и до ноябрьских выборов в США, и заверяет, что она точно завершится сразу после них
      Трамп допускает, что конфликт с Ираном может закончиться и до ноябрьских выборов в США, и заверяет, что она точно завершится сразу после них

    • Глава Минфина США заявил, что Трамп отказывается спать. «Мы ушли от президента, который не мог бодрствовать, к президенту, который отказывается спать», — приводит журнал Newsweek слова Бессента

    • Трамп заявил, что разговор с Путиным был замечательным, президент РФ настроен на договоренности по Украине. Трамп считает возможной вскоре новую двустороннюю встречу с Путиным
      Трамп заявил, что разговор с Путиным был замечательным, президент РФ настроен на договоренности по Украине. Трамп считает возможной вскоре новую двустороннюю встречу с Путиным
    • ЦБ РФ оставил ключевую ставку на уровне 14%
      ЦБ РФ оставил ключевую ставку на уровне 14%
    • Похороны короля Норвегии Харальда V состоялись в среду в Осло. Харальд V родился 21 февраля 1937 года, он занимал престол с 1991 года
      Похороны короля Норвегии Харальда V состоялись в среду в Осло. Харальд V родился 21 февраля 1937 года, он занимал престол с 1991 года

    • США нанесли ракетный удар по иранскому танкеру вблизи порта Джаск, сообщил IRIB. По данным телеканала, команда судна была успешно эвакуирована сразу после атаки

    • Бернэм отказался сокращать соцрасходы ради увеличения расходов на оборону. При этом он подчеркнул, что его правительство подтверждает данное ранее обещание довести расходы на оборону до 3,5% от ВВП к 2035 году

    • Возможность проведения трехстороннего саммита с участием Путина, Трампа и Си Цзиньпина на АТЭС будет, сообщил Песков

    • Вучич утвердил решения о роспуске парламента Сербии и проведении внеочередных выборов 25 октября
      Вучич утвердил решения о роспуске парламента Сербии и проведении внеочередных выборов 25 октября

    • Россия предложит провести российско-германо-американский бизнес-форум в 2027 году для возобновления делового диалога. Об этом заявил глава РФПИ Кирилл Дмитриев

    • Рубио назвал состоявшиеся переговоры по Украине в Москве и Киеве содержательными. Госсекретарь США также отметил, что считает возможным в ближайшие недели разработать план шагов по урегулированию на Украине
      Рубио назвал состоявшиеся переговоры по Украине в Москве и Киеве содержательными. Госсекретарь США также отметил, что считает возможным в ближайшие недели разработать план шагов по урегулированию на Украине

    • Ситуацию в регионе необходимо учитывать при проведении «Интервидения» в Саудовской Аравии, сроки будут обозначены позднее, заявил Лавров

    • Кремль не исключает разговора Путина и Трампа по итогам поездки переговорщиков США в Москву и в Киев, сообщил Песков
      Кремль не исключает разговора Путина и Трампа по итогам поездки переговорщиков США в Москву и в Киев, сообщил Песков

    • Трамп в Truth Social назвал Луну собственностью США

    Вы уверены, что хотите выйти из аккаунта?