Начинаем новый модуль - обработка данных, очереди и надёжность высоконагруженных систем. Первый вопрос, с которого имеет смысл начать: обрабатывать данные по одному, как только они появились, или собирать их в группы (батчи) и обрабатывать пачками? Это фундаментальный выбор архитектуры, который влияет на задержку (latency) и пропускную способность (throughput) всей системы.