Журнал теоретических и вычислительных наук
Открытый доступ

Абстрактный

Упрощение архитектур машинного обучения с помощью платформы потоковой передачи событий

Кай Вехнер

Машинное обучение (ML) делится на обучение модели и вывод модели. Фреймворки ML обычно используют озеро данных, например HDFS или S3, для обработки исторических данных и обучения аналитических моделей. Вывод модели и мониторинг в масштабе производства в реальном времени — еще одна распространенная проблема с использованием озера данных. Но можно полностью избежать такого хранилища данных, используя архитектуру потоковой передачи событий. В этом докладе современный подход сравнивается с традиционными альтернативами пакетной обработки и больших данных и объясняются такие преимущества, как упрощенная архитектура, возможность повторной обработки событий в том же порядке для обучения различных моделей и возможность создания масштабируемой, критически важной архитектуры ML для прогнозов в реальном времени с меньшим количеством головной боли и проблем. В докладе Кай Венер объясняет, как этого можно достичь, используя фреймворки с открытым исходным кодом Apache Kafka и TensorFlow.