Serverless Architecture Patterns for Scalable Machine Learning Inference Pipelines
DOI:
https://doi.org/10.66838/sauc.6526Palabras clave:
Serverless Computing, Machine Learning Inference, Architecture Patterns, Cold Start Mitigation, Dynamic Batching, Event-Driven Pipelines, LoRA Adapter Serving, Cloud Cost Optimization.Resumen
Serverless Architecture Patterns for Scalable Machine Learning Inference PipelinesServing machine learning models in production is an exercise in handling uncertainty. Traffic arrives in bursts, models differ enormously in size and cost, and demand for a given model may be near zero for hours and then jump by an order of magnitude within seconds. Serverless computing, in which a cloud provider runs short-lived functions and managed services on demand and bills only for what is used, promises to match capacity to such demand automatically. Applying it to inference is not straightforward, however, because model loading causes cold starts, functions are stateless and limited in memory and duration, and accelerators are scarce. This paper presents a catalog of eight serverless architecture patterns for machine learning inference pipelines, together with guidance on when each should be used.....
Descargas
Estadísticas globales ℹ️
|
64
Visualizaciones
|
15
Descargas
|
|
79
Total
|
|
Descargas
Publicado
Cómo citar
Número
Sección
Licencia
Derechos de autor 2025 Los autores/as conservan los derechos de autor y ceden a la revista el derecho de la primera publicación y el derecho de edición
Esta obra está bajo una licencia internacional Creative Commons Atribución-SinDerivadas 4.0.
Los autores/as que publiquen en esta revista aceptan las siguientes condiciones:
- Los autores/as conservan los derechos de autor.
- Los autores/as ceden a la revista el derecho de la primera publicación. La revista también posee los derechos de edición.
- Todos los contenidos publicados se regulan mediante una Licencia Atribución/Reconocimiento-SinDerivados 4.0 Internacional. Acceda a la versión informativa y texto legal de la licencia. En virtud de ello, se permite a terceros utilizar lo publicado siempre que mencionen la autoría del trabajo y a la primera publicación en esta revista. Si transforma el material, no podrá distribuir el trabajo modificado.
- Los autores/as pueden realizar otros acuerdos contractuales independientes y adicionales para la distribución no exclusiva de la versión del artículo publicado en esta revista (p. ej., incluirlo en un repositorio institucional o publicarlo en un libro) siempre que indiquen claramente que el trabajo se publicó por primera vez en esta revista.
- Se permite y recomienda a los autores/as a publicar su trabajo en Internet (por ejemplo en páginas institucionales o personales), una vez publicado en la revista y citando a la misma ya que puede conducir a intercambios productivos y a una mayor y más rápida difusión del trabajo publicado (vea The Effect of Open Access).
