Session

Centralizando el acceso a la IA: tu propio gateway en ECS Fargate

Conectar un agente de coding es cuestión de minutos. Saber quién lo usa, cuánto cuesta y hacia dónde van los datos es otra historia.

El patrón de AI gateway ataca las tres por el mismo lado: un único punto de entrada a los modelos, desplegado en Amazon ECS con AWS Fargate, usando LiteLLM como plano de control delante de Amazon Bedrock. Recorreremos cómo, en lugar de que cada persona cargue con su propia API Key, es el contenedor el que se autentica contra el modelo y cómo a partir de ahí se vuelve simple lo que antes no lo era: saber cuánto gasta cada equipo, poner un techo antes de que la factura sorprenda y tener claro por dónde sale la información.

Adoptar IA fue lo fácil. Esta charla es sobre lo que viene después.

Josset Gutierrez Huaman

Site Reliability Engineering Manager / Cloud Architect / AI Enthusiast

Lima, Peru

Actions

Please note that Sessionize is not responsible for the accuracy or validity of the data provided by speakers. If you suspect this profile to be fake or spam, please let us know.

Jump to top