Việc vận hành mô hình AI để xử lý dữ liệu camera quy mô lớn thường gây lãng phí tài nguyên GPU rất lớn do các dịch vụ độc lập phải lặp lại các bước phát hiện (detection) và xử lý trùng lặp trên cùng một khung hình.

Bài chia sẻ này giới thiệu một kiến trúc thực tế giúp tối ưu hóa hạ tầng xử lý video AI thông qua mô hình hướng sự kiện (event-driven). Thay vì lặp lại các tác vụ inference đắt đỏ, hệ thống sử dụng một "master detector" để xử lý khung hình một lần duy nhất, sau đó phân phối siêu dữ liệu cấu trúc (structured metadata) qua Redis Streams. Nhờ vậy, các dịch vụ hạ nguồn (downstream) có thể tái sử dụng dữ liệu này cho các bài toán chuyên biệt như nhận diện biển số xe, nhận diện khuôn mặt và đồng bộ danh tính (identity fusion).

Chúng ta sẽ cùng đào sâu vào cách kết hợp giữa bộ nhớ chia sẻ (shared memory buffers), kiến trúc phân tán (distributed consumers) và luồng sự kiện (event streaming) nhằm mở rộng hệ thống đa camera trong khi giảm tải tối đa cho GPU. Bài thuyết trình cũng đề cập đến các quyết định thiết kế kiến trúc, đánh giá đánh đổi hiệu năng (performance trade-offs) và bài học thực chiến khi vận hành hệ thống video AI trong môi trường production.

• Target Audience: Backend Engineers, DevOps, AI Infrastructure Engineers, System Architects.
• Core Tech Stack: Redis Streams, Python, C++, Shared Memory, GPU Inference, Docker.