worker's architechture refactor

[tuana9a]

Vấn đề

Hiện tại worker trao đổi với api-gateway thông qua message queue, điều này có những vấn đề như sau

• hiện tại code handle rabbitmq đang không ổn định: khi rabbitmq chết thì worker không tự dộng reconnect được
• khả năng mở rộng kém: ví dụ nếu người dùng muốn chạy (self-hosted) worker thì gần như là không thể triển khai được

Ý tưởng

• Bỏ message queue: Worker giao tiếp trực tiếp với api-gateway bằng http
  • Lấy job cứ sau một khoảng thời gian 5s
  • Cập nhật trạng thái job sau mỗi bước
  • Gửi kết quả cuối cùng
    • Cơ chế retry, write ahead log
  • gửi heart beat mỗi 5s
• thêm biến môi trường WORKER_TOKEN: được generate lúc đăng ký trên giao diện, cái này chỉ hiển thị một lần

Liên quan

child issue of #4

api quản lý worker #10