1. Giới thiệu về Edge API Gateway và Vai trò của Envoy Proxy

Trong kiến trúc hệ thống hiện đại, đặc biệt là microservices, Edge API Gateway đóng vai trò là cửa ngõ duy nhất tiếp nhận, điều phối và xử lý toàn bộ lưu lượng truy cập từ client trước khi chuyển tiếp đến các dịch vụ nội bộ. Việc lựa chọn một giải pháp Gateway mạnh mẽ quyết định lớn đến hiệu năng và độ tin cậy của toàn hệ thống.

Envoy Proxy, một giải pháp mã nguồn mở ban đầu được phát triển bởi Lyft, đã trở thành chuẩn mực công nghiệp cho vị trí này. Khác với các proxy truyền thống, Envoy được thiết kế chuyên biệt cho các kiến trúc đám mây (cloud-native) với hiệu năng cực cao nhờ viết bằng C++, kiến trúc non-blocking, và khả năng cấu hình động thông qua API (xDS). Khi triển khai trên môi trường VPS (Virtual Private Server), Envoy giúp tối ưu hóa tài nguyên phần cứng hạn chế, mang lại khả năng chịu tải vượt trội cùng các tính năng nâng cao như Rate Limiting động và Circuit Breaking chuyên sâu.

2. Tại sao cần Rate Limiting động và Circuit Breaking trên VPS?

Môi trường VPS thường có giới hạn nghiêm ngặt về CPU, RAM và băng thông. Do đó, hệ thống rất dễ bị tổn thương trước các kịch bản quá tải hoặc tấn công từ chối dịch vụ (DoS). Đâu là giải pháp?

Rate Limiting động (Dynamic Rate Limiting): Không chỉ đơn thuần là giới hạn số lượng request cố định, cấu hình động cho phép hệ thống thay đổi ngưỡng giới hạn dựa trên định danh người dùng (API Key, JWT), địa chỉ IP, hoặc trạng thái tải hiện tại của VPS. Điều này ngăn chặn tình trạng một client lạm dụng tài nguyên làm ảnh hưởng đến các client khác.
Circuit Breaking chuyên sâu (Cắt mạch độc lập): Khi một dịch vụ phía sau (upstream service) gặp sự cố hoặc phản hồi chậm, Envoy sẽ tự động 'ngắt mạch' (trip) để dừng gửi request đến dịch vụ đó. Cơ chế này ngăn chặn hiệu ứng sụt lở dây chuyền (cascading failure), giải phóng tài nguyên cho VPS và trả về phản hồi lỗi nhanh chóng (fail-fast) cho client.

3. Kiến trúc Triển khai Envoy làm Edge Gateway

Mô hình triển khai cơ bản bao gồm Envoy Proxy đứng ở tầng ngoài cùng, tiếp nhận kết nối HTTPS từ Internet, thực hiện lọc và điều phối lưu lượng, sau đó chuyển tiếp đến các dịch vụ backend chạy trên cùng VPS hoặc các server nội bộ.

4. Cấu hình Chi tiết Envoy Proxy trên VPS

Dưới đây là file cấu hình mẫu envoy.yaml hoàn chỉnh, tích hợp cả bộ lọc Circuit Breaking và kết nối đến Rate Limit Service bên ngoài.

static_resources:
  listeners:
  - name: listener_edge_gateway
    address:
      socket_address:
        address: 0.0.0.0
        port_value: 443
    filter_chains:
    - filters:
      - name: envoy.filters.network.http_connection_manager
        typed_config:
          "@type": [type.googleapis.com/envoy.extensions.filters.network.http_connection_manager.v3.HttpConnectionManager](https://type.googleapis.com/envoy.extensions.filters.network.http_connection_manager.v3.HttpConnectionManager)
          stat_prefix: ingress_http
          route_config:
            name: local_route
            virtual_hosts:
            - name: api_v1
              domains: ["api.yourdomain.com"]
              routes:
              - match:
                  prefix: "/api/v1/users"
                route:
                  cluster: user_service
                  rate_limits:
                  - actions:
                    - remote_address: {}
          http_filters:
          - name: envoy.filters.http.ratelimit
            typed_config:
              "@type": [type.googleapis.com/envoy.extensions.filters.http.ratelimit.v3.RateLimit](https://type.googleapis.com/envoy.extensions.filters.http.ratelimit.v3.RateLimit)
              domain: edge_gateway_limits
              failure_mode_deny: false
              rate_limit_service:
                grpc_service:
                  envoy_grpc:
                    cluster_name: ratelimit_service
          - name: envoy.filters.http.router
            typed_config:
              "@type": [type.googleapis.com/envoy.extensions.filters.http.router.v3.Router](https://type.googleapis.com/envoy.extensions.filters.http.router.v3.Router)

  clusters:
  - name: user_service
    connect_timeout: 0.25s
    type: LOGICAL_DNS
    dns_lookup_family: V4_ONLY
    lb_policy: ROUND_ROBIN
    load_assignment:
      cluster_name: user_service
      endpoints:
      - lb_endpoints:
        - endpoint:
          address:
            socket_address:
              address: 127.0.0.1
              port_value: 8081
    circuit_breakers:
      thresholds:
      - priority: DEFAULT
        max_connections: 1024
        max_pending_requests: 100
        max_requests: 500
        max_retries: 3

  - name: ratelimit_service
    type: STRICT_DNS
    connect_timeout: 0.25s
    lb_policy: ROUND_ROBIN
    http2_protocol_options: {}
    load_assignment:
      cluster_name: ratelimit_service
      endpoints:
      - lb_endpoints:
        - endpoint:
          address:
            socket_address:
              address: 127.0.0.1
              port_value: 8082

Giải thích các thông số cấu hình quan trọng:

Trong phần circuit_breakers của user_service, chúng ta thiết lập các rào chắn kỹ thuật nghiêm ngặt:

max_connections: Số lượng kết nối tối đa mà Envoy sẽ mở đồng thời đến upstream cluster. Vượt quá con số này, kết nối mới sẽ bị từ chối ngay lập tức.
max_pending_requests: Số lượng request tối đa được phép nằm trong hàng đợi chờ kết nối trống. Rất hữu ích khi dịch vụ backend bắt đầu có dấu hiệu chậm phản hồi.
max_requests: Số lượng request đồng thời tối đa đang được xử lý bởi backend.

Lưu ý từ chuyên gia: Việc tinh chỉnh các thông số Circuit Breaking cần dựa trên kết quả kiểm thử chịu tải (Load Testing) thực tế trên VPS của bạn để tìm ra điểm nghẽn giới hạn của tài nguyên.

5. Triển khai Rate Limiting động chuyên sâu

Để triển khai Rate Limiting động, Envoy cần kết nối với một dịch vụ gRPC Rate Limit bên ngoài (thường sử dụng giải pháp chuẩn của Lyft kết hợp với Redis làm lưu trữ trạng thái). Trong cấu hình trên, chúng ta đã định nghĩa ratelimit_service hoạt động trên cổng 8082.

Khi một request đi qua vùng tiền xử lý, Envoy trích xuất các thuộc tính như remote_address (IP người dùng) hoặc tiêu đề HTTP gửi đến Rate Limit Service. Dịch vụ này sẽ kiểm tra cấu hình trong Redis và phản hồi lại cho Envoy cho phép (OK) hoặc từ chối (OverLimit) request đó.

6. Chiến lược Giám sát và Tối ưu hóa

Cấu hình thôi là chưa đủ, vận hành một Edge Gateway trên VPS đòi hỏi khả năng giám sát liên tục. Envoy cung cấp một cổng quản trị (Admin endpoint) cực kỳ chi tiết. Bạn nên tích hợp cổng này với Prometheus và Grafana để theo dõi các chỉ số quan trọng sau:

upstream_rq_pending_overflow: Số lần request bị từ chối do vượt quá giới hạn hàng đợi của Circuit Breaker.
http.ingress_http.ratelimit.ok / over_limit: Thống kê tỷ lệ request hợp lệ và bị chặn bởi Rate Limit.
upstream_cx_active: Số lượng kết nối hiện tại đến backend, giúp đánh giá sức khỏe thực tế của dịch vụ.

7. Kết luận

Biến Envoy Proxy thành Edge API Gateway trên VPS là một giải pháp tối ưu chi phí nhưng mang lại hiệu năng ở cấp độ doanh nghiệp lớn. Bằng cách áp dụng chặt chẽ Rate Limiting động và Circuit Breaking, bạn không chỉ bảo vệ các dịch vụ nội bộ khỏi các sự cố quá tải bất ngờ mà còn tăng tính sẵn sàng và trải nghiệm mượt mà cho người dùng cuối.

Cấu hình Envoy Proxy làm Edge API Gateway: Quản lý Rate Limiting động và Circuit Breaking chuyên sâu trên VPS