Giới thiệu về bài toán lưu trữ trong Docker Swarm

Trong kỷ nguyên điện toán đám mây, việc quản lý và vận hành các ứng dụng dưới dạng container đã trở thành tiêu chuẩn của ngành công nghiệp phần mềm. Đối với các doanh nghiệp vừa và nhỏ (SMEs), Docker Swarm luôn là một sự lựa chọn hàng đầu nhờ vào sự đơn giản, nhẹ nhàng và dễ dàng triển khai hơn so với sự phức tạp của Kubernetes. Tuy nhiên, một trong những thách thức lớn nhất khi vận hành Docker Swarm trong môi trường sản xuất (production) chính là quản lý dữ liệu vĩnh viễn (Persistent Storage).

Khi một container di chuyển giữa các node trong cụm Swarm, dữ liệu của nó cần phải khả dụng ở bất kỳ nơi nào container đó được khởi chạy. Các giải pháp lưu trữ chia sẻ truyền thống như NFS (Network File System) thường gặp hạn chế về hiệu năng hoặc trở thành điểm lỗi duy nhất (Single Point of Failure - SPOF). Trong khi đó, các hệ thống lưu trữ phân tán chuyên dụng như GlusterFS hay Ceph lại đòi hỏi cấu hình phần cứng phức tạp và chi phí vận hành quá cao. Chính vì vậy, việc tìm kiếm một giải pháp vừa đảm bảo tính toàn vẹn dữ liệu, vừa tối ưu chi phí là mục tiêu cốt lõi của các kỹ sư hệ thống.

Giải pháp đột phá: Sự kết hợp giữa JuiceFS và Backblaze B2

Để giải quyết triệt để bài toán trên một cách kinh tế nhất, chúng ta có thể kết hợp hai công nghệ tiên tiến: JuiceFS và Backblaze B2.

JuiceFS là gì?

JuiceFS là một hệ thống tệp tin mã nguồn mở, hiệu năng cao, được thiết kế đặc biệt cho các môi trường đám mây và container. Kiến trúc của JuiceFS rất độc đáo khi tách biệt phần dữ liệu (data) và siêu dữ liệu (metadata):

Metadata: Được lưu trữ trong các cơ sở dữ liệu có sẵn như Redis, PostgreSQL, MySQL hoặc TiKV, giúp đảm bảo tốc độ phản hồi cực nhanh (độ trễ mức mili-giây).
Data: Được chia nhỏ thành các block và lưu trữ trực tiếp trên các dịch vụ Object Storage (như AWS S3, Google Cloud Storage, hoặc Backblaze B2).

Nhờ cơ chế này, JuiceFS mang lại giao diện POSIX đầy đủ, cho phép gắn kết (mount) vào hệ thống như một ổ đĩa thông thường với dung lượng không giới hạn và khả năng chia sẻ đồng thời giữa nhiều node.

Tại sao lại chọn Backblaze B2?

Khi nhắc đến Object Storage, AWS S3 thường là cái tên đầu tiên được nghĩ đến. Tuy nhiên, chi phí lưu trữ và đặc biệt là chi phí tải dữ liệu ra ngoài (egress fee) của AWS rất đắt đỏ. Backblaze B2 nổi lên như một giải pháp thay thế hoàn hảo với mức giá chỉ bằng 1/4 so với AWS S3, tính khả dụng cao và băng thông ổn định. Sự kết hợp giữa JuiceFS và Backblaze B2 tạo nên một hệ sinh thái lưu trữ "ngon - bổ - rẻ" đúng nghĩa cho Docker Swarm.

Kiến trúc hệ thống Persistent Volume với JuiceFS

Mô hình triển khai của chúng ta sẽ bao gồm các thành phần sau hoạt động nhịp nhàng với nhau:

Docker Swarm Cluster: Gồm ít nhất 1 Manager Node và các Worker Node.
JuiceFS Metadata Engine: Một thực thể Redis (có thể tự host hoặc dùng dịch vụ đám mây) để quản lý cấu trúc thư mục, quyền truy cập và siêu dữ liệu.
JuiceFS Data Storage: Một Bucket trên Backblaze B2 để lưu trữ các khối dữ liệu thực tế.
JuiceFS Client: Được cài đặt trên tất cả các Node trong cụm Docker Swarm để mount thư mục lưu trữ chung từ JuiceFS.

Lưu ý: Để đảm bảo an toàn dữ liệu cao nhất, bạn nên cấu hình sao lưu định kỳ cho cơ sở dữ liệu metadata của JuiceFS, vì nếu mất metadata, toàn bộ dữ liệu trên Object Storage sẽ trở nên vô nghĩa.

Hướng dẫn triển khai chi tiết từng bước

Bước 1: Chuẩn bị tài khoản Backblaze B2 và cơ sở dữ liệu Metadata

Đầu tiên, bạn cần truy cập vào trang quản trị Backblaze, tạo một Bucket mới (ví dụ: docker-swarm-juicefs). Sau đó, hãy tạo một cặp Application Key (bao gồm keyID và applicationKey) có quyền đọc/ghi vào bucket này.

Tiếp theo, chuẩn bị một instance Redis làm Metadata Engine. Nếu quy mô nhỏ, bạn có thể chạy một container Redis độc lập, nhưng đối với production, hãy cân nhắc sử dụng Redis Sentinel hoặc Redis Cluster để đảm bảo tính sẵn sàng cao.

Bước 2: Cài đặt JuiceFS trên các Node trong cụm Docker Swarm

Tải xuống và cài đặt JuiceFS client trên toàn bộ các node của cụm Swarm bằng lệnh sau:

curl -sSL [https://juicefs.com/static/juicefs-check-by-curl.sh](https://juicefs.com/static/juicefs-check-by-curl.sh) | sh
sudo install juicefs /usr/local/bin

Bước 3: Khởi tạo File System JuiceFS

Tại node chính (Manager Node), chạy lệnh khởi tạo hệ thống tệp tin JuiceFS với các thông tin đã chuẩn bị từ Backblaze B2 và Redis:

juicefs format \
  --storage b2 \
  --bucket [https://f000.backblazeb2.com](https://f000.backblazeb2.com) \
  --access-key  \
  --secret-key  \
  redis://:@:6379/1 \
  swarm-volume

Nếu lệnh chạy thành công, bạn đã tạo ra một file system tên là swarm-volume sẵn sàng để sử dụng.

Bước 4: Mount JuiceFS trên tất cả các Node

Trên mỗi node trong cụm Docker Swarm, tạo một thư mục đích và tiến hành mount file system:

sudo mkdir -p /mnt/juicefs-swarm
sudo juicefs mount -d redis://:@:6379/1 /mnt/juicefs-swarm

Tham số -d giúp JuiceFS chạy dưới dạng daemon trong nền hệ thống. Lúc này, bất kỳ tệp tin nào được ghi vào thư mục /mnt/juicefs-swarm ở Node A sẽ lập tức xuất hiện ở Node B nhờ vào cơ chế đồng bộ siêu dữ liệu qua Redis và lưu trữ tại Backblaze B2.

Cấu hình Docker Swarm sử dụng JuiceFS làm Persistent Volume

Bây giờ hệ thống lưu trữ đã sẵn sàng, chúng ta có thể cấu hình các Docker Service sử dụng thư mục đã mount làm volume lưu trữ dữ liệu vĩnh viễn.

Dưới đây là một ví dụ về tệp docker-compose.yml để triển khai dịch vụ WordPress có tính năng chia sẻ mã nguồn và tệp tải lên giữa các node:

version: '3.8'

services:
  wordpress:
    image: wordpress:latest
    ports:
      - "8080:80"
    volumes:
      - /mnt/juicefs-swarm/wordpress_data:/var/www/html
    deploy:
      replicas: 3
      update_config:
        parallelism: 1
        delay: 10s
      restart_policy:
        condition: on-failure

Trong cấu hình trên, chúng ta sử dụng cơ chế Bind Mount để gắn thư mục /mnt/juicefs-swarm/wordpress_data vào trong container. Khi triển khai với 3 replicas, Docker Swarm có thể phân bổ các replica này lên 3 node khác nhau, nhưng tất cả đều đọc/ghi chung vào một thư mục nguồn trên JuiceFS mà không gặp xung đột nhờ vào cơ chế khóa (locking) chuẩn POSIX của JuiceFS.

Đánh giá hiệu năng và bài toán chi phí

Về hiệu năng

Qua các bài kiểm tra thực tế, nhờ vào việc sử dụng Redis làm bộ đệm siêu dữ liệu và cơ chế Smart Caching (lưu bộ nhớ đệm dữ liệu trên ổ cứng local của node), JuiceFS cho tốc độ đọc tuần tự và ngẫu nhiên cực tốt, gần như tương đương với ổ cứng local sau khi dữ liệu đã được cache. Độ trễ ghi sẽ phụ thuộc vào đường truyền internet từ node của bạn đến datacenter của Backblaze B2, tuy nhiên đối với đa số ứng dụng web thông thường, sự khác biệt là không đáng kể.

Về chi phí

Hãy làm một bài toán so sánh nhỏ khi bạn cần lưu trữ 1TB dữ liệu vĩnh viễn:

AWS EFS (Elastic File System): Khoảng $300/tháng.
Managed Ceph/GlusterFS: Chi phí vận hành tối thiểu 3 node lưu trữ riêng biệt, tốn từ $60 - $100/tháng chưa tính công quản trị.
JuiceFS + Backblaze B2: Chi phí lưu trữ 1TB tại Backblaze B2 là $6/tháng. Chi phí cho một instance Cloud Redis nhỏ khoảng $5/tháng. Tổng chi phí chưa đến $12/tháng!

Đây rõ ràng là một con số tiết kiệm ấn tượng, giúp giảm thiểu tối đa chi phí hạ tầng cho doanh nghiệp.

Kết luận

Việc kết hợp JuiceFS và Backblaze B2 để làm Persistent Volume cho Docker Swarm là một giải pháp kiến trúc xuất sắc, giải quyết triệt để bài toán lưu trữ chia sẻ với chi phí cực kỳ tối ưu. Giải pháp này không chỉ mang lại độ tin cậy cao, khả năng mở rộng không giới hạn mà còn giúp các kỹ sư hệ thống dễ dàng quản trị mà không cần đến những hệ thống lưu trữ phân tán quá phức tạp. Hãy áp dụng ngay vào hạ tầng của bạn để tối ưu hóa chi phí vận hành ngay hôm nay!

Triển khai JuiceFS kết hợp Backblaze B2 làm Persistent Volume lưu trữ vĩnh viễn cho cụm Docker Swarm giá rẻ