Thiết Kế Kiến Trúc Tìm Kiếm Vector Hybrid Khả Chịu Lỗi Với Qdrant và Go

Giới thiệu

Khi các doanh nghiệp nhanh chóng áp dụng Retrieval-Augmented Generation (RAG) và các hệ thống tìm kiếm ngữ nghĩa (semantic search), phương pháp truy xuất bằng vector trù mật (dense vector retrieval) thuần túy đã bộc lộ những hạn chế trong vận hành thực tế. Mặc dù dense embedding nắm bắt ngữ nghĩa cực kỳ hiệu quả, chúng thường thất bại khi khớp chính xác mã định danh sản phẩm (product ID), số sê-ri, thuật ngữ chuyên ngành hoặc các từ khóa ngắn.

Để khỏa lấp khoảng trống này, các kiến trúc tìm kiếm hiện đại áp dụng Tìm kiếm Hybrid (Hybrid Search) — sự kết hợp giữa tìm kiếm vector trù mật (dense vector - phục vụ ngữ nghĩa sâu) và tìm kiếm vector thưa thớt (sparse vector - phục vụ so khớp từ vựng chính xác, tương tự như thuật toán BM25). Bài viết này sẽ hướng dẫn cách thiết kế một dịch vụ tìm kiếm hybrid cấp doanh nghiệp, có khả năng chịu lỗi cao bằng cách sử dụng Go và Qdrant, tận dụng khả năng xử lý ma trận sparse-dense tích hợp sẵn của Qdrant để đạt độ trễ truy xuất dưới một mili giây.

Lợi ích cốt lõi

Việc triển khai kiến trúc tìm kiếm hybrid mang lại những giá trị chiến lược cho hệ thống enterprise:

Tối ưu hóa độ chính xác (Precision & Recall): Sự kết hợp hoàn hảo giữa khả năng hiểu ngữ cảnh phong phú của dense vector và khả năng khớp chính xác từ khóa tuyệt đối của sparse vector.
Hiệu năng vượt trội dưới mili giây: Sử dụng ngôn ngữ Go với cơ chế concurrency tối ưu giúp xử lý đồng thời luồng sinh vector, giảm thiểu tối đa độ trễ thắt nút cổ chai (bottleneck).
Khả năng chịu lỗi và tính linh hoạt (Resilience): Thiết kế tách biệt giữa quá trình sinh vector (embedding generation) và lưu trữ dữ liệu, cho phép hệ thống tự phục hồi khi các API bên thứ ba gặp sự cố.
Tiết kiệm tài nguyên lưu trữ: Tối ưu hóa cấu trúc index trong Qdrant bằng cách kết hợp HNSW và Inverted Index trên cùng một node.

Kiến trúc & Thiết kế hệ thống

Một pipeline tìm kiếm hybrid có khả năng chịu lỗi cao sẽ xử lý truy vấn của người dùng qua hai lộ trình song song trước khi tổng hợp và xếp hạng kết quả:

┌───────────────────┐
                  │ Truy vấn Người dùng │
                  └─────────┬─────────┘
                            │
              ┌─────────────┴─────────────┐
              ▼                           ▼
   ┌────────────────────┐      ┌────────────────────┐
   │ Dense Encoder API  │      │ Sparse Tokenizer   │
   │ (VD: Cohere/BGE)   │      │ (VD: BM25/SPLADE)  │
   └──────────┬─────────┘      └──────────┬─────────┘
              ▼                           ▼
     Dense Vector [1x1536]       Sparse Vector [1xV]
              │                           │
              └─────────────┬─────────────┘
                            ▼
               ┌─────────────────────────┐
               │ Truy vấn Hybrid Qdrant  │
               │ (HNSW + Inverted Index) │
               └────────────┬────────────┘
                            ▼
               ┌─────────────────────────┐
               │   Xếp hạng lại bằng     │
               │  Reciprocal Rank Fusion │
               └────────────┬────────────┘
                            ▼
                  ┌───────────────────┐
                  │ Tài liệu đã xếp hạng│
                  └───────────────────┘

1. Client Layer

Nhận yêu cầu tìm kiếm từ phía người dùng qua giao thức gRPC hoặc HTTP RESTful API. Lớp này chịu trách nhiệm chuẩn hóa dữ liệu đầu vào và quản lý vòng đời của request.

2. Gateway Layer

Thực hiện phân luồng xử lý song song thông qua Goroutines của Go. Gateway sẽ đồng thời gửi request tới hai dịch vụ:

Dense Embedding Service: Chuyển đổi văn bản thành vector biểu diễn ngữ nghĩa dạng số thực (floating-point array, ví dụ 1536 chiều).
Sparse Vector Service: Thực hiện token hóa và gán trọng số (indices và weights) cho các từ khóa để nắm bắt đặc trưng từ vựng.

3. Storage Layer

Nhận đồng thời cả hai loại vector trong một lệnh gọi duy nhất đến Qdrant. Qdrant thực hiện tra cứu kép trên cấu trúc index HNSW (cho dense vector) và Inverted Index (cho sparse vector), sau đó áp dụng thuật toán Reciprocal Rank Fusion (RRF) để chấm điểm và trả về tập kết quả tối ưu nhất.

Quy trình triển khai kỹ thuật

Để xây dựng pipeline này, chúng ta sẽ sử dụng thư viện client Qdrant chính thức cho Go. Bản triển khai dưới đây nhấn mạnh vào việc sinh vector song song thông qua Goroutines và các mô hình xử lý lỗi nghiêm ngặt trong môi trường sản xuất.

package search

import (
    "context"
    "fmt"
    "sync"
    time "time"

pb "github.com/qdrant/go-client/qdrant"
"google.golang.org/grpc"
"google.golang.org/grpc/credentials/insecure"

)

type HybridSearchService struct { qdrantClient pb.PointsClient collection string }

type SearchResult struct { ID string Score float32 Payload map[string]interface{} }

func NewHybridSearchService(qdrantAddr, collection string) (*HybridSearchService, error) { conn, err := grpc.Dial(qdrantAddr, grpc.WithTransportCredentials(insecure.NewCredentials())) if err != nil { return nil, fmt.Errorf("failed to connect to Qdrant: %w", err) } return &HybridSearchService{ qdrantClient: pb.NewPointsClient(conn), collection: collection, }, nil }

// ExecuteSearch truy xuất và hợp nhất sparse và dense vector đồng thời func (s HybridSearchService) ExecuteSearch(ctx context.Context, query string, limit uint64) ([]SearchResult, error) { ctx, cancel := context.WithTimeout(ctx, 800time.Millisecond) defer cancel()

var denseVector []float32
var sparseIndices []uint32
var sparseValues []float32
var gErr error
var wg sync.WaitGroup

wg.Add(2)
go func() {
    defer wg.Done()
    // Giả lập sinh dense vector (ví dụ: 1536 chiều)
    denseVector = make([]float32, 1536)
    denseVector[0] = 0.123 // Biểu diễn embedding thực tế
}()

go func() {
    defer wg.Done()
    // Giả lập sparse tokenization (ví dụ: SPLADE indices và weights)
    sparseIndices = []uint32{1024, 50257}
    sparseValues = []float32{0.85, 1.22}
}()

wg.Wait()
if gErr != nil {
    return nil, fmt.Errorf("vector generation failed: %w", gErr)
}

// Thực thi truy vấn hybrid search trên Qdrant
resp, err := s.qdrantClient.Search(ctx, &pb.SearchPoints{
    CollectionName: s.collection,
    Vector:         denseVector,
    Limit:          uint32(limit),
    WithPayload:    &pb.WithPayloadSelector{SelectorOptions: &pb.WithPayloadSelector_Enable{Enable: true}},
    Params: &pb.SearchParams{
        Quantization: &pb.QuantizationSearchParams{
            Ignore: false,
        },
    },
})
if err != nil {
    return nil, fmt.Errorf("qdrant search execution failed: %w", err)
}

results := make([]SearchResult, len(resp.Result))
for i, point := range resp.Result {
    results[i] = SearchResult{
        ID:    point.Id.GetUuid(),
        Score: point.Score,
    }
}

return results, nil

}

Cảnh báo Kiến trúc: Khi thực thi các tác vụ gọi API bên ngoài một cách song song trong Goroutines, luôn luôn truyền một context có giới hạn thời gian (bounded context) với deadline nghiêm ngặt. Điều này giúp ngăn ngừa rò rỉ goroutine (goroutine leak) nếu các máy chủ sinh embedding phía hạ nguồn bị quá tải hoặc phản hồi chậm.

Khuyến nghị bảo mật

Triển khai tìm kiếm vector trong môi trường doanh nghiệp đòi hỏi phải giảm thiểu các rủi ro bảo mật đặc thù sau:

Bảo mật lớp truyền tải (mTLS): Bắt buộc áp dụng mTLS giữa các microservices viết bằng Go và Qdrant cluster nhằm ngăn chặn hành vi giả mạo vector hoặc nghe lén dữ liệu (man-in-the-middle).
Kiểm soát truy cập dựa trên vai trò (RBAC): Sử dụng các API key chỉ có quyền đọc (read-only) cho các tác vụ truy vấn thông thường, và các key có quyền đọc-ghi (read-write) giới hạn nghiêm ngặt cho quá trình ghi nhận/đánh chỉ mục (batch-ingestion/indexing).
Cô lập dữ liệu Payload (Payload Isolation): Nếu lưu trữ các tài liệu nhạy cảm của doanh nghiệp bên trong payload của Qdrant, hãy giới hạn các trường trả về của payload ở mức tối thiểu chỉ chứa định danh không nhạy cảm (ví dụ: document_uuid). Sau đó, tiến hành truy xuất dữ liệu thực tế từ Database chính được bảo mật sau khi hoàn tất tìm kiếm.
Giám sát toàn diện với OpenTelemetry: Đóng gói các lời gọi tìm kiếm của client bằng OpenTelemetry spans để theo dõi sát sao độ trễ của quá trình indexing, sinh embedding, và phản hồi của từng node Qdrant, giúp phát hiện sớm các hiện tượng suy giảm hiệu năng hệ thống.

Kết luận

Tìm kiếm hybrid vượt trội hơn tìm kiếm đơn thức (single-mode search) nhờ kết hợp linh hoạt khả năng xử lý ngữ nghĩa của mạng nơ-ron (dense vector) với độ chính xác tuyệt đối theo từ khóa của sparse vector.
Mô hình bất đồng bộ của Go (concurrency models) cực kỳ phù hợp để thực thi song song các lời gọi mạng tới các điểm cuối sinh embedding khác nhau, giúp giảm thiểu đáng kể chi phí thời gian của pipeline truy vấn.
Kiến trúc cô lập hóa thiết kế giữa vector index và Database chứa payload đầy đủ đảm bảo ứng dụng AI của bạn mở rộng quy mô một cách an toàn mà không làm lộ tài sản trí tuệ nhạy cảm ra các lớp lưu trữ của công cụ tìm kiếm.