SubQ: Kiến Trúc LLM Đột Phá Không Dùng Transformer, Context 12M Tokens

Tóm tắt nhanh: SubQ là kiến trúc LLM mới không dùng Transformer, đạt context window 12M tokens với chi phí thấp hơn 90%. Đây có thể là cuộc cách mạng lớn nhất trong AI kể từ khi Transformer ra đời năm 2017.

Giới thiệu

Kể từ khi paper "Attention Is All You Need" ra đời năm 2017, kiến trúc Transformer đã thống trị toàn bộ lĩnh vực AI ngôn ngữ. GPT, Claude, Gemini, Llama — tất cả đều xây dựng trên nền tảng Transformer với cơ chế self-attention. Nhưng vào đầu năm 2026, một nhóm nghiên cứu độc lập đã công bố điều mà nhiều người cho là không thể: một kiến trúc hoàn toàn mới, không dùng Transformer, nhưng vượt trội hơn về mọi mặt.

SubQ (Subquadratic Language Model) — cái tên nói lên tất cả. Trong khi self-attention của Transformer có độ phức tạp O(n²) theo chiều dài sequence, SubQ đạt được O(n log n) — một bước nhảy vọt cho phép xử lý context window lên đến 12 triệu tokens mà không cần phần cứng đặc biệt.

1. Vấn Đề Cốt Lõi Với Transformer

Để hiểu tại sao SubQ quan trọng, chúng ta cần hiểu hạn chế근bản của Transformer:

Quadratic Attention Complexity: Khi bạn tăng context length từ 1000 tokens lên 10000 tokens (gấp 10), chi phí tính toán của attention không tăng 10 lần mà tăng 100 lần (10²). Đây là lý do tại sao ngay cả với phần cứng tốt nhất, context window của các LLM hiện tại bị giới hạn ở 128K-200K tokens.

Memory Bottleneck: KV-cache của Transformer tăng tuyến tính với context length, nhưng cần lưu trữ cho tất cả các attention heads. Với context dài, đây trở thành bottleneck nghiêm trọng về memory.

Position Encoding Limitations: Các phương pháp position encoding hiện tại (RoPE, ALiBi) hoạt động tốt trong training range nhưng suy giảm khi extend ra ngoài.

SubQ giải quyết cả ba vấn đề này với một cách tiếp cận hoàn toàn khác.

2. Cơ Chế Hoạt Động Của SubQ

SubQ sử dụng một cơ chế gọi là Hierarchical State Compression (HSC). Thay vì tính toán attention giữa tất cả các token pairs, HSC xây dựng một cấu trúc phân cấp:

Level 0 (Token Level): Xử lý từng token riêng lẻ với local attention window nhỏ (256 tokens)

Level 1 (Chunk Level): Compress mỗi 256 tokens thành một "chunk representation" dày đặc thông qua learned compression

Level 2 (Segment Level): Compress mỗi 256 chunks thành một "segment summary"

Level N (Global Level): Duy trì global context thông qua một hierarchical tree structure

Khi cần attend đến thông tin từ xa, mô hình traverse lên cây để tìm chunk/segment phù hợp, sau đó decompress theo nhu cầu. Độ phức tạp tổng thể: O(n log n).

# Pseudocode minh họa SubQ attention
class SubQAttention:
    def forward(self, tokens):
        # Build hierarchical structure
        chunks = self.chunk_compress(tokens, chunk_size=256)
        segments = self.segment_compress(chunks, chunk_size=256)
        
        # Attend at multiple levels
        local_ctx = self.local_attention(tokens, window=256)
        chunk_ctx = self.cross_level_attention(tokens, chunks)
        segment_ctx = self.cross_level_attention(chunks, segments)
        
        # Merge contexts
        return self.context_merge(local_ctx, chunk_ctx, segment_ctx)

3. Hiệu Năng Thực Tế: Những Con Số Gây Sốc

Kết quả benchmark của SubQ so với các mô hình hàng đầu:

Metric	GPT-4o	Claude 3.7	SubQ-70B
Max Context	128K	200K	12M
Inference Cost (per 1M tokens)	$5.00	$3.00	$0.45
Latency (1M token context)	N/A	N/A	2.3s
MMLU Score	87.2%	89.1%	88.7%
Long-context Retrieval	72%	78%	94%

SubQ không phải top-1 về accuracy trên tất cả benchmark, nhưng với context window gấp 60 lần và chi phí thấp hơn 90%, đây là sự đánh đổi mà hầu hết use cases đều chấp nhận được.

4. Use Cases Được Mở Ra

Với context window 12M tokens (~9 triệu từ, tương đương ~90 cuốn sách), SubQ mở ra những use case hoàn toàn mới:

Legal Document Analysis: Xử lý toàn bộ hồ sơ vụ án hàng nghìn trang trong một query

Codebase Understanding: Đưa toàn bộ codebase của một large project vào context — không cần RAG, không cần chunking

Medical Research: Phân tích toàn bộ lịch sử y tế của bệnh nhân cùng với relevant literature

Financial Analysis: Xử lý 10 năm báo cáo tài chính và transcripts trong một context

Software Archaeology: Hiểu toàn bộ lịch sử commit và evolution của một legacy codebase

5. Roadmap và Hệ Sinh Thái

SubQ hiện đang trong giai đoạn beta với các đối tác doanh nghiệp. Kế hoạch release:

• Q2 2026: SubQ-7B open-source (đã release)
• Q3 2026: SubQ-70B API public access
• Q4 2026: SubQ-200B với multimodal support
• 2027: On-device SubQ-3B cho edge deployment

Cộng đồng open-source đang nhanh chóng adapt kiến trúc này, với nhiều variant đang được phát triển tại các lab nghiên cứu lớn.

Kết Luận

SubQ đại diện cho bước ngoặt quan trọng nhất trong lịch sử phát triển LLM kể từ Transformer. Khả năng xử lý 12 triệu tokens với chi phí gần bằng không không chỉ là cải tiến kỹ thuật — nó mở ra hoàn toàn một tầng lớp ứng dụng AI mới mà trước đây không thể thực hiện được.

Dù SubQ vẫn còn ở giai đoạn đầu, xu hướng là rõ ràng: post-Transformer era đã bắt đầu. Các developer và researcher nên theo dõi closely sự phát triển của kiến trúc này trong những tháng tới.