SubQ: Kiến Trúc LLM Không Phải Transformer Đầu Tiên Trên Thị Trường

Tóm tắt nhanh

SubQ (Subquadratic) ra mắt ngày 5/5/2026 với $29M seed funding và tuyên bố táo bạo: đây là LLM thương mại đầu tiên không dùng kiến trúc Transformer. Với context window 12 triệu token và độ phức tạp tính toán subquadratic, SubQ có thể định nghĩa lại cách chúng ta xây dựng AI.

Giới thiệu

Kể từ năm 2017 khi paper "Attention Is All You Need" ra đời, Transformer đã là kiến trúc thống trị của mọi LLM lớn — từ GPT đến Claude, từ Gemini đến LLaMA. Gần một thập kỷ, không có kiến trúc nào thực sự thách thức được vị trí đó ở quy mô thương mại.

Ngày 5 tháng 5 năm 2026, startup Subquadratic đã thay đổi điều đó. Họ ra mắt SubQ 1M-Preview — LLM thương mại đầu tiên sử dụng kiến trúc subquadratic thay vì Transformer truyền thống, với context window lên đến 12 triệu token và kèm theo $29 triệu USD seed funding.

Nếu SubQ hoạt động đúng như tuyên bố, đây không chỉ là một model mới — đây là một bước ngoặt kiến trúc của cả ngành AI.

Vấn Đề Với Transformer: Quadratic Complexity

Để hiểu tại sao SubQ quan trọng, ta cần hiểu vấn đề cơ bản của Transformer: độ phức tạp quadratic của attention mechanism.

Trong Transformer, mỗi token phải "attend" đến mọi token khác. Nếu input có N token, số phép tính cần thiết là O(N²). Điều này có nghĩa:

• 1.000 token → 1 triệu phép tính attention
• 100.000 token → 10 tỷ phép tính attention
• 1.000.000 token → 1 nghìn tỷ phép tính attention

Transformer complexity: O(N²) với N = sequence length

Ví dụ thực tế:
- GPT-4: context ~128K tokens → rất tốn kém
- Claude 3.7: context ~200K tokens → chi phí cao
- GPT-4 với 1M context: về mặt lý thuyết khả thi nhưng chi phí prohibitive

Đây là lý do tại sao dù các model ngày càng mạnh, chi phí inference vẫn cao và latency vẫn là vấn đề.

SubQ Giải Quyết Bằng Cách Nào?

Subquadratic architecture giảm độ phức tạp từ O(N²) xuống O(N log N) hoặc thậm chí O(N). Điều này đạt được thông qua các kỹ thuật như:

State Space Models (SSMs): Thay vì tính attention giữa mọi cặp token, SSMs dùng state transitions để truyền thông tin theo chiều tuyến tính.

Linear Attention Variants: Xấp xỉ full attention với kernel functions, giảm từ O(N²) xuống O(N).

Structured State Spaces: Kết hợp SSMs với cấu trúc toán học đặc biệt cho phép long-range dependencies hiệu quả hơn.

# So sánh tượng trưng về memory footprint
import numpy as np

N = 1_000_000  # 1 triệu tokens

# Transformer attention matrix
transformer_memory = N * N * 4  # float32
print(f"Transformer: {transformer_memory / 1e12:.1f} TB")
# Output: Transformer: 4000.0 TB -- không khả thi!

# SubQ (linear complexity)
subq_memory = N * 512 * 4  # hidden_dim = 512
print(f"SubQ: {subq_memory / 1e9:.1f} GB")
# Output: SubQ: 2.0 GB -- hoàn toàn khả thi!

Context Window 12 Triệu Token — Ý Nghĩa Thực Tế

12 triệu token là con số khổng lồ. Để có cảm giác về quy mô:

Nội dung	Token ước tính
Một email bình thường	~200 tokens
Một file code (500 dòng)	~3.000 tokens
Cuốn sách trung bình	~100.000 tokens
Toàn bộ Shakespeare	~900.000 tokens
Codebase medium-size project	~2-5 triệu tokens
SubQ context window	12 triệu tokens

Điều này có nghĩa là với SubQ, bạn có thể:

• Load toàn bộ codebase của một project vừa vào context
• Phân tích toàn bộ document corpus của công ty trong một query
• Long-running conversations không cần summary/truncation
• Multi-document analysis mà không cần RAG phức tạp

Tình Trạng Hiện Tại và Giới Hạn

Cần thành thật: SubQ 1M-Preview vẫn là preview — không phải production-ready.

Những gì đã xác nhận:

• Kiến trúc non-transformer hoạt động ở commercial scale
• Context 12M token technically achievable
• Throughput tốt hơn Transformer ở sequences dài

Những gì chưa rõ:

• Benchmark chất lượng đầy đủ so với frontier models
• Hiệu năng trên reasoning tasks phức tạp
• Khả năng fine-tuning và instruction following
• Production reliability

Tháng 5/2026, cộng đồng AI đang theo dõi chặt chẽ. SubQ đã mở waitlist API.

Tác Động Với Developer Việt Nam

Nếu SubQ thực sự deliver được những gì đã hứa, developer Việt Nam sẽ được hưởng lợi trực tiếp:

1. Chi phí inference giảm mạnh: Complexity thấp hơn → inference rẻ hơn → AI tools affordable hơn

2. Long-context applications mới: Có thể build các ứng dụng cần xử lý tài liệu lớn mà trước đây không khả thi

3. RAG đơn giản hơn: Với 12M context, nhiều use case không cần RAG phức tạp nữa

# Use case mới với SubQ: Phân tích toàn bộ legal document corpus
import subq  # Giả định API

client = subq.Client(api_key="your_key")

# Load toàn bộ hợp đồng công ty (vài nghìn trang)
with open("all_contracts.txt") as f:
    all_contracts = f.read()  # ~5 triệu tokens

response = client.complete(
    context=all_contracts,
    query="Tìm tất cả điều khoản phạt vi phạm và tổng hợp thành bảng"
)

Xu Hướng và Tương Lai

SubQ không đơn độc. Trong cộng đồng AI research, đã có nhiều nỗ lực tương tự:

• Mamba (2023): SSM-based, đã cho thấy promising results
• RWKV: RNN-based, đạt performance tương đương Transformer
• Hyena: Subquadratic convolutions thay attention

SubQ là sản phẩm thương mại hóa đầu tiên của xu hướng này. Thành công hay thất bại của họ sẽ quyết định tốc độ adoption của kiến trúc post-Transformer.

Dự báo: Nếu SubQ chứng minh được hiệu năng cạnh tranh qua các benchmark độc lập trong Q3/2026, sẽ có làn sóng các startup và BigTech đầu tư vào kiến trúc subquadratic.

Kết Luận

1. Transformer không phải vĩnh cửu — SubQ chứng minh có thể xây dựng LLM với kiến trúc khác
2. Quadratic complexity là nút thắt cổ chai đang được giải quyết
3. 12M context window mở ra class of applications hoàn toàn mới
4. Vẫn còn sớm — theo dõi SubQ nhưng chưa nên đặt cược production vào nó
5. Post-Transformer era đang đến — bắt đầu theo dõi SSMs, linear attention research

---

Bạn đang dùng công nghệ nào trong bài? Chia sẻ kinh nghiệm trong phần bình luận!