SubQ: Kiến Trúc LLM Không Phải Transformer — Bước Ngoặt Quan Trọng Năm 2026

Tóm tắt nhanh

SubQ, ra mắt ngày 5/5/2026 bởi startup Subquadratic với $29M seed funding, là LLM thương mại đầu tiên KHÔNG sử dụng kiến trúc Transformer. Với độ phức tạp tính toán O(n·log·n) thay vì O(n²), model đạt context window 12 triệu tokens trong khi chi phí tăng trưởng gần tuyến tính.

Giới thiệu

Từ năm 2017 khi bài báo "Attention Is All You Need" ra đời, kiến trúc Transformer đã thống trị hoàn toàn lĩnh vực NLP và AI. GPT, BERT, Claude, Gemini — tất cả đều dựa trên cùng một nền tảng: self-attention mechanism với độ phức tạp O(n²).

Vấn đề cốt lõi của Transformer: khi context length tăng gấp đôi, chi phí tính toán tăng lên 4 lần. Đây là lý do tại sao dù các model ngày càng mạnh, việc xử lý long context vẫn cực kỳ tốn kém. Với 1M token context đã là thách thức lớn, 12M token gần như bất khả thi với Transformer.

Và rồi SubQ xuất hiện.

Subquadratic Architecture là gì?

Subquadratic ("dưới bậc hai") đề cập đến các thuật toán có độ phức tạp thấp hơn O(n²). SubQ sử dụng kiến trúc proprietary mà Subquadratic gọi là Structured State-Space with Hierarchical Attention (SSHA) — kết hợp:

1. State Space Models (SSM): Xử lý sequence data với O(n·log·n)
2. Hierarchical local attention: Attention chỉ trong các "windows" cục bộ
3. Long-range routing: Cơ chế đặc biệt để truyền thông tin qua context dài

Transformer Attention:
  Complexity: O(n²)
  1K tokens:  1,000,000 ops
  12M tokens: 144,000,000,000,000 ops  ← bất khả thi

SubQ SSHA:
  Complexity: O(n·log·n)
  1K tokens:  10,000 ops
  12M tokens: 285,600,000 ops  ← khả thi!

Sự khác biệt này có nghĩa là SubQ có thể xử lý toàn bộ codebase lớn (12M tokens ≈ khoảng 400,000 lines of code) trong một lần inference duy nhất.

Tính năng & Điểm nổi bật

Context Window 12M Token

12 triệu tokens là con số khổng lồ. Để hình dung:

• Toàn bộ Linux kernel source code: ~25M tokens → SubQ xử lý được ~50%
• Một monorepo enterprise điển hình: 2-5M tokens → SubQ handle được hoàn toàn
• Một cuốn sách dài: ~100K tokens → SubQ đọc 120 quyển cùng lúc

Đây là use case mà các Transformer-based models không thể làm được với chi phí hợp lý.

Chi phí Inference Tuyến Tính

Với O(n·log·n), chi phí của SubQ tăng gần như tuyến tính:

Context Length	Transformer Cost	SubQ Cost	Tiết kiệm
100K tokens	1x	1x	Baseline
1M tokens	100x	~14x	7x rẻ hơn
12M tokens	14,400x	~165x	87x rẻ hơn

Hiệu suất Model

SubQ được train với $29M funding — khiêm tốn hơn nhiều so với frontier labs. Theo benchmark nội bộ được Subquadratic công bố:

• Comparable performance với Llama 3.1 70B trên standard benchmarks
• Vượt trội rõ ràng trên long-context tasks (>100K tokens)
• Thua kém Claude Opus 4.7 và GPT-5.5 trên các reasoning tasks phức tạp

Đây không phải "frontier model" về chất lượng reasoning — nhưng đó không phải mục tiêu của SubQ.

Cách áp dụng thực tế

SubQ phù hợp nhất cho các bài toán long-context retrieval và analysis thay vì reasoning phức tạp:

Use case 1: Codebase-wide analysis

# Phân tích toàn bộ monorepo để tìm security vulnerabilities
from subquadratic import SubQ

client = SubQ(api_key="your-key")

# Load toàn bộ codebase (giả sử ~3M tokens)
with open("codebase_dump.txt") as f:
    full_codebase = f.read()

response = client.complete(
    context=full_codebase,  # 3M tokens - không vấn đề
    query="""Tìm tất cả các điểm trong codebase này có thể
    bị SQL injection. Liệt kê file, line number, và đề xuất fix."""
)
print(response.text)

Use case 2: Tài liệu kỹ thuật cực dài

• Phân tích toàn bộ RFC specs + implementation để tìm inconsistencies
• Cross-reference giữa nhiều documents lớn
• Legal document analysis (hàng nghìn trang)

Use case 3: Scientific paper corpus

• Tổng hợp kiến thức từ hàng trăm papers cùng lúc
• So sánh methodology giữa nhiều nghiên cứu

Ưu / Nhược điểm

Ưu điểm:

• Context window 12M token — không đối thủ hiện tại
• Chi phí tăng gần tuyến tính với context length
• Phù hợp cho enterprise use cases với large codebases
• Kiến trúc có thể scale lên 100M+ tokens trong tương lai

Nhược điểm:

• Reasoning quality thua kém Opus 4.7, GPT-5.5 đáng kể
• Mới ra mắt, ecosystem và tooling chưa trưởng thành
• Chưa có benchmarks độc lập verify các claims
• Pricing chưa cạnh tranh so với Transformer models ở short context

Khi nào NÊN dùng SubQ:

• Context >1M tokens là requirement cứng
• Long-document analysis, legal/technical document Q&A
• Codebase-wide search và refactoring

Khi nào KHÔNG nên dùng:

• Tasks cần reasoning sâu (dùng Opus 4.7)
• Short-context tasks (Transformer models rẻ hơn)
• Production critical apps chưa verified performance

Xu hướng & Tương lai

SubQ không chỉ là một model mới — nó đặt câu hỏi lớn cho toàn ngành: Transformer có thực sự là kiến trúc tối ưu cho LLM không?

Tháng 5/2026 cũng chứng kiến nhiều nghiên cứu về non-Transformer architectures:

• Mamba 2: State space model được tối ưu thêm
• RWKV 6: Linear attention approach
• Hyena: Convolutional approach cho long sequences

Nhiều khả năng trong 2-3 năm tới sẽ có "hybrid models" kết hợp Transformer cho local reasoning và subquadratic mechanisms cho long-range dependencies — tốt nhất của cả hai thế giới.

Với $29M seed funding, Subquadratic còn nhiều tài nguyên để tiếp tục nghiên cứu. Nếu họ chứng minh được architecture hoạt động ở scale lớn hơn (50B+ parameters), đây có thể là one of the most important AI papers của thập kỷ.

Kết luận

4 điểm cần nhớ về SubQ:

1. Kiến trúc không phải Transformer — dùng subquadratic complexity O(n·log·n)
2. 12M token context — toàn bộ large codebase trong một lần inference
3. 87x rẻ hơn Transformer ở 12M token context
4. Chưa phải frontier model — phù hợp long-context tasks, không thay thế Opus 4.7 cho reasoning

Nếu bạn có use case cần xử lý documents/codebases cực lớn, SubQ đáng để thử trong beta. Đây là architecture shift quan trọng nhất kể từ Transformer năm 2017.

---

Bạn đang dùng công nghệ nào trong bài? Chia sẻ kinh nghiệm trong phần bình luận!