Cloudflare AI: Chạy LLM Trên Edge Infrastructure và Tương Lai Của AI Phân Tán

Tóm tắt nhanh

Cloudflare đã đầu tư mạnh vào infrastructure chạy LLM trên edge network toàn cầu. Workers AI cho phép deploy AI models chỉ với vài dòng code, latency dưới 50ms ở bất kỳ đâu trên thế giới.

Giới thiệu

Khi mọi người nói về AI infrastructure, họ thường nghĩ đến AWS, Google Cloud, hay Azure. Nhưng trong năm 2026, một tên tuổi khác đang xuất hiện ngày càng nhiều trong các conversation về AI hosting: Cloudflare.

Từ một CDN và DDoS protection service, Cloudflare đã trở thành một đối thủ đáng kể trong thị trường AI infrastructure. InfoQ đưa tin tháng 5/2026: Cloudflare đã xây dựng high-performance infrastructure đặc biệt cho việc chạy LLMs, với các GPU data centers rải rác qua 330+ định điểm trên toàn cầu.

Tại sao điều này quan trọng? Vì latency là vấn đề số 1 của AI inference — và Cloudflare đang giải quyết nó bằng cách đưa AI đến gần người dùng hơn bao giờ hết.

Vấn Đề Latency Trong AI: Tại Sao Edge Quan Trọng

Hiện tại, khi bạn gọi OpenAI API từ Việt Nam:

Bạn (Hà Nội) → Request → OpenAI Server (US) → AI Inference → Response
   Latency: ~100-300ms network + ~500ms-2s inference = 600ms - 2.3s

So sánh với Cloudflare AI (edge node Singapore):
Bạn (Hà Nội) → Request → CF Singapore → AI Inference → Response
   Latency: ~20ms network + ~50ms inference = ~70ms

Đối với real-time applications — chatbots, voice AI, interactive tools — sự khác biệt này là huge. User cảm nhận AI “nhanh" hay “chậm" thường quyết định mức độ hài lòng của họ.

Cloudflare Workers AI: API Đơn Giản, Hiệu Năng Cao

// Worker AI - chỉ vài dòng code
export default {
  async fetch(request, env) {
    const { prompt } = await request.json();
    
    const response = await env.AI.run(
      '@cf/meta/llama-3.1-8b-instruct',
      {
        messages: [
          { role: 'system', content: 'Bạn là trợ lý hữu ích, trả lời bằng tiếng Việt.' },
          { role: 'user', content: prompt }
        ],
        stream: true  // Streaming support!
      }
    );
    
    return new Response(response, {
      headers: { 'content-type': 'text/event-stream' }
    });
  }
};

# Deploy lên Cloudflare Workers
npx wrangler deploy

# Test ngay lập tức
curl -X POST https://your-worker.workers.dev \
  -H 'Content-Type: application/json' \
  -d '{"prompt": "Tóm tắt về Cloudflare AI cho tôi"}'

Các Model Cloudflare Hỗ Trợ

Cloudflare Workers AI cung cấp catalog các model ready-to-use:

Text Generation:
  @cf/meta/llama-3.3-70b-instruct-fp8-fast  (mạnh nhất)
  @cf/meta/llama-3.1-8b-instruct            (nhanh, tiết kiệm)
  @cf/mistral/mistral-7b-instruct-v0.2
  @cf/qwen/qwen1.5-14b-chat-awq             (tiếng Việt!)

Text Embeddings:
  @cf/baai/bge-base-en-v1.5
  @cf/baai/bge-large-en-v1.5
  @cf/baai/bge-m3  (multilingual!)

Image Generation:
  @cf/stabilityai/stable-diffusion-xl-base-1.0
  @cf/bytedance/stable-diffusion-xl-lightning

Speech to Text:
  @cf/openai/whisper-large-v3-turbo

Translation:
  @cf/meta/m2m100-1.2b  (hỗ trợ 100 ngôn ngữ, có tiếng Việt)

Build Real-time AI Chat App Trên Edge

// wrangler.toml
name = "ai-chat-app"
main = "src/index.js"
compatibility_date = "2026-01-01"

[ai]
binding = "AI"

[[kv_namespaces]]
binding = "CHAT_HISTORY"
id = "your-kv-namespace-id"

// src/index.js - Full chat app với history
export default {
  async fetch(request, env) {
    const url = new URL(request.url);
    
    if (url.pathname === '/chat') {
      const { message, sessionId } = await request.json();
      
      // Lấy lịch sử chat từ KV
      const historyKey = `chat:${sessionId}`;
      const rawHistory = await env.CHAT_HISTORY.get(historyKey);
      const history = rawHistory ? JSON.parse(rawHistory) : [];
      
      // Thêm message mới
      history.push({ role: 'user', content: message });
      
      // Giới hạn history để tiết kiệm context
      const recentHistory = history.slice(-10);
      
      // Gọi AI
      const aiResponse = await env.AI.run(
        '@cf/meta/llama-3.1-8b-instruct',
        {
          messages: [
            { role: 'system', content: 'Bạn là chatbot hữu ích.' },
            ...recentHistory
          ]
        }
      );
      
      const assistantMessage = aiResponse.response;
      history.push({ role: 'assistant', content: assistantMessage });
      
      // Lưu lại history
      await env.CHAT_HISTORY.put(historyKey, JSON.stringify(history), {
        expirationTtl: 86400  // 24h
      });
      
      return Response.json({ response: assistantMessage });
    }
    
    return new Response('Not found', { status: 404 });
  }
};

Cloudflare AI Gateway: Monitor và Cache AI Calls

Một tính năng Cloudflare hắu ích khác: AI Gateway — proxy nằm giữa app của bạn và bất kỳ AI provider nào:

// Dùng AI Gateway để proxy OpenAI calls
import OpenAI from 'openai';

const client = new OpenAI({
  apiKey: process.env.OPENAI_API_KEY,
  // Thay base URL bằng AI Gateway
  baseURL: 'https://gateway.ai.cloudflare.com/v1/ACCOUNT_ID/GATEWAY_NAME/openai'
});

// Từ đây, tất cả calls đi qua Cloudflare:
// - Cache responses (giảm cost)
// - Rate limiting (bảo vệ khỏi cost spike)
// - Analytics (xem usage, latency, errors)
// - Fallback (nếu OpenAI down, tự động fallback sang Anthropic)

Lợi ích chính của AI Gateway:

• Caching: Identical requests chỉ gọi AI một lần, sau đó return cached response
• Analytics: Track cost, latency, error rate của từng model
• Multi-provider fallback: Tự động chuyển sang provider khác nếu có sự cố
• Rate limiting: Ngăn cost đột biến do bug hoặc abuse

Ưu và Nhược Điểm

Ưu điểm:

• Latency thấp nhất cho user Việt Nam (node Singapore gần)
• Giá cạnh tranh: free tier generous, sau đó $0.011/1K neurons
• Tích hợp mạnh với Workers, KV, D1, R2
• AI Gateway miễn phí cho 10K requests/ngày
• Global edge network 330+ locations

Nhược điểm:

• Model catalog nhỏ hơn AWS Bedrock hay Azure AI
• Không có fine-tuning (hiện tại)
• Giới hạn về compute cho các task rất lớn
• Cold start vẫn có thể xảy ra dù ít hơn Lambda

Kết Luận

1. Edge AI là tương lai — latency thấp cải thiện user experience đáng kể
2. Cloudflare Workers AI là điểm vào tốt nhất cho edge AI ở Việt Nam
3. AI Gateway nên là standard cho bất kỳ production AI app nào
4. Bắt đầu với free tier — free 10K requests/ngày đủ chạy thử
5. Kết hợp với R2 và KV cho full-stack edge AI app

---

Bạn đang dùng công nghệ nào trong bài? Chia sẻ kinh nghiệm trong phần bình luận!