Tensor Cores, Triton, mạng phần dư và Vision Transformer
Từ năm 2015 đến nay, học sâu đã phát triển từ mã GPU C++ được tinh chỉnh thủ công và các mạng tích chập thành các bộ máy ma trận được tăng tốc bằng phần cứng và kiến trúc Transformer. Ba cột mốc này định hình cách các mô hình AI hiện đại được thiết kế và mở rộng quy mô.
1. Sự phát triển của CUDA hiện đại: Tensor Cores và OpenAI Triton
Năm 2012, Alex Krizhevsky viết CUDA C++ cấp thấp (cuda-convnet) để tính từng phép toán dấu phẩy động trên các lõi CUDA tiêu chuẩn. Ngày nay, học sâu dựa vào phần cứng ma trận chuyên dụng và các trình biên dịch cấp cao.
- Từ lõi CUDA đến Tensor Cores. Các lõi CUDA truyền thống thực hiện một phép nhân và cộng vô hướng trong mỗi chu kỳ xung nhịp. Bắt đầu từ kiến trúc Volta (2017), NVIDIA giới thiệu Tensor Cores, nhân toàn bộ các ma trận nhỏ (như khối 4×4 hoặc 16×16) trong một chu kỳ xung nhịp duy nhất. Tensor Cores hiện đại dùng các định dạng độ chính xác hỗn hợp như FP16, BF16 và FP8, mang lại mức tăng tốc hàng bậc độ lớn cho phép nhân ma trận.
- cuDNN và lựa chọn kernel tự động. Thay vì để các nhà nghiên cứu viết các phép tích chập C++ tùy chỉnh, thư viện cuDNN của NVIDIA hiện chứa hàng trăm kernel hợp ngữ được biên dịch sẵn. Khi chạy, các framework như PyTorch đo hiệu năng những thuật toán khác nhau cho đúng hình dạng tensor của bạn và tự động chọn thủ tục Tensor Core nhanh nhất.
- OpenAI Triton (lập trình GPU bằng Python). Viết CUDA C++ thuần đòi hỏi phải quản lý thủ công việc đánh chỉ số luồng, xung đột bank bộ nhớ dùng chung và đồng bộ warp. Được OpenAI phát hành, Triton cho phép các nhà nghiên cứu viết kernel GPU hiệu năng cao trực tiếp bằng Python. Bạn định nghĩa các phép toán ở cấp khối (các ô dữ liệu), còn trình biên dịch Triton tự động xử lý việc gộp truy cập bộ nhớ, chia ô bộ nhớ dùng chung và lập lịch Tensor Core, thường đạt ngang hoặc vượt CUDA C++ được tinh chỉnh thủ công.
2. Kết nối tắt của ResNet và luồng lan truyền ngược
Trước ResNet (2015), việc xếp chồng hơn ~20 lớp tích chập khiến lỗi huấn luyện tăng vọt. Khi gradient truyền ngược qua hàng chục bước nhân, chúng co về không (triệt tiêu gradient) hoặc trở nên không ổn định.
- Học phần dư thay vì đầu ra trực tiếp. Trong một khối mạng tiêu chuẩn, các lớp xếp chồng cố học ánh xạ trực tiếp H(x) từ đầu vào x. ResNet đưa vào một kết nối tắt (đường tắt đồng nhất), cộng thẳng đầu vào gốc x vào đầu ra của khối:
y=F(x)+x
Ở đây, F(x) biểu thị các lớp tích chập xếp chồng. Thay vì xây dựng lại toàn bộ biểu diễn từ đầu, các lớp chỉ cần học phần dư (điều chỉnh nhỏ F(x) = y - x). Nếu một lớp không cần thiết, mạng có thể dễ dàng đẩy F(x) về không, để lại một đường truyền đồng nhất thông suốt.
- Đường cao tốc gradient không gián đoạn. Trong quá trình lan truyền ngược, quy tắc dây chuyền tính gradient của hàm mất mát (L) theo đầu vào x:
(∂ L)/(∂ x)=(∂ L)/(∂ y)((∂ F(x))/(∂ x)+1)
Nhờ số hạng + 1 do đường tắt đồng nhất tạo ra, gradient từ phía sau ((∂ L)/(∂ y)) truyền ngược trực tiếp tới các lớp trước mà không bị các ma trận trọng số nhỏ trong (∂ F(x))/(∂ x) làm co lại. Điều này cho phép gradient lan truyền thông suốt qua hơn 100 hoặc thậm chí hơn 1,000 lớp.
3. Sự chuyển dịch từ CNN sang Vision Transformer (ViT)
Trong gần một thập kỷ sau AlexNet, mạng nơ-ron tích chập (CNN) thống trị thị giác máy tính bằng cách trượt các bộ lọc cục bộ nhỏ trên ảnh. Năm 2020, Google giới thiệu Vision Transformer (ViT), điều chỉnh kiến trúc Transformer từ xử lý ngôn ngữ tự nhiên sang hình ảnh.
| Đặc điểm | Mạng nơ-ron tích chập (CNN) | Vision Transformer (ViT) |
|---|---|---|
| Xử lý đầu vào | Xử lý toàn bộ lưới ảnh 2D bằng các bộ lọc trượt (ví dụ: 3×3). | Chia ảnh thành các mảnh có kích thước cố định (ví dụ: 16×16 điểm ảnh) và làm phẳng chúng thành một chuỗi token. |
| Trường tiếp nhận | Cục bộ trước. Các lớp đầu chỉ thấy những điểm ảnh lân cận; ngữ cảnh toàn cục hình thành dần trong các lớp sâu. | Toàn cục ngay lập tức. Cơ chế tự chú ý kết nối mỗi mảnh ảnh với mọi mảnh khác ngay từ lớp 1. |
| Thiên kiến quy nạp | Cao. Các giả định tích hợp sẵn về tính bất biến tịnh tiến và tính cục bộ không gian 2D giúp CNN học tốt trên các tập dữ liệu nhỏ hơn. | Thấp. Không có sẵn các quy tắc không gian 2D (dựa vào embedding vị trí), nên cần những tập dữ liệu khổng lồ để học cấu trúc thị giác. |
| Mở rộng quy mô phần cứng | Dựa vào các kernel tích chập chuyên dụng và các mẫu truy cập bộ nhớ phức tạp. | Gần như hoàn toàn dựa vào các phép nhân ma trận đặc (GEMM), khai thác bão hòa Tensor Cores của GPU hiện đại với hiệu suất tối đa. |
- Vì sao ViT chiếm lĩnh AI hiện đại. Dù CNN vẫn hiệu quả cho các thiết bị di động và thiết bị biên gọn nhẹ, Vision Transformer mở rộng quy mô tốt hơn nhiều khi được huấn luyện trên hàng trăm triệu ảnh. Hơn nữa, vì ViT biểu diễn ảnh thành chuỗi token, đúng định dạng dùng cho văn bản và âm thanh, chúng cho phép các mô hình AI đa phương thức hiện đại (như GPT-4o và Gemini) xử lý thị giác và ngôn ngữ trong một kiến trúc thống nhất duy nhất.