Tin tức tiếng Việt
Mới nhất

AI

Chi tiết khuôn CPU thập niên 1980 dùng để minh họa, không phải GPU.

Tensor Cores, Triton, mạng phần dư và Vision Transformer

Từ năm 2015 đến nay, học sâu đã phát triển từ mã GPU C++ được tinh chỉnh thủ công và các mạng tích chập thành các bộ máy ma trận được tăng tốc bằng phần cứng và kiến trúc Transformer. Ba cột mốc này định hình cách các mô

Khối bộ nhớ vi điều khiển dùng để minh họa, không phải GPU được đề cập trong bài.

Cơ chế tự chú ý, kernel CUDA và FlashAttention

Các Transformer hiện đại dựa vào phép toán ma trận tự chú ý, các trình biên dịch GPU cấp cao như Triton và các kernel CUDA có tính đến bộ nhớ như FlashAttention để xử lý những chuỗi token khổng lồ ở tốc độ phần cứng tối

Ảnh minh họa các giá máy chủ tại trung tâm dữ liệu của Fermilab, không phải một cơ sở huấn luyện AI cụ thể.

CUDA vận hành deep learning như thế nào

CUDA (Compute Unified Device Architecture) là nền tảng điện toán song song và mô hình lập trình của NVIDIA, cho phép các framework deep learning chạy những phép tính toán học nặng trên GPU. Bằng cách phân phối hàng triệu

Ảnh minh họa chi tiết vi mạch bộ xử lý, không phải GPU NVIDIA được bàn trong bài viết.

AlexNet: kỹ thuật CUDA đằng sau đột phá năm 2012

Năm 2012, đột phá AlexNet đã chứng minh rằng mạng nơ-ron sâu kết hợp với GPU hỗ trợ CUDA có thể vượt qua hàng thập kỷ kỹ thuật thị giác máy tính truyền thống. Tại ImageNet Large Scale Visual Recognition Challenge (ILSVRC