Quá trình ứng dụng CUDA: từ những thử nghiệm GPU ban đầu đến đột phá AlexNet

Các nhà nghiên cứu AI bắt đầu nhận ra lợi thế hiệu năng to lớn của CUDA đối với mạng nơ-ron trong giai đoạn 2006 đến 2009, với đột phá đại chúng mang tính quyết định diễn ra năm 2012. Trước bước chuyển này, mạng nơ-ron bị xem rộng rãi là quá chậm và tốn kém về mặt tính toán để có tính thực tiễn.

Các cột mốc quan trọng trong quá trình ứng dụng CUDA

• 2006 (CUDA ra mắt): NVIDIA tung ra CUDA, cho phép các nhà nghiên cứu lập trình GPU bằng C/C++ chuẩn thay vì các shader đồ họa phức tạp (như OpenGL).

• 2007–2008 (Những thử nghiệm mạng nơ-ron đầu tiên): Những người tiên phong bắt đầu chuyển các thuật toán mạng nơ-ron sang CUDA. Năm 2008, nhà nghiên cứu Rajat Raina và nhóm của Andrew Ng tại Stanford chứng minh rằng GPU chạy CUDA có thể huấn luyện deep belief network nhanh hơn tới 70 lần so với CPU đa lõi.

• 2009–2010 (Các benchmark phá kỷ lục): Phòng thí nghiệm của Jürgen Schmidhuber (bao gồm Dan Cireșan) đã dùng GPU tăng tốc bằng CUDA để huấn luyện mạng nơ-ron sâu, phá vỡ các kỷ lục nhận dạng chữ viết tay (MNIST), chứng minh rằng các mạng sâu hơn có thể được huấn luyện mà không cần siêu máy tính chuyên dụng.

• 2012 (Bước ngoặt AlexNet): Khoảnh khắc định hình diễn ra tại cuộc thi ImageNet. Alex Krizhevsky, Ilya Sutskever và Geoffrey Hinton đã dùng các kernel CUDA tùy chỉnh trên hai GPU NVIDIA GTX 580 để huấn luyện AlexNet, cắt giảm tỷ lệ lỗi phân loại ảnh gần một nửa so với các phương pháp truyền thống. Chiến thắng này đã kích hoạt cuộc cách mạng deep learning hiện đại.

• 2014 (cuDNN ra mắt): Sau cơn sốt AlexNet, NVIDIA phát hành cuDNN (thư viện CUDA Deep Neural Network), mang đến cho mọi nhà nghiên cứu AI các khối xây dựng GPU tối ưu, cắm là chạy cho các framework như Caffe, Theano, TensorFlow và PyTorch.

Tại sao nó thay đổi tất cả

Trước CUDA, việc huấn luyện một mạng nơ-ron cỡ vừa trên CPU mất nhiều tuần hoặc nhiều tháng, khiến nghiên cứu thử-sai gần như bất khả thi. CUDA rút ngắn những thời gian huấn luyện đó xuống còn vài ngày hoặc vài giờ, cho phép các nhà nghiên cứu mở rộng tập dữ liệu, xếp chồng thêm nhiều lớp và phát minh ra các kiến trúc hiện đại như Transformer và các mô hình ngôn ngữ lớn.