NVIDIA giới thiệu đột phá công nghệ tại Hot Chips

Tại hội nghị Hot Chips, các kỹ sư của NVIDIA sẽ chia sẻ chi tiết về nền tảng NVIDIA Blackwell, cũng như những nghiên cứu mới nhất về phương pháp làm mát bằng chất lỏng cho trung tâm dữ liệu và các tác nhân AI hỗ trợ thiết kế chip.

Các kỹ sư sẽ chia sẻ cách mà NVIDIA Blackwell kết hợp chip, hệ thống và phần mềm NVIDIA CUDA, để cung cấp sức mạnh cho thế hệ AI tiếp theo trên nhiều lĩnh vực, ngành công nghiệp và quốc gia.

Đồng thời, công ty công nghệ cũng giới thiệu NVIDIA GB200 NVL72 – một giải pháp làm mát giá rack bằng chất lỏng, kết nối 72 GPU Blackwell và 36 CPU Grace. Đây được cho là tiêu chuẩn mới để thiết kế hệ thống AI.

NVIDIA cũng sẽ mang đến sự kiện năm nay:

• Công nghệ kết nối NVLink cung cấp khả năng giao tiếp GPU toàn diện, cho phép đạt được thông lượng cao kỷ lục và giảm độ trễ trong suy luận của GenAI.

• Hệ thống định lượng NVIDIA Quasar giúp tăng tốc khả năng tính toán của AI.

• Các mô hình AI để xây dựng bộ xử lý cho AI.

NVIDIA Blackwell

NVIDIA Blackwell bao gồm nhiều con chip của NVIDIA, bao gồm GPU Blackwell, CPU Grace, đơn vị xử lý dữ liệu BlueField, thẻ giao diện mạng ConnectX, công tắc NVLink, công tắc Ethernet Spectrum và công tắc InfiniBand Quantum.

Tại Hot Chips 2024, Ajay Tirumala và Raymond Wong, giám đốc kiến trúc tại NVIDIA, sẽ mang đến cái nhìn đầu tiên về NVIDIA Blackwell và giải thích cách các công nghệ này kết hợp với nhau để mang lại tiêu chuẩn mới cho hiệu suất AI: vừa tăng tốc tính toán, vừa nâng cao hiệu quả năng lượng.

Giải pháp NVIDIA GB200 NVL72 đa node là một ví dụ hoàn hảo. Suy luận ngôn ngữ lớn (LLM) yêu cầu tạo token có độ trễ thấp và thông lượng cao. GB200 NVL72 hoạt động như một hệ thống hợp nhất, để cung cấp tốc độ suy luận nhanh gấp 30 lần, cho phép chạy các mô hình hàng nghìn tỷ tham số trong thời gian thực.

Tirumala và Wong cũng sẽ thảo luận về cách Hệ thống lượng tử hoá NVIDIA Quasar tập hợp các thuật toán cải tiến, thư viện và công cụ phần mềm NVIDIA, và Engine Transformer thế hệ thứ hai của Blackwell. Từ đó hỗ trợ các mô hình có độ chính xác thấp, như các mô hình sử dụng LLM và GenAI tạo hình ảnh.

Phương pháp làm mát trung tâm dữ liệu

Kỹ thuật làm mát bằng chất lỏng chuyển nhiệt ra khỏi hệ thống hiệu quả hơn so với không khí. Phương pháp này giúp hệ thống tính toán dễ dàng duy trì nhiệt độ mát mẻ ngay cả khi xử lý các khối lượng công việc lớn. Thiết bị làm mát bằng chất lỏng cũng chiếm ít không gian và tiêu thụ ít năng lượng hơn so với hệ thống làm mát bằng không khí, cho phép trung tâm dữ liệu bổ sung thêm các rack máy chủ và tăng sức mạnh tính toán.

Một số thiết kế cung cấp thêm các bộ làm mát bằng chất lỏng cho các trung tâm dữ liệu làm mát bằng không khí. Đây là một giải pháp nhanh chóng và dễ dàng thực hiện. Các thiết kế khác lại yêu cầu lắp đặt đường ống để làm mát trực tiếp đến chip, bằng cách sử dụng các thiết bị phân phối làm mát hoặc ngâm máy chủ trong bể làm mát. Những thiết kế này đòi hỏi một khoản đầu tư lớn từ ban đầu, nhưng về lâu dài chúng lại tiết kiệm đáng kể cả về mức độ tiêu thụ năng lượng và chi phí vận hành.

Tại hội nghị, Ali Heydari, giám đốc làm mát trung tâm dữ liệu và cơ sở hạ tầng tại NVIDIA, sẽ chia sẻ về dự án COOLERCHIPS, một chương trình của Bộ Năng lượng Hoa Kỳ nhằm phát triển các công nghệ làm mát trung tâm dữ liệu. Nhóm đang sử dụng nền tảng NVIDIA Omniverse để tạo ra các bản sao kỹ thuật số dựa trên vật lý nhằm giúp họ lập mô hình mức tiêu thụ năng lượng và hiệu quả làm mát để tối ưu hóa thiết kế cho các trung tâm dữ liệu.

Tác nhân AI hỗ trợ thiết kế chip

Thiết kế chip bán dẫn là một thách thức lớn đối với cả NVIDIA. Các kỹ sư đang phát triển các bộ xử lý tiên tiến, để tích hợp càng nhiều khả năng tính toán càng tốt lên một mảnh silicon có kích cỡ chỉ bằng đầu ngón tay.

Các mô hình AI đang hỗ trợ công việc này, bằng cách cải thiện chất lượng và năng suất thiết kế, tăng cường hiệu quả của các quy trình thủ công và tự động hóa một số công việc tốn thời gian. Các mô hình này bao gồm các công cụ dự đoán và tối ưu hóa để giúp các kỹ sư nhanh chóng phân tích và cải thiện thiết kế, cũng như các LLM có thể hỗ trợ các kỹ sư trả lời câu hỏi, tạo mã, gỡ lỗi thiết kế và hơn thế nữa.

Mark Ren, giám đốc nghiên cứu tự động hóa thiết kế tại NVIDIA, sẽ cung cấp một cái nhìn tổng quan về các mô hình này và các ứng dụng của chúng trong Hot Chips 2024. Ngoài ra, ông cũng tập trung vào các hệ thống AI dựa trên tác nhân để thiết kế chip.

Các tác nhân AI được cung cấp bởi LLM được chỉ đạo để hoàn thành các nhiệm vụ một cách tự động, từ đó có thể ứng dụng rộng rãi trong nhiều ngành công nghiệp khác nhau. Trong thiết kế vi xử lý, các nhà nghiên cứu của NVIDIA đang phát triển các hệ thống dựa trên tác nhân có thể suy luận và hành động bằng cách sử dụng các công cụ thiết kế mạch tùy chỉnh, tương tác với các nhà thiết kế có kinh nghiệm, và học hỏi từ cơ sở dữ liệu kinh nghiệm của con người và tác nhân.

Hiện nay công nghệ này đang được các chuyên gia của NVIDIA sử dụng trong thực tiễn. Ren sẽ chia sẻ về cách các kỹ sư có thể sử dụng các tác nhân AI để phân tích báo cáo thời gian, quy trình tối ưu hóa cụm tế bào và tạo mã. Công việc tối ưu hóa cụm tế bào gần đây đã giành giải bài nghiên cứu xuất sắc nhất tại Hội thảo quốc tế đầu tiên của IEEE về Thiết kế được hỗ trợ bởi LLM.