Mô hình AI mới nhất của Meta miễn phí cho tất cả mọi người

Công ty hy vọng rằng việc tạo ra LLaMA 2 mã nguồn mở có thể mang lại cho nó lợi thế so với các đối thủ như OpenAI.

Meta đang tập trung hoàn toàn vào trí tuệ nhân tạo mã nguồn mở. Hôm nay, công ty đã giới thiệu LLaMA 2, một mô hình ngôn ngữ lớn đầu tiên của họ, có sẵn cho bất kỳ ai sử dụng - hoàn toàn miễn phí.

Kể từ khi OpenAI phát hành trí tuệ nhân tạo chatbot ChatGPT cực kỳ phổ biến vào tháng Mười một năm trước, các công ty công nghệ đã đang đua nhau tung ra các mô hình với hy vọng lật đổ sự ưu thế của nó. Meta đã tiến hành chậm rãi. Vào tháng Hai, khi các đối thủ Microsoft và Google thông báo về chatbot trí tuệ nhân tạo của họ, Meta đã tung ra phiên bản nhỏ đầu tiên của LLaMA, giới hạn cho các nhà nghiên cứu. Nhưng họ hy vọng rằng việc phát hành LLaMA 2 và cho phép mọi người xây dựng sản phẩm thương mại trên nền tảng này miễn phí sẽ giúp họ bắt kịp.

Công ty thực sự đang phát hành một bộ mô hình AI, bao gồm các phiên bản LLaMA 2 ở các kích thước khác nhau, cũng như một phiên bản của mô hình AI mà mọi người có thể xây dựng thành một chatbot, tương tự như ChatGPT. Không giống như ChatGPT, mà mọi người có thể truy cập thông qua trang web của OpenAI, mô hình phải được tải xuống từ các đối tác ra mắt của Meta là Microsoft Azure, Amazon Web Services và Hugging Face.

"Điều này mang lại lợi ích cho toàn bộ cộng đồng AI và cung cấp cho mọi người các tùy chọn để sử dụng các phương pháp tiếp cận nguồn đóng hoặc phương pháp tiếp cận nguồn mở cho bất cứ điều gì phù hợp với ứng dụng cụ thể của họ", Ahmad Al-Dahle, phó chủ tịch tại Meta, người đang lãnh đạo công việc AI tạo ra của công ty, cho biết thêm. "Đây là một khoảnh khắc thực sự, thực sự lớn đối với chúng tôi."

Nhưng vẫn còn nhiều cảnh báo. Meta không tiết lộ thông tin về bộ dữ liệu mà họ đã sử dụng để đào tạo LLaMA 2 và không thể đảm bảo rằng nó không bao gồm các tác phẩm có bản quyền hoặc dữ liệu cá nhân, theo một bài báo nghiên cứu của công ty được chia sẻ độc quyền với MIT Technology Review. LLaMA 2 cũng có những vấn đề tương tự gây khó khăn cho tất cả các mô hình ngôn ngữ lớn: xu hướng tạo ra sự giả dối và ngôn ngữ xúc phạm.

Theo Al-Dahle, ý tưởng là bằng cách phát hành mô hình này vào tự nhiên và cho phép các nhà phát triển và công ty mày mò với nó, Meta sẽ học được những bài học quan trọng về cách làm cho các mô hình của mình an toàn hơn, ít thiên vị hơn và hiệu quả hơn.

Một mô hình mã nguồn mở mạnh mẽ như LLaMA 2 đặt ra một mối đe dọa đáng kể đối với OpenAI, Percy Liang, giám đốc Trung tâm Nghiên cứu Mô hình Nền tảng của Stanford cho biết. Liang là thành viên của nhóm các nhà nghiên cứu đã phát triển Alpaca, một đối thủ cạnh tranh mã nguồn mở với GPT-3, một phiên bản trước đó của mô hình ngôn ngữ OpenAI.

"LLaMA 2 không phải là GPT-4," Liang nói. Và trong tài liệu nghiên cứu của mình, Meta thừa nhận vẫn còn khoảng cách lớn về hiệu suất giữa LLaMA 2 và GPT-4, hiện là mô hình ngôn ngữ AI hiện đại của OpenAI. "Nhưng đối với nhiều trường hợp sử dụng, bạn không cần GPT-4", ông nói thêm.

Một mô hình có thể tùy chỉnh và minh bạch hơn, chẳng hạn như LLaMA 2, có thể giúp các công ty tạo ra các sản phẩm và dịch vụ nhanh hơn một mô hình độc quyền lớn, phức tạp, ông nói.

"Việc LLaMA 2 trở thành sự lựa chọn mã nguồn mở hàng đầu thay thế cho OpenAI sẽ là một chiến thắng lớn đối với Meta," Steve Weber, một giáo sư tại Đại học California, Berkeley, nói.

Under the hood

Để chuẩn bị sẵn sàng cho việc ra mắt LLaMA 2, đã cần phải thay đổi nhiều để làm cho mô hình an toàn hơn và ít có khả năng phát ra thông tin sai lệch có hại hơn so với phiên bản trước đó, theo Ahmad Al-Dahle.

Meta có nhiều sai sót trong quá khứ để học hỏi. Mô hình ngôn ngữ của họ cho lĩnh vực khoa học, Galactica, đã bị tắt sau chỉ ba ngày, và phiên bản LLaMA trước đó, chỉ dành cho mục đích nghiên cứu, đã bị rò rỉ trực tuyến, gây ra sự phê phán từ các nhà chính trị nghi ngờ liệu Meta có xem xét đúng mức độ rủi ro liên quan đến các mô hình ngôn ngữ trí tuệ nhân tạo, như thông tin sai lệch và quấy rối.

Để giảm thiểu rủi ro tái phát những sai sót này, Meta đã áp dụng một kết hợp của các kỹ thuật học máy khác nhau nhằm cải thiện tính hữu ích và an toàn.

Cách tiếp cận của Meta trong việc huấn luyện LLaMA 2 có nhiều bước hơn so với các mô hình trí tuệ nhân tạo sinh sản thông thường, theo Sasha Luccioni, một nhà nghiên cứu tại công ty khởi nghiệp trí tuệ nhân tạo Hugging Face.

Mô hình đã được huấn luyện trên 40% dữ liệu nhiều hơn so với phiên bản trước. Al-Dahle cho biết có hai nguồn dữ liệu đào và thu thập: dữ liệu được thu thập từ internet và một tập dữ liệu được điều chỉnh lại dựa trên phản hồi từ các nhà chú giải để hoạt động theo một cách đáng mơ ước hơn. Công ty cho biết họ không sử dụng dữ liệu người dùng của Meta trong LLaMA 2 và đã loại bỏ dữ liệu từ các trang web có nhiều thông tin cá nhân.

Tuy nhiên, LLaMA 2 vẫn phát ra ngôn ngữ gây phẫn nộ, gây hại và gây ra vấn đề khác, giống như các mô hình đối thủ. Meta cho biết họ không loại bỏ dữ liệu có hại khỏi tập dữ liệu, bởi vì để lại nó có thể giúp LLaMA 2 phát hiện thông điệp kích động tốt hơn và việc loại bỏ có thể rủi ro làm loại bỏ một số nhóm dân số một cách tình cờ.

Tuy nhiên, cam kết cởi mở của Meta rất thú vị, Luccioni nói, bởi vì nó cho phép các nhà nghiên cứu như cô nghiên cứu đúng thành kiến, đạo đức và hiệu quả của các mô hình AI.

Thực tế là LLaMA 2 là một mô hình nguồn mở cũng sẽ cho phép các nhà nghiên cứu và nhà phát triển bên ngoài thăm dò nó để tìm lỗi bảo mật, điều này sẽ làm cho nó an toàn hơn các mô hình độc quyền, Al-Dahle nói.

Liang đồng ý. "Tôi rất hào hứng thử mọi thứ và tôi nghĩ nó sẽ có lợi cho cộng đồng," anh nói.