Sử dụng mô hình ngôn ngữ lớn để phát hiện dấu hiệu bất thường

Cách tiếp cận này có thể phát hiện sự bất thường trong dữ liệu được ghi chép theo thời gian, mà không cần bất kỳ huấn luyện nào.

Để có thể xác định xem một tua-bin trong trang trại gió có bị lỗi hay không, cần phải xem xét hàng trăm tín hiệu và hàng triệu điểm dữ liệu. Điều này không khác gì “mò kim đáy bể.”

Do đó, các kỹ sư thường đơn giản hóa vấn đề phức tạp này, bằng cách sử dụng các mô hình deep learning (học sâu) có khả năng phát hiện dấu hiệu bất thường trong các phép đo được thực hiện lặp đi lặp lại bởi từng tua-bin. Kết quả thu được gọi là dữ liệu chuỗi thời gian.

Tuy nhiên, với hàng trăm tua-bin gió và hàng chục tín hiệu mỗi giờ, việc huấn luyện mô hình deep learning trở nên tốn kém và cồng kềnh. Trên thực tế, mô hình này còn phải đào tạo lại sau khi được triển khai và vấn đề ở đây là chủ trang trại gió lại thường thiếu những kiến thức cần thiết về machine learning (học máy).

Nhằm giải quyết vấn đề này, các nhà nghiên cứu đến từ đại học MIT (Mỹ) phát hiện rằng, các LLM (mô hình ngôn ngữ lớn) có thể phát hiện các bất thường hiệu quả hơn cho dữ liệu chuỗi thời gian. Và quan trọng là, các mô hình này đã được huấn luyện sẵn để có thể triển khai ngay lập tức, mà không cần bước đào tạo nào.

Các nhà nghiên cứu đã phát triển một bộ khung có tên là SigLLM, bao gồm một hệ thống có thể chuyển đổi dữ liệu chuỗi thời gian thành dữ liệu dạng văn bản mà sau đó LLM có thể xử lý được. Người dùng chỉ cần cung cấp thông tin được chuẩn bị cho mô hình và yêu cầu nó xác định những dấu hiệu bất thường. Ngoài ra, LLM còn có thể dự đoán các dữ liệu chuỗi thời gian trong tương lai như một phần của quy trình phát hiện sự bất thường.

Mặc dù LLM không thể đánh bại các mô hình deep learning tiên tiến nhất trong việc phát hiện dữ liệu bất thường, chúng vẫn hoạt động tốt như những phương pháp sử dụng AI khác. Nếu các nhà nghiên cứu có thể cải thiện hiệu suất của LLM, bộ khung này thậm chí còn có thể giúp các kỹ thuật viên phát hiện các vấn đề tiềm ẩn trong thiết bị như máy móc hạng nặng hoặc vệ tinh, mà không cần phải huấn luyện một mô hình deep learning đắt đỏ.

“Vì đây chỉ là phiên bản đầu, chúng tôi không kỳ vọng sẽ đạt được kết quả ngay từ lần thử nghiệm đầu tiên, nhưng kết quả cho thấy tiềm năng của LLM trong việc phát hiện dấu hiệu bất thường,” Sarah Alnegheimish, sinh viên cao học ngành kỹ thuật điện và khoa học máy tính (EECS) và là tác giả chính của bài nghiên cứu về SigLLM cho biết.

Giải pháp chuyển đổi dữ liệu chuỗi thời gian

Các mô hình LLM có tính chất tự hồi quy, có nghĩa là chúng có thể hiểu, các giá trị mới trong chuỗi dữ liệu sẽ phụ thuộc vào các giá trị trước đó. Ví dụ, các mô hình như GPT-4 có thể dự đoán từ tiếp theo trong câu, bằng việc sử dụng các từ đứng trước nó.

Vì dữ liệu chuỗi thời gian có tính tuần tự, các nhà nghiên cứu cho rằng tính chất tự hồi quy của LLM sẽ cho phép chúng phát hiện sự bất thường trong dữ liệu này.

Tuy nhiên, các nhà khoa học muốn phát triển một kỹ thuật nhằm tránh việc tinh chỉnh. Bởi các kỹ sư thường phải đào tạo lại một LLM đa mục đích dựa trên một lượng dữ liệu nhỏ có liên quan đến nhiệm vụ cụ thể. Sau đó mới biến LLM này trở thành chuyên gia trong một lĩnh vực nhất định. Nhưng, với kỹ thuật mới, các nhà nghiên cứu có thể triển khai một LLM-chuyên gia ngay từ đầu, mà không cần các bước huấn luyện thêm.

Và trước khi triển khai, họ vẫn cần phải chuyển đổi dữ liệu chuỗi thời gian thành các dữ liệu đầu vào dạng văn bản mà mô hình LLM có thể xử lý được.

Các nhà khoa học đã thực hiện việc này thông qua nhiều phép biến đổi, để nắm bắt các phần quan trọng nhất của chuỗi dữ liệu thời gian trong khi sử dụng ít token nhất có thể. Token là chuỗi các ký tự liền kề giữa hai khoảng trắng hoặc giữa dấu cách và dấu chấm. Chúng là các dữ liệu đầu vào cơ bản của LLM, do đó càng nhiều token thì cần càng nhiều phép tính.

“Nếu bạn không xử lý các bước này cẩn thận, bạn có thể cắt bỏ một phần dữ liệu quan trọng, dẫn đến việc đánh mất thông tin,” Alnegheimish nói.

Khi đã tìm ra cách chuyển đổi dữ liệu chuỗi thời gian, các nhà nghiên cứu đã phát triển hai phương pháp phát hiện dấu hiệu bất thường.

Phương pháp phát hiện sự bất thường

Phương pháp đầu tiên được gọi là Prompter. Người dùng cần cung cấp dữ liệu đã chuẩn bị sẵn và yêu cầu LLM xác định các giá trị bất thường.

“Chúng tôi đã phải lặp đi lặp lại nhiều lần để tìm ra prompt (câu lệnh) đúng cho một chuỗi dữ liệu thời gian cụ thể. Thật không dễ dàng để hiểu cách các LLM tiếp nhận và xử lý thông tin,” Alnegheimish nói thêm.

Còn phương pháp thứ hai được gọi là Detector. Phương pháp này là công cụ để dự đoán giá trị tiếp theo từ một chuỗi dữ liệu thời gian. Các nhà nghiên cứu so sánh giá trị dự đoán với giá trị thực tế. Sự khác biệt lớn cho thấy giá trị thực có thể là một dấu hiệu bất thường.

Với Detector, LLM sẽ là một phần của quy trình phát hiện sự bất thường, trong khi Prompter có thể hoàn thành nhiệm vụ này một mình. Trong thực tế, Detector hoạt động tốt hơn Prompter, vì phương pháp này thường tạo ra nhiều kết quả dương tính giả.

“Tôi nghĩ, với phương pháp Prompter, chúng tôi đã yêu cầu LLM thực hiện quá nhiều bước. Chúng tôi đã đưa ra một bài toán khó giải quyết,” Kalyan Veeramachaneni, đồng tác giả của bài nghiên cứu về SigLLM, cho biết.

Khi so sánh cả hai phương pháp với các kỹ thuật hiện tại, Detector vượt trội hơn các mô hình AI dựa trên biến thể, dựa trên 7 trong số 11 tập dữ liệu mà các nhà nghiên cứu đánh giá, mặc dù LLM không yêu cầu huấn luyện hay tinh chỉnh thêm.

Trong tương lai, LLM sẽ có thể giải thích các dự đoán bằng ngôn ngữ đơn giản, giúp người sử dụng hiểu rõ hơn lý do tại sao một dữ liệu nào đó lại bất thường.

Tuy nhiên, các mô hình deep learning tiên tiến vẫn vượt trội hơn LLM với một khoảng cách lớn. Điều này cho thấy cần phải có rất nhiều nghiên cứu và thử nghiệm để LLM có thể thực sự được sử dụng trong việc phát hiện dữ liệu bất thường.

“Chúng tôi cần làm gì để đạt được hiệu suất tương đương với các mô hình deep learning hiện nay? Đó là câu hỏi giá trị hàng triệu đô. Một công cụ phát hiện sự bất thường dựa trên LLM có thể là bước ngoặt để chúng tôi chứng minh cho nỗ lực này,” Veeramachaneni bổ sung.

Đồng thời, các nhà nghiên cứu muốn tìm hiểu xem, liệu việc tinh chỉnh có thể cải thiện hiệu suất hay không, mặc dù điều này sẽ đòi hỏi thêm thời gian, chi phí và kỹ năng chuyên môn để huấn luyện các LLM.

Các phương pháp LLM hiện tại cũng mất từ 30 phút đến hai giờ để đưa ra kết quả, vì vậy việc tăng tốc quá trình phân tích là một công việc quan trọng trong tương lai. Các nhà nghiên cứu cũng muốn kiểm tra cách LLM phát hiện dấu hiệu bất thường, từ đó tìm ra cách để nâng cao hiệu suất của chúng.

“Khi nói đến các nhiệm vụ phức tạp như phát hiện sự bất thường trong chuỗi dữ liệu thời gian, LLM là một công cụ có nhiều tiềm năng. LLM thậm chí còn có thể sử dụng để giải quyết các nhiệm vụ phức tạp khác,” Alnegheimish nhận định.