Ngày 5/12, trong khuôn khổ Ngày hội trí tuệ nhân tạo – AI Day 2023, VinAI – một thành viên trong hệ sinh thái Vingroup đã bất ngờ giới thiệu về dự án nghiên cứu mã nguồn mở về mô hình ngôn ngữ lớn cho riêng tiếng Việt, có tên PhởGPT.
Mục tiêu của dự án là phát triển các mô hình tương tự như ChatGPT cho tiếng Việt và văn hoá của người Việt. Theo đó, PhởGPT có khả năng hiểu và viết văn phong tiếng Việt một cách vượt bậc so với các công nghệ về ngôn ngữ thế hệ trước. Bên cạnh đó, mô hình cũng được huấn luyện từ đầu với tập dữ liệu tiếng Việt, không phụ thuộc vào bất cứ một mô hình nào khác của thế giới, đảm bảo việc làm chủ công nghệ lõi tiên tiến cho Việt Nam.
So sánh phiên bản PhởGPT-7B5-Instruct và ChatGPT mã nguồn đóng (GPT-3.5-turbo) và các mô hình mã nguồn mở khác cho thấy, PhởGPT đứng thứ hai chỉ sau ChatGPT trong hầu hết các mục đánh giá.
(Ảnh: VTCNews)
“PhởGPT” là một dự án mã nguồn mở, song hành cùng trào lưu các mô hình ngôn ngữ lớn với mã nguồn mở của thế giới như Llama của Meta hay Mistral được phát triển để cạnh tranh với ChatGPT của OpenAI. Đội ngũ phát triển PhởGPT đang tiếp tục cải tiến mô hình và sẽ mở rộng dự án cho các ngôn ngữ khác, đặc biệt là các ngôn ngữ trong khu vực Đông Nam Á.
PhởGPT có thể được xem như phiên bản ChatGPT chuyên dụng cho tiếng Việt với mô hình ngôn ngữ dữ liệu lớn có 7.5 tỷ tham số, được xây dựng trên nền tảng giải mã Transformer. Mô hình này được huấn luyện từ đầu, sử dụng những kỹ thuật tiên tiến nhất hiện có (như cơ chế tập trung chớp nhoáng (Flash Attention), ngoại suy độ dài ngữ cảnh AliBi).
Tại sự kiện, đích thân Tiến sĩ Bùi Hải Hưng – Tổng Giám đốc VinAI cũng trình diễn công nghệ của PhởGPT, yêu cầu nền tảng này làm thơ, trả lời câu hỏi. Vị Tổng giám đốc cho biết thêm, vì là mã nguồn mở nên VinAI không giới hạn về tính thương mại, tất cả các bên đều có thể sử dụng PhởGPT để phát triển các ứng dụng cho riêng mình, kể cả phục vụ mục đích thương mại. Đây như là một platform mà VinAI cung cấp cho cộng đồng đang phát triển các ứng dụng liên quan đến công nghệ AI ở trong nước.