66B là một mô hình ngôn ngữ lớn có quy mô vào khoảng 66 tỷ tham số, được thiết kế để xử lý ngôn ngữ tự nhiên, sinh văn bản và trả lời các câu hỏi một cách linh hoạt.
Với quy mô tham số, 66B có khả năng nắm bắt ngữ nghĩa phức tạp, hỗ trợ dịch, tóm tắt, phân tích văn bản và sáng tạo nội dung với chất lượng cao.
66B dựa trên kiến trúc transformer với nhiều lớp attention và feed-forward. Mô hình được huấn luyện qua tiền huấn luyện trên lượng dữ liệu lớn, sau đó tinh chỉnh cho các tác vụ cụ thể.
Dù quy mô lớn mang lại hiệu suất ấn tượng, còn nhiều thách thức như chi phí đào tạo, tiêu thụ năng lượng, rủi ro thiên vị dữ liệu và yêu cầu cho an toàn khi triển khai trong thực tế.