66B là một mô hình ngôn ngữ với tham số ở mức hàng tỉ, được thiết kế để hiểu và sinh văn bản ở nhiều ngữ cảnh khác nhau. Nó được phát triển nhằm mang lại khả năng xử lý ngôn ngữ tự nhiên mạnh mẽ cho các ứng dụng doanh nghiệp và nghiên cứu.
Với khoảng 66 tỉ tham số, 66B thuộc vào nhóm mô hình ngôn ngữ quy mô lớn. Nó dùng kiến trúc transformer, tối ưu hóa bằng học sâu, và huấn luyện trên bộ dữ liệu đa ngôn ngữ và đa chủ đề để cải thiện khả năng tổng quát.
Quá trình huấn luyện dựa trên dữ liệu văn bản khổng lồ từ Internet và nguồn công khai đã lọc. Các kỹ thuật như tiền xử lý, cân bằng dữ liệu và kiểm soát gây hại giúp giảm thiên lệch và tăng an toàn trong sinh văn bản.
66B có thể được dùng cho tóm tắt văn bản, trả lời câu hỏi, hỗ trợ viết nội dung, dịch ngôn ngữ và phân tích cảm xúc. Nó có thể được tinh chỉnh cho các tác vụ chuyên biệt, từ y tế đến pháp lý và giáo dục.