66B là một mô hình ngôn ngữ có quy mô khoảng 66 tỷ tham số, thuộc họ các mô hình transformer. Nó được thiết kế để hiểu và sinh ngôn ngữ tự nhiên ở mức độ phức tạp cao, có thể xử lý văn bản, trả lời câu hỏi, viết văn bản và tham gia vào các tác vụ ngôn ngữ khác một cách linh hoạt.
66B sử dụng kiến trúc transformer với nhiều lớp tự chú ý và mạng feed-forward. Số lượng tham số được phân bổ giữa các tầng, kèm theo cơ chế chú ý đa đầu và các biến thể như vị trí mã hóa. Để huấn luyện, các kỹ thuật phân phối tham số trên nhiều GPU, phân tán dữ liệu và phân phối mô hình, cùng với kỹ thuật độ chính xác hỗn hợp được áp dụng nhằm tối ưu hiệu suất và chi phí bộ nhớ.
66B được huấn luyện trên một tập dữ liệu khổng lồ và đa dạng, bao gồm sách, bài báo, trang web và các nguồn công khai khác. Quá trình huấn luyện kết hợp tiền xử lý dữ liệu, lọc chất lượng và tối ưu hóa hàm mất mát ngữ nghĩa. Các kỹ thuật như gia tăng dữ liệu văn bản, học theo cấp độ từ dễ đến khó và điều chuẩn hoá giúp cải thiện khả năng tổng quát và giảm thiểu rủi ro sinh nội dung không mong muốn.
66B có thể hỗ trợ viết nội dung, tóm tắt, trả lời câu hỏi, trợ lý ảo và phân tích ngôn ngữ tự nhiên trong nhiều ngữ cảnh. Tuy nhiên, nó cũng đi kèm rủi ro về thiên lệch, sai lệch thông tin và chi phí tính toán cao. Việc đánh giá liên tục, giám sát nguồn dữ liệu và thiết lập hạn chế nội dung là cần thiết để đảm bảo an toàn và công bằng.
66B đại diện cho một bước tiến trong thiết kế mô hình quy mô lớn. Khi kết hợp với cải tiến hiệu quả tính toán, kiến trúc mô hình và cơ chế kiểm soát đầu ra, các mô hình 66B hoặc lớn hơn có thể mang lại tiện ích mạnh mẽ cho doanh nghiệp và cộng đồng nghiên cứu, đồng thời đặt ra thách thức về an toàn và quản trị AI.