Nghiên cứu của Databricks: ngữ cảnh được quản trị nâng độ chính xác của Genie One lên 93–95%
Bắt đầu từ đây
Databricks công bố một nghiên cứu đo mức độ cải thiện độ chính xác câu trả lời của Genie One khi các agent được tuyển chọn (curated agent) được kết hợp với một lớp ngữ cảnh được quản trị. Trên một công ty bảo hiểm ô tô thương mại hư cấu, nơi bộ phận Tài chính và bộ phận Bảo lãnh đưa ra những câu trả lời mâu thuẫn nhưng đều đúng về tỷ lệ tổn thất, chỉ dùng bảng dữ liệu đạt độ chính xác 64%; các agent được tuyển chọn và lớp được quản trị mỗi bên đạt 83% khi dùng riêng, và dùng cả hai cùng nhau nâng độ chính xác lên 93–95% qua hai lần chạy. Trong thử nghiệm thứ hai, việc thêm lớp được quản trị vào các agent được tuyển chọn đã nâng độ chính xác của một nhà bán lẻ hư cấu từ 54% lên 82%. Databricks cho biết Genie One, được vận hành bởi Genie Ontology (hiện đã được phát hành rộng rãi), đưa ngữ cảnh kinh doanh này vào trải nghiệm phân tích. Databricks mô tả bài kiểm tra chuẩn của nhà bán lẻ gồm 49 câu hỏi, là một kiểm tra nhỏ hơn về mô hình chứ không phải một nghiên cứu đầy đủ thứ hai, và cho biết công trình này kiểm tra ngữ cảnh kinh doanh chứ không phải kiểm soát truy cập.
Tạo từ các bài viết · cập nhật 2 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Databricks BlogNghiên cứu độ chính xác của Databricks Genie One: Vì sao các agent được tuyển chọn cần ngữ cảnh được quản trị
Databricks đã thử nghiệm Genie One trên một công ty bảo hiểm ô tô thương mại hư cấu, nơi bộ phận Tài chính và bộ phận Bảo lãnh đưa ra các câu trả lời về tỷ lệ tổn thất trái ngược nhau nhưng đều đúng. Chỉ dùng bảng dữ liệu đạt độ chính xác 64%; các agent được tuyển chọn và lớp được quản trị mỗi bên đạt 83%, và kết hợp cả hai đưa độ chính xác lên 93–95% qua hai lần chạy. Lớp được quản trị cũng nâng độ chính xác của một nhà bán lẻ hư cấu từ 54% lên 82% khi được thêm vào các agent được tuyển chọn.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.