Tài liệu đã duyệt.
Câu trả lời có nguồn.
Nhân viên hỏi bằng tiếng Việt, hệ thống trả lời từ tài liệu đã duyệt, dẫn đúng tên tài liệu, mục và số trang.
Quy trình đón khách gồm những bước nào?
Trợ lý
Lễ tân đứng dậy chào, xưng tên spa và tên mình, mời khách ngồi trong 30 giây kể từ khi khách bước vào. Với khách tới lần đầu, đề nghị điền Phiếu thông tin khách hàng. [Quy trình đón và tiễn khách]
Nguồn (3)
- Quy trình đón và tiễn khách2. Các bước thực hiện · Trang 2
- Quy trình đón và tiễn khách1. Phạm vi áp dụng · Trang 1
- Hồ sơ công ty Spa Hoa Lan13. Cam kết khi đón và phục vụ khách · Trang 3
Tài liệu thì có, tra cứu vẫn mất thời gian
Quy chế, bảng giá và biểu mẫu nằm rải trên nhiều thư mục và nhiều hộp thư. Bản cũ và bản mới cùng lưu hành, nên câu trả lời phụ thuộc vào việc ai mở đúng tệp nào.
Không rõ bản nào còn hiệu lực
Một quy chế thường tồn tại vài phiên bản trong cùng một thư mục. Người tra cứu không có cách nào biết bản trong tay đã bị thay thế hay chưa.
Tri thức nằm ở một vài người
Những câu hỏi lặp lại hằng tuần vẫn phải chờ đúng người trả lời. Khi người đó chuyển việc, phần tri thức đó đi theo.
Trợ lý công cộng không đọc tài liệu nội bộ
Công cụ hỏi đáp công cộng trả lời bằng kiến thức chung, không có quy chế và bảng giá của doanh nghiệp, và doanh nghiệp không kiểm soát được ai đưa tài liệu nào lên đó.
Công nghệ
RAG có phân quyền và có kiểm duyệt, không phải RAG trên kho tài liệu mở
Nạp cả kho PDF vào một cơ sở dữ liệu vector rồi hỏi thì hệ thống trả về đoạn văn gần giống câu hỏi nhất, bất kể tài liệu đó đã được duyệt hay chưa và người hỏi có được đọc hay không. DXContext ràng buộc cả hai điều kiện đó vào trong chính câu truy vấn.
Chuẩn bị tài liệu
Tài liệu được duyệt trước khi vào kho. Người duyệt xem lại từng đoạn đã chia và sửa chỗ máy đọc sai.
- Nhận dạng chữ tiếng Việt có dấu cho ảnh và bản scan
- Cắt đoạn 500 ký tự, chồng lấn 50 ký tự
- Nhúng 768 chiều, lưu kiểu halfvec trong Postgres
- Đóng dấu mô hình nhúng lên từng đoạn để phát hiện lệch mô hình
Truy xuất lai
Mỗi câu hỏi được tìm theo hai cách rồi hợp nhất, vì tìm theo nghĩa và tìm theo mặt chữ hụt ở hai chỗ khác nhau.
- Nhánh nghĩa: khoảng cách cosine, lấy 30 đoạn gần nhất
- Nhánh từ khoá: toàn văn không dấu, loại 53 hư từ tiếng Việt
- Hợp nhất bằng Reciprocal Rank Fusion, k = 60, giữ lại 5 đoạn
- Hai kết quả từ khoá mạnh nhất được ưu tiên đi tiếp, để bắt mã dạng QC-NS-03
Phạm vi quyền
Điều kiện quyền là một phần của chính phép tìm, không phải bộ lọc chạy sau khi đã có kết quả.
- Trạng thái duyệt, đơn vị, mức mật và khoảng hiệu lực nằm trong mệnh đề WHERE
- Cách ly giữa các doanh nghiệp bằng Row Level Security, đóng mặc định
- Năm trạng thái tài liệu bị loại khỏi phạm vi truy xuất
- Thu hồi quyền có hiệu lực ngay từ lượt hỏi kế tiếp
Sinh câu trả lời
Mô hình chỉ được gọi khi đã có đoạn tài liệu làm căn cứ, và câu trả lời còn qua một bước hậu kiểm.
- Ngưỡng khoảng cách 0,34 áp trước khi mô hình được gọi
- Mỗi đoạn mang một mã trích dẫn do máy chủ phát ra
- Mã trích dẫn không do máy chủ phát bị xoá khỏi câu trả lời
- Lượt hội thoại không tìm được căn cứ thì không gọi mô hình
Xếp hạng chính xác, không xấp xỉ
Chỉ mục vector xấp xỉ giúp tìm nhanh trên kho rất lớn và là lựa chọn mặc định của phần lớn hệ thống. Cơ sở dữ liệu lọc quyền sau khi đã quét chỉ mục, nên kết quả trả về thiếu dần theo mức thu hẹp quyền: từ 0,98 khi không lọc xuống 0,058 khi quyền đọc trùng với chủ đề tài liệu.
Trường hợp cuối là trường hợp thường gặp trong doanh nghiệp, khi phòng ban cũng chính là chủ đề tài liệu. Ở quy mô tài liệu của một doanh nghiệp, xếp hạng chính xác vẫn cho thời gian phản hồi vài mili giây.
RAG thông thường
- Lấy kết quả gần nhất trước, lọc quyền sau, nên trả về thiếu mà không báo lỗi
- Chỉ tìm theo nghĩa, trượt mã tài liệu và số hiệu văn bản
- Tài liệu chưa duyệt và bản đã hết hiệu lực vẫn được dùng để trả lời
- Trích dẫn do mô hình sinh ra, không có cách kiểm lại
DXContext
- Điều kiện quyền nằm trong câu truy vấn, nên phạm vi tìm trùng với phạm vi quyền
- Hai nhánh nghĩa và từ khoá không dấu, hợp nhất theo thứ hạng
- Chỉ tài liệu đã duyệt và còn hiệu lực mới nằm trong phạm vi truy xuất
- Mã trích dẫn do máy chủ phát, mã bịa bị xoá trước khi hiển thị
Doanh nghiệp dùng khoá mô hình riêng. Trong phần Cài đặt, doanh nghiệp khai khoá của nhà cung cấp mình chọn. Hạn mức token có hai tầng độc lập là trần của công ty và trần riêng từng khoá cấp cho phần mềm bên ngoài, để một tiến trình chạy sai không dùng hết hạn mức của cả tháng.
Những điều hệ thống không làm
Hệ thống kiểm được rằng mã trích dẫn là mã do máy chủ phát ra, nhưng không kiểm được câu văn có đúng với nội dung đoạn được dẫn hay không.
Nội dung đoạn tài liệu được gửi nguyên văn tới nhà cung cấp mô hình. Bước che thông tin cá nhân áp ở đầu ra, sau khi mô hình đã trả lời.
Số trang chỉ có với tệp có phân trang. Với Word, CSV, nội dung dán tay và địa chỉ trang web, phần số trang để trống thay vì điền một con số không có thật.
Câu hỏi cần cộng tổng, tính trung bình hoặc so sánh trên bảng số liệu bị từ chối ngay từ đầu, vì tra cứu theo nội dung không làm được việc đó.
Một nơi để nạp, duyệt và tra cứu
Đưa tài liệu vào kho
Nạp tài liệu
Tệp PDF, Word, Excel, CSV, văn bản và ảnh, hoặc dán nội dung, hoặc nhập địa chỉ trang web.
Quy trình duyệt
Người nạp trình tài liệu theo đơn vị. Người duyệt xem trước từng đoạn rồi duyệt hoặc trả lại kèm lý do.
Hiệu lực và thay thế
Tài liệu khai ngày hiệu lực và bản thay thế. Bản hết hiệu lực không còn được dùng để trả lời.
Tra cứu và quản trị
Trợ lý hỏi đáp
Hỏi bằng tiếng Việt, trả lời kèm trích dẫn tới tên tài liệu, mục và số trang.
Phân quyền theo đơn vị
Cây đơn vị tối đa ba cấp, vai Xem, Nạp hoặc Duyệt. Mỗi tài liệu đặt mức đọc cả công ty hoặc riêng đơn vị.
Báo cáo và nhật ký
Câu hỏi chưa trả lời được, truy vấn nhiều nhất theo phòng, độ phủ trích dẫn và nhật ký thao tác.
Thử với tài liệu của doanh nghiệp bạn
Nạp một quy chế, một bảng giá và một biểu mẫu, sau đó đặt câu hỏi mà chỉ những tài liệu đó trả lời được, rồi đối chiếu trích dẫn với tệp gốc.