Phần mềm kiểm tra trùng lặp không đọc hiểu bài của bạn. Nó lấy chữ ra khỏi tệp, đưa về một dạng chuẩn, cắt thành những cụm vài chữ liền nhau, biến mỗi cụm thành một mã ngắn gọi là dấu vân tay, rồi tra những mã đó trong chỉ mục của kho dữ liệu. Cụm nào có mã trùng thì được so chi tiết, nối lại thành đoạn và tô màu trong báo cáo.
Mỗi hệ thống có cách làm riêng và ít khi công bố chi tiết, nhưng khung chung thì khá giống nhau và đã được mô tả trong nhiều công trình nghiên cứu về so khớp văn bản. Bài này đi qua từng bước theo thứ tự xử lý, chỉ ra bước nào ảnh hưởng tới con số cuối cùng, và vì sao hiểu cơ chế giúp bạn đọc báo cáo tỉnh táo hơn, chứ không phải để tìm đường lách.
Bước một: lấy chữ ra khỏi tệp
Mọi thứ bắt đầu từ việc trích xuất văn bản. Với tệp Word, việc này tương đối đơn giản vì chữ đã nằm sẵn trong tệp dưới dạng ký tự. Với tệp PDF xuất từ Word, chữ thường cũng lấy ra được, nhưng đôi khi bị vỡ dòng, dính chữ ở chỗ ngắt trang, hoặc lẫn số trang và tiêu đề đầu trang vào giữa câu. Với PDF scan hay ảnh chụp, tệp không chứa chữ mà chỉ chứa hình; phần mềm phải nhận dạng ký tự quang học thì mới có chữ để so, và nhiều hệ thống không làm bước này hoặc làm kém với tiếng Việt có dấu.
Hệ quả trực tiếp: một bài nộp dưới dạng ảnh có thể ra tỷ lệ gần bằng không, không phải vì bài sạch mà vì máy không đọc được gì. Người kiểm có kinh nghiệm sẽ nhìn số chữ được phân tích trong báo cáo; nếu luận văn tám mươi trang mà báo cáo chỉ ghi vài trăm chữ, thì kết quả đó vô nghĩa. Bảng biểu, chú thích hình, công thức và chữ nằm trong ảnh cũng thường bị bỏ qua ở bước này.
Nếu bạn tự kiểm trước khi nộp, hãy dùng tệp chữ gốc, kiểm tra số chữ mà công cụ báo đã đọc, và so với số chữ thực của bài. Sai lệch lớn là dấu hiệu tệp có vấn đề về định dạng.
Bước hai: chuẩn hoá văn bản
Chữ lấy ra được đưa về một dạng thống nhất để hai văn bản viết hơi khác nhau vẫn so được với nhau. Các thao tác phổ biến gồm: chuyển hết sang chữ thường, bỏ dấu câu, gộp khoảng trắng thừa, đưa các ký tự trông giống nhau về cùng một mã. Với tiếng Việt còn một việc riêng: chữ có dấu có thể được lưu theo hai cách, dạng dựng sẵn (một ký tự cho cả chữ và dấu) và dạng tổ hợp (chữ cái cộng ký tự dấu đi kèm). Hai cách nhìn giống hệt nhau trên màn hình nhưng là hai chuỗi mã khác nhau; phần mềm tốt phải đưa về một dạng trước khi so.
Một số hệ thống còn bỏ bớt những từ quá phổ biến như "và", "của", "là", "những", vì chúng xuất hiện ở mọi văn bản và gây khớp oan. Một số khác giữ lại vì cụm từ chức năng cũng mang thông tin về cách viết. Đây là lựa chọn thiết kế, và nó giải thích một phần vì sao hai phần mềm ra hai con số khác nhau cho cùng một bài.
Bước chuẩn hoá cũng là lý do những mẹo như thay chữ Latin bằng chữ trông giống từ bảng chữ cái khác, chèn ký tự vô hình hay chữ màu trắng ngày càng mất tác dụng: các hệ thống hiện đại phát hiện và đưa chúng về dạng chuẩn, đồng thời nhiều hệ thống gắn cờ cảnh báo riêng cho kiểu can thiệp này. Bị phát hiện cố tình qua mặt phần mềm thường bị xử lý nặng hơn chính lỗi trùng lặp.
Bước ba: cắt thành những cụm chữ liền nhau
Văn bản sau chuẩn hoá được cắt thành những cụm gồm một số chữ liền nhau, chồng gối lên nhau. Lấy câu giả định "phần mềm so khớp văn bản theo từng cụm nhỏ" và cụm năm chữ: cụm đầu là "phần mềm so khớp văn", cụm thứ hai là "mềm so khớp văn bản", cụm thứ ba là "so khớp văn bản theo", cứ thế trượt từng chữ cho tới hết câu. Một bài mười nghìn chữ sẽ cho gần mười nghìn cụm như vậy.
Độ dài cụm là một tham số quan trọng. Cụm quá ngắn, chừng hai ba chữ, thì gần như văn bản nào cũng khớp với văn bản nào, vì tiếng Việt có vô số tổ hợp thông dụng. Cụm quá dài thì chỉ cần thay một chữ ở giữa là cả cụm không còn khớp, dễ bỏ sót. Các hệ thống thường chọn một độ dài trung bình, rồi bù lại bằng việc nối các cụm khớp gần nhau thành đoạn ở bước sau.
Với tiếng Việt, câu hỏi "một chữ là gì" cũng không đơn giản. Đơn vị cách nhau bằng khoảng trắng là âm tiết, không phải từ: "kiểm tra" là hai âm tiết nhưng một từ. Hệ thống có bước tách từ sẽ cắt cụm theo từ, hệ thống không có sẽ cắt theo âm tiết. Hai cách cho ra tập cụm khác nhau, và do đó những điểm khớp khác nhau.
Bước bốn: lấy dấu vân tay để không phải so mọi thứ
Nếu lưu nguyên mọi cụm của mọi văn bản trong kho và so từng cặp, việc tính toán sẽ quá nặng. Vì vậy mỗi cụm được biến thành một con số ngắn bằng hàm băm, giống như một dấu vân tay: hai cụm giống hệt nhau luôn cho cùng một số, hai cụm khác nhau gần như luôn cho số khác. So hai con số nhanh hơn rất nhiều so với so hai chuỗi chữ.
Tiếp đó, hệ thống không giữ hết mọi dấu vân tay mà chỉ chọn một phần đại diện theo quy tắc cố định, sao cho nếu hai văn bản có một đoạn chung đủ dài thì chắc chắn có ít nhất một dấu được chọn ở cả hai bên. Một cách chọn được nhắc nhiều trong tài liệu chuyên ngành là phương pháp sàng lọc theo cửa sổ trượt, được Schleimer, Wilkerson và Aiken trình bày năm 2003 và dùng trong hệ thống phát hiện mã nguồn sao chép của họ. Nguyên lý chung là trong mỗi cửa sổ gồm vài dấu liên tiếp, giữ lại dấu có giá trị nhỏ nhất.
Bạn không cần nhớ tên phương pháp. Điều đáng hiểu là: nhờ bước này, phần mềm phát hiện chắc chắn những đoạn trùng đủ dài, nhưng có thể bỏ qua những trùng lặp rất ngắn. Đó là chủ ý, vì trùng một vài chữ thường là ngẫu nhiên.
Bước năm và sáu: tra chỉ mục, so chi tiết, tính tỷ lệ
Dấu vân tay của bài bạn được tra trong chỉ mục của kho dữ liệu, nơi đã lưu sẵn dấu của hàng triệu văn bản. Văn bản nào có nhiều dấu trùng sẽ được chọn làm ứng viên. Với mỗi ứng viên, hệ thống so chi tiết từng đoạn, nối những cụm khớp nằm gần nhau thành đoạn dài hơn, cho phép vài chữ lệch ở giữa, rồi bỏ những đoạn khớp ngắn hơn ngưỡng tối thiểu.
Cuối cùng, phần mềm gom kết quả: mỗi chữ trong bài được gán cho nguồn khớp tốt nhất, nguồn được sắp theo tỷ lệ đóng góp, các đoạn được tô màu theo nguồn. Tỷ lệ tổng là số chữ được tô màu chia cho tổng số chữ, sau khi áp các cài đặt loại trừ như bỏ trích dẫn, bỏ danh mục tài liệu tham khảo, bỏ nguồn đóng góp dưới một ngưỡng nhỏ.
Hai bước này là nơi phát sinh nhiều hiện tượng gây khó hiểu trong báo cáo. Một đoạn giống cả giáo trình gốc lẫn ba trang đã chép giáo trình ấy sẽ chỉ được gán cho một nguồn, không nhất thiết là nguồn gốc. Một nguồn nhỏ có thể biến mất khỏi danh sách khi người kiểm đặt ngưỡng loại trừ. Tỷ lệ có thể đổi giữa hai lần kiểm cách nhau vài tuần vì kho đã được bổ sung.
Các tham số ảnh hưởng tới con số cuối cùng
Bảng dưới đây gom những lựa chọn kỹ thuật vừa nói, cho thấy mỗi lựa chọn đẩy kết quả theo hướng nào. Người dùng bình thường không chỉnh được phần lớn tham số, nhưng biết chúng tồn tại giúp bạn hiểu vì sao kết quả khác nhau.
| Tham số | Đặt thấp hoặc tắt | Đặt cao hoặc bật |
|---|---|---|
| Độ dài cụm so khớp | Nhiều khớp oan với cụm từ thông dụng | Dễ bỏ sót câu chép có sửa vài chữ |
| Ngưỡng đoạn khớp tối thiểu | Báo cáo dày đặc những mảnh vụn vài chữ | Chỉ còn đoạn dài, tỷ lệ thấp hơn |
| Bỏ từ quá phổ biến | Khớp nhiều hơn ở những câu khác nội dung | Tập trung vào từ mang nghĩa |
| Tách từ tiếng Việt | Cắt theo âm tiết, khớp nhiều cụm rời | Cắt theo từ, khớp sát nghĩa hơn |
| Loại trừ trích dẫn và tài liệu tham khảo | Tỷ lệ gồm cả phần trùng hợp lệ | Tỷ lệ phản ánh phần thân bài |
Đọc bảng này, bạn sẽ thấy hai phần mềm hoàn toàn có thể đúng theo cách của mình mà vẫn ra hai con số khác nhau. Con số đáng quan tâm nhất luôn là con số do đúng hệ thống, đúng cài đặt của nơi nhận bài đưa ra.
Hiểu cơ chế để làm gì
Có người tìm hiểu cách phần mềm hoạt động để tìm khe hở: đổi ký tự, chèn chữ ẩn, chuyển bài thành ảnh, cho công cụ viết lại tự động xáo trộn câu. Như đã nói ở trên, phần lớn những cách này hoặc bị bước chuẩn hoá xử lý, hoặc để lại dấu hiệu bất thường mà người chấm nhìn thấy ngay, như số chữ phân tích quá thấp hay câu văn tối nghĩa. Và một khi bị phát hiện cố ý qua mặt, câu chuyện không còn là trùng lặp nữa mà là gian lận.
Hiểu cơ chế có ích theo hướng ngược lại. Bạn biết vì sao một thuật ngữ bắt buộc bị tô màu và không cần hoảng. Bạn biết kiểm tra số chữ được phân tích trước khi tin vào một con số thấp. Bạn biết vì sao nguồn hiện ra trong báo cáo chưa chắc là nguồn gốc, nên lần về tài liệu ban đầu để ghi trích dẫn cho đúng. Và bạn biết rằng cách duy nhất để một đoạn không trùng mà vẫn trung thực là thật sự viết nó bằng hiểu biết của mình, kèm ghi nguồn cho phần ý lấy từ người khác.
Câu hỏi thường gặp
Phần mềm kiểm tra trùng lặp có hiểu nội dung bài không?
Phần lớn không. Chúng so chuỗi chữ đã được chuẩn hoá chứ không hiểu nghĩa. Một số hệ thống mới có thêm lớp so theo ngữ nghĩa để bắt câu diễn đạt lại, nhưng kết quả của lớp này kém chắc chắn hơn so khớp chữ và vẫn cần người đọc xác nhận.
Nộp PDF scan thì phần mềm có kiểm được không?
Chỉ khi hệ thống có bước nhận dạng chữ từ ảnh, và chất lượng với tiếng Việt có dấu không đồng đều. Nhiều nơi yêu cầu nộp tệp chữ để tránh chuyện này. Nếu báo cáo ghi số chữ được phân tích quá thấp so với độ dài bài, kết quả đó không dùng được.
Đổi vài chữ trong câu có làm phần mềm không nhận ra không?
Thường là không đủ. Hệ thống nối các cụm khớp gần nhau thành đoạn và cho phép vài chữ lệch ở giữa, nên câu chép có sửa lặt vặt vẫn bị tô màu. Quan trọng hơn, sửa chữ không thay đổi việc ý đó là của người khác và cần ghi nguồn.
Vì sao báo cáo chỉ ra nguồn là một trang chia sẻ tài liệu chứ không phải sách gốc?
Vì mỗi đoạn chỉ được gán cho một nguồn khớp tốt nhất trong kho, và trang chia sẻ có thể nằm trong kho còn sách gốc thì không. Bạn nên lần về tài liệu gốc và ghi trích dẫn theo nguồn gốc đó.
Kiểm cùng một bài hai lần có ra cùng tỷ lệ không?
Nếu cách nhau vài phút và cùng cài đặt thì thường giống nhau. Cách nhau vài tuần thì có thể khác, vì kho dữ liệu đã được bổ sung, hoặc vì lần kiểm trước đã lưu bài vào kho và lần sau báo trùng với chính nó.
Phần mềm có phát hiện chữ màu trắng hay ký tự ẩn không?
Các hệ thống hiện nay phần lớn phát hiện và đưa về dạng chuẩn, nhiều hệ thống còn gắn cờ cảnh báo riêng. Đây là hành vi cố ý qua mặt và thường bị xử lý nặng hơn bản thân lỗi trùng lặp, nên không đáng thử.