Một nhãn dán sai và giới hạn của dữ liệu nguồn đơn

Sáng hôm đó, tệp dữ liệu mở ra với một dòng nhãn quen thuộc: "Tennis". Ngay bên dưới là tiêu đề: "Hơn 71 phần tử khủng bố bị tiêu diệt trong các chiến dịch tại Balochistan trong 96 giờ: ISPR." Không một tay vợt. Không một mặt sân. Không một game đấu. Chỉ có số liệu thương vong và những tuyên bố phát đi từ cơ quan truyền thông của quân đội Pakistan.

Tôi ngồi rất lâu trước màn hình, không phải để phân tích một trận đấu — đơn giản là không có trận đấu nào để phân tích. Việc duy nhất tôi có thể làm một cách trung thực là lần theo dấu vết của sai sót: bằng cách nào một bản tin an ninh và địa chính trị Nam Á lại lọt vào một đường ống phân tích vốn chỉ dành cho quần vợt?

Đây là câu chuyện về một nhãn dán sai, và về thói quen mà tôi tin là gốc rễ của phần lớn sai lầm trong nghề đo lường: chúng ta tin vào cái nhãn hơn là tin vào nội dung bên dưới nó.

Bản tin thực chất nói về điều gì

Nguồn gốc của văn bản là một bản tin an ninh. Nội dung xoay quanh các chiến dịch chống khủng bố do lực lượng an ninh Pakistan tiến hành tại Balochistan, kéo dài trong khoảng 96 giờ, với các mốc thời gian rơi vào cuối tháng Chín, quanh ngày 21 và ngày 25 tháng Chín. Toàn bộ dữ kiện — con số 71, cùng các nhóm 33, 23, 11 và 6 — đều là số liệu thương vong và số vụ, không phải chỉ số thi đấu. Không có cú giao bóng nào, không có tỷ lệ điểm giành được trên giao bóng một, không có tỷ lệ chuyển hóa điểm break.

Các chủ thể xuất hiện trong bản tin gồm ISPR — bộ phận truyền thông của quân đội Pakistan — cùng Tổng thống Zardari, Thủ tướng Shehbaz Sharif và Bộ trưởng Nội vụ Naqvi. Khung chiến dịch được viện dẫn có tên Azm-e-Istehkam. Các nhóm vũ trang bị nhắm tới được gọi tên theo cách gọi của nhà nước, gồm Fitna Al-Khawarij và Fitna Al-Hindustan. Không một nhân vật nào thuộc làng quần vợt. Không một giải đấu nào được nhắc tới. Không có bảng xếp hạng, không có hạt giống, không có nhánh đấu.

Nói cách khác, đây là văn bản thuộc lĩnh vực quân sự, chống khủng bố và địa chính trị Nam Á. Giá trị của nó đối với bất kỳ mục đích quần vợt nào bằng không. Và tôi sẽ không tự huyễn hoặc mình bằng cách dịch một bản tin quân sự sang ngôn ngữ của mặt sân để rồi gọi đó là phân tích.

Lỗ hổng nằm ở khâu gán nhãn

Tôi tìm thấy lỗ hổng không phải ở cơ thể cầu thủ mà ở cách chúng ta đo lường nó. Lần này, cơ thể cầu thủ thậm chí không tồn tại — nhưng câu nói ấy vẫn đúng nguyên vẹn. Lỗ hổng nằm ở bước tự động hóa phân loại chủ đề: một cỗ máy gán cho văn bản tấm thẻ "Tennis" trong khi nội dung chẳng liên quan gì đến quần vợt.

Hậu quả không dừng ở một bài viết lạc đề. Nếu cái nhãn này đi tiếp vào các bước sau, toàn bộ chuỗi phân tích hạ nguồn sẽ bị nhiễm bẩn. Một mô hình dựng trên dữ liệu đầu vào sai sẽ cho ra kết luận sai — và tệ hơn, kết luận ấy mang dáng vẻ của một phép tính nghiêm túc, đủ để thuyết phục cả người viết lẫn người đọc.

Dữ liệu không bao giờ nói dối; chỉ có cách chúng ta đọc nó mới sai. Ở đây, cách đọc sai bắt đầu từ việc chúng ta dán nhãn trước khi kiểm tra. Tôi từng nghĩ sai lầm kiểu này chỉ xảy ra với số liệu y tế trong thể thao. Nhưng sai sót phân loại có mặt ở khắp nơi, chỉ khác nhau ở mức độ thiệt hại về sau.

Vấn đề nguồn đơn

Có một điểm tôi không thể bỏ qua, kể cả khi chủ đề nằm ngoài chuyên môn của mình. Mọi dữ kiện trong bản tin đều truy về một nguồn duy nhất: ISPR, cùng các quan chức nhà nước có chung quan điểm. Không một cơ quan giám sát độc lập nào được trích dẫn. Không một nhân chứng nào được nêu tên. Không một tiếng nói đối lập nào xuất hiện trong toàn bộ văn bản.

Trong nghề của tôi, một bảng số liệu chỉ đến từ một nguồn chưa qua kiểm chứng là một bảng số liệu chưa thể sử dụng. Tôi đã nhiều lần đối chiếu dữ liệu định vị của các đội bóng và phát hiện sai lệch lên tới hàng chục phần trăm, dù cả hai bên đều khẳng định mình cung cấp số liệu chính thức. Khi chỉ có một nguồn, chúng ta phải gọi đó là lời khai, chứ chưa phải dữ kiện.

Các quy kết về nguồn gốc bên ngoài của xung đột cũng nằm trong nhóm này. Chúng là cáo buộc từ một bên tham chiến, xét về bản chất luôn là vấn đề đang tranh chấp, chứ chưa phải điều đã được phân xử. Việc trình bày một cáo buộc như một sự thật trọn vẹn là dạng sai lệch quen thuộc, và nó lặp lại y hệt cái cách mà một số bản tin thể thao biến chỉ số hiệu suất thành bằng chứng về nỗ lực.

Điều này liên quan gì đến thể thao

Trước khi ai đó cho rằng chủ đề này xa lạ với thể thao, hãy để tôi thuật lại một chuyện trong chính nghề của mình. Dựa trên kinh nghiệm theo dõi các trận đấu của tôi, tôi từng chứng kiến các chỉ số như quãng đường di chuyển và số lần bứt tốc được đóng gói thành thước đo cho nỗ lực của một cầu thủ. Nhưng chạy vô hiệu cũng tạo ra con số đẹp. Một tiền vệ phòng ngự đứng sai vị trí, đuổi theo bóng không mục đích, có thể kết thúc trận với quãng đường ấn tượng hơn cả người chơi hay nhất. Chỉ số ấy không sai — cách chúng ta gán nó cho khái niệm nỗ lực mới sai.

Về cảm giác của tôi khi xem các trận đấu, thời gian xem lại VAR kéo quá dài đang xé nhỏ nhịp điệu trận đấu. Một khoảng chờ hai phút đủ làm nguội một bàn thắng vừa nổ ra, đủ để cảm xúc trên khán đài lắng xuống trước khi trọng tài chỉ tay vào điểm phạt. Nhưng đây là nhận định xuất phát từ khuynh hướng của tôi. Người khác có quyền xem sự chính xác là ưu tiên lớn hơn cảm xúc. Điều tôi phản đối không phải bản thân việc xem lại, mà là cách chúng ta đóng gói thời gian ấy thành một con số trung lập, dễ thống kê và khó phản biện.

Chấn thương là một câu chuyện — nhưng câu chuyện đó bắt đầu rất lâu trước khi cầu thủ gục ngã. Và một bản tin an ninh bị dán nhãn quần vợt cũng bắt đầu rất lâu trước khi nó được xuất ra: từ một bước gán nhãn không ai kiểm tra lại.

Khi nhãn dán thay thế nội dung

Điều khiến tôi day dứt nhất không phải sự sai lệch của một tệp đầu vào, mà là khả năng nó đi qua hệ thống mà không bị chặn lại. Một bước phân loại tự động gán nhãn sai đã đủ để kéo theo cả một chuỗi xử lý lẽ ra phải dành cho một chủ đề hoàn toàn khác.

Trong công việc của mình, tôi từng xây dựng các mô hình đánh giá rủi ro. Tôi biết cảm giác khi tin vào một kết quả chỉ vì nó được trình bày gọn gàng. Một mô hình rủi ro không cứu được ai; nó chỉ cho bạn biết nên nhìn vào đâu. Nếu đầu vào bị dán nhãn sai, mô hình sẽ chỉ bạn nhìn nhầm chỗ — một cách rất thuyết phục.

Cách phòng ngừa không hề cầu kỳ. Mọi bước phân loại đều cần một chốt kiểm tra đối chiếu nhãn với nội dung, trước khi chuyển dữ liệu đi tiếp. Nếu nhãn nói "Tennis" mà văn bản nói về một chiến dịch quân sự, chốt kiểm tra phải chặn lại. Việc chúng ta bỏ qua bước tưởng như nhỏ nhặt này chính là nơi thảm họa dữ liệu bắt đầu — âm thầm, và không báo trước.

Điều tôi rút ra

Trong những năm làm nghề, tôi đã sai nhiều lần, mỗi lần đều để lại một vết hằn đủ sâu để tôi viết lại phương pháp của chính mình. Lần này, thứ khiến tôi chột dạ không phải một chẩn đoán sai về cơ thể cầu thủ, mà là một chẩn đoán sai về chủ đề của cả một văn bản.

Tôi tin vào những con số đã qua kiểm chứng; tôi không tin vào nhãn dán. Một cái nhãn chỉ có giá trị khi nội dung bên dưới xác nhận nó. Khi nội dung và nhãn nói hai điều khác nhau, việc đúng đắn duy nhất là dừng lại và phân loại lại — chứ không phải cố dịch một bản tin quân sự sang ngôn ngữ của mặt sân để rồi tự lừa mình bằng một mớ phân tích rỗng.

Vậy nên, thay vì một bài bình luận quần vợt về một chủ đề không có quần vợt, câu trả lời trung thực nhất mà tôi có thể đưa ra là một lời cảnh báo về quy trình. Đây là một bản tin an ninh. Nó nên được chuyển sang đúng đường phân tích của nó. Và cái chốt kiểm tra còn thiếu ở khâu gán nhãn nên được lắp lại trước khi có thêm một tệp nào nữa đi nhầm đường.

Tôi không tin vào may mắn; tôi tin vào những con số đã qua kiểm chứng. Một nhãn dán sai, nếu không ai kiểm tra, sẽ lặng lẽ đi vào mọi kết luận phía sau. Và khoảnh khắc chúng ta ngừng đối chiếu nhãn với nội dung chính là khoảnh khắc chúng ta mất quyền nói rằng mình đang phân tích.