Nên làm gì khi trường dữ liệu bị thiếu?

Điểm chínhGiá trị trống có thể mang nhiều nguyên nhân: chưa quan sát, chưa ghi nhận, chưa xác định hoặc không áp dụng. · Không thay dữ liệu thiếu bằng số 0 hay giá trị suy đoán nếu định nghĩa trường không cho phép. · Kiểm tra mẫu thiếu theo trận, nguồn, loại sự kiện và thời điểm trước khi phân tích. · Ước tính cần phương pháp, giả định và đánh giá độ nhạy; không phải cách lấp chỗ trống tùy ý. · Báo cáo giới hạn và số lượng trường hợp bị ảnh hưởng để người đọc hiểu phạm vi.

Trước hết, phân loại ý nghĩa của khoảng trống

Trong bảng dữ liệu, ô trống thường trông giống nhau dù nguyên nhân có thể rất khác. Một vị trí không có dữ liệu có thể do hệ thống không quan sát được, trường đó không được cung cấp hoặc quá trình xử lý loại bỏ giá trị. Một người chuyền để trống có thể vì sự kiện bắt đầu từ tình huống bóng bật ra, không có đường chuyền trước đó, hoặc vì nhà cung cấp chưa xác định được người chuyền. Chân dứt điểm có thể thiếu vì góc quay không rõ, nhưng với một sự kiện không phải cú sút thì thuộc tính đó có thể không áp dụng. Các trạng thái này không nên gộp thành một ý nghĩa duy nhất.

Kiểm tra tài liệu của lược đồ dữ liệu trước khi quyết định. Một nguồn có thể dùng giá trị null, chuỗi rỗng, mã đặc biệt hoặc trường bị bỏ hẳn để biểu thị các trường hợp khác nhau. Nếu thông tin không được mô tả, liên hệ tài liệu hoặc ghi nhận rằng nguyên nhân chưa rõ; đừng tự diễn giải mã. FIFA mô tả hoạt động thu thập dữ liệu sự kiện trong bối cảnh công nghệ và quy trình bóng đá, nhấn mạnh rằng bản ghi được tạo qua phương thức thu thập cụ thể chứ không phải mọi thuộc tính đều tự có. ^[1] Điều này hữu ích để đặt câu hỏi về nguồn gốc, nhưng không thay thế tài liệu của bộ dữ liệu cụ thể bạn đang dùng.

Tách riêng “không có dữ liệu” khỏi giá trị hợp lệ bằng 0. Nếu trường là khoảng cách, 0 có thể mang ý nghĩa định lượng; nếu trường là số lần, 0 có thể cho biết sự kiện không xảy ra. Nhưng một ô trống không chứng minh đại lượng bằng không. Mã hóa nhầm hai trạng thái sẽ ảnh hưởng trung bình, tỷ lệ, biểu đồ và mô hình dự đoán. Giữ nguyên giá trị thô cùng một cột trạng thái diễn giải giúp nhóm phân tích kiểm tra lại quyết định.

Tìm xem dữ liệu thiếu xuất hiện theo quy luật nào

Sau khi hiểu lược đồ, đếm và mô tả trường thiếu theo nhóm phù hợp: loại sự kiện, trận đấu, đội, thời điểm, mùa giải, nhà cung cấp hoặc phiên bản tệp. Mục đích không phải tạo một con số gây ấn tượng mà là xem khoảng trống có tập trung ở một khu vực hay không. Nếu vị trí thiếu chủ yếu ở một nguồn, điều đó có thể liên quan phương thức thu thập hoặc chuyển đổi; nếu chỉ xuất hiện trong một nhóm tình huống, đặc tính sự kiện có thể đóng vai trò. Không thể khẳng định nguyên nhân chỉ từ mẫu quan sát, nhưng phân tích này giúp xác định câu hỏi cần kiểm tra.

Hãy kiểm tra cả mẫu đầy đủ và mẫu thiếu. Ví dụ, so sánh loại sự kiện, thời gian trận và nguồn giữa hai nhóm, nhưng tránh khẳng định quan hệ nhân quả. Nếu các trường thiếu tập trung vào các tình huống khó quan sát, loại bỏ toàn bộ các dòng thiếu có thể khiến phân tích chỉ còn những tình huống dễ ghi nhận. Khi đó, kết quả có thể mô tả mẫu còn lại chứ không nhất thiết đại diện cho mọi tình huống. Ngược lại, điền giá trị không có căn cứ cũng có thể tạo thiên lệch. Lựa chọn phụ thuộc vào câu hỏi và cơ chế thiếu mà bạn hiểu được.

Kiểm tra dữ liệu có bị thiếu do quy trình kỹ thuật không: lỗi đọc tệp, kiểu dữ liệu không tương thích, tên cột thay đổi, mã hóa ký tự hoặc bước ghép bảng sai có thể làm mất thông tin vốn tồn tại trong nguồn. So sánh bản trích xuất với dữ liệu gốc và đếm số dòng trước, sau mỗi bước xử lý. Nếu mất mát phát sinh trong pipeline, xử lý nguyên nhân ở bước đó thay vì dùng phương pháp thống kê để che lấp lỗi chuyển đổi. Ghi lại quyết định làm sạch để có thể tái lập.

Chọn cách xử lý phù hợp với câu hỏi

Nếu số trường hợp thiếu ít và không có dấu hiệu tập trung quan trọng, một lựa chọn là phân tích các bản ghi có đủ trường cần thiết. Nhưng phải nêu số lượng hoặc phạm vi bị loại bỏ và nhớ rằng kết luận chỉ áp dụng cho tập còn lại. Nếu mục tiêu là mô tả toàn bộ trận đấu, loại mọi tình huống không rõ người chuyền có thể làm mất chính các pha khó phân loại. Một cách khác là giữ nhóm “chưa xác định” như một nhóm riêng khi câu hỏi cho phép, thay vì ép nhóm này vào một nhãn cụ thể.

Ước tính hoặc nội suy chỉ phù hợp khi phương pháp có cơ sở cho loại dữ liệu và mục tiêu đang xét. Với tọa độ tracking, nội suy có thể dự đoán điểm giữa các quan sát nhưng không tái tạo chắc chắn chuyển động thật; một nghiên cứu về dữ liệu tracking bóng đá minh họa việc đánh giá các kỹ thuật dự đoán tọa độ thiếu và tác động của chúng lên nhận định phân tích. ^[2] Đối với các trường phân loại như chân dứt điểm hay người chuyền, không thể áp dụng máy móc phương pháp nội suy tọa độ; cần dữ liệu phụ trợ hoặc mô hình được kiểm định cho đúng loại trường.

Nếu chọn ước tính, ghi rõ biến đầu vào, giả định, cách đánh giá và kết quả khi thay đổi giả định. Có thể báo cáo kết quả chính cùng phân tích độ nhạy: liệu kết luận có đổi khi loại các trường hợp thiếu, giữ nhóm chưa biết hoặc dùng một cách ước tính khác? Nếu câu trả lời thay đổi mạnh, đó là thông tin quan trọng về độ mong manh của kết luận. Không nên chỉ giữ phiên bản cho ra câu chuyện rõ ràng nhất.

Diễn giải kết luận mà không vượt quá bằng chứng

Một kết luận tốt nêu cả nội dung quan sát được lẫn điều không thể xác định. Thay vì viết “cầu thủ không chuyền bóng” khi trường người chuyền để trống, có thể viết “bản ghi không xác định người chuyền trong các trường hợp này”. Thay vì viết “cú sút bằng chân phải” khi thuộc tính chân thiếu, hãy giới hạn phân tích ở các cú sút có trường này và nêu rằng nhóm chưa xác định không được gán chân. Sự khác biệt giữa không xảy ra và không ghi nhận là cốt lõi của diễn giải dữ liệu.

Nếu công bố biểu đồ hoặc bảng, chú thích mẫu số. Tỷ lệ tính trên tất cả sự kiện khác với tỷ lệ tính trên những bản ghi đủ trường. Nêu số lượng trường hợp chưa rõ nếu có thể và giải thích chúng được xử lý thế nào. Tránh làm tròn hoặc trình bày quá chính xác khi dữ liệu đầu vào thiếu hoặc quy tắc không rõ. Một con số có nhiều chữ số thập phân không làm giả định trở nên đáng tin hơn.

Đặt kết luận trong đúng phạm vi nguồn. Khi nêu cách thu thập hoặc giới hạn của bộ dữ liệu, hãy tham chiếu tài liệu mô tả phương thức cụ thể; FIFA trình bày việc thu thập sự kiện tự động trong bối cảnh công nghệ bóng đá, nhưng trang này không thay thế tài liệu lược đồ của từng nhà cung cấp. ^[1] Nếu nguồn không công bố chính sách xử lý giá trị thiếu, báo cáo điều đó như giới hạn thay vì suy đoán về cách nhà cung cấp làm việc. Đối với người xem, có thể tra lịch bóng đá tại Nơi xem lịch bóng đá hôm nay trực tuyến; tuy vậy lịch trận và bảng phân tích có mục đích khác nhau, và lịch không xác nhận các trường thống kê còn thiếu.

Câu hỏi thường gặp