TIÊU CHUẨN QUỐC GIA

TCVN 8006-4 : 2013

ISO 16269-4:2010

GIẢI THÍCH CÁC DỮ LIỆU THỐNG KÊ -  PHẦN 4: PHÁT HIỆN VÀ XỬ LÝ CÁC GIÁ TRỊ BẤT THƯỜNG

Statistical interpretation of data - Part 4: Detection and treatment of outliers

Lời nói đầu

TCVN 8006-4:2013 hoàn toàn tương đương với ISO 16269-4:2010;

TCVN 8006-4:2013 do Ban kỹ thuật tiêu chuẩn quốc gia TCVN/TC 69 Ứng dụng các phương pháp thống kê biên soạn, Tổng cục Tiêu chuẩn Đo lường chất lượng đề nghị, Bộ Khoa học và Công nghệ công bố.

Bộ tiêu chuẩn TCVN 8006, chấp nhận bộ tiêu chuẩn ISO 16269, gồm các tiêu chuẩn dưới đây có tên chung “Giải thích các dữ liệu thống kê”:

- TCVN 8006-4:2013 (ISO 16269-4:2010), Phần 4: Phát hiện và xử lý các giá trị bất thường

- TCVN 8006-6:2009 (ISO 16269-6:2005), Phần 6: Xác định khoảng dung sai thống kê

- TCVN 8006-7:2013 (ISO 16269-6:2001), Phần 7: Trung vị - Ước lượng và khoảng tin cậy

Bộ tiêu chuẩn ISO 16269 còn có tiêu chuẩn sau:

- ISO 16269-8, Statistical interpretation of data - Part 8: Determination of prediction intervals

Lời giới thiệu

Xác định các giá trị bất thường một trong những vấn đề lâu đời nhất trong giải thích dữ liệu. Nguyên nhân của giá trị bất thường bao gồm sai số đo, sai số lấy mẫu, báo cáo thấp đi hoặc báo cáo cao lên có chủ ý các kết quả lấy mẫu, ghi chép sai, giả định phân bố hay mô hình sai cho tập dữ liệu, các quan trắc hiếm, v.v..

Giá trị bất thường có thể bóp méo và giảm thông tin trong nguồn dữ liệu hoặc cơ chế tạo dữ liệu. Trong công nghiệp chế tạo, sự có mặt các giá trị bất thường sẽ làm giảm hiệu lực của thiết kế quá trình/sản phẩm và quy trình kiểm soát chất lượng. Các giá trị bất thường có thể không nhất thiết là xấu hay sai lầm. Trong một số trường hợp, giá trị bất thường có thể mang thông tin thiết yếu và do đó cần được nhận biết để nghiên cứu thêm.

Nghiên cứu và phát hiện giá trị bất thường từ các quá trình đo mang lại hiểu biết tốt hơn về quá trình và phân tích dữ liệu đúng sẽ dẫn đến những kết luận được cải thiện.

Với một lượng lớn tài liệu đề cập đến chủ đề giá trị bất thường, điều đặc biệt quan trọng đối với cộng đồng quốc tế là xác định và chuẩn hóa tập các phương pháp sử dụng trong việc nhận biết và xử lý các giá trị bất thường. Việc áp dụng tiêu chuẩn này cho phép doanh nghiệp và ngành công nghiệp thừa nhận các phân tích dữ liệu do các quốc gia hay tổ chức thành viên tiến hành.

Tiêu chuẩn gồm sáu phụ lục. Phụ lục A đưa ra thuật toán để tính thống kê kiểm nghiệm và các giá trị tới hạn của quy trình phát hiện giá trị bất thường trong tập dữ liệu lấy từ phân bố chuẩn. Phụ lục B, D và E cung cấp các bảng cần thiết để thực hiện các quy trình khuyến nghị. Phụ lục C cung cấp các bảng và lý thuyết thống kê làm cơ sở cho việc vẽ các đồ thị hộp sửa đổi trong phát hiện giá trị bất thường. Phụ lục F đưa ra hướng dẫn có cấu trúc và lưu đồ các quá trình khuyến nghị trong tiêu chuẩn này.

GIẢI THÍCH CÁC DỮ LIỆU THỐNG KÊ -  PHẦN 4: PHÁT HIỆN VÀ XỬ LÝ CÁC GIÁ TRỊ BẤT THƯỜNG

Statistical interpretation of data - Part 4: Detection and treatment of outliers

1. Phạm vi áp dụng

Tiêu chuẩn này đưa ra mô tả chi tiết về quy trình kiểm nghiệm thống kê vững chắc và các phương pháp phân tích dữ liệu bằng đồ thị dùng cho việc phát hiện các giá trị bất thường trong dữ liệu thu được từ các quá trình đo. Tiêu chuẩn khuyến nghị ước lượng ổn định vững chắc và quy trình kiểm nghiệm để thỏa hiệp với sự có mặt của các giá trị bất thường.

Tiêu chuẩn này được xây dựng chủ yếu cho việc phát hiện và sự thích ứng của các giá trị bất thường từ dữ liệu đơn biến. Hướng dẫn nhất định cũng được cung cấp đối với dữ liệu đa biến và hồi quy.

2. Thuật ngữ và định nghĩa

Tiêu chuẩn này