Chọn thiết kế nghiên cứu 4: Độ tin cậy

Nếu một nghiên cứu được tiến hành dựa theo các nguyên tắc khoa học thì ta có thể nói rằng đó là một nghiên cứu có giá trị khoa học. Ngoài ra, khi nói về chất lượng của một nghiên cứu khoa học và kết luận của nó, ta còn có khái niệm độ tin cậy (reliability) và độ hiệu lực (validity). Độ tin cậy đề cập tới sự nhất quán, trước sau như một (consistency). Điều này có nghĩa là kết quả nghiên cứu được tái lập trong những lần nghiên cứu lặp lại theo sau nghiên cứu đầu tiên (xem ví dụ về nguyên tắc lặp lại trong khoa học ở đây). Giả sử, bạn muốn biết cân nặng của mình và cân thử vài lần khác nhau trong cùng một ngày, bạn chắc hẳn sẽ kỳ vọng mình sẽ nhận được cùng một kết quả. Nếu một chiếc cân cho kết quả lần nào đo cũng khác nhau trong cùng 1 ngày thì có vẻ như là một chiếc cân có vấn đề và hơi bị vô dụng bởi vì bạn sẽ không biết đâu mới thực sự là kết quả đúng. Như bạn thấy đó, để đạt được sự tái lập thì nhà nghiên cứu phải đảm bảo rằng ông ta đo lường các dữ kiện của mình một cách chính xác, nghĩa là tính biến thiên của dữ kiện phải nằm trong mức chấp nhận được (vì luôn có các sai số ngẫu nhiên nên ta không thể kỳ vọng dữ kiện sẽ luôn giống nhau ở những lần đo khác nhau, xem lại bài tính biến thiên ở đây). Vậy làm sao để biết phép đo lường dữ kiện của một nghiên cứu là chính xác, hoặc nói cách khác, là có độ tin cậy cao? Có một vài cách kiểm tra độ tin cậy khác nhau; tuy nhiên, tất cả đều được thể hiện bằng hệ số tương quan (correlational coefficient).

Độ tin cậy giữa các bài kiểm tra tương đương (Parallel forms reliability), hay còn gọi là alternate form reliability, là độ tin cậy thể hiện qua tính nhất quán giữa các bài kiểm tra song song giống nhau (the consistency between parallel tests). Nhà nghiên cứu tạo ra hai forms (thang đo), cả hai cùng đo lường cùng một khái niệm (ví dụ, tính hướng ngoại). Sau đó, ông ta đưa bạn làm một form vào tuần này, và một form khác vào tuần tiếp theo. Chúng ta kỳ vọng rằng bạn sẽ đạt kết quả giống nhau ở cả hai form.

Độ tin cậy bên trong (internal reliability) đề cập đến tính nhất quán (internal consistency) giữa các đề mục hoặc câu hỏi bên trong một bài test hoặc một bản questionnaire. Spearman (1907) giới thiệu công thức KR20 và phương pháp tách đôi (split-half approach). Cách tách đôi đơn giản là ta chia đôi dữ kiện thành hai nhóm. Điểm số của một người tham gia được tính dựa vào mỗi nhóm đã tách này. Nếu thang đo có tính nhất quán thì hai điểm số này phải bằng (hoặc tương đương) nhau. Như vậy, với tất cả những người tham ta tính hệ số tương quan giữa kết quả test của họ ở hai nhóm câu hỏi này và kỳ vọng rằng chúng phải tương quan với nhau rất cao (nếu không muốn nói là cần phải thật hoàn hảo). Bạn có thể tính được hệ số tương quan split-half trong phần mềm thống kê, hệ số này cao chứng tỏ độ tin cậy của thang đo cao. Tuy nhiên, các nhà nghiên cứu hiện nay đã không còn chuộng cách thức này bởi vì có thể sinh ra thiên vị (bias) trong cách chia câu hỏi. Có một vài cách chia khác nhau, và vì vậy kết quả cũng có thể bị ảnh hưởng. Để giải quyết vấn đề này, Cronbach (1951) giới thiệu hệ số tương quan Cronbach’s alpha, với công thức tương tự và được mở rộng từ KR20 trong phương pháp tách đôi. Cách làm này đại ý là đi tìm tổng số tất cả các cách chia dữ kiện ra làm hai nhóm và tính hệ số tương quan cho từng nhóm rồi cuối cùng là tính giá trị trung bình của tất cả các hệ số tương quan này. Kết quả này gọi là Cronbach’s alpha, đây cũng là cách tính độ tin cậy bên trong của thang đo phổ biến nhất hiện nay (Field, 2009).

Ngoài ra, phương pháp tách đôi chỉ áp dụng khi nguyên cả bài test được thiết kế để đo lường cùng một thuộc tính tâm lý và không thể sử dụng trong những trường hợp mà thang đo gồm có nhiều thuộc tính khác nhau. Ví dụ, bài trắc nghiệm năm tính cách (Big-Five Inventory) là bộ câu hỏi dùng để đo lường năm mặt tính cách của con người là tính sẵn sàng trải nghiệm (openness to experience), tính tận tâm (conscientiousness), tính hướng ngoại (extroversion), tính tâm lý bất ổn (neuroticism), và tính dễ chịu (agreeableness). Trong trường hợp này, phương pháp tách đôi cũng không thể áp dụng được. Cách xử lý đơn giản đó là ta có thể tính Cronbach’s alpha cho từng thang đo nhỏ của mỗi thuộc tính trong thang đo (sub-scale) (Field, 2009).

Độ tin cậy bên ngoài (external reliability) gồm có 2 loại là test-retest reliability và inter-rater (inter-observer) reliability. Độ tin cậy test-retest (test-retest reliability) là tính nhất quán theo thời gian (consistency across time) của một thang đo (scale). Tương tự như ví dụ về cái cân, một thang đo hoặc bài test chỉ có thể đáng tin cậy khi nó đưa ra những kết quả nhất quán trong những lần đo khác nhau. Độ tin cậy inter-rater thể hiện qua tính nhất quán giữa những người đánh giá/ người quan sát (inter-rater consistency) khác nhau. Cohen’s kappa là cách tính inter-rater reliability phổ biến và được sử dụng nhiều trong các nghiên cứu quan sát.

Tóm lại, khái niệm độ tin cậy theo nghĩa rộng là nói về tính nhất quán của kết quả nghiên cứu. Một trong những yếu tố quyết định giá trị của một giả thuyết hoặc lý thuyết chính là độ tin cậy, hay là sự tái lập qua mỗi lần nghiên cứu. Theo nghĩa hẹp và mang tính kỹ thuật hơn thì độ tin cậy là khái niệm nói về độ chính xác (precision) hay là tính nhất quán, trước sau như một (consistency) của một phép đo lường. Nếu phương pháp thu thập dữ liệu không đáng tin thì không thể nào đạt được sự tái lập trong kết quả nghiên cứu. Trong nhiều trường hợp, nhà nghiên cứu sử dụng lại một thang đo có sẵn, khi đó họ cần phải giải trình rằng lý do của việc chọn lựa đó, thông thường là dựa vào độ tin cậy của nó. Độ tin cậy này có thể được tham chiếu từ nghiên cứu trước, và cũng có thể được tính toán lại cho nhóm người tham gia (sample) ngay trong nghiên cứu hiện tại. Có khi, nhà nghiên cứu muốn theo đuổi một khái niệm tâm lý mới mà chưa có nhiều nghiên cứu trước đó, trong trường hợp này, họ có thể tự phát triển một thang đo mới và thiết kế một nghiên cứu riêng để kiểm tra độ tin cậy (reliability) và độ hiệu lực (validity) của thang đo đó. Ta sẽ nói về độ hiệu lực (validity) trong một bài viết khác.