How the communication of scientific studies can go wrong!

A hilarious show in which the host demonstrated brilliantly a whole host of things that could go wrong with the results of a scientific study. The bias can come in many different forms, either intentionally or ignorantly. This is a useful material to be used in class. I would love to have some one helps with translating this video into Vietnamese one day because that would help if the student is not willingly or not comfortable with English (He speaks clear yet quite fast, and the story some times hard to follow due to cultural differences. You know, humor and funny stories do not always work across culture.)

Basically, the points can be discussed from this video can be:
1. Reliability (replicability)
2. Media reporting with bias
3. Oversimplifying in reporting and communicating science
4. Ethics
5. P-hacking of data
6. Critical thinking (as a researcher and as a consumer of information)
7. Publication bias (underestimation of replication studies)

Can you spot any other topics from the video? Please comment below.

More resources on the similar topics can be found at:

1. This article by the Chronicle of Higher Education, which discusses how the PR and the university researchers are not working well together and how that may harm.

2. I appreciate the work of Jessica Hartnett on her blog (http://notawfulandboring.blogspot.com), where all these materials can be found and credited to.

3. A Ted-Ed about why we must be skeptical consumers of information.

4. A Ted-Talk that demonstrates the real story of flaws in research design, sampling method, and assumptions that have persisted in medicine research for age.

Chọn thiết kế nghiên cứu 4: Độ tin cậy

Nếu một nghiên cứu được tiến hành dựa theo các nguyên tắc khoa học thì ta có thể nói rằng đó là một nghiên cứu có giá trị khoa học. Ngoài ra, khi nói về chất lượng của một nghiên cứu khoa học và kết luận của nó, ta còn có khái niệm độ tin cậy (reliability) và độ hiệu lực (validity). Độ tin cậy đề cập tới sự nhất quán, trước sau như một (consistency). Điều này có nghĩa là kết quả nghiên cứu được tái lập trong những lần nghiên cứu lặp lại theo sau nghiên cứu đầu tiên (xem ví dụ về nguyên tắc lặp lại trong khoa học ở đây). Giả sử, bạn muốn biết cân nặng của mình và cân thử vài lần khác nhau trong cùng một ngày, bạn chắc hẳn sẽ kỳ vọng mình sẽ nhận được cùng một kết quả. Nếu một chiếc cân cho kết quả lần nào đo cũng khác nhau trong cùng 1 ngày thì có vẻ như là một chiếc cân có vấn đề và hơi bị vô dụng bởi vì bạn sẽ không biết đâu mới thực sự là kết quả đúng. Như bạn thấy đó, để đạt được sự tái lập thì nhà nghiên cứu phải đảm bảo rằng ông ta đo lường các dữ kiện của mình một cách chính xác, nghĩa là tính biến thiên của dữ kiện phải nằm trong mức chấp nhận được (vì luôn có các sai số ngẫu nhiên nên ta không thể kỳ vọng dữ kiện sẽ luôn giống nhau ở những lần đo khác nhau, xem lại bài tính biến thiên ở đây). Vậy làm sao để biết phép đo lường dữ kiện của một nghiên cứu là chính xác, hoặc nói cách khác, là có độ tin cậy cao? Có một vài cách kiểm tra độ tin cậy khác nhau; tuy nhiên, tất cả đều được thể hiện bằng hệ số tương quan (correlational coefficient).

Độ tin cậy giữa các bài kiểm tra tương đương (Parallel forms reliability), hay còn gọi là alternate form reliability, là độ tin cậy thể hiện qua tính nhất quán giữa các bài kiểm tra song song giống nhau (the consistency between parallel tests). Nhà nghiên cứu tạo ra hai forms (thang đo), cả hai cùng đo lường cùng một khái niệm (ví dụ, tính hướng ngoại). Sau đó, ông ta đưa bạn làm một form vào tuần này, và một form khác vào tuần tiếp theo. Chúng ta kỳ vọng rằng bạn sẽ đạt kết quả giống nhau ở cả hai form.

Độ tin cậy bên trong (internal reliability) đề cập đến tính nhất quán (internal consistency) giữa các đề mục hoặc câu hỏi bên trong một bài test hoặc một bản questionnaire. Spearman (1907) giới thiệu công thức KR20 và phương pháp tách đôi (split-half approach). Cách tách đôi đơn giản là ta chia đôi dữ kiện thành hai nhóm. Điểm số của một người tham gia được tính dựa vào mỗi nhóm đã tách này. Nếu thang đo có tính nhất quán thì hai điểm số này phải bằng (hoặc tương đương) nhau. Như vậy, với tất cả những người tham ta tính hệ số tương quan giữa kết quả test của họ ở hai nhóm câu hỏi này và kỳ vọng rằng chúng phải tương quan với nhau rất cao (nếu không muốn nói là cần phải thật hoàn hảo). Bạn có thể tính được hệ số tương quan split-half trong phần mềm thống kê, hệ số này cao chứng tỏ độ tin cậy của thang đo cao. Tuy nhiên, các nhà nghiên cứu hiện nay đã không còn chuộng cách thức này bởi vì có thể sinh ra thiên vị (bias) trong cách chia câu hỏi. Có một vài cách chia khác nhau, và vì vậy kết quả cũng có thể bị ảnh hưởng. Để giải quyết vấn đề này, Cronbach (1951) giới thiệu hệ số tương quan Cronbach’s alpha, với công thức tương tự và được mở rộng từ KR20 trong phương pháp tách đôi. Cách làm này đại ý là đi tìm tổng số tất cả các cách chia dữ kiện ra làm hai nhóm và tính hệ số tương quan cho từng nhóm rồi cuối cùng là tính giá trị trung bình của tất cả các hệ số tương quan này. Kết quả này gọi là Cronbach’s alpha, đây cũng là cách tính độ tin cậy bên trong của thang đo phổ biến nhất hiện nay (Field, 2009).

Ngoài ra, phương pháp tách đôi chỉ áp dụng khi nguyên cả bài test được thiết kế để đo lường cùng một thuộc tính tâm lý và không thể sử dụng trong những trường hợp mà thang đo gồm có nhiều thuộc tính khác nhau. Ví dụ, bài trắc nghiệm năm tính cách (Big-Five Inventory) là bộ câu hỏi dùng để đo lường năm mặt tính cách của con người là tính sẵn sàng trải nghiệm (openness to experience), tính tận tâm (conscientiousness), tính hướng ngoại (extroversion), tính tâm lý bất ổn (neuroticism), và tính dễ chịu (agreeableness). Trong trường hợp này, phương pháp tách đôi cũng không thể áp dụng được. Cách xử lý đơn giản đó là ta có thể tính Cronbach’s alpha cho từng thang đo nhỏ của mỗi thuộc tính trong thang đo (sub-scale) (Field, 2009).

Độ tin cậy bên ngoài (external reliability) gồm có 2 loại là test-retest reliability và inter-rater (inter-observer) reliability. Độ tin cậy test-retest (test-retest reliability) là tính nhất quán theo thời gian (consistency across time) của một thang đo (scale). Tương tự như ví dụ về cái cân, một thang đo hoặc bài test chỉ có thể đáng tin cậy khi nó đưa ra những kết quả nhất quán trong những lần đo khác nhau. Độ tin cậy inter-rater thể hiện qua tính nhất quán giữa những người đánh giá/ người quan sát (inter-rater consistency) khác nhau. Cohen’s kappa là cách tính inter-rater reliability phổ biến và được sử dụng nhiều trong các nghiên cứu quan sát.

Tóm lại, khái niệm độ tin cậy theo nghĩa rộng là nói về tính nhất quán của kết quả nghiên cứu. Một trong những yếu tố quyết định giá trị của một giả thuyết hoặc lý thuyết chính là độ tin cậy, hay là sự tái lập qua mỗi lần nghiên cứu. Theo nghĩa hẹp và mang tính kỹ thuật hơn thì độ tin cậy là khái niệm nói về độ chính xác (precision) hay là tính nhất quán, trước sau như một (consistency) của một phép đo lường. Nếu phương pháp thu thập dữ liệu không đáng tin thì không thể nào đạt được sự tái lập trong kết quả nghiên cứu. Trong nhiều trường hợp, nhà nghiên cứu sử dụng lại một thang đo có sẵn, khi đó họ cần phải giải trình rằng lý do của việc chọn lựa đó, thông thường là dựa vào độ tin cậy của nó. Độ tin cậy này có thể được tham chiếu từ nghiên cứu trước, và cũng có thể được tính toán lại cho nhóm người tham gia (sample) ngay trong nghiên cứu hiện tại. Có khi, nhà nghiên cứu muốn theo đuổi một khái niệm tâm lý mới mà chưa có nhiều nghiên cứu trước đó, trong trường hợp này, họ có thể tự phát triển một thang đo mới và thiết kế một nghiên cứu riêng để kiểm tra độ tin cậy (reliability) và độ hiệu lực (validity) của thang đo đó. Ta sẽ nói về độ hiệu lực (validity) trong một bài viết khác.

Chọn thiết kế nghiên cứu 3: Sự biến thiên

Để thực hiện được các mục tiêu của nghiên cứu khoa học, chúng ta cần quan sát sự thay đổi ở đại lượng mà ta quan tâm và giải thích cơ chế của sự thay đổi đó. Vì vậy, nhà nghiên cứu sẽ thiết kế một nghiên cứu sao cho có một đại lượng thay đổi, rồi quan sát ảnh hưởng của việc thay đổi này lên một số đại lượng còn lại. Ở đây, tôi đã mượn từ ‘đại lượng’ của các môn khoa học tự nhiên để minh họa cho một đặc điểm cốt lõi của phương pháp định lượng trong nghiên cứu tâm lý là việc định lượng hóa các hiện tượng và khái niệm trừu tượng trong lãnh địa của tâm trí và hành vi con người. Từ khái niệm đến thuộc tính, rồi từ thuộc tính đến một biến số có thể đo lường được, quá trình này được gọi là thao tác hóa khái niệm. 

Như vậy, biến số và sự biến thiên của nó là mối quan tâm của nhà nghiên cứu. Biến thiên (variation), hay còn gọi là phương sai (variance) trong thống kê là một trong những khái niệm nền tảng của các phép tính kiểm định thống kê như phân tích phương sai (ANOVA) hay phân tích hồi quy (regression analysis).  Với sự giúp đỡ của phần mềm thống kê, hầu như bây giờ không ai còn phải tính tay công thức tính của phân tích phương sai nữa, việc hiểu bản chất của công thức này bắt nguồn từ khái niệm biến thiên (hay phương sai) vẫn rất cần thiết vì nó sẽ giúp bạn có một ‘sense’ tốt hơn về tác động của phương pháp nghiên cứu (nghĩa là toàn bộ từ thiết kế nghiên cứu cho đến phân tích thống kê) lên kết quả nghiên cứu. Ở bài này, biến thiên được hiểu theo nghĩa chung nhất đó là sự dao động của một đại lượng và dùng thuật ngữ variation để diễn tả. Biến thiên có thể xảy ra trong một nghiên cứu bởi một trong ba nguyên nhân.

1. Biến thiên hệ thống do điều kiện thí nghiệm (systematic variation due to experimental condition). 

Đây là loại biến thiên mà nhà nghiên cứu mong đợi và là mục tiêu của thiết kế nghiên cứu. Ví dụ, nhà nghiên cứu muốn kiểm nghiệm tác động của việc tập yoga lên cải thiện giấc ngủ của những người bị mất ngủ kinh niên. Ông ta thiết kế nghiên cứu sao cho có một nhóm có tập yoga mỗi ngày 1 tiếng vào buổi sáng, một nhóm không tập yoga (nhóm để so sánh, gọi là nhóm chứng). Sau đó, từng người được hỏi rằng đêm đó họ ngủ bao nhiêu tiếng. Kết quả thu được là những người có tập yoga có giấc ngủ dài hơn những người không tập. Ta nói, sự khác biệt mà ta quan sát được giữa hai nhóm này chính là biến thiên có hệ thống do điều kiện thí nghiệm (tâp yoga).

2. Biến thiên hệ thống do yếu tố nhiễu (systematic variation due to confounders). 

Đây là loại biến thiên mà ta không mong đợi nhưng thường sẽ đi kèm theo một cách bất khả kháng trong nhiều trường hợp. Loại biến thiên này gây ra mối đe dọa đối với độ nội hiệu lực của nghiên cứu bởi vì nó làm cho kết quả nghiên cứu trở nên không chắc chắn. Ví dụ, bạn giả thuyết rằng việc xem video bạo lực sẽ gây ra hành vi gây hấn ở trẻ nhỏ. Bạn quan sát và đo lường số giờ trẻ chơi video bạo lực của trẻ trong vòng 1 tuần. Sau đó, bạn quan sát trẻ trong giờ chơi ở trường trong tuần tiếp theo. Những quan sát này dẫn đến kết luận rằng trẻ nào xem video bạo lực thì sẽ có xu hướng có hành vi gây hấn với bạn trong giờ chơi và ngược lại, những trẻ không xem video bạo lực ở nhà thì cũng có xu hướng ôn hòa hơn. Tuy nhiên, có những khả năng khác có thể xảy ra không? Chẳng hạn, những trẻ có hành vi gây hấn là vì chúng có cha mẹ ít quản thúc hơn, vì vậy chúng có cơ hội (1) chơi video bạo lực và (2) dám bộc lộ hành vi gây hấn ra bên ngoài. Như vậy, yếu tố gây ra sự khác biệt về xu hướng gây hấn giữa hai nhóm trẻ (A) có xem video bạo lực và (B) không xem video bạo lực có thể nằm ở một yếu tố thứ ba, đó là phong cách của cha mẹ (parenting style) hơn là do bản thân yếu tố xem video bạo lực (violence exposure). Trong trường hợp này, ta nói rằng phong cách cha mẹ (parenting style) là một yếu tố gây nhiễu (confounder), hay biến nhiễu (confounding variable).

3. Biến thiên không hệ thống do sai số ngẫu nhiên (unsystematic variation due to random errors)

Biến thiên không hệ thống là sự dao động của một đại lượng trong từng cá thể và/ hoặc từng nhóm những cá thể. Sự dao động này là ngẫu nhiên và theo những chiều hướng có thể hoàn toàn trái ngược nhau, có người thì giữ nguyên không thay đổi. Ví dụ, một số học sinh có cùng học lực làm bài kiểm tra học kỳ này tốt hơn học kỳ trước, một vài học sinh khác thì làm tệ hơn kỳ trước, vài học sinh thì có điểm số không thay đổi. Khi cộng lại, sự biến thiên này trở nên không đáng kể. Tương tự, tâm trạng của một người có thể khác nhau tùy hôm. Hôm nay, có người cảm thấy vui vẻ hơn hôm qua, lại có người thấy chán hơn hôm qua, có người thì hôm qua với hôm nay không có gì thay đổi. Như vậy, ta thấy rằng biến thiên không hệ thống có thể làm nhiễu kết quả nghiên cứu theo những chiều hướng mà nhà nghiên cứu không thể biết trước được. Tuy nhiên, đa số đều nhìn nhận rằng biến thiên không hệ thống là một phần của cuộc sống mà hầu như không thể hoàn toàn bị xóa bỏ với những biện pháp đo lường hiện thời của tâm lý học. Có hai kiểu sai số ngẫu nhiên đồng thời gây ra biến thiên không hệ thống là sự khác biệt cá nhân (individual differences) và sai số trong đo lường (measurement error).

Sai số trong đo lường (measurement error)

Sai số trong đo lường xảy ra là do các công cụ đo lường không đưa ra kết quả giống nhau về một đại lượng (hiện tượng) trong những lần đo khác nhau. Công cụ đo lường trong nghiên cứu tâm lý có thể là một bài kiểm tra trắc nghiệm (test), bản hỏi (questionnaire), hoặc một quan sát trực tiếp (direct observation). Một ví dụ dễ thấy nhất và có lẽ là nhiều người trong chúng ta từng trải nghiệm qua ít nhất một lần đó là sai số của máy đo chiều cao và cân nặng. Nếu bạn thực sự nặng 52 kg nhưng cân chỉ kết quả 50 kg thì ta nói cân đã có sai số là 2 kg. Nếu chiếc cân này cho ra kết quả lần lượt là 50 kg, 48 kg, 55 kg vào những lần cân khác nhau trong những thời điểm gần nhau (giả định cân nặng thực sự của bạn là 52 kg), thì ta nói rằng chiếc cân đã có sai số đo lường và sai số này là sai số không hệ thống, nói cách khác, nó xảy ra một cách ngẫu nhiên. Nếu ta thực hiện phép cân này rất nhiều lần, kéo dài đến vô hạn, thì sai số này sẽ tịnh tiến về giá trị 0 (trung bình cộng của sai số là bằng tổng số cân nặng trong tất cả các lần cân chia cho số lần thực hiện cân). Trên thực tế, nhà nghiên cứu không cần phải thực hiện vô cực lần đo lường để đạt được sai số bằng zero. Điều mà ông ta làm là giảm thiểu sai số này xuống con số nhỏ nhất có thể và con số này thường được quy ước ngầm. Sai số đo lường có liên quan trực tiếp đến độ tin cậy (reliability) của phép đo lường. Độ tin cậy càng cao, sai số đo lường càng thấp. Vì vậy, khi đọc các bài báo khoa học, bạn sẽ thường hay thấy trong phần phương pháp, tác giả hay nêu rõ là chỉ số độ tin cậy của phép đo lường mà ông ta sử dụng đạt bao nhiêu. Ví du, bài báo viết ‘Inter-rater reliability was achieved with a Cohen kappa coefficient of 0.96….’, nghĩa là theo tiêu chí về độ tin cậy của Cohen thì phép đo lường mà tác giả sử dụng có sai số đo lường là 4%. Bạn đọc không nên cảm thấy lúng túng với các khái niệm mới lạ này, chúng sẽ bàn kỹ về độ tin cậy cách diễn giải ý nghĩa của khái niệm quan trọng này lần lượt trong các bài sau.

Khác biệt cá nhân (individual differences)

Một nguồn khác của sai số không hệ thống là sự khác biệt giữa cá nhân. Mỗi người có những sự khác nhau nội tại hoặc những nguyên nhân nào đó không được tính đến. Chẳng hạn, trong cùng một hoàn cảnh khó khăn như nhau, có những trẻ em lấy đó làm động lực lớn để thoát khỏi nền tảng thấp kém và trở thành những cá nhân ưu tú và thành đạt. Ngược lại, có những trẻ em không thể thoát ra khỏi tình cảnh mà chúng được sinh ra và thậm chí còn tụt dốc hơn hoàn cảnh ban đầu của chúng. Thành quả tích cực mà những cá nhân ở trên đạt được có thể là do những phẩm chất cá nhân bẩm sinh hoặc những yếu tố bên ngoài khác mà nhà nghiên cứu chưa biết. Với các nhà nghiên cứu thí nghiệm (experimental psychologists), sai số do khác biệt cá nhân là điều mà hết sức kiêng kị và ai cũng tìm mọi cách để loại bỏ đi. Trong khi đó, kiểu biến thiên do khác biệt cá nhân này chính là chủ đề nghiên cứu của môn tâm lý học nhân cách (personality psychology). Theo nhà tâm lý nhân cách lỗi lạc của thế kỷ 20, Lee J. Cronbach (1916-2001), các nhà tâm lý học tính cách là những người đi nghiên cứu các biến số mà những nhà nghiên cứu khác, giống như CS. Mỹ Tâm, chỉ muốn nói tha thiết rằng ‘người hãy quên em đi’.

Tóm lại, biến thiên là một khái niệm hữu ích trong phương pháp nghiên cứu và trong phân tích dữ liệu bằng các phép thống kê. Hiểu được khái niệm nền tảng này sẽ giúp cho bạn cảm nhận sự thú vị và tầm quan trọng của các kỹ thuật cụ thể trong quá trình nghiên cứu về sau.

Chọn thiết kế nghiên cứu 2: Quan hệ nhân quả

Nguồn: Internet

Nghiên cứu khoa học trong tâm lý có bốn nhiệm vụ cơ bản, đó là quan sát, mô tả, dự báo, và kiểm soát. Chẳng hạn, nhà khoa học muốn biết tỉ lệ học sinh nam và học sinh nữ có xu hướng học chọn các khối thiên về khoa học tự nhiên và các khối thiên về khoa học xã hội ở Việt Nam, khi đó họ thực hiện nhiệm vụ quan sát và mô tả. Nhưng nếu nhà khoa học đi tìm yếu tố nào ảnh hưởng đến quyết định chọn khối thi đại học của học sinh, khi đó kết quả mà họ tìm được có nhiệm vụ dự báo hoặc đôi khi là kiểm soát. Ví dụ, người ta biết rằng niềm tin của xã hội có ảnh hưởng tới tư tưởng của học sinh từ khi chúng còn nhỏ, rằng con trai giỏi toán còn con gái phải giỏi văn. Niềm tin này dâp tắt suy nghĩ của học sinh về những khả năng khác của chúng và chúng quyết định chọn ngành theo quán tính xã hội thay vì dựa theo thực lực và niềm yêu thích tự nhiên của chính mình. Khi nhà nghiên cứu chỉ ra được điều này, họ có căn cứ để tạo ra những thay đổi trong xã hội nhằm xóa bỏ định kiến giới (kiểm soát).

Tựu chung lại, trọng trách quan trọng cốt lõi của nghiên cứu tâm lý học là đi tìm hiểu và thay đổi các tiến trình tư duy và hành vi của con người để nâng cao chất lượng cuộc sống. Để làm được điều này, quan hệ nhân quả là loại kết luận khoa học được cho là có giá trị nhất và được đánh giá cao bởi vì khả năng dự báo, ảnh hưởng và kiểm soát mà nó mang lại. Có bốn điều kiện để kết luận hai biến X và Y có mối quan hệ nhân quả.

- Có X thì có Y: Nhân và quả xảy ra cùng nhau (hay ta nói, có liên hệ với nhau)
- X có trước rồi mới có Y sau: Nhân trước, quả sau
- X và Y cùng biến thiên: Nhân và quả cùng tăng hoặc cùng giảm (hay ta nói, có mối quan hệ tương quan nhau)
- Chỉ có X mới gây ra Y: Có thể loại trừ tất cả các nguyên nhân khác gây ra Y (hay Y chỉ xảy ra khi X xảy ra)

Ta thử xem xét ví dụ sau. Nhà nghiên cứu đi tìm câu trả lời cho câu hỏi rằng có mối quan hệ nguyên nhân - hệ quả giữa việc cha mẹ ly hôn/ly thân và việc học hành yếu kém ở trường của trẻ không? Nói cách khác, cha mẹ ly hôn/ ly thân (parental separation) liệu có phải là nguyên nhân gây ra việc học kém (poor academic performance) của trẻ? Để trả lời câu hỏi này, nhà nghiên cứu thu thập dữ liệu về một nhóm trẻ và cha mẹ, anh nhận thấy rằng cứ cặp cha mẹ nào ly thân/ ly hôn trong vòng 5 năm trở lại đây thì đứa con của họ đạt học lực từ trung bình trở xuống ở lớp liên tục trong các năm sau đó. Điều này thỏa mãn điều kiện thứ nhất và thứ hai của quan hệ nhân quả.  Hơn nữa, dữ liệu mà anh thu thập được cũng cho thấy rằng thời gian từ lúc cha mẹ ly hôn hoặc ly thân tính tới nay càng dài thì học lực của con cũng kéo dài theo và ngày càng sa sút. Quan sát này đáp ứng điều kiện thứ ba. Khi một mối quan hệ giữa hai biến thỏa mãn ba điều kiện đầu tiên, ta nói hai biến này có mối quan hệ tương quan với nhau (correlation aka. association). Điều kiện thứ tư sẽ khó hơn nhiều bởi vì bạn phải làm sao loại trừ được hết các khả năng thứ ba khác có thể đã gây ra Y. Trong ví dụ trên, nhà nghiên cứu không thể biết chắc liệu ông ta có thể loại trừ tất cả các nguyên nhân khác có thể đã gây ra học lực kém ở trẻ. Có thể việc thiếu giao tiếp hoặc thiếu quan tâm về đời sống cảm xúc, tình cảm giữa cha và mẹ, và giữa cha mẹ với con cái chính là nguyên nhân thực sự đã gây ra cả việc cha mẹ phân ly (X) và việc học hành tụt dốc của trẻ (Y). Hoặc việc cha mẹ phân ly đã dẫn tới việc đời sống tình cảm của trẻ bị bỏ mặc, người cha/mẹ còn lại sinh sống với trẻ không còn trò chuyện, thấu hiểu trẻ, và chính điều này (lack of parental-child communication) đã khiến cho trẻ học hành sa sút, chứ không phải bản thân việc cha mẹ phân ly như ta giả thuyết ban đầu.

Khả năng có nguyên nhân khác (alternative explanations) trong ví dụ trên gây ra mối đe dọa với nội hiệu lực của nghiên cứu (threats to internal validity). (Khái niệm độ hiệu lực - validity là một khái niệm quan trọng mà ta sẽ cùng nói tới rất nhiều trong các bài viết tiếp theo). Như vậy, không nên lầm lẫn tương quan (correlation) và nhân quả (causality). Để có nhân quả, trước hết phải có tương quan. Nhưng có tương quan (thỏa 3 điều kiện đầu tiên của nhân quả) thì chưa chắc có nhân quả. Quả thật, trong ví dụ trên, ta không kết luận được về mối quan hệ nhân quả mà chỉ có thể dừng lại ở tuyên bố về mối quan hệ tương quan giữa hai biến quan tâm.

Tóm lại, giả thuyết về quan hệ nhân quả là giả thuyết quan trọng và thú vị nhất. Nếu ta biết cái gì gây ra một hiện tượng mà ta quan tâm thì ta có thể hiểu chính xác, từ đó dự báo, ảnh hưởng lên và kiểm soát hiện tượng đó tốt hơn. Theo truyền thống, quan hệ nhân quả chỉ có thể được kiểm chứng triệt để nhất bằng thiết kế thí nghiệm thực sự (true experimental design) hay còn gọi là nghiên cứu đối chứng ngẫu nhiên (Randomized Controlled Trials – RCTs). Ngày nay, một số thiết kế đặc biệt và được tiến hành tỉ mỉ và công phu trong khoa học xã hội cũng có thể dùng để tìm quan hệ nhân quả đó là nghiên cứu đoàn hệ (cohort study) hay nghiên cứu theo dòng đời (longitudinal study). Anh là quốc gia phương Tây đầu tiên trên thế giới dùng tiếp cận này trong nghiên cứu khoa học xã hội vào những năm 1946, 1958 và 1971, và còn tiếp tục nhiều cohort như vậy sau mỗi chục năm và cho ra đời những nghiên cứu có giá trị khoa học và ứng dụng cao trong việc vận động thay đổi các chính sách quan trọng về y tế, giáo dục và an sinh xã hội. Các nước Mỹ, Canada, New Zealand, Úc, v.v.. cũng đã nối gót theo Anh và bắt đầu những nghiên cứu tương tự. Năm 2013, Úc vừa công bố báo cáo 30 năm nghiên cứu những trẻ em sinh năm 1983, trong đó đưa ra câu trả lời cho nhiều câu hỏi nghiên cứu rất thú vị. 

Chọn thiết kế nghiên cứu 1: Tính khả thi

Như vậy là qua 2 bài gần đây nhất, ta đã nói về một số bước quan trọng mở màn cho quá trình lập nghiên cứu, đó là thiết lập câu hỏi hay giả thuyết nghiên cứu và hình thành cơ sở lý thuyết. Các bước còn lại bao gồm chọn thiết kế nghiên cứu, thu thập dữ liệu, phân tích dữ liệu, và viết báo cáo. Cách tác giả tiếp cận các nội dung này đầu tiên là trình bày các khái niệm cơ sở và có phần trừu tượng, rồi lần lượt mới đến các bước cụ thể nhất. Với cách viết này, tôi hy vọng các bạn đi thật chậm rãi, không vội vàng tiến vào những kỹ thuật quá cụ thể mà chưa kịp cảm nhận những ý tưởng, khái niệm lớn và nhiều ý nghĩa hơn đã sinh ra nó. Thiếu đi những cảm nhận này, trải nghiệm của bạn với khoa học sẽ thiếu đi những phần mà tôi cho rằng hết sức thú vị và cũng đáng tưởng thưởng nhất. Tương tự như vậy, một vài bài viết tới đây sẽ cung cấp các khái niệm cơ sở hơn là chỉ dẫn bạn những bước đi rõ ràng. Khi đọc nó, bạn hãy để cho đầu óc mình rộng mở, tơ tưởng và mơ mộng về khoa học cũng như đối với một người tình. Đừng để cho nỗi lo sợ về những điều mình chưa hiểu rõ lắm làm át đi óc tò mò trẻ thơ tự nhiên và những niềm đam mê tìm tòi vừa mới kịp thức dậy trong lòng bạn. 

Điều đầu tiên mà ta cần quan tâm đến trước khi bắt tay vào cuộc nghiên cứu là các yếu tố quyết định tính khả thi (feasibility). Tính khả thi chia làm hai loại: khả thi về mặt thực tế (practical feasibility) và khả thi về mặt đạo đức (ethical feasibility). Tính khả thi thực tế đề cập đến những lý do thực tế có thể giúp ích hoặc cản trở ý định của nhà nghiên cứu. Một mối bận tâm lớn thường là tìm người tham gia như thế nào. Liệu người tham gia có thể tìm được không (participant availability)? Có thể bị tiêu hao đi không (participant attrition)? Họ có làm đúng như chỉ dẫn của nhà nghiên cứu không (participant non-compliance)? Nhà nghiên cứu phải nắm trong tay khả năng liên hệ với người giữ cửa (gatekeeper) ở nơi có những người tham gia mà mình cần nghiên cứu. Chẳng hạn, gatekeeper có thể là giám đốc bệnh viện hoặc hiệu trưởng một trường học.

Để giảm thiểu việc người tham gia bỏ giữa chừng hoặc làm không đúng quy trình (gây ra dữ liệu bị sai, nhiễu), nhà nghiên cứu nên lấy mẫu đủ lớn để trừ hao. Khi tuyển người tham gia, nên trình bày rằng việc tham gia nghiên cứu sẽ thú vị và nêu lý do tại sao, đảm bảo rằng thông tin sẽ được bảo mật và ẩn danh. Hơn nữa, bạn cũng có thể cho người tham gia biết rằng kết quả nghiên cứu có thể được gửi cho họ.

Nhà nghiên cứu cũng cần trù liệu trước các trang thiết bị vật chất mà mình cần, chẳng hạn như loại máy móc gì, có sẵn chưa, có phải học cách sử dụng hoặc thuê chuyên viên không? v.v… Các vật dụng và chi phí tiêu dùng cần thiết khác như phí photocopy, gửi chuyển phát nhanh và chi phí phát sinh (v.d. thuê trợ lý nghiên cứu, chi phí cho nghiên cứu sơ bộ - pilot study) cũng cần được lên kế hoạch khi tính toán kinh phí. Nghiên cứu sơ bộ có thể được tiến hành trước nghiên cứu chính thức, để kiểm tra phương pháp, vật chất thiết bị và sự phản ứng của người tham gia, thường trên một nhóm nhỏ có cùng đặc điểm với nhóm mẫu sẽ tham gia trong nghiên cứu chính. Lúc này, bạn cũng cần kiểm tra lại phương pháp phân tích thống kê và thiết kế nghiên cứu mà bạn chọn để giải quyết vấn đề nghiên cứu, và kiểm tra lại xem cỡ mẫu có phù hợp chưa. Để kiểm soát tiến độ của dự án, bạn nên lâp thời gian biểu với thời gian cụ thể cho từng công đoạn của nghiên cứu.

Về mặt đạo đức, nghiên cứu của bạn cần bảo vệ và đảm bảo phúc lợi cho người tham gia (protection and welfare), tức là đảm bảo không gây ra thiệt hại hoặc rủi ro về thân thể hoặc tinh thần nào cho họ trong và sau nghiên cứu. Bạn luôn phải tuân theo nguyên tắc thỏa thuận có hiểu biết (informed consent), nghĩa là bạn giải thích rõ ràng, đầy đủ về nghiên cứu trước khi mời họ kí tên vào bản thỏa thuận đồng ý tham gia vào nghiên cứu. Trong tâm lý học, nhiều nghiên cứu cần phải sử dụng kịch bản giả (cover story) để đảm bảo độ hiệu lực. Tuy nhiên, khi quyết định dùng kịch bản giả, bạn cần phải tham khảo ý kiến của hội đồng đạo đức, đồng nghiệp hoặc  những người có cùng đặc điểm văn hóa xã hội của người tham gia, nếu khả năng cao là người tham gia sẽ thấy khó chịu sau khi được thông báo mục đích thật của nghiên cứu thì không được dùng kịch bản giả. Nói tóm lại, nếu không muốn bị hội đồng thẩm định đạo đức từ chối cấp phép, nhà nghiên cứu nên cân nhắc các cách làm khác thật kỹ trước khi quyết định chọn dùng kịch bản giả.

Sau khi dùng kịch bản giả, nhà nghiên cứu phải giải thích mục đích nghiên cứu cho người tham gia, bước này gọi là de-briefing. Cụ thể là, sau khi thu thập dữ liệu xong; có thể trao đổi thêm với người tham gia để rút kinh nghiệm về những hiệu ứng phát sinh trong quy trình hoặc để vô hiệu hóa các hiệu ứng còn lưu lại ở người tham gia trước khi họ ra về. Trong một số trường hợp như các nghiên cứu quan sát, nhà nghiên cứu quan sát hành vi của người đang lưu thông ở nơi công cộng mà không thông báo cho họ biết họ đang được ghi hình. Điều này có thể gây tranh cãi bởi vì có vẻ như nó xâm phạm quyền riêng tư của người tham gia và đồng thời cũng không tuân theo nguyên tắc thỏa thuận trên sự hiểu biết mà ta đã nói ở trên (informed consent). Tính ẩn danh và bảo mật của dữ kiện cũng là một điều cần lưu tâm trong trường hợp này.

Người tham gia có quyền rút ra khỏi nghiên cứu và nhà nghiên cứu có nghĩa vụ phải thông báo cho người tham gia rằng họ có quyền rút khỏi nghiên cứu bất kỳ lúc nào (nếu trẻ em bất hợp tác cũng là một bằng chứng cho thấy trẻ không muốn tiếp tục). Người tham gia khi đã rút khỏi nghiên cứu có quyền yêu cầu thông tin của họ phải bị hủy bỏ, đồng nghĩa với việc bạn không có quyền xuất bản các dữ liệu liên quan đến họ.

Nhà nghiên cứu cần phải biết những sản phẩm đầu ra nào mà mình muốn. Những sản phẩm này có thể gồm: ấn phẩm ngay khi vừa hoàn thành nghiên cứu (v.d. báo cáo khoa học ở hội nghị, báo cáo xuất bản trên tập san chuyên ngành), sản phẩm có tính dài hạn hơn (v.d nghiên cứu triển khai - follow-up study, nghiên cứu mở rộng - extension study) và các nghiên cứu khác nhằm khác phục những hạn chế của nghiên cứu hiện tại trong việc giải quyết vấn đề nghiên cứu. Và dù ấn phẩm hoặc các hoạt động tiếp theo của bạn là gì, thì công bố trên tạp chí khoa học được xem là mục tiêu cuối cùng và quan trọng của nghiên cứu (Nguyễn Văn Tuấn, 2009).

Cuối cùng, bạn cần nghĩ đến tiền nong bởi đó là nguyên liệu để bạn chạy máy cho toàn bộ những điều bạn vừa mới vẽ vời ra từ trong trứng nước trở thành hiện thực. Các yếu tố bạn cần nghĩ đến khi làm nộp hồ sơ mời tài trợ nghiên cứu chẳng hạn như: xem xét và đối chiếu tiêu chí của tổ chức tài trợ xem có phù hợp với nghiên cứu của mình không? có cần phải sử dụng form mẫu của cơ quan tài trợ để trình bày đề cương nghiên cứu không? Các yếu tố nào nên nhấn mạnh: tính thú vị, cấp bách, quan trọng hay mới lạ và độc đáo? Có thể ứng dụng ngay được không? v.v…

Nói tóm lại, đây là những điều cơ bản mà nhà nghiên cứu nào cũng phải nghĩ đến trong bước lên kế hoạch cho nghiên cứu của mình. Từ khâu ý tưởng đến khâu hiện thực hóa nghiên cứu không chỉ dựa vào những yếu tố chủ quan của riêng tác giả như khả năng chuyên môn hay quyết tâm của nhà nghiên cứu (mặc dù đây là những yếu tố then chốt) mà còn phụ thuộc vào những điều kiện khách quan bên ngoài. Vì vậy, càng có một sự cân nhắc và lên kế hoạch kỹ lưỡng về những điều khách quan này, nhà nghiên cứu càng giảm thiểu được nhiều yếu tố bất định và kiểm soát tốt tiến trình hiện thực hóa ý tưởng nghiên cứu của mình hơn.

Tham khảo

1) Breakwell, Hammond, Fife-Schaw, & Smith (2006). Research Methods in Psychology. London: Sage. (Chương 4) 

2) Coolican (2014). Research Methods and Statistics in Psychology. London & New York: Psychological Press (Chương 3,4,5)