Bài 2 - Phê bình tài liệu

ĐHKHXH&NV | Phạm T.T. Tiên

1

PHƯƠNG PHÁP NGHIÊN CỨU TRONG TÂM LÝ HỌC Phạm Thị Thủy Tiên T11-T12/2017

Buổi 2: Tìm kiếm và phê bình tài liệu (Literature Review)

ĐHKHXH&NV | Phạm T.T. Tiên

2

Hình thức đánh giá • SV viết đề cương nghiên cứu khoa học cho một vấn đề • •

• •

trong lĩnh vực tâm lý mà mình quan tâm. Độ dài không quá 20 trang A4, font Times New Roman.

Cỡ chữ 12, giãn cách giữa các dòng (line spacing) 2cm.

Có trích dẫn đầy đủ trong bài (intext-citation) và danh mục tham khảo (reference) theo tiêu chuẩn của Hiệp Hội Tâm Lý Hoa Kỳ (APA) Giữa kỳ: Nộp phần đầu (1-3) của đề cương nghiên cứu, chiếm 50% tổng điểm môn học. Hạn nộp: 13/12 Cuối kỳ: Nộp phần còn lại của đề cương nghiên cứu, chiếm 50% tổng điểm môn học. Hạn nộp: 24/1

ĐHKHXH&NV | Phạm T.T. Tiên

3

Nội dung yêu cầu 1. Tóm tắt (abstract) (dưới 2 trang giấy) 2. Mục tiêu cụ thể (specific goals) 3. Bối cảnh và tầm quan trọng (background and

significance) 4. Kết quả nghiên cứu sơ khởi (preliminary results) (không bắt buộc) 5. Kết hoạch nghiên cứu và phương pháp (research design and methods) 6. Danh mục tài liệu tham khảo

ĐHKHXH&NV | Phạm T.T. Tiên

4

Tài liệu tham khảo • Nguyễn Văn Tuấn (2013). Từ nghiên cứu đến công bố -

Kỹ năng mềm cho nhà khoa học. Chương 21: Cách viết đề cương nghiên cứu khoa học • APA (2012). Publication Manual of the American Psychological Association 6th edition. Washington DC

ĐHKHXH&NV | Phạm T.T. Tiên

Nội dung 1. Giới thiệu về phê bình tài liệu 1. Định nghĩa 2. Phân loại 3. Mục đích 2. Các bước tiến hành tìm kiếm phê bình tài liệu 1. Xác định phạm vi (scoping) 2. Lên kế hoạch (planning) 3. Khởi sự tìm kiếm (searching) 4. Chọn lọc (screening)

5

ĐHKHXH&NV | Phạm T.T. Tiên

6

Định nghĩa • Tìm kiếm và phê bình tài liệu (literature review) là bước

quan trọng đầu tiên trong bất kỳ hoạt động nghiên cứu khoa học nào.

• Có thể là một bài phê bình riêng lẻ, là phần mở đầu (Introduction) của một bài báo khoa học, hoặc là một chương trong luận văn.

• Phê bình tài liệu phải dựa trên một câu hỏi hoặc giả thuyết nghiên cứu rõ ràng hơn là một câu hỏi hoặc chủ đề chung chung.

• Quy trình tìm kiếm và phê bình tài liệu phải tuân theo các nguyên tắc của phương pháp khoa học

ĐHKHXH&NV | Phạm T.T. Tiên

7

Phân loại (types of reviews) • Phê bình thuyết minh (narrative literature review) • Phê bình hệ thống (systematic review) • Khác nhau trong cách tiếp cận tìm kiếm tài liệu và viết

báo cáo.

• Một bài phê bình hệ thống có thể là nền tảng cho một bài phê bình thuyết minh.

• Đa số nằm đâu đó ở giữa!

ĐHKHXH&NV | Phạm T.T. Tiên

8

Mục đích • Thiết lập một cơ sở lý thuyết những gì các nghiên cứu • •

• •

trước đã tìm ra Xác định những kết luận chưa có thống nhất và những điều mâu thuẫn Cung cấp những cơ sở lý thuyết để giải thích cho những mâu thuẫn trên và đồng thời phát triển (những) lý thuyết hoặc giả thuyết mới Cung cấp những đề xuất hướng nghiên cứu mới trong tương lai Cung cấp những đề xuất cho ứng dụng thực tiễn và làm chính sách

ĐHKHXH&NV | Phạm T.T. Tiên

9

Đặc điểm Phê bình thuyết minh

Phê bình hệ thống

Tổng quan (tường tận, thấu đáo)

Có bằng chứng thực nghiệm (evidence)

Không có quy trình rõ ràng (no explicit protocol)

Có quy trình rõ ràng, cụ thể

Các nghiên cứu ủng hộ những đề xuất của người phê bình (nhưng phải khách quan, cân bằng)

Có tiêu chí chọn lựa và tiêu chí loại trừ cụ thể (inclusion/exclusion criteria)

Có thể đánh giá chất lượng và điểm mạnh của từng nghiên cứu riêng lẻ.

Dữ kiện từ từng nghiên cứu riêng lẻ có thể được tổng hợp thành một phân tích tổng hợp (meta-analysis)

Có thể bao gồm nhiều loại nghiên cứu khác nhau

Hầu hết là gồm nghiên cứu định lượng

Khi thiếu dữ kiện, người phê bình có thể Khi thiếu dữ kiện, người phê bình thường đề xuất dựa trên ý kiến và kinh nghiệm của đề xuất hướng nghiên cứu trong tương lai. của mình – và đề xuất đó có thể được đánh giá dựa vào thế mạnh của những dữ kiện cơ sở đã bàn (underlying evidence).

ĐHKHXH&NV | Phạm T.T. Tiên

10

Mục đích • Phê bình hệ thống • Phê bình những bằng chứng hiện có về một vấn đề

nghiên cứu hoặc lý thuyết cụ thể.

• Phê bình thuyết minh • Khi liên kết các nghiên cứu từ các chủ đề khác nhau để

phát triển cơ sở lý thuyết cho một lý thuyết mới.

• Khi không có đủ dữ kiện, bằng chứng

ĐHKHXH&NV | Phạm T.T. Tiên

Các loại phê bình tài liệu (Baumeister) 1. Phát triển lý thuyết (theory development) 2. Đánh giá lý thuyết (theory evaluation) 3. Khảo sát hiện trạng kiến thức về một đề tài 4. Xác định vấn đề nghiên cứu 5. Lịch sử phát triển một lý thuyết

11

ĐHKHXH&NV | Phạm T.T. Tiên

12

Phê bình hệ thống (systematic review) • Tìm và xác định (search and identify) • Đánh giá, phê bình (critically evaluate) • Tổng hợp (integrate) • Tất cả các bằng chứng liên quan đến một câu hỏi nghiên

cứu cụ thể • có thể chọn mẫu ngẫu nhiên nếu số lượng bài nghiên cứu liên

quan lớn

• KHÔNG: Tóm tắt một vài nghiên cứu (NOT: Summarize

some of the literature).

• Tránh: thiên kiến trong chọn lựa tài liệu (selection bias)

ĐHKHXH&NV | Phạm T.T. Tiên

13

Phê bình hệ thống • Phê bình hệ thống có chất lượng = bằng chứng, dữ kiện

tốt • Lưu ý, một nghiên cứu đối chứng ngẫu nhiên lớn (randomized controlled trial) thì tốt hơn thu thập nhiều nghiên cứu nhỏ.

• Có thể được trình bày dưới dạng thuyết minh (narrative) hoặc thống kê (meta-analysis)

ĐHKHXH&NV | Phạm T.T. Tiên

14

Phân tích tổng hợp (meta-analysis) • Thu thập dữ kiện về hệ số ảnh hưởng từ các nghiên cứu và

phân tích chúng • Cho phép ta hiểu tường tận về: • Số trung bình và độ dao động của các tác động (mean and variability of effects) • Dao động/ độ lệch giữa các nghiên cứu khác nhau • Vai trò/ tác động của các biến trung gian

Có thể giúp cung cấp cái nhìn sâu sắc về tình trạng sai lệch trong xuất bản (publication bias) • Liên hệ với các tác giả • Phân tích thống kê

ĐHKHXH&NV | Phạm T.T. Tiên

15

Phân tích tổng hợp (meta-analysis) • Tiến hành phê bình hệ thống • Và…

• Thu thập hoặc tính toán hệ số ảnh hưởng • Bạn có thể mất đi nhiều bài báo nếu chúng ko có những thông tin bạn

cần (vd. Hệ số ảnh hưởng,…)

• Tiến hành phân tích tổng hợp cơ bản (dùng phần mềm) • Tiến hành phân tích thấu đáo hơn – các biến trung gian • Ước tính và điều chỉnh các sai lệch trong xuất bản (publication bias)

ĐHKHXH&NV | Phạm T.T. Tiên

16

Các bước tiến hành tìm kiếm và phê bình tài liệu

ĐHKHXH&NV | Phạm T.T. Tiên

17

1) Xác định phạm vi (Scoping)

• Phát biểu câu hỏi và/ hoặc giả thuyết nghiên cứu • Để có một câu hỏi nghiên cứu rõ ràng, xác định các yếu

tố: • Bối cảnh: Nghiên cứu về điều gì, ở đâu (đối tượng nghiên cứu, cơ

quan, viện, trường, vv…?)

• Biến số? (can thiệp gì, biến nguyên nhân, biến độc độc lập?)

• Các quy trình/ loại quan hệ: Cơ chế nào giải thích mối quan hệ giữa các biến độc lập (hay biến can thiệp) và kết quả (hay biến phụ thuộc)?

• (Biến) kết quả: Có những ảnh hưởng gì xảy ra và đo lường như thế nào?

ĐHKHXH&NV | Phạm T.T. Tiên

18

Công thức PICO • Quần thể (Population) • Yếu tố can thiệp/ biến độc lập (Intervention/ Independent

variable) • Yếu tố so sánh (Comparator) • Yếu tố kết quả (Outcome) Ví dụ: Thành tích học tập của của học sinh lớp 12 có điểm Biến kết quả

Đối tượng

trung bình dưới 5 sẽ thay đổi như thế nào khi các em được tham dự các buổi hướng nghiệp định kỳ so với khi Yếu tố can thiệp

các em học chương bình thường?

Yếu tốtrình so sánh

ĐHKHXH&NV | Phạm T.T. Tiên

19

2) Lên kế hoạch • Chia nhỏ (các) câu hỏi nghiên cứu thành những khái niệm

riêng lẻ để hình thành từ khóa tìm kiếm (search terms) • Định nghĩa các từ khóa • Nghĩ về những từ đồng nghĩa, gần nghĩa với biến số mà bạn quan

tâm, nói chuyện với chuyên gia, đọc sách giáo khoa, tra từ điển Việt, Hán Việt, vv…

• Thông thường ta phải cân bằng giữa độ nhạy (sensitivity

– tìm được càng nhiều bài có liên quan càng tốt) và độ cụ thể (specificity – phải đảm bảo là bài được chọn có liên quan). Ở bước này, ta chú trọng vào độ nhạy hơn!

ĐHKHXH&NV | Phạm T.T. Tiên

20

• Xác định tiêu chí bao gồm và loại bỏ (inclusion/exclusion

criteria), cân nhắc các yếu tố: • Câu hỏi nghiên cứu • Thao tác hóa khái niệm • Cách đo lường/ biến số • Thiết kế nghiên cứu • Đối tượng nghiên cứu • Loại dữ kiện

ĐHKHXH&NV | Phạm T.T. Tiên

21

• Mô tả rõ ràng và hệ thống bạn đã làm gì và làm như thế

nào, chẳng hạn như: • Bạn dùng bao nhiêu từ khóa tìm kiếm, kể ra.

• Các biến độc lập và biến phụ thuộc, các khái niệm, vv…

• Bạn đã kết hợp các từ khóa tìm kiếm như thế nào?

• Bạn có dùng logic Boolean không, nếu có thì làm như thế nào?

• Bạn đã chọn những từ khóa đó như thế nào?

• Nghĩ về những từ đồng nghĩa, gần nghĩa với biến số mà bạn quan tâm,

nói chuyện với chuyên gia, đọc sách giáo khoa, tra từ điển Việt, Hán Việt, vv…

• Tiêu chí bao gồm/ tiêu chí loại trừ là gì? Tại sao?

• Cuối cùng, bạn có bao nhiêu từ hoặc dãy từ khóa tìm kiếm?

ĐHKHXH&NV | Phạm T.T. Tiên

22

3) Khởi sự tìm kiếm • Chọn cơ sở dữ liệu (databases), bộ máy tìm kiếm (search

engines), tạp chí khoa học (journals), và bắt đầu việc tìm kiếm ở những nguồn đó. Tìm ít nhất là 2 cơ sở dữ liệu có liên quan.

• Kiểm tra một vài các kết quả tìm kiếm đầu tiên xem có cần phải thay đổi tiêu chí bao gồm và loại bỏ không hoặc từ khóa tìm kiếm không? Có cần thêm từ khóa nào mới không?

• Nếu phải thay đổi các yếu tố trên thì làm lại bước lên kế hoạch.

ĐHKHXH&NV | Phạm T.T. Tiên

23

• Có thể vẫn chưa đủ, vì có nhiều nghiên cứu không (hoặc

chưa) được xuất bản; vấn đề trong xuất bản (hiệu ứng lưu kho – file-drawer effect; sai lệch trong xuất bản – publication bias), vậy ta cũng nên: • Rà soát bài báo mình đọc, mục danh sách tham khảo, truy cập

trực tiếp vào trang web của hội nghị, hội thảo, tạp chí khoa học, website tổ chức, liên hệ với tác giả, đọc trích dẫn (citation) vv…

ĐHKHXH&NV | Phạm T.T. Tiên

24

Một số cơ sở dữ liệu • EBCOhost • PsychINFO • ProQuest Dissertations and Theses • WorldCat • SSRN • PubMed • Scopus • ISI Web of Knowledge • Google Scholar • ....

• http://aspire.surrey.ac.uk/lists/76338FFC-ED7B-758B-ACC0-

4DBD713B1E2A.html?_ga=2.20129530.330175681.15104784531062530936.1472994121

ĐHKHXH&NV | Phạm T.T. Tiên

25

Tìm kiếm tài liệu • Chọn ít nhất 2 cơ sở dữ liệu (và giải thích) để tìm kiếm tài

liệu một cách thấu đáo, có thể sử dụng các kỹ thuật sau: • Chọn CSDL có liên quan đến lĩnh vực nghiên cứu • Tìm từ khóa trong phần nào (cả bài, tóm tắt, hay tựa đề)?

• Boolean logic? (AND, OR, NOT… ie. “stress AND performance”) • Truncation symbol ? (‘*’ or ‘$’, ie. Hippocam* for ‘hippocampus’,

‘hippocampal’, ‘hippocampi’) • Wildcard symbol ? (‘#’, ‘?’ ie. wom#n -> ‘women’ or ‘woman’)

ĐHKHXH&NV | Phạm T.T. Tiên

26

ĐHKHXH&NV | Phạm T.T. Tiên

27

ĐHKHXH&NV | Phạm T.T. Tiên

28

4) Chọn lọc • Sử dụng phần mềm quản lý tài liệu nếu số lượng tài liệu phê •

•

• • •

bình lớn (ie. Refworks, Endnote, Mendeley,…) Đọc Tựa đề hoặc Phần Tóm Tắt của tất cả các kết quả tìm được từ quy trình trên; nếu thỏa bộ tiêu chí bao gồm và loại trừ thì lấy nguyên bài (full-text) để đọc Đọc full-text, tập trung vào phần Phương Pháp và Kết Quả hơn là phần Giới Thiệu và Kết Luận. Tiếp tục đối chiếu với tiêu chí bao gồm và loại trừ trong khi đọc để giảm bớt các bài không phù hợp Ở bước này, chú trọng vào độ cụ thể (specificity) Ghi chú lại số lượng bài bị loại bỏ và lý do Đánh giá tổng quan về chất lượng bài báo (để ý đến phương pháp)

ĐHKHXH&NV | Phạm T.T. Tiên

29

5) Viết bài phê bình • Tóm tắt bằng cách liệt kê hoặc lập sơ đồ các tài liệu tham

khảo cùng với kết quả nghiên cứu của chúng (ví dụ: dưới dạng bảng biểu) • Tổng hợp và đánh giá, phê bình • Có 3 hình thức tổng hợp: • Thống kê (statistical): Meta-analysis (phân tích tổng hợp) • Thuyết minh (narrative): tóm tắt bằng lời văn: sắp xếp theo chủ đề,

loại nghiên cứu, vv…

• Theo khái niệm: gom các khái niệm của các nghiên cứu khác nhau lại thành một nhóm để phân tích

ĐHKHXH&NV | Phạm T.T. Tiên

30

• Các vấn đề có thể phê bình: • Nền tảng lý thuyết • Thiết kế nghiên cứu • Phương pháp chọn mẫu • Cách đo lường • Chiến lược phân tích dữ liệu • Phân tích kết quả Tổng hợp, đánh giá các kết quả nghiên cứu để đi đến

một kết luận rõ ràng về các bằng chứng hiện có

ĐHKHXH&NV | Phạm T.T. Tiên

31

Phê bình thuyết minh • 5 khía cạnh phân biệt một bài phê bình thuyết minh và

một bài nghiên cứu riêng lẻ (Áp dụng tương đối đúng cho cả phê bình hệ thống) 1) Phạm vi • Rộng hơn một bài báo riêng lẻ • Cho phép suy đoán (speculation) nhiều hơn trong khi 1

nghiên cứu riêng lẻ có thể không cho phép có nhiều kết luận (sweeping conclusions?!)

ĐHKHXH&NV | Phạm T.T. Tiên

32

2) Giả thuyết hậu nghiệm (post hoc theorising) • Nghiên cứu thực nghiêm = phát triển giả thuyết rõ ràng • HARKING (Hypothesizing After Results are Known) = Đặt giả thuyết sau khi tìm ra kết quả kiểm định -> phi đạo đức, không đáng tin cậy • Một số kết quả nghiên cứu bj giả mạo hoặc mang tính ngẫu nhiên • Nhưng nếu bài phê bình có nhiều nghiên cứu thì nguy cơ gặp phải những kết quả mang tính ngẫu nhiên là không đáng kể.

• Đặt giả thuyết sau khi phê bình (thuyết minh?) là có thể được và thậm chí là cần thiết để mở rộng kiến thức ngành và phê bình các quan điểm hiện tại.

ĐHKHXH&NV | Phạm T.T. Tiên

33

3) Giá trị của giả thuyết không • Trong nghiên cứu thực nghiệm riêng lẻ: Kết quả ủng hộ giả thuyết không (null findings) thì không được xuất bản - Không tìm ra bằng chứng ủng hộ giả thuyết của bạn không có nghĩa là lý thuyết là sai.

- Nhưng sai lệch trong xuất bản vẫn luôn tồn tại • Trong phê bình tài liệu: Một bài phê bình được cho là có giá trị có thể kết luận rằng không có bằng chứng vững chắc cho một giả thuyết 4) Sự hội tụ các giải pháp • Phê bình tài liệu cho phép ta nghiên cứu ảnh hưởng của phương pháp lên kết quả nghiên cứu.

ĐHKHXH&NV | Phạm T.T. Tiên

34

5) Số kết luận (number of conclusions) • Một nghiên cứu thực nghiệm thì có một kết luận (ủng hộ/ bác bỏ giả thuyết) • Một bài phê bình có thể có 4 kết luận: 1. Giả thuyết là đúng 2. Dữ kiện bị sai lệch nhưng giả thuyết không thể bị bác bỏ

và vì vậy vẫn tiếp tục được giả định là đúng cho tới thời điểm hiện tại 3. Ta không biết rằng giả thuyết có đúng hay không – dữ kiện còn thiếu hoặc không nhất quán 4. Giả thuyết nên bị bác bỏ - một bài phê bình có lẽ là cách duy nhất để tránh cho một lĩnh vực đi vào những lỗi lầm thâm căn cố đế (entrenched errors)

ĐHKHXH&NV | Phạm T.T. Tiên

35

Một số lưu ý • Phần mở đầu của một luận văn thường là một bài phê bình

thuyết minh Nhưng có thể dựa vào các kỹ thuật tìm kiếm mang tính hệ thống • Các vấn đề thường gặp • Giới thiệu không rõ ràng – đừng đợi đến cuối mới viết ý chính của bạn • Bao quát chưa đầy đủ các tài liệu hiện có • Thiếu tính tổng hợp (integration) • Thiếu đánh giá phê phán (critical appraisal) – đi vào những lỗi và điểm

yếu của dữ kiện/ bằng chứng • Không điều chỉnh kết luận sau khi đánh giá phê phán • Những khẳng định và bằng chứng mập mờ, không rõ ràng • Chỉ phê bình những bằng chứng một cách ‘có chọn lọc’

ĐHKHXH&NV | Phạm T.T. Tiên

36

Kết luận • Có 2 loại phê bình tài liệu • Nhưng cả hai đều có những tính chất tương tự với một

bài báo thực nghiệm • Dùng loại phê bình nào là tùy vào mục đích của bạn và những dữ kiện có được • Khi là một bài độc lập, phê bình tài liệu có nhiệm vụ riêng biệt so với nghiên cứu thực nghiệm riêng lẻ THỰC HÀNH

ĐHKHXH&NV | Phạm T.T. Tiên

37

Tài liệu tham khảo • Cooper, H. M. (2012). APA handbook of research methods

in psychology. Vol. 1, Foundations, planning, measures, and psychometrics. Washington, D.C : American Psychological Association. Chapter 8 • Andy Siddaway. How to do a systematic literature review and meta-analysis. goo.gl/E5eGw5 • Baumeister & Leary (1997). Writing narrative literature reviews. Review of General Psychology. Vol. 1. No. 3, 311-320