USC Libraries Research Guides 9탄 - 논의(Discussion)

https://libguides.usc.edu/writingguide/discussion

Research Guides: Organizing Your Social Sciences Research Paper: 8. The Discussion

 

논의(Discussion)

 

논의 절의 목적은 조사하고 있는 연구 문제에 관해 이미 알려진 내용과 관련하여 자신의 연구 결과가 갖는 의미를 해석하고 설명하며, 연구의 결과로 새롭게 도출된 이해나 통찰을 설명하는 데 있다. 논의는 연구 질문이나 가설, 그리고 검토한 문헌을 통해 항상 서론과 연결되지만, 논의가 논문의 앞부분을 단순히 반복하거나 재배열하는 것은 아니다. 논의는 선행연구에 대한 검토를 마쳤을 때 독자가 이해하고 있던 연구 문제에 비해, 자신의 연구가 독자의 이해를 어떻게 발전시켰는지를 명확하게 설명한다. 논의 절은 자신의 목소리가 가장 두드러지게 나타나고, 독자가 저자인 당신과 가장 밀접하게 연결되는 부분이다.

 

Annesley, Thomas M. “The Discussion Section: Your Closing Argument.” Clinical Chemistry 56 (November 2010): 1671-1674; Peacock, Matthew. “Communicative Moves in the Discussion Section of Research Articles.” System 30 (December 2002): 479-497; Savolainen, Reijo. The Role of Discussion Sections in Research Articles: The Case of Health Information-seeking Studies. Information Research 30 (2025): 63-92.

좋은 논의의 중요성 (Importance of a Good Discussion)

논의 절은 다음과 같은 이유로 연구 논문에서 가장 중요한 부분이라고 할 수 있다.

1. 쟁점에 대해 비판적으로 사고하고, 연구 결과를 논리적으로 종합하여 문제에 대한 창의적인 해결책을 개발하며, 조사하고 있는 연구 문제에 대해 더 깊고 심층적인 이해를 형성하는 연구자로서의 능력을 가장 효과적으로 보여준다.
2. 연구의 근본적인 의미를 제시하고, 다른 연구 영역에서 발생할 수 있는 시사점을 지적하며, 연구의 목적을 더욱 발전시키기 위해 이루어질 수 있는 개선 방안을 탐색한다.
3. 연구의 중요성과 해당 연구가 연구 분야 내에서 연구 문제에 대한 이해에 어떻게 기여할 수 있는지를 강조한다.
4. 자신의 연구 결과가 기존 문헌에서 이전에는 드러나지 않았거나 충분히 기술되지 않았던 공백을 어떻게 드러내고 메우는 데 도움이 되는지를 제시한다.
5. 단순히 정보를 객관적으로 보고하는 것이 아니라, 증거에 근거하여 연구 결과를 해석함으로써 독자가 관련 쟁점에 대해 깊이 있고 체계적으로 사고하도록 유도한다.

Annesley Thomas M. “The Discussion Section: Your Closing Argument.” Clinical Chemistry 56 (November 2010): 1671-1674; Bitchener, John and Helen Basturkmen. “Perceptions of the Difficulties of Postgraduate L2 Thesis Students Writing the Discussion Section.” Journal of English for Academic Purposes 5 (January 2006): 4-18; Kretchmer, Paul. Fourteen Steps to Writing an Effective Discussion Section. San Francisco Edit, 2003-2008; Savolainen, Reijo. The Role of Discussion Sections in Research Articles: The Case of Health Information-seeking Studies. Information Research 30 (2025): 63-92.

구조와 문체 (Structure and Writing Style)

I. 일반 규칙 (General Rules)

연구 결과에 대한 논의를 작성할 때 따라야 할 일반적인 규칙은 다음과 같다.

• 장황하거나 반복적으로 작성하지 말고, 간결하게 작성하며 자신의 요점을 명확하게 제시한다.
• 전문 용어나 정의되지 않은 기술적 언어의 사용을 피한다.
• 논리적인 사고의 흐름을 따른다. 일반적으로 연구 결과 절에서 기술한 순서와 동일한 순서로 연구 결과의 의미를 해석하고 논의한다 [단, 독자의 관심을 끌 수 있는 예상 밖의 결과를 먼저 강조하는 것은 중요한 예외이다].
• 특히 확립된 사실을 언급할 때는 현재 시제를 사용한다. 그러나 특정 문헌이나 선행연구를 언급할 때는 과거 시제를 사용한다.
• 필요한 경우 소제목을 사용하여 논의를 구성하거나 해석을 주제별로 분류한다.

II. 내용 (The Content)

논문의 논의 절에는 대개 다음과 같은 내용이 포함된다.

1. 연구 결과에 대한 설명 (Explanation of results): 각각의 연구 결과가 예상했던 것인지 여부를 언급하고, 예상하지 못했거나 특히 중요한 결과에 대해서는 더 깊이 있게 설명한다. 적절한 경우, 연구 결과에서 나타난 특이하거나 예상하지 못한 패턴 또는 경향을 지적하고, 그것이 연구 문제와 관련하여 무엇을 의미하는지 설명한다.
2. 선행연구에 대한 언급 (References to previous research): 자신의 연구 결과를 다른 연구의 결과와 비교하거나, 다른 연구를 활용하여 자신의 주장을 뒷받침한다. 여기에는 문헌연구 절에서 이미 인용한 핵심 자료를 다시 검토하는 것이 포함될 수 있다. 또는 일반적인 선행연구의 문헌연구에서 맥락과 배경 정보를 제공하기 위해 활용하기보다는, 자신의 연구 결과와 비교하는 데 더 중요하다고 판단되는 연구는 논의 절에서 인용하기 위해 남겨둘 수도 있다. 특정 연구를 강조할 것인지는 논의 절을 작성하기 시작한 후에 결정할 수도 있다는 점에 유의한다.
3. 연역적 추론 (Deductive reasoning): 연구 결과를 보다 일반적인 상황에 적용할 수 있는 방법에 대한 주장을 제시한다. 예를 들어, 연구를 통해 얻은 교훈을 설명하거나, 상황을 개선하는 데 도움이 될 수 있는 권고사항을 제안하거나, 모범적 실천(best practices)에 정보를 제공하는 결과를 강조할 수 있다.
4. 가설 (Hypothesis): 연구 결과에서 도출되는 보다 일반적인 주장이나 가능한 결론 [이후의 연구에서 입증되거나 반증될 수 있다]. 이는 분석의 결과로 새롭게 제기된 연구 질문의 형태로 제시할 수도 있다.

III. 조직과 구조 (Organization and Structure)

논의 절을 구성하고 작성할 때 다음의 순서를 염두에 둔다.

1. 논의를 역피라미드(inverted pyramid)처럼 생각한다. 일반적인 내용에서 구체적인 내용으로 논의를 구성하고, 자신의 연구 결과를 문헌과 연결한 다음, 이론과 연결하고, 적절한 경우 실제 적용과 연결한다.
2. 서론에서 연구 문제를 설명할 때 사용한 동일한 핵심 용어, 서술 방식, 동사 시제 [현재 시제]를 사용한다.
3. 조사하고 있던 연구 문제를 간략하게 다시 제시하는 것으로 시작하고, 서론에서 제기했던 연구 문제를 뒷받침하는 모든 연구 질문에 답한다. 어떤 이유 [예: 관련 데이터를 찾을 수 없었던 경우]로 연구 질문이 해결되지 않은 채 남아 있다면, 이를 인정하고 그 이유를 설명한다.
4. 각각의 주요 연구 결과에서 나타난 패턴, 원칙 및 관계를 설명하고 이를 적절한 맥락 속에 위치시킨다. 이 정보의 순서가 중요하다. 먼저 답을 제시하고, 다음으로 관련 연구 결과를 제시한 후, 다른 연구자들의 연구를 인용한다. 적절한 경우 독자가 데이터에 대한 해석을 더욱 잘 이해할 수 있도록 그림이나 표를 참조하도록 한다 [본문 내에 제시하거나 부록으로 제시할 수 있다].
5. 어디에서 언급하든 좋은 논의 절에는 예상하지 못한 연구 결과에 대한 분석이 포함된다. 논의의 이 부분은 예상하지 못했던 결과에 대한 설명으로 시작한 다음, 왜 그러한 결과가 나타났다고 생각하는지에 대한 간략한 해석을 제시하고, 필요한 경우 전체 연구와 관련하여 그것이 가질 수 있는 의미를 설명해야 한다. 연구 과정에서 하나 이상의 예상하지 못한 결과가 나타났다면, 데이터를 수집하거나 분석하는 과정에서 나타난 순서에 따라 각각을 설명한다. 앞서 언급했듯이, 연구 결과 절에서 기술한 것과 동일한 순서로 결과를 논의하는 것의 예외는 연구에서 나타난 특히 예상하지 못했거나 중요한 결과의 시사점을 먼저 강조한 다음 나머지 연구 결과를 논의하는 경우이다.
6. 논의를 마무리하기 전에, 논문의 결론에서 다룰 계획이 없다면 잠재적인 한계와 약점을 확인한다. 이러한 한계와 약점이 연구 결과에 대한 전반적인 해석과 관련하여 어느 정도 중요한지를 언급하고, 필요한 경우 이러한 한계가 연구 결과의 타당성에 어떤 영향을 미칠 수 있는지를 지적한다. 사과하는 듯한 어조는 피하되, 정직하고 자기비판적인 태도를 유지한다 [예: 돌이켜보았을 때 설문 도구에 특정 질문을 포함했다면 추가적인 데이터가 드러났을 수도 있음을 인정할 수 있다].
7. 논의 절은 그 중요성과 관계없이 연구 결과의 주요 시사점을 간결하게 요약하는 것으로 끝내야 한다. 연구 결과와 결론이 왜 중요하다고 생각하는지, 그리고 그것이 연구 문제에 대한 더 넓은 지식이나 이해를 어떻게 뒷받침하는지를 간략하게 설명한다. 그다음 추가 연구를 위한 권고사항을 제시할 수 있다. 그러나 연구 자체에서 쉽게 해결할 수 있었던 문제에 대한 권고사항은 제시하지 않는다. 이는 독자에게 연구자가 데이터를 충분히 검토하고 해석하지 않았다는 인상을 줄 수 있다.

IV. 전체적인 목적 (Overall Objectives)

논의 절의 목적에는 다음 사항이 포함되어야 한다.

I. 연구 문제를 재진술하고 주요 연구 결과를 제시하기 (Reiterate the Research Problem/State the Major Findings)

조사하고 있는 연구 문제 또는 문제들을 간략하게 다시 제시하고, 이를 조사하기 위해 사용한 연구 방법을 설명한 다음, 신속하게 연구의 주요 결과를 기술한다. 연구 결과를 직접적이고 선언적이며 간결하게 진술해야 하며, 일반적으로 한 단락으로 작성한다.

II. 연구 결과의 의미와 중요성을 설명하기 (Explain the Meaning of the Findings and Why They are Important)

당신만큼 자신의 연구에 대해 오랫동안 깊이 생각한 사람은 없다. 연구 결과의 근본적인 의미를 체계적으로 설명하고, 그것이 왜 중요하다고 생각하는지를 밝힌다. 독자가 논의 절을 읽은 후 연구 결과가 무엇을 의미하는지, 그리고 왜 중요한지에 대해 비판적으로 생각하도록 해야 한다. 독자가 그 의미를 파악하기 위해 논문 전체를 여러 번 다시 읽게 해서는 안 된다. 해당되는 경우, 이 부분을 자신이 가장 중요하다고 생각하거나 예상하지 못했던 결과를 먼저 반복하여 제시하는 것으로 시작한 다음, 각 결과를 체계적으로 검토한다. 그렇지 않다면 연구 결과 절에서 보고한 결과의 일반적인 순서를 따른다.

III. 연구 결과를 유사한 연구와 관련짓기 (Relate the Findings to Similar Studies)

사회과학 분야에서 기존에 출판된 연구와 전혀 관련이 없을 정도로 새롭거나 초점이 극도로 제한된 연구는 없다. 특히 선행연구에서 제기된 질문이 자신의 연구를 수행하게 된 동기가 되었다면, 논의 절에서는 자신의 연구 결과를 다른 연구에서 발견된 결과와 관련지어야 한다. 이는 다른 연구의 결과를 비교하고 대조함으로써 자신의 연구 결과가 갖는 전반적인 중요성을 뒷받침하고, 자신의 연구가 해당 주제에 관한 다른 연구와 어떻게, 그리고 어떤 점에서 다른지를 보여주기 때문에 중요하다. 중요한 결과나 예상하지 못한 결과가 나타나는 것은 해당 결과가 발생할 수 있음을 보여주는 선행연구가 없었기 때문인 경우가 많다는 점에 유의한다. 그러한 결과를 뒷받침하는 선행연구가 있다면, 왜 그 결과가 중요하거나 예상하지 못한 것이었는지를 설명해야 한다.

IV. 연구 결과에 대한 대안적 설명을 고려하기 (Consider Alternative Explanations of the Findings)

사회과학 연구의 목적은 증명하는 것(prove)이 아니라 발견하는 것(discover)이라는 점을 기억하는 것이 중요하다. 논의 절을 작성할 때는 자신의 가설이나 기존의 가정과 편견에 부합하는 설명뿐만 아니라 연구 결과에 대한 가능한 모든 설명을 신중하게 고려해야 한다. 이는 특히 중요하거나 예상하지 못한 결과를 발견했다고 기술할 때 중요하다.

V. 연구의 한계를 인정하기 (Acknowledge the Study’s Limitations)

교수에게 자신의 연구의 한계를 지적받는 것보다는 자신이 직접 한계를 찾아내고 인정하는 것이 훨씬 낫다! 연구에서 답하지 못한 질문이나 해결할 수 없었던 문제를 지적하고, 연구 결과를 다른 상황에 일반화할 수 있는 정도를 설명한다. 정보를 수집하기 위해 선택한 연구 방법과 관련된 한계가 있다면, 자신이 경험한 문제와 그 이유를 상세하게 설명한다.

VI. 추가 연구를 위한 제안하기 (Make Suggestions for Further Research)

논문의 결론에서 추가 연구를 위한 제안을 하는 대신 논의 절을 마무리하면서 이러한 제안을 제시할 수도 있다. 자신의 연구가 연구 문제에 대해 중요한 통찰을 제공할 수 있지만, 이 부분에서는 여전히 답하지 못한 연구 문제와 관련된 다른 질문을 다루거나, 연구를 수행한 결과 드러난 숨겨진 쟁점을 강조할 수 있다. 추가 연구의 필요성을 연구의 한계와 연결하여 제안을 구성한다 [예: 향후 연구에서는 설문 도구에 ‘…에 대해 질문하는 문항을 더 많이 포함해야 한다’는 식으로 제안할 수 있다]. 또는 처음 연구를 설계할 당시에는 고려하지 않았지만 데이터에서 드러난 중요한 쟁점과 연결하여 제안할 수도 있다.

 

참고: 문헌연구 절을 제외하면, 자료에 대한 인용이 가장 많이 나타나는 곳은 일반적으로 논의 절이다. 관점을 제공하기 위해 몇 가지 역사적 자료를 인용하는 것은 도움이 될 수 있지만, 대부분의 참고문헌은 비교적 최근의 자료여야 하며, 연구 결과를 해석하고, 특정 결과의 중요성을 뒷받침하고, 그리고/또는 특정 맥락 속에 연구 결과를 위치시키는 데 도움이 되도록 활용해야 한다. 자신이 인용한 연구가 자신의 연구 결과를 뒷받침하지 않는다면 이를 무시하지 말고, 자신의 연구 결과가 왜 해당 연구의 결과와 다른지를 명확하게 설명한다.

V. 피해야 할 문제 (Problems to Avoid)

• 연구 결과를 다시 진술하지 않는다. 논의할 특정 결과를 독자에게 상기시킬 필요가 있다면, 그 결과를 해석과 연결하는 ‘연결 문장(bridge sentences)’을 사용한다. 예를 들어, “텍사스 농촌 지역에서 자녀를 둔 미혼 여성들이 이용 가능한 주거지를 찾는 경우, 연구 결과는 좋은 학교에 대한 접근성이 …의 핵심 요인임을 시사한다”와 같이 작성한 다음, 이 결과의 근본적인 의미와 시사점을 해석하고 설명하는 것으로 넘어간다.
• 추가 연구를 위한 권고사항. 앞서 언급했듯이 추가 연구를 위한 권고사항은 논의 절이나 논문의 결론에 포함할 수 있지만, 두 절에서 동일한 권고사항을 반복해서는 안 된다. 논문의 전체적인 서술 흐름을 고려하여 이 내용을 어디에 배치할 것인지 결정한다. 그러나 연구 결과에서 많은 새로운 질문이나 쟁점이 제기된다면 논의 절에 추가 연구를 위한 제안을 포함하는 것을 고려한다. 결론은 짧고 핵심을 분명히 해야 한다. 추가 연구의 필요성에 대한 심층적인 설명이 필요하다면 논의 절의 마지막에 추가 연구 내용을 배치하거나, 특정 연구 결과와 관련된 것이라면 해당 결과를 설명하는 단락에 포함한다.
• 논의 절에 새로운 연구 결과를 도입하지 않는다. 특정 연구 결과를 반복해서 제시하는 것과 그것을 해석하는 것을 혼동하지 않도록 주의해야 한다. 그렇게 하면 독자를 혼란스럽게 할 수 있다. 연구 결과에 대한 기술 [연구 결과 절]과 그 의미에 대한 해석 [논의 절]은 논문의 서로 구별되는 부분이어야 한다. 연구 결과 절과 논의 절을 하나의 서술로 통합하기로 했다면, 발견한 정보를 보고하는 것과 각 연구 결과에 대한 자신의 해석을 어떻게 구분하여 제시하는지 명확해야 한다. 대학 수준의 연구 논문을 작성한 경험이 부족하다면 이러한 접근은 권장하지 않는다.
• 1인칭 대명사 사용. 1인칭 단수 대명사를 사용하면 특정 요점을 강조하거나 상반되는 결과를 보여주는 데 도움이 될 수 있다 [예: “그런 다음 나는 결과를 토대로 …의 시사점을 검토하는 데 도움이 되는 모델을 만들었다(I then created a model based on the results to help examine the implications of…).”]. 그러나 1인칭을 지나치게 사용하면 독자가 주요 요점에서 주의를 돌리게 할 수 있다는 점을 기억해야 한다 [예: “당신이 이 말을 하고 있다는 것은 알겠으니, 그냥 말해 주세요(I know you're telling me this--just tell me!).”].

Analyzing vs. Summarizing. Department of English Writing Guide. George Mason University; Discussion. The Structure, Format, Content, and Style of a Journal-Style Scientific Paper. Department of Biology. Bates College; Hess, Dean R. "How to Write an Effective Discussion." Respiratory Care 49 (October 2004); Kretchmer, Paul. Fourteen Steps to Writing to Writing an Effective Discussion Section. San Francisco Edit, 2003-2008; The Lab Report. University College Writing Centre. University of Toronto; Sauaia, A. et al. "The Anatomy of an Article: The Discussion Section: "How Does the Article I Read Today Change What I Will Recommend to my Patients Tomorrow?” The Journal of Trauma and Acute Care Surgery 74 (June 2013): 1599-1602; Research Limitations & Future Research. Lund Research Ltd., 2012; Summary: Using it Wisely. The Writing Center. University of North Carolina; Schafer, Mickey S. Writing the Discussion. Writing in Psychology course syllabus. University of Florida; Savolainen, Reijo. The Role of Discussion Sections in Research Articles: The Case of Health Information-seeking Studies. Information Research 30 (2025): 63-92; Yellin, Linda L. A Sociology Writer's Guide. Boston, MA: Allyn and Bacon, 2009.

연구 팁 (Writing Tip)

연구 결과를 과도하게 해석하지 마세요! (Don’t Over-Interpret the Results!)

해석은 연구 결과에 관해 제시한 근본적인 주장에 대해 독자가 가치판단을 하도록 만드는 주관적인 활동이다. 따라서 연구 결과를 분석하고 해석할 때는 항상 성찰적인 태도로 접근하고, 연구의 중요성에 대한 설명에 의도하지 않은 편향이 개입할 가능성에 대해 비판적으로 생각해야 한다. 이러한 점을 염두에 두고 논문을 교정(proofreading)할 때, 수집한 증거가 뒷받침할 수 있는 것보다 연구 결과를 더 많이 읽어내고 있지는 않은지 주의해야 한다. 데이터는 데이터일 뿐이라는 점을 기억하라. 그 이상도 그 이하도 아니다.

 

MacCoun, Robert J. "Biases in the Interpretation and Use of Research Results." Annual Review of Psychology 49 (February 1998): 259-287; Ward, Paulet al, editors. The Oxford Handbook of Expertise. Oxford, UK: Oxford University Press, 2018; Savolainen, Reijo. The Role of Discussion Sections in Research Articles: The Case of Health Information-seeking Studies. Information Research 30 (2025): 63-92.

 

두 개의 연구 결과 절을 작성하지 마세요! (Don't Write Two Results Sections!)

연구 결과를 논의할 때 저지를 수 있는 가장 흔한 실수 중 하나는 연구 결과에 대해 피상적인 해석을 제시하여 논문의 연구 결과 절을 거의 그대로 다시 진술하는 것이다. 물론 연구 결과를 논의할 때 해당 결과를 언급해야 하지만, 데이터 자체가 아니라 그 결과의 해석과 연구 문제와 관련된 그 결과의 중요성에 초점을 맞춰야 한다.

 

Azar, Beth. "Discussing Your Findings." American Psychological Association gradPSYCH Magazine (January 2006); Savolainen, Reijo. The Role of Discussion Sections in Research Articles: The Case of Health Information-seeking Studies. Information Research 30 (2025): 63-92.

 

근거 없는 추측을 피하세요! (Avoid Unwarranted Speculation!)

논의 절은 연구 결과와 연구 문제와 관련된 그 결과의 해석에 초점을 맞춰야 한다. 예를 들어, 연구의 목적이 방글라데시 아동의 교육 접근성 향상에 대한 해외 원조의 영향을 측정하는 것이었다면, 다른 국가의 모집단에 자신의 연구 결과가 어떻게 적용될 수 있는지를 뒷받침할 기존 연구가 없거나 다른 국가에 대한 분석이 원래 연구 설계에 포함되어 있지 않은 상황에서 그러한 적용 가능성을 추측하는 것은 적절하지 않다.

 

대안적인 결과에 대해 이론화하고 싶은 강한 충동이 있다면, 가능한 시사점을 설명하거나 잠재적인 영향을 설명하는 방식으로 제시하고, 왜 분석을 이러한 영역까지 확장하는지 설명한다. 자신의 의견이 추측임을 명확하게 밝히거나, 추가 연구가 필요한 영역에 대한 제안임을 밝히거나, 다른 상황이나 조건에 적용할 수 있는 가능한 모델임을 명시해야 한다 [예: “이 연구는 다음과 같은 이유로 다른 남아시아 국가들의 교육 접근성을 이해하는 데 활용될 수 있다(This study could be used to understand access to education in other south Asian nations because…).”]. 때로는 교수자가 이러한 방식으로 연구 결과에 대한 논의를 확장하도록 권장하기도 하지만, 다른 교수자는 연구 문제와 관련하여 연구 결과를 해석하는 것 이상으로 연구자의 의견을 제시하는 데 관심을 두지 않기도 한다.

 

Azar, Beth. "Discussing Your Findings." American Psychological Association gradPSYCH Magazine (January 2006); Rassel, Gary R., Jocelyn DeVance Taliaferro, Stacy M. Rassel, and Elizabethann O’Sullivan. "Communicating Findings." In Practical Research Methods for Nonprofit and Public Administrators. 2nd edition. (New York: Routledge, 2022), pp. 243-256; Savolainen, Reijo. The Role of Discussion Sections in Research Articles: The Case of Health Information-seeking Studies. Information Research 30 (2025): 63-92.

 

연구의 한계(Limitations)

 

연구의 한계는 분석 결과를 일반화하는 데 가해지는 제약, 연구 결과의 실제 적용을 충분히 설명하는 데 따르는 제약, 연구 결과의 중요성을 해석하는 데 따르는 제약, 그리고/또는 연구의 유용성과 관련된 제약을 의미한다. 이러한 제약은 연구를 처음 설계할 때 선택한 방식이나 내적 타당성과 외적 타당성을 확립하기 위해 사용한 방법에서 비롯될 수 있다. 또한 연구를 수행하는 과정에서 예상하지 못했던 문제가 발생한 결과로 한계가 나타날 수도 있다.

 

Price, James H. and Judy Murnan. “Research Limitations and the Necessity of Reporting Them.” American Journal of Health Education 35 (2004): 66-67; Theofanidis, Dimitrios and Antigoni Fountouki. "Limitations and Delimitations in the Research Process." Perioperative Nursing 7 (September-December 2018): 155-163..

중요성 (Importance of...)

연구의 한계를 기술하는 것은 다음과 같은 이유에서 중요하다.

항상 연구의 한계를 인정하라. 교수에게 자신의 연구의 한계를 지적받고, 이를 무시했거나 존재한다는 사실을 인식하지 못한 것처럼 보여서 성적이 낮아지는 것보다는 자신이 직접 연구의 한계를 찾아내고 인정하는 것이 훨씬 낫다.

 

연구의 한계를 인정하는 것은 추가 연구를 제안할 수 있는 기회가 된다. 연구의 한계를 추가 연구의 필요성과 연결한다면, 이러한 미해결 질문이 자신의 연구를 통해 어떻게 더욱 명확하고 구체적인 형태로 드러났는지를 반드시 설명해야 한다.

 

연구의 한계를 인정하는 것은 또한 연구 문제에 대해 비판적으로 사고하고, 해당 문제와 관련하여 출판된 문헌을 이해하며, 연구 문제를 연구하기 위해 선택한 방법을 적절하게 평가했음을 보여줄 기회를 제공한다. 연구 과정의 핵심적인 목적은 새로운 지식과 통찰을 기술하는 데 그치지 않고, 연구를 완료한 후에도 우리가 무엇을 모르는지를 탐색하고 기존의 가정에 맞서는 데 있다.

 

한계를 주장하는 것은 그 한계의 영향을 평가해야 하기 때문에 주관적인 과정이다. 단순히 주요 문제와 연구의 한계가 어느 정도인지만 나열해서는 안 된다. 그렇게 하면 독자는 그러한 한계가 연구 결과와 결론에 영향을 미쳤는지, 영향을 미쳤다면 어떤 방식으로 영향을 미쳤는지를 판단할 수 없게 되므로 연구의 타당성이 약화된다. 한계에 대해서는 그 영향에 대한 비판적이고 종합적인 평가와 해석이 필요하다. 다음 질문에 답해야 한다. 오류, 연구 방법, 타당성 등의 문제가 실제로 중요한가? 중요하다면 어느 정도로 중요한가?

 

참고: 연구의 한계를 확인하고, 평가하고, 기술하는 과정을 종합적으로 수행하면 다른 연구의 한계를 인식하는 방법을 배우는 데 도움이 된다. 이는 다른 연구의 타당성, 또는 더 나아가 자신이 읽는 모든 것에 대해 비판적으로 사고하는 능력을 뒷받침하기 때문에 중요한 기술이다.

 

Price, James H. and Judy Murnan. “Research Limitations and the Necessity of Reporting Them.” American Journal of Health Education 35 (2004): 66-67; Structure: How to Structure the Research Limitations Section of Your Dissertation. Dissertations and Theses: An Online Textbook. Laerd.com.

가능한 한계의 유형 (Descriptions of Possible Limitations)

모든 연구에는 한계가 있다. 그러나 연구하고 있는 연구 문제와 관련된 한계에 대해서만 논의를 제한하는 것이 중요하다. 예를 들어, 기존 문헌에 대한 메타분석이 연구의 명시된 목적이 아니라면 이를 한계로 논의해서는 안 된다. 논문의 서론에서 조사하겠다고 약속하지 않았던 문제를 다루지 않았다고 해서 사과하지 마라.

 

다음은 연구 결과에 어떤 영향을 미쳤을 수 있는지를 기술하고 논의해야 할 수도 있는 방법론 및 연구 과정과 관련된 한계의 예이다. 한계에 대한 설명은 연구를 완료한 후 발견된 것이므로 과거 시제로 기술해야 한다는 점에 유의한다.

가능한 방법론적 한계 (Possible Methodological Limitations)

• 표본 크기 (Sample size) — 연구에서 사용하는 분석 단위의 수는 조사하고 있는 연구 문제의 유형에 따라 결정된다. 표본 크기가 너무 작으면 데이터에서 유의미한 관계를 발견하기 어려울 수 있다는 점에 유의한다. 통계적 검정은 일반적으로 모집단의 대표적인 분포를 확보하고, 연구 결과를 일반화하거나 다른 집단에 적용할 대상이 되는 사람들의 집단을 대표한다고 판단하기 위해 더 큰 표본 크기를 요구하기 때문이다. 다만 연구 문제의 맥락에서 설명된다면 질적 연구에서는 표본 크기의 중요성이 상대적으로 낮을 수 있다.
• 이용 가능하고/또는 신뢰할 수 있는 데이터의 부족 (Lack of available and/or reliable data) — 데이터 또는 신뢰할 수 있는 데이터가 부족하면 분석의 범위나 표본의 크기를 제한해야 할 가능성이 높으며, 경향이나 의미 있는 관계를 발견하는 데 상당한 장애물이 될 수도 있다. 이러한 한계를 기술하는 것뿐만 아니라 데이터가 누락되었거나 신뢰할 수 없다고 생각하는 설득력 있는 이유(cogent rationale)를 제시해야 한다. 그러나 좌절한 나머지 손을 놓아서는 안 된다. 이를 대신 데이터 수집을 위한 다른 방법을 설계하는 것을 바탕으로 향후 연구의 필요성을 설명할 기회로 활용한다.
• 주제에 관한 선행연구 부족 (Lack of prior research studies on the topic) — 선행연구를 인용하는 것은 문헌연구의 토대를 형성하고, 조사하고 있는 연구 문제를 이해하기 위한 기반을 마련하는 데 도움이 된다. 연구 주제의 최신성이나 범위에 따라 해당 주제에 관한 선행연구가 거의 없거나 전혀 없을 수도 있다. 그러나 이것이 사실이라고 가정하기 전에 반드시 사서에게 상담하라! 사서가 선행연구가 거의 없거나 전혀 없음을 확인한 경우, 완전히 새로운 연구 유형(research typology)을 개발해야 할 수도 있다 [예를 들어 설명적(explanatory) 연구 설계가 아니라 탐색적(exploratory) 연구 설계를 사용할 수 있다]. 다시 말하지만, 한계를 발견하는 것은 문헌에 존재하는 새로운 공백을 확인하고 추가 연구의 필요성을 설명하는 중요한 기회가 될 수 있다.
• 데이터 수집에 사용한 측정 도구 (Measure used to collect the data) — 연구 결과에 대한 해석을 완료한 후, 데이터를 수집한 방식이 연구 결과에 대한 철저한 분석을 수행하는 능력을 제한했다는 사실을 발견하는 경우가 있다. 예를 들어 돌이켜보았을 때 연구 과정의 후반부에 나타난 특정 문제를 다루는 데 도움이 되었을 특정 질문을 설문에 포함하지 않았던 것을 후회할 수 있다. 향후 연구자들이 구체적인 데이터 수집 방법을 수정할 필요가 있음을 밝힘으로써 이러한 결함을 인정한다.
• 자기보고 데이터 (Self-reported data) — 기존 데이터를 활용하는 경우든, 질적 연구를 수행하면서 직접 데이터를 수집하는 경우든, 자기보고 데이터는 독립적으로 검증할 수 있는 경우가 드물다는 점에서 한계가 있다. 다시 말해, 인터뷰, 포커스 그룹 또는 설문지에서 사람들이 말하는 내용의 정확성을 액면 그대로 받아들여야 한다. 그러나 자기보고 데이터에는 여러 잠재적인 편향의 원천이 포함될 수 있으므로 이에 주의를 기울이고 한계로 언급해야 한다. 이러한 편향은 다른 출처의 데이터와 일치하지 않을 때 드러난다. 그 유형은 다음과 같다. (1) 선택적 기억(selective memory) [과거 어느 시점에 발생한 경험이나 사건을 기억하거나 기억하지 못하는 것], (2) 시간적 확대(telescoping) [한 시점에 발생한 사건을 다른 시점에 발생한 것처럼 기억하는 것], (3) 귀인(attribution) [긍정적인 사건과 결과를 자신의 행위 주체성에 귀속시키는 반면, 부정적인 사건과 결과를 외부의 힘에 귀속시키는 행위], (4) 과장(exaggeration) [다른 데이터가 실제로 시사하는 것보다 결과를 더 중요하게 표현하거나 사건을 부풀리는 행위].

연구자의 가능한 한계 (Possible Limitations of the Researcher)

• 접근성 (Access) — 연구가 사람, 조직, 데이터 또는 문서에 대한 접근을 필요로 하는데 어떤 이유로든 접근이 거부되거나 어떤 방식으로든 제한된다면, 그 이유를 설명해야 한다. 또한 접근이 거부되거나 제한되었음에도 불구하고 연구를 끝까지 수행하는 데 어떻게 문제가 되지 않았는지를 설명한다.
• 종단적 영향 (Longitudinal effects) — 한 가지 주제를 연구하는 데 말 그대로 수년, 심지어 평생을 할애할 수 있는 교수와 달리, 연구 문제를 조사하고 시간에 따른 변화나 안정성을 측정하는 데 사용할 수 있는 시간은 과제의 제출 기한에 의해 제한된다. 문헌연구를 완료하고, 방법론을 적용하고, 연구 결과를 수집하고 해석하는 데 지나치게 많은 시간이 필요하지 않은 연구 문제를 선택해야 한다. 과제의 제출 기한 내에 연구를 완료할 수 있을지 확신이 없다면 교수와 상의한다.
• 문화적 및 기타 유형의 편향 (Cultural and other type of bias) — 우리는 인식하고 있든 그렇지 않든 모두 편향을 가지고 있다. 편향은 사람, 장소, 사건 또는 사물이 일관되게 부정확한 방식으로 보이거나 제시되는 것을 의미한다. 편향은 일반적으로 부정적이지만 긍정적인 편향도 존재할 수 있다. 특히 자신의 가설을 지지하는 연구에만 의존하는 경우 그러하다. 논문을 교정할 때 연구 문제를 어떻게 진술했는지, 연구할 데이터를 어떻게 선택했는지, 무엇을 누락했을 수 있는지, 사건·사람·장소의 순서를 어떻게 정했는지, 사람·장소·사물을 어떻게 표현했는지, 어떤 현상에 이름을 붙였는지, 긍정적 또는 부정적 함의를 지닌 단어를 어떻게 사용했는지를 특히 비판적으로 검토해야 한다. 참고: 선행연구에서 편향을 발견했다면 이를 반드시 인정하고, 그러한 편향을 반복해서 재생산하지 않기 위해 어떤 조치를 취했는지 설명해야 한다. 예를 들어 음악교육이 효과적인 수학 능력을 어떻게 지원하는지 조사한 이전 연구가 남학생만을 대상으로 했다면, 자신의 연구에서는 여학생을 포함하여 연구를 어떻게 확장했는지를 설명한다.
• 언어 유창성 (Fluency in a language) — 예를 들어 자신의 연구가 멕시코계 미국인 ESL [English as a Second Language] 학생들의 방과 후 학습지도의 인식된 가치(perceived value)를 측정하는 데 초점을 두고 있는데 자신이 스페인어에 능통하지 않다면, 해당 주제에 관한 스페인어 연구를 읽고 해석하거나 이 학생들과 그들의 주된 언어로 대화하는 데 한계가 있다. 이러한 유형의 한계는 반드시 인정해야 한다.

Aguinis, Hermam and Jeffrey R. Edwards. “Methodological Wishes for the Next Decade and How to Make Wishes Come True.” Journal of Management Studies 51 (January 2014): 143-174; Brutus, Stéphane et al. "Self-Reported Limitations and Future Directions in Scholarly Reports: Analysis and Recommendations." Journal of Management 39 (January 2013): 48-75; Senunyeme, Emmanuel K. Business Research Methods. Powerpoint Presentation. Regent University of Science and Technology; ter Riet, Gerben et al. “All That Glitters Isn't Gold: A Survey on Acknowledgment of Limitations in Biomedical Studies.” PLOS One 8 (November 2013): 1-6; Tanner, Ralph E. S. Chance and Probability: The Limitations of the Social Sciences. New Delhi: Concept Publishing Company, 2011.

구조와 문체 (Structure and Writing Style)

연구의 한계에 관한 정보는 일반적으로 논문의 논의 절 앞부분에 배치하여 독자가 나머지 연구 결과 분석을 읽기 전에 한계를 알고 이해할 수 있도록 하거나, 추가 연구의 필요성과 관련하여 논의 절의 마지막 부분에 한계를 제시한다. 특정 한계가 논문의 해당 부분에서 다루는 내용과 직접적으로 관련된 경우가 아니라면, 연구의 한계에 관한 진술을 논의 절의 본문 [중간]에 묻어 두어서는 안 된다. 그런 경우에도 해당 한계는 그 절의 결론 부분에서 다시 언급해야 한다.

 

중요한 한계 때문에 연구가 심각하게 제약되었다고 판단한다면, 예를 들어 핵심적인 데이터를 확보할 수 없었다면, 향후 보다 완전한 연구를 위한 토대를 마련하는 것을 목적으로 하는 탐색적 연구로 연구의 성격을 재구성하는 것을 고려한다. 다만 새로운 연구에서 이러한 결함을 어떻게 성공적으로 극복할 수 있는지를 명확하게 설명해야 한다.

 

그러나 철저한 연구 논문을 작성하지 않은 것에 대한 핑계로 한계를 사용해서는 안 된다! 이 안내서에서 연구 주제 개발(developing a research topic)에 관한 내용을 검토한다. 심각하면서도 이미 알려진 한계가 존재한다면, 이는 일반적으로 자신의 연구 문제가 지나치게 좁게 정의되었거나 연구 중인 쟁점 또는 사건이 너무 최근의 것이어서 이에 관해 작성된 연구가 거의 없다는 것을 의미한다. 논문을 작성하는 과정에서 심각하고 예상하지 못한 한계가 나타난다면, 이를 극복할 수 있는 방법이나 연구를 어떻게 수정할 수 있는지에 대해 교수와 상의한다.

 

연구의 한계를 논의할 때에는 다음 사항을 반드시 포함한다.

• 각 한계를 상세하면서도 간결한 용어로 설명한다.
• 각각의 한계가 존재하는 이유를 설명한다.
• 선택한 정보를 확보하거나 수집하는 방법으로는 각 한계를 극복할 수 없었던 이유를 제시한다 [가능한 경우 유사한 문제를 경험한 다른 연구를 인용하고 언급한다].
• 각각의 한계가 연구의 전반적인 결과와 결론에 미치는 영향을 평가한다.
• 적절한 경우 이러한 한계가 추가 연구의 필요성을 어떻게 보여줄 수 있는지 설명한다.

연구 결과를 해석하는 과정에서 나타난 중요한 한계의 원인이 자신이 선택한 연구 방법일 수도 있다는 점을 기억해야 한다 [예: 나중에 생각해보니 인터뷰했어야 했던 특정 집단의 사람들을 인터뷰하지 않은 경우]. 이러한 경우 당황할 필요가 없다. 이를 인정하고, 다른 방법론적 기법이나 보다 강력한 방법론적 기법을 적용하면 향후 연구에서 연구 문제를 어떻게 더 효과적으로 다룰 수 있는지를 설명한다. 학술 연구의 근본적인 목표 중 하나는 무엇이 효과적인지를 보여주는 것뿐만 아니라, 무엇이 효과적이지 않은지 또는 무엇이 추가적인 설명을 필요로 하는지를 보여주는 것이다.

 

Aguinis, Hermam and Jeffrey R. Edwards. “Methodological Wishes for the Next Decade and How to Make Wishes Come True.” Journal of Management Studies 51 (January 2014): 143-174; Brutus, Stéphane et al. "Self-Reported Limitations and Future Directions in Scholarly Reports: Analysis and Recommendations." Journal of Management 39 (January 2013): 48-75; Ioannidis, John P.A. "Limitations are not Properly Acknowledged in the Scientific Literature." Journal of Clinical Epidemiology 60 (2007): 324-329; Pasek, Josh. Writing the Empirical Social Science Research Paper: A Guide for the Perplexed. January 24, 2012. Academia.edu; Structure: How to Structure the Research Limitations Section of Your Dissertation. Dissertations and Theses: An Online Textbook. Laerd.com; What Is an Academic Paper? Institute for Writing Rhetoric. Dartmouth College; Writing the Experimental Report: Methods, Results, and Discussion. The Writing Lab and The OWL. Purdue University.

연구 팁 (Writing Tip)

연구 결과의 중요성을 부풀리지 마세요! (Don't Inflate the Importance of Your Findings!)

연구 논문을 작성하는 데 들인 모든 노력과 오랜 시간을 생각하면, 자신이 한 일에 정당하지 않은 중요성을 부여하는 데 빠져들기 쉽다. 우리는 모두 자신의 학술적 성과가 훌륭하고 좋은 평가를 받을 만한 것으로 여겨지기를 바라지만, 자신의 연구에 존재하는 한계를 이해하고 이를 공개적으로 인정하는 것이 중요하다. 한계를 무시하거나 축소함으로써 연구 결과의 중요성을 부풀리는 것은 독자에게 연구의 결함을 숨기거나 결과에 대한 편향된 해석을 유도하려는 시도로 받아들여질 수 있다. 약간의 겸손은 큰 도움이 된다!

 

Tanner, Ralph E. S. Chance and Probability: The Limitations of the Social Sciences. New Delhi: Concept Publishing Company, 2011.

 

부정적인 연구 결과는 한계가 아니다! (Negative Results are Not a Limitation!)

부정적 증거(negative evidence)란 자신의 가설을 뒷받침하기보다는 예상하지 못한 방식으로 가설에 도전하는 연구 결과를 의미한다. 예상했던 결과를 얻지 못했다면, 이는 자신의 가설이 잘못되었으며 재구성할 필요가 있다는 것을 의미할 수 있다. 또는 더 흔한 경우로, 추가 연구가 필요한 예상하지 못한 사실을 발견했다는 것을 의미할 수도 있다. 또한 많은 상황, 특히 실험적 연구 설계에서는 어떤 효과가 나타나지 않았다는 사실 자체가 매우 중요한 의미를 가질 수 있다. 어느 경우든 자신의 연구 결과가 처음의 가정을 뒷받침하지 않았더라도 다른 연구자들에게 매우 중요한 의미를 가질 수 있다. 예상과 다른 결과가 나왔다는 이유만으로 그것을 연구의 한계라고 생각하는 함정에 빠지지 마라. 연구를 적절하게 수행했다면 그러한 결과는 단순히 자신의 연구 결과일 뿐이며, 논문의 논의 절에서 추가적인 해석을 필요로 할 뿐이다.

 

Lewis, George H. and Jonathan F. Lewis. “The Dog in the Night-Time: Negative Evidence in Social Research.” The British Journal of Sociology 31 (December 1980): 544-558; Lehrer, David et al. "Negative Results in Social Science." European Political Science 6 (February 2007): 51-68.

 

질적 연구에서 표본 크기의 한계 (Sample Size Limitations in Qualitative Research)

질적 연구에서 표본 크기는 일반적으로 더 작다. 연구가 진행될수록 더 많은 데이터를 확보한다고 해서 반드시 더 많은 정보가 얻어지는 것은 아니기 때문이다. 이는 하나의 데이터 사례 또는 하나의 코드가 분석 체계에 포함되도록 하는 데 필요한 전부일 수 있기 때문이다. 그러나 표본 크기가 지나치게 작으면 타당한 결론에 도달했다는 주장을 충분히 뒷받침할 수 없으며, 반대로 표본 크기가 지나치게 크면 질적 탐구를 규정하는 심층적이고 자연주의적이며 귀납적인 분석을 수행할 수 없다는 점은 여전히 사실이다.

 

질적 연구에서 적절한 표본 크기를 결정하는 것은 궁극적으로 수집한 정보의 질을 해당 정보가 활용될 목적 및 사용되는 특정 연구 방법과 목적적 표본추출 전략에 비추어 평가하는 판단과 경험의 문제이다. 표본 크기가 한계로 확인된다면, 이는 사용된 응답자의 수보다는 선택한 방법론적 기법에 대한 연구자의 판단을 반영하는 것일 수 있다 [예: 단일 생애사 연구와 포커스 그룹 인터뷰의 비교]. 따라서 수집한 정보에서 패턴과 경향을 확인하고 이를 연구 문제와 관련하여 분석할 수 있을 정도로 어느 정도의 표본 크기가 필요한지 확신이 없다면 교수와 상의한다.

 

Boddy, Clive Roland. "Sample Size for Qualitative Research." Qualitative Market Research: An International Journal 19 (2016): 426-432; Huberman, A. Michael and Matthew B. Miles. "Data Management and Analysis Methods." In Handbook of Qualitative Research. Norman K. Denzin and Yvonna S. Lincoln, eds. (Thousand Oaks, CA: Sage, 1994), pp. 428-444; Blaikie, Norman. "Confounding Issues Related to Determining Sample Size in Qualitative Research." International Journal of Social Research Methodology 21 (2018): 635-641; Oppong, Steward Harrison. "The Problem of Sampling in qualitative Research." Asian Journal of Management Sciences and Education 2 (2013): 202-210.

 

*번역은 GPT. 내용을 읽으면서 조금씩 편집, 수정하였습니다.