논문 잘 쓰는 법

잡기장 2014.02.16 14:22

최근에 조금 재미있는 경험을 했다.


작년 초에 해외 학회에 논문을 하나 낸 적이 있다. 그 분야에서는 나름 메이저 학회 중의 하나긴 하지만 그리 어려운 학회는 아니기에 내심 아마도 되겠지.. 하고 기대하고 있었다.


그런데 결과는 reject. 심사평은 한결같이 적대적이었다. 심지어 약간은 무시당하는 느낌도 들어있었다. 당시에는 '이 사람들이 무슨 심사를 발로 하나' 하며 분개하는 마음밖에는 들지 않았다.


그동안 내는 족족 떨어졌던 터라 그 이후로는 논문을 쓰는 것 자체에 대해서 거의 마음을 접어 버렸다. 그러던 차에 작년 말경 애라 모르겠다는 심정으로 떨어졌던 논문을 그대로 다른 학회에 제출했다.


새로 논문을 제출한 학회는 그 분야에서는 가장 메이저 학회로서 꽤 힘든 곳이었기에 당연히 떨어질 것이라고 생각했다. 그런데 얼마전 논문이 채택되었다는 메일이 도착했다.


이번 심사평은 정 반대로 상당히 호의적이었다. 그러니까 붙었겠지 하겠지만, 내가 말하고 싶은 것은 심사평 자체보다는 그 속에서 묻어나는 느낌이 그렇다는 것이다. 즉, 같은 글을 쓰더라도 적대감을 가지고 썼는지 아니면 밑바탕에 호의를 가지고 썼는지의 차이이다.


같은 논문인데 그 차이가 뭘까? 고친 거라고는 영어를 좀더 다듬고 표현을 좀더 부드럽게 한 것이 다이다. 그런데 지금 생각해 보면 그 작은 차이가 어쩌면 결과를 바꾼 가장 큰 원인인 듯도 싶다.


사실 어디에 명함을 내밀만한 논문 실적도 없고 떨어지는게 다반사인 사람이 '논문 잘 쓰는 법' ('논문 잘 붙도록 쓰는 법')에 대해 얘기하는게 조금은 어불성설일 지도 모른다.


그래도 그동안 이래 저래 논문을 써본 경험, 간혹 다른 논문들을 심사하면서 느꼈던 점들, 그리고 최근에서야 생긴 무언가 논문은 이렇게 써야 하지 않을까 싶은 어떤 막연한 감 같은 것들을 나름 정리해 보고자 한다.



1. Related Works and Positioning


논문들을 보면 대부분 related works라고 자신의 논문이 다루는 주제에 대해 기존에 어떤 관련 연구들이 있었는지를 설명하는 부분이 있다. 그런데, 정작 이 Related Works이 왜 중요한지 그리고 왜 필요한지 잘 알지 못하는 경우가 있다. 먼저 Related Works에 대한 잘못된 인식에는 어떤 것들이 있는지 살펴보자.


a. 남들이 하니까 나도 한다.

자신이 연구한 것만 잘 설명하면 되지 뭐하러 이런 귀찮을 짓을 하는지 잘 모르겠다. 그래도 다들 논문에 그런 내용을 포함하니까 왠지 나도 2~3개 정도는 관련 연구 내용을 적어야 될 것 같다. 어차피 관련연구야 다 비슷한 것이니까 괜찮은 학회 논문에 있는 related works 파트 전체를 그대로 복사해다가 붙여넣고 싶은 마음이 굴뚝같다. 하지만 그건 또 표절이라고 할 테니까 여기 저기 괜찮은 논문들을 참조하여 적당히 Related Work 파트를 작성한다. 물론 Related Works에 있는 대부분의 논문은 읽어 본 적도 없다.


b. 내 논문 주제와 관련된 기존의 주요 연구들을 쭉 정리하는 것이다.

Related Works란 내 논문 주제에 대한 기존의 관련 연구들을 심사자(reviewer)와 독자들에게 소개하는 것이다. 어차피 형식적인 것이므로 survey 논문 등을 참조하여 주요 방법들을 잘 정리하면 된다. 또한 Related Works는 내가 얼마나 이 분야에 대해서 잘 알고 있는지 보여주는 것이므로 이를 잘 정리하면 심사결과에도 긍정적인 영향을 미칠 것이다.


a는 논문을 처음 써 볼 때나 가질 수 있는 생각이며 b는 좀더 낫긴 하지만 그래도 아직은 부족하다.


Related Works의 궁극적인 목적은 자신의 논문에 대한 positioning이다. 자신의 접근법이 기존 접근법들 중에서 어디에 위치하는지에 대한 positioning 뿐만 아니라 자신의 연구가 어떤 의미를 가지고 있으며 어떤 문제를 풀려고 하는 것인지, 그리고 왜 중요한지를 그 분야의 관련 연구 흐름속에서 위치시키는 것이 Related Works이다.


흔히 내 논문은 이 분야의 전문가가 심사할 것이므로 굳이 이런 저런 설명을 하지 않아도 내 논문이 얼마나 중요한지를 잘 알 수 있을 것이라고 생각한다면 큰 오판이다. 심사자가 전문가가 아닐 수도 있으며 설령 같은 분야 전문가라 하더라도 세부적으로 여러 지류가 있기 때문에 어떤 부분에 대해서는 잘 모를 수도 있다. 또한 정말로 그 분야에 대해 잘 아는 사람이 심사를 맡은 경우라 할지라도 positioning이 잘 된 논문을 보면 상당한 호의를 가지고 논문을 보게 될 것이다.


경험에 의하면 Reviewer의 입장에서 봤을 때, 자신의 내용만 열심히 설명한 논문을 보면 도대체 이 연구가 중요한 것인지 아닌지, 기존에 있었던 방법인지 아닌지, 뭐가 새로운 것이고 어떤 문제를 풀려고 하는 것인지 알 수가 없기 때문에 그 방법이 아무리 좋더라도 좋은 평가를 내리기 힘들게 된다.


만일 자신의 연구가 기존에 관련 연구 자체가 없을 정도로 정말 새롭고 독창적인 것이라면 '기존에는 이런 저런 연구가 있었을 뿐 이러한 내용에 대해서는 연구 자체가 없었다'고 분명하게 명시해 주어야 한다.



2. 실험


대부분의 좋은 논문들을 보면 실험 파트가 거의 논문의 50% 이상을 차지한다. 그만큼 실험이 중요하다는 의미일 것이다. 논문에서 실험은 자신이 제안한 방법이 정말로 효과적인지 여부를 실제 데이터(증거)를 가지고 보이는(증명하는) 것이다.


그런데, 말이 쉽지 자신이 뛰어남을 보이는 것은 쉽지 않은 문제이고 정말 많은 시간과 고민이 들어가야 하는 부분이다. 가장 안좋은 방법은 오로지 자신이 개발한 방법의 최종 성능만을 제시하는 것이다. 논문을 심사하다 보면 가끔 '내가 개발한 방법을 이런 이런 문제에 적용해 보았더니 결과가 이렇게 나왔다. 엄청 좋다. 끝' 이런 식으로 실험을 하는 경우가 있는데 이건 아니다.  수치적으로 아무리 좋은 값이 나오더라도 그것 만으로는 (다른 기존 방법들과 비교하여 상대적으로) 그게 정말로 좋은 것인지 아닌지 혹은 효과적인지 여부를 전혀 알 수 없기 때문이다.


두번째 경우는 자신의 방법을 기존의 대표적인 방법들과 비교하여 평가하는 것으로서 가장 무난하지만 또한 평이한 방법이기도 하다. 이 방법은 일종의 진검승부라고 볼 수 있는데 그 실체는 결국 휴리스틱이든 짬밥이든 내가 할 수 있는 모든 노력을 쏟아넣은 최종 성능과 너의 모든 능력이 발휘된 성능을 비교해서 누가 더 나은지 재보자는 의미가 된다. 따라서 이러한 성능비교만으로는 그 논문의 가치, 효과를 제대로 표현했다고 보기 힘들다.


세번째 경우로 개인적으로 가장 좋은 방법이라 생각하는 방법은 기존 방법들과 비교하는 것과 더불어 자신이 제안하는 방법의 핵심 아이디어만을 따로 떼어서 평가하는 것이다. 이게 무슨 말이냐 하면 예를 들어 영상에서 자동차를 검출하는 알고리즘을 개발했다고 했을 때, 대부분의 경우 자신의 핵심 아이디어는 자동차 검출 전체 과정이 아니라 어떤 일부 과정에 관한 것일 것이다. 따라서, 자신의 핵심 아이디어에 관련된 과정을 제외한 다른 부분은 모두 동일하게 하고 자신의 아이디어를 적용했을 때와 적용하지 않았을 때의 성능을 비교하는 것이 어쩌면 자신의 방법을 가장 정확하게 평가하는 것일 것이다.


즉, 그 분야에서 통상적으로 사용되는 기본적인 방법의 성능을 측정한 후 여기에 자신의 아이디어를 추가했을 때 성능이 크게 향상되었다면, 그리고 자신이 건드린 부분이 다른 방법들에서도 공통적으로 사용되는 부분이라면 이 실험만으로도 자신의 방법이 효과적임을 충분히 보이는 셈이 된다. 물론 여기에 더불어서 자신의 방법을 적용한 최종 성능이 다른 기존의 대표적인 방법들보다 뛰어나다면 그 이상 좋을 수 없다.


즉, 실험파트에서는 다른 방법들과의 단순 비교뿐만 아니라 자신의 방법의 효과를 어떻게 잘 실험적으로 평가할 것인지도 같이 고민해 봐야 한다. 또한 최종적으로 제안한 방법뿐만 아니라 연구과정에서 시행착오를 거쳤던 방법들도 버리지 말고 잘 선별하여 실험에서 같이 비교한다면 그 자체도 좋은 정보이기 때문에 심사자나 독자로부터 좋은 평가를 받을 수 있다.



3. 이론


이 부분에 대해서는 정말로 할 말이 없다. 반드시 넘어야할 벽이지만 정말 넘기 힘든 벽이기도 하다. 흔히 그들만의 세상을 형성하고 있는 cvpr이나 iccv에 진입하기 위해서는 이 벽을 넘지 않고는 거의 불가능하다.


예전에 cvpr 2012 학회에서 재미있는 일이 있었는데, 한 논문의 저자가 cvpr 심사결과에 불만을 표하면서 자신들은 이 풍토가 개선되기 전까지는 앞으로 컴퓨터 비전계를 떠나겠다는 글이 인터넷에 공개되면서 이슈가 된 적이 있었다 (CVPR 2012: One Author's Withdrawal Statement).


논문의 저자들은 자신들이 제시한 방법이 그 분야의 기존 어떤 방법들보다도 뛰어난 성능을 보였음에도 불구하고 cvpr 학회에서 reject된 점에 불만을 품고 비전계를 떠나겠다고 선언한 것이었다. 관련하여 당시 심사평 중 3번째 reviewer의 평이 인상적이다: '그들의 방법이 뛰어난 성능을 보인 점은 인정하지만 후학들이 이 논문을 읽고 무엇을 배울지는 의문이다'.



4. 영어 & 문장력


비영어권인 우리나라 사람들이 공통적으로 안고 있는 가장 불리한 조건 중의 하나가 바로 언어적 문제이다.


예전에 국내 저널에 투고된 국문 논문을 심사한 적이 있었다. 그런데, 문장이 어색한 것이 아무래도 우리나라 사람이 쓴 논문은 아닌 것 같고 한글로 번역하여 제출한 논문이 아닌가 싶다. 예를 들어 이런 식이다. '기존의 접근 방법을 크게 2가지가 나누는데, 하나은 모델 방법이고 둘이 통계 방법이다'. 우리가 쓴 영어 논문을 영어권 사람들이 봤을 때에도 이와 비슷한 느낌을 가질 것이라 생각한다.


같은 말을 해도 어떤 사람이 하면 참 멋있어 보이고 또 누가 하면 참 없어 보이는 경우가 있다. 아무리 내용이 좋아도 영어에 문제가 있으면 일단 50%는 깎이고 들어간다고 봐야 한다. 여기에 문장력까지 별로거나 문제가 심각할 경우에는 아에 논문을 제대로 보지도 않고 심사를 해 버릴수도 있다.


사실 어쩔수 없는 부분이기도 하지만 그래도 몇 가지 방법은 있다고 생각한다. 영어 교정을 받는 것도 좋은 방법이지만 해당분야 비전공자의 영어교정은 한계가 있기 때문에 결국은 자기 자신이 감당해야 할 부분이 있다.


그 하나는 최소한 마감일 2주, 아무리 늦어도 1주 이전에는 논문 초안을 완성해야 한다. 그리고 남은 기간에 끊임없이 표현을 가다듬고 교정하는 과정을 거쳐야 한다. 현실적으로는 정말 어려운 일이긴 하지만 이것만 지킬 수 있어도 논문의 accept 확률은 크게 올라가리라 생각한다.


예전에 해마다 cvpr, iccv에 한편씩은 꼬박 꼬박 논문을 발표하는 친구를 본 적이 있다. 그 친구는 외국에서 학위를 받은 친구라서 영어에는 전혀 문제가 없었지만 옆에서 보면 일찌감치 초안을 써 놓고는 계속해서 수정하는 작업을 한다. 문장의 어순을 바꾸기도 하고, 단락의 순서를 바꿔 보기도 하면서 어떤게 좋은지 살펴보고 또 그림의 스케일, 형태을 가지고 한참을 고민하기도 한다. 그 친구가 한 말중에 아직도 기억에 남는 말이 있는데, '결과를 바꾸는 것은 사실 1%의 차이이다. 1%의 차이지만 그 결과는 완전히 달라진다'라는 말을 했다. 이런 말도 했다. '급한 일을 먼저 하지 말고 가장 중요한 일을 먼저 하라'. 참 대단한 친구라고 생각한다..


또 하나, 영어가 안될 경우에는 최대한 간결하고 단순한 표현을 사용하는 것이 좋다고 생각한다. 개인적으로도 워낙 영어가 일천하기 때문에 멋진 어휘나 문장은 꿈도 꾸지 않는다. 멋이 없고 정말 없어 보이더라도 내가 말하고자 하는 바를 가장 정확하게 나타낼 수 있는 그리고 다른 (오해의) 해석의 여지가 없는 단어와 문장을 선택한다. 즉, 해석에 있어서 모호성이 없는 어휘 및 문장 선택이 중요하다는 것이다.


조금 다른 얘기이긴 하지만 예전에 비전 분야에서 통상적으로 사용되는 성능지표를 논문에서 사용하면서 'introduce'라는 단어를 사용했다가 reviewer들의 뭇매를 맞은 적이 있다. 원래 의도는 그냥 알고리즘의 성능지표가 이 수식으로 주어진다는 것이었는데, 기존에 있는 평가방법인데 왜 네가 그것을 새로 개발했다고 하는 것이냐며 뭇매를 맞고 말았다.


마지막으로 너무 강한 표현보다는 정제된, 조금은 완곡한 표현을 쓰는 것이 논문을 좀더 있어 보이게 하고 심사자들에게 호감을 이끌어 내는 것 같다.



5. 기타 소소한 것들


논문은 흔히 간결하게 쓰라고 한다. 그런데 여기서 간결하게 쓰라는 말이 글을 축약해서 쓰라는 말은 아니다. 오히려 논문에서 핵심적인 내용 또는 강조하고 싶은 부분은 자세히 적는 것이 오히려 효과적이다. 설명은 세세하게 하되 그 표현은 간결하게 하는게 가장 좋다고 생각한다.


글을 쓴 직후에는 모든 것이 다 좋아보인다. 하지만 어느 정도 시간이 지난 후에 그 글을 다시 보면 보이지 않던 것들이 보이기 시작한다.



by 다크 프로그래머


저작자 표시 비영리 변경 금지
신고

'잡기장' 카테고리의 다른 글

스티브 잡스와 쇼트  (5) 2014.02.20
논문 잘 쓰는 법  (27) 2014.02.16
Teaching As An Act of Love  (8) 2014.02.13
미분 적분 제대로 알자...  (2) 2014.01.23
  • BlogIcon 도플파란 2014.02.16 14:49 신고 ADDR 수정/삭제 답글

    간결하게면서 세세하게... 근데.. 저도 논문을 준비하지만.. 쉽게 되지 않는다는 점이...

    • BlogIcon 다크pgmr 2014.02.17 09:16 신고 수정/삭제

      네 어찌보면 서로 상충되는 의미이네요..

  • 밥버러지 2014.02.16 21:33 신고 ADDR 수정/삭제 답글

    항상 이 블로그에서 많은 것을 배워가네요 감사합니다 ^^
    Related Works에서 a라고 생각해서 찔끔했습니다 ㅎㅎ

  • BlogIcon 지식전당포 2014.02.19 09:50 신고 ADDR 수정/삭제 답글

    유익하게 얻어 갑니다~^^

  • BlogIcon bravelee 2014.04.02 22:43 신고 ADDR 수정/삭제 답글

    잘 보고 갑니다^^

  • BlogIcon 2014.08.27 01:24 신고 ADDR 수정/삭제 답글

    잘읽었습니다~~

  • 젋으태양 2014.08.30 10:43 신고 ADDR 수정/삭제 답글

    감사합니다. 우연히 자료검색하다 방문하여
    좋은 자료 발견하고 감탄하고 갑니다..
    앞으로도 많이 많이 신세지겠습니다..
    감사합니다.

    • BlogIcon 다크pgmr 2014.08.31 14:36 신고 수정/삭제

      안녕하세요. 도움이 된다면 저도 기쁜 일입니다. 종종 들러주세요.

  • 2014.09.11 22:07 ADDR 수정/삭제 답글

    비밀댓글입니다

    • BlogIcon 다크pgmr 2014.09.12 06:43 신고 수정/삭제

      안녕하세요. 원칙적으로 그런 자격제한 조건 같은 것은 없습니다. 예를 들어, 석사과정 중인 학생의 경우 아직 졸업전이기 때문에 현재의 학위(타이틀)는 학사입니다. 하지만 논문을 제출하는데 어떠한 제약이 있거나 하지는 않습니다. 소속의 경우도 개인 자격으로도 얼마든지 논문 제출 가능합니다. 논문은 크게 학술대회(conference) 논문과 학술지(journal) 논문이 있습니다. 학술대회 논문은 자신의 논문이 통과되면 그 논문의 내용을 학회에 참석하여 다른 참석자들 앞에서 발표를 하는 것이고, 논문지 논문은 발표없이 논문지에 게제만 되는 논문입니다. 학술대회는 투고료나 심사료는 따로 없으며 다만 논문이 통과되었을 때, 학회에 참석하기 위해서는 학회 등록비(참가비)를 내야 하는데 이 등록비가 국내학회의 경우에는 20~30만원정도, 해외학회의 경우에는 50~100만원 정도 합니다. 논문지 논문의 경우에는 논문이 통과된 이후 출판을 위해서 게제료를 내는데 국내저널은 페이지당 5만원 내외, 국제저널은 페이지당 10만원 내외로 알고 있습니다. 자신의 연구결과를 발표하는데도 돈이 드는 세상이 되었습니다.. 학술대회는 보통 1년에 한번씩 비슷한 시기에 개최되는데 학술대회 별로 논문 접수 마감일을 공지합니다. 학술대회 홈페이지에 들어가셔서 템플릿(LaTex나 워드 등 논문 문서 양식)을 다운받은후 양식에 맞게 논문을 작성하여 제출(보통 온라인으로 파일을 업로드)하면 됩니다. 저널의 경우에는 접수 마감일이나 논문 모집 기간이 따로 없으며 아무때나 논문을 제출(이메일 또는 온라인 제출)하면 일정 기간의 심사(6개월~1년)를 거쳐서 합격 여부를 결정합니다.

  • 2014.10.18 23:52 ADDR 수정/삭제 답글

    비밀댓글입니다

  • 비젼 2014.10.20 17:05 신고 ADDR 수정/삭제 답글

    다크님의 글을 보면서 너무많이 배워갑니다. 다크님 정말 대단하시네요. 매 글 볼때마다 항상 감탄합니다.

  • DiGe 2015.05.21 11:10 신고 ADDR 수정/삭제 답글

    좋은 정보 잘 알고 갑니다^^ 비록 저는 학사논문 준비하는 입장이지만 좋은 정보 감사합니다.

  • 디노 2015.10.15 21:54 신고 ADDR 수정/삭제 답글

    좋은글 감사합니다. 덕분에 의지가 마구 샘솟고 있습니다.

  • toy 2016.07.26 19:44 신고 ADDR 수정/삭제 답글

    서론과 related work의 차이는 어떤 점이라고 생각하시나요?

    • BlogIcon 다크pgmr 2016.07.27 22:22 신고 수정/삭제

      서론은 자기가 어떤 문제를 풀고자 하는지 소개하는 것이고 related work은 풀고자 하는 문제에 대해 기존에 어떤 연구들이 있었는지 소개하는 것이 차이겠네요..

  • Aprk 2017.03.29 15:21 신고 ADDR 수정/삭제 답글

    졸업논문쓰는데 도움이 많이 될 것 같습니다. 감사합니다.

  • kor 2017.05.03 16:18 신고 ADDR 수정/삭제 답글

    현재 Related Works 부분을 작성하고 있는데 많은 도움이 됬습니다. 감사합니다

  • 창조적백수 2017.07.14 10:32 신고 ADDR 수정/삭제 답글

    실용적인 글 감사합니다. 해외학회 논문을 쓰다가 우연히 들어와서 좋은 글을 보게 되었네요. 적어 주신 내용은 실용적인것 같아 많이 배우고 갑니다.



티스토리 툴바