작년 초에 논란이 되었었던 텝스 채점 시스템 논란입니다.
이하 퍼온 글입니다
안녕 나는 TEPS 시험 공부하는 개드리퍼인데 맨날 눈팅하다가 이번 시험 논란에 대해서 글을 퍼왔어.
많은 기관에서 TEPS 성적을 요구하기 때문에 울며겨자먹기로 TEPS 공부를 하고 있는 많은 사람들이 있어.
하지만 TEPS는 공부해도 오르지 않는다는 많은 사람들의 고충이 있어왔고 점점 더 어려워져온게 대다수의 의견이야.
드디어 일이 터졌어.
처음을 본 글은 스랖 (서울대생 커뮤니티)이라서 거기서 퍼오지 못했고 같은 글 다른 링크에서 퍼온거야!
선요약.
1. 텝스가 주장하길 문항반응이론(IRT(Item Response Theory)을 통해 시험자의 점수를 객관화한다. 문항마다 시험자의 오답률에 따라 점수배분이 달라짐.
2. 어제(2/24) 발표난 텝스의 다소 이상한 점수를 받고 사람들이 서로 점수 비교를 함.
3. 1의 문항반응이론은 허구, 틀린 개수로만 채점이 됨을 확인. 예를 들어 리딩(400점만점)에서 1개 틀리면 372점, 2개 틀리면 344점, 3개 틀리면 322점, 4개 틀리면 308점, 5개 293점 6개 279점.
여태 사람들 중에서 위의 372,344,322,308 등 점수 대에서 사이값이 발견되지 않았다고 함 (공대게이라면 점수가 양자화되어있다라고 이해하면댐)
이하 퍼온글 ====
2월 24일에 공개된 텝스 시험 점수의 논란이 커지고 있다.
처음 글을 보는 사람은 이게 무엇인가 할 정도의 논란인데, 이를 정리해보았다.
1. 시험 직후
2월 18일 텝스 시험 직후 해커스 텝스 자유 게시판에 여러 문제들이 논란이 되었다.
하지만 이런 논란은 전혀 놀라운 것이 아니었는데, 왜냐하면 최근 텝스의 추세가 항상
헛갈리는 보기를 내어서 지문을 해석하고도 틀리는 경우가 많기 때문이다.
하지만 비교적 쉬웠던 독해 난이도와 시험 직후의 기억력을 동원하여 집단지성이 텝스 문제와
정답을 간단히 요약하여 문제를 복원하기에 이르렀다.
이에 총 40문제의 독해 문제 중, 거의 대다수인 39문제의 독해 문제가 복원되었고, 고득점자 및
학원 1타 강사들에게 물어보는 등 대부분의 사람들이 자신이 몇 개 틀렸는지를 미리 알고
텝스 점수를 기다리게 되었다.
2. 발표 직후
텝스 점수 발표가 난 2월 24일 오늘 2시경, 해커스 텝스 자유 게시판에는 불이 나기 시작하는데,
첫 시작글은 3개 틀린 줄 알았는데 독해 점수가 322점이 나왔다는 한탄글부터, 5개를 틀렸는데 100점이
넘게 감점되어 293점을 받은 사람들이 등장하기 시작했다.
그러면서 역시 복원글은 믿을 게 못된다는 분위기로 흘러갔고, 그래 내가 실수해서 더 틀렸나보다로 귀결되는
듯 했다.
3. 만점자의 등장
하지만, 그 때, 텝스 독해 396점이 등장하며 자신의 성적표를 인증한다.
그리고 복원 정답이 모두 정답이었음을 선포한다. 이에 사람들은 멘붕에 빠지게 되는데
이 때, 사람들이 자신이 복원 기준 몇 개 틀렸는데 몇 점 받았다는 식으로 글과 댓글을 달기 시작했다.
4. 비밀을 눈치채다
이 때 누군가가 자신이 틀린 갯수와 점수를 댓글로 달아줄 것을 요구하고,
사람들은 댓글로 다는데, 굉장히 특이한 사실이 드러났다.
독해를 1개 틀린 사람은 파트, 문항 번호 관계없이 모두 372점을 받았고, 2개를 틀린 사람은
역시 파트 및 문항 번호와 관계없이 344점을 받았다는 것이 나타났다.
이는 기존에 텝스기 '문항반응이론'에 따라 같은 갯수를 틀려도 파트별, 문항별 성적이 오답률에 따라
다를 수 있다는 것에 사람들이 의문을 갖게 한 계기가 되었다.
5. 파트별 퍼센티지를 복원하다
이에 분석가의 자질을 지닌 또 한 사람이 독해의 파트별 퍼센테이지와 점수를 댓글로 달아줄 것을 요구하고,
결과적으로 완성된 표를 만들어 낸다. 그리고 그 글은 현재 조회수가 수백건이 넘는 동안 모두가 자신의
성적 및 퍼센티지와 일치함을 알게 되고 현재시간까지 반례는 나타나지 않았다. 또한 관련 글이 스누라이프에
퍼지기 시작한 것도 이 시점이다. 스누라이프에서도 자신의 점수가 복원과 틀리다는 반례는 나타나지 않았다.
그리고 그 사이의 점수도 없었다. 예를 들면 1개 틀린 사람은 모두 372점, 2개 틀린 사람은 344점인데
그 사이의 350을 받았다거나 360을 받았다는 사람은 아직까지는 아무도 없었다.
6. 청해마저 복원하다
독해가 어느 파트, 어느 문제를 틀렸는지와 관계없이 단지 틀린 갯수에 따라 점수가 감점되고, 그 감점폭이
매우 크다는 것에 착안하여 청해 퍼센티지와 점수를 모아 확인한 결과 청해에서도 같은 패턴이 발견되어
청해까지 퍼센티지별 몇 개 틀렸는지와 자신이 총 몇개 틀려서 해당 점수를 받게 되었는지가 낱낱이 드러난다.
7. 응시자들 분노하다
이에 응시자들은 이것이 텝스 점수 채점 기준의 실체였다는 것을 알고 망연자실한다.
왜냐하면 결과를 종합해보면, 결국 틀린 갯수대로 채점이 되는 것을 확인했고, 문항반응이론이라는 것이
일부 거짓말이었다는 것이 드러났으며, 단지 틀린 갯수가 같은 사람들끼리 무슨 문제를 틀렸건 어려운
문제 쉬운 문제 할 것 없이 채점된다는 것이 확인되었기 때문이다. 이에 응시자들은 텝스위원회에 1:1 문의로
항의하고, 전화하여 항의한 후기를 올리기 시작했고, 몇몇은 언론사에 제보를 한 상태이며
현재 해커스텝스 자유 게시판에서는 오픈카톡방을 만들어 이 일을 공론화하려는 움직임을 보이고 있다.
8. 마치며
개인적으로 나도 오래 친 시험이고, 점수가 정말 잘 안올랐고 채점 기준도 모르니 독해 파트 3부터 풀거나
했던 짓거리들이 모두 필요없는 행위임을 알게되었다. 파트 1 2개 틀리는거나 파트 3 2개 틀리는 것 모두
같은 점수를 받기 때문이다. 응시자가 찍었다고 생각해서 점수를 깍는 것? 다 헛소리로 드러났다.
기존의 풀이 방법대로가 아닌 그냥 1번부터 풀어도 아무 관계없는 시험이었던 것이다.
또한 최근 전문연구요원과 같은 경우 텝스만 보고 대부분의 의치전들이 텝스를 보는 이 시점에서
텝스는 전혀 토익과 토플을 대체하지 못하고 있다는 생각이 강하게 든다. 만약 전문연이, 의치전이
토익이나 토플을 본다면, 누가 텝스를 볼까? 5년째 응시자수가 절반 이상 급감했다는 기사를 본 적이 있는데
나중에 가다보면 서울대생, 전문연, 의치전 이렇게만 텝스 시험을 보는 날이 머지 않았다는 생각이 든다.
어떻게 이게 영어 평가 시험이고 국가 공인 자격증인가?
=====
여태 모든 시험이 이랬는지는 모르겠다만 현재 해커스 TEPS 자유게시판(http://www.hackers.co.kr/?c=s_teps/teps_board/B_others_teps_qa)에서 굉장히 난리남.
TEPS 나무위키에도 곧바로 업데이트 (https://namu.wiki/w/TEPS#s-8)
참고로난 난 다른 영역은 잘봣는데 독해에서 279점 맞고 좌절했는데 위 글을 보고 실상은 6개 틀렸던 것
출처 : http://redtea.kr/pb/pb.php?id=free&no=4999
스랖 현재 1위 게시물 https://snulife.com/gongsage/104910883
해커스텝스자게 http://www.hackers.co.kr/?c=s_teps/teps_board/B_others_teps_qa&p=3&uid=50526
개드립 - [장문스압주의] 어제 2/24일에 발표된 TEPS 시험 논란 ( http://www.dogdrip.net/121226087 )
출처: http://project-mt.tistory.com/37 [잡담들]
Clear,_Concise,_and_Direct_Sentences.pdf
