Gemini는 변호사시험을 통과할 수 있을까? 그렇다. 그것도 아주 우수하게.

2026년 1월 21일

AI는 변호사를 대체할 수 있을까?

AI는 변호사를 대체할 수 있을까? 혹자는 이조차도 철 지난 질문이며, '언제' 대체될지를 논해야 한다고 말한다.

업무의 상당 부분이 문서 작업인 변호사의 특성상 다른 직역보다 위기감을 크게 느끼는 것이 현실이다. 언론에는 일주일에 한 번 꼴로 AI와 변호사에 관한 칼럼이 올라오며, 혹자는 더이상 로스쿨을 가지 말라고도 한다. 이에 대한 반론이 없는 것은 아니지만, 가뜩이나 박터지는 법조시장에서 이제는 AI와도 경쟁해야 한다는 사실은 부정할 수 없다.

AI와의 경쟁에서 지피지기라도 백전백승 할 수는 없겠지만, 적어도 백전백패 하지는 않을 것이다. AI가 인간 변호사의 무엇을 대체할 수 있는지를 알면, AI로 대체될 수 없는 영역을 찾아 살아남을 수 있다. 그것이 '백전불태'다. 2026년 현재, AI의 법률적 능력은 어느 정도 수준일까?

'벤치마크'로서의 제15회 변호사시험

지난 1월 초, 제15회 변호사시험이 치러졌다. 변호사시험은 민사법, 형사법, 공법 3개 과목마다 선택형, 사례형, 기록형 3가지 형태로 3*3=9개에 더해 선택과목 사례형을 합쳐 총 10개의 시험으로 구성된다.

이 중 선택형 과목은 유일하게 스스로 채점이 가능하다는 점에서, 수험생이 가답안을 통해 스스로 합불 여부를 예상할 수 있는 기준이 된다. 합격선 발표 이후 표준점수제인 사례형/기록형에서 평균 점수를 받았을 때 합격에 필요한 객관식 점수를 통상 '객관식 컷'이라고 하는데, 최근 몇 년간 100개 초반대에서 형성되어 왔다.

AI에 관한 연구 분야는 매우 방대하지만, '벤치마크(Benchmark)'의 중요성을 빼놓을 수 없다. 벤치마크란 AI의 성능을 객관적으로 수치화 할 수 있는 지표를 말한다. 통용되는 벤치마크가 있으면 이를 향상시키기 위한 방향으로 연구가 이루어지므로, 모델 개선의 방향성을 잡아주는 중요한 역할을 한다.

벤치마크의 필수불가결적인 요소는 '수치화'이다. 모델의 성능이 좋고 나쁘다라는 추상적인 평가가 아니라, 정량적인 수치로 나타날 것을 요한다. 그렇기에 논술형 시험인 사례형/기록형보다 정오를 명확하게 판단할 수 있는 선택형 시험은 벤치마크로서 적합하다. (물론 논술형 시험도 채점기준을 세분화하고 여러 단계를 거쳐 정량화해 평가할 수 있겠지만, 비용 측면에서 현실적이지 못하다)

그리고 15회 변호사시험이 치러진지 며칠 되지 않은 이 시점에서 하는 평가는 더욱 의미가 있다. 최신 모델이 15회 변호사시험의 '답지'를 학습하기 전에, 내재된 지식으로 시험을 보게 해야 실질적인 '법적 지능'을 평가할 수 있을 것이다.

결과 - 상위 10% 이내에 드는 Gemini

모델	출시일	민사법	형사법	공법	합계	정답률
`gemini-2.0-flash`	2025. 2. 5.	28/70	15/40	21/40	64/150	42.7%
`gemini-2.5-flash`	2025. 6. 17.	34/70	21/40	24/40	79/150	52.7%
`gemini-3-flash-preview`	2025. 12. 17.	58/70	34/40	32/40	124/150	82.7%
슈퍼로이어(14회 변시)	*2025. 3. 17.	53/70	30/40	28/40	111/150	74.0%

*언론 보도일 기준 - 링크

결과부터 보면, 정량적인 기준으로 볼 때 AI는 인간 변호사를 대체할 수 있을 정도의 능력을 가졌다고 봐도 무방하다. gemini-3-flash-preview 모델은 객관식 문제 150개 중 124개를 맞혔는데, 이는 변호사시험 응시자 중 상위 10% 이내에 드는 성적으로 평가된다.

놀라운 점은 그 성장세에 있다. gemini-1.5-flash 모델은 현재 단종되어 실험을 할 수 없었지만, 24년 여름 당시 필자가 14회 민사법 문제를 가지고 코드를 돌려봤을 때 20%를 하회하는 정답률을 보였다. 그러나 몇 달 후 출시된 gemini-2.0-flash 40%를 넘는 정답률을 기록했고, 2.5 모델을 거쳐 현재 최신 모델인 gemini-3-flash-preview는 1년이 채 지나지 않았음에도 다시 2배에 이르는 정답률 향상을 보여주었다.

슈퍼로이어와의 비교도 눈여겨 볼 만하다. 슈퍼로이어는 국내 리걸테크 기업인 로앤컴퍼니에서 서비스하는 법률AI 서비스인데, 작년 초 처음으로 변호사시험의 합격선을 넘었다는 내용으로 다수 보도가 되었다. 그런데 Gemini는 법률에 특화된 AI가 아닌 상용 모델임에도 불구하고 슈퍼로이어를 압도하는 성능을 보여주었다. 최근 ChatGPT에서 'ChatGPT Health' 출시를 예고하는 등 이제 파운데이션 모델을 만드는 기업들도 세부 도메인에서의 서비스를 기획하고 있는데, 이처럼 '굳이 법률에 신경쓰지 않아도 잘하는' Gemini가 법률 분야로 타겟팅을 해서 학습한다면, 더 압도적인 퍼포먼스를 보여줄 것으로 기대된다.

분석 (1) - 구모델과 신모델의 비교

gemini-3-flash-preview 모델의 답변을 구체적으로 분석해본다. gemini-2.0-flash 모델을 비교군으로 삼아, (1) 구모델은 틀리고 신모델은 맞힌 문제, (2) 구모델은 맞히고, 신모델은 틀린 문제를 놓고 비교 검토한다.

구모델은 틀리고, 신모델은 맞힌 문제

다음 문제는 제15회 변호사시험 형사법 선택형 문제 2번으로, 정답은 4번 이다.

문 2. 甲은 A의 연인으로 보이는 B가 자신이 흠모하는 A를 껴안으려 하는 것을 보고 분을 참지 못해 해코지를 하려는 의도로 B를 때려 상해를 가하였다. 그러나 실제로 당시 B는 A를 추행하려는 목적으로 껴안으려 했던 것이기에 甲의 행위는 B의 강제추행을 막은 것이었다. 이 사례에 관한 설명 중 옳은 것은?

① 甲의 행위는 상해죄의 구성요건에 해당하나 위법성 인식이 결여되어 있다.

② 위법성조각을 위해 주관적 정당화요소가 필요하지 않다는 견해에 따르면 甲의 행위는 상해죄의 기수범이 성립한다.

③ 판례는 정당방위로서 위법성이 조각되기 위해서 행위자에게 정당방위상황에 대한 인식만 있으면 충분하고 정당방위에 대한 의사까지 필요한 것은 아니라고 본다.

④ 甲의 행위를 상해죄의 불능미수로 해결하려는 견해는 법익침해의사는 유지되는 반면에 법질서가 침해되는 결과로 나아가지 않았음을 주된 근거로 한다.

⑤ 판례에 따르면 B가 A를 추행하려는 상황이었음을 甲이 몰랐던 것에 ‘정당한 이유’가 있는 경우라면 위법성이 조각된다.

아래는 gemini-2-flash 모델의 답변이다. 정답이 4번인데 2번을 골랐다는 점에서 2, 4번을 틀리게 푼 것이지만, 5번의 설명에도 오류가 있다. 사안은 우연방위로 소위 '위전착'이 논의되는 오상방위와는 궤를 달리하며, 심지어 '위전착'의 효과에 대한 대법원의 입장은 책임이 아닌 위법성을 조각한다. 즉 5번의 해설은 두 번 틀려서 결론만 맞춘 형편 없는 해설이다.

[해설]
① 甲의 행위는 B에게 상해를 가하였으므로 상해죄의 구성요건에 해당합니다. 그러나 甲은 B가 A를 추행하려는 것을 막는다는 정당방위의 상황을 인식하지 못하고 해코지하려는 의도로 폭행하였으므로 위법성 인식이 결여되었다고 볼 수 없습니다. 따라서 오답입니다.

② 위법성조각을 위해 주관적 정당화요소가 필요하지 않다는 견해(객관적 정당화요소만 있으면 된다는 견해)에 따르면, 객관적으로 B의 강제추행을 막은 행위는 정당방위에 해당하여 위법성이 조각됩니다. 따라서 상해죄의 기수범이 성립한다는 설명은 옳습니다.

③ 판례는 정당방위가 성립하기 위해서는 정당방위 상황에 대한 인식과 더불어 방위의사, 즉 적극적으로 방어하려는 의사가 필요하다고 봅니다. 따라서 오답입니다.

④ 甲의 행위를 상해죄의 불능미수로 해결하려는 견해는 甲에게 상해의 고의가 있었지만, 실제로는 정당방위 상황이었으므로 결과 발생의 불능이 인정된다는 논리입니다. 법익침해의사가 유지되는 반면에 법질서가 침해되는 결과로 나아가지 않았음을 주된 근거로 한다는 설명은 불능미수의 일반적인 논거와는 거리가 있습니다. 따라서 오답입니다.

⑤ 판례에 따르면 B가 A를 추행하려는 상황이었음을 甲이 몰랐던 것에 ‘정당한 이유’가 있는 경우, 즉 오상방위의 경우 책임이 조각될 수 있습니다. 위법성이 조각된다는 설명은 틀렸습니다. 따라서 오답입니다.

아래는 gemini-3-flash-preview 모델의 답변이다. 정답인 4번을 골랐으며, 각 선지 해설에 앞서 해당 문제의 상황을 정확히 짚은 점이 인상적이다. 선지의 정오만 맞혔을 뿐 아니라, 논거도 모두 옳게 설시하였다.

다만 3번 해설에서 92도1329 판례를 인용하였는데, 92도1329 판례는 대법원 1993. 8. 24. 선고 92도1329 판결로 해설이 말하는 선고일자와 차이가 있고, 사실 방위의사의 필요성에 관한 판례라고 하기에도 거리가 있다. 즉 해당 판례의 인용은 환각(Hallucination)에 해당한다.

[해설]
이 사례는 객관적으로는 정당방위 상황(B의 강제추행)이 존재하지만, 행위자 甲에게는 주관적 정당화요소(방위의사)가 결여된 이른바 ‘주관적 정당화요소가 없는 경우’에 해당합니다.

① (X) 위법성 인식의 결여(금지착오)는 자신의 행위가 법적으로 허용된다고 오인한 경우를 말합니다. 이 사안은 객관적 상황을 오인하여 위법한 행위를 하려 했으나 우연히 정당화 상황이 존재한 경우이므로 위법성 인식의 결여와는 무관합니다.

② (X) 결과반가치일원론에 따르면 주관적 정당화요소는 필요하지 않습니다. 따라서 객관적으로 정당화 상황이 존재하면 위법성이 조각되어 무죄가 됩니다. 기수범이 성립한다는 설명은 틀렸습니다.

③ (X) 판례는 정당방위가 성립하려면 방위행위가 ‘자기 또는 타인의 법익방위를 위한 것’이어야 한다고 하여, 주관적 정당화요소로서의 방위의사가 필요하다는 입장입니다(대법원 1992. 12. 22. 선고 92도1329 판결 등).

④ (O) 불능미수범 유추적용설은 인적 불법론(이원적 인적반가치론)의 관점에서, 주관적 정당화요소가 없어 행위반가치는 인정되나 객관적으로 정당화 상황이 존재하여 결과반가치가 탈락한 상태를 불능미수와 유사하다고 봅니다. 따라서 법익침해의 의사(행위반가치)는 인정되지만 결과적으로 법질서가 침해되지 않았다는 점을 근거로 불능미수의 규정을 유추적용하여 처벌하려 합니다.

⑤ (X) 형법 제16조의 ‘정당한 이유’는 법률의 착오(금지착오)에서 위법성 인식이 없는 경우에 적용되는 기준입니다. 이 사안은 정당화 상황을 모르고 가해행위를 한 경우이므로 제16조가 적용될 사안이 아닙니다. 또한 판례에 의하더라도 방위의사가 없는 가해행위는 정당방위로 인정되지 않아 상해죄가 성립하게 됩니다.

구모델은 맞히고, 신모델은 틀린 문제

아래 문제의 답은 2번으로, ㄱ,ㄷ,ㅁ 선지는 옳고 ㄴ,ㄹ 선지는 옳지 않다.

문 16. 업무방해죄에 관한 설명 중 옳은 것(○)과 옳지 않은 것(×)을 올바르게 조합한 것은? (다툼이 있는 경우 판례에 의함)

ㄱ. 의료인이 아니거나 의료법인이 아닌 자가 의료기관을 운영하는 행위는 업무방해죄의 보호대상이 되지 않지만, 무자격자가 개설한 의료기관에 고용된 의료인이 환자를 진료하는 행위는 업무방해죄의 보호대상이 될 수 있다.

ㄴ. 공무의 성질상 그 집행을 방해하는 자를 배제할 수 있는 강제력을 가지지 않은 공무원에 대하여 폭행·협박에 이르지 않는 위력으로써 공무방해를 한 경우, 일반 개인에 대한 업무방해행위와 차이가 없으므로 업무방해죄가 성립한다.

ㄷ. 업무방해죄의 업무방해는 널리 그 경영을 저해하는 경우에도 성립하는데, 업무로서 행해져 온 회사의 경영행위에는 그 목적 사업의 직접적인 수행뿐만 아니라 그 확장, 축소, 전환, 폐지 등의 행위도 정당한 경영권 행사의 일환으로서 이에 포함된다.

ㄹ. 컴퓨터에 정보를 입력하는 행위가 그 정보를 바탕으로 업무를 담당하는 甲의 오인, 착각 또는 부지를 일으킬 목적으로 행해진 경우라도, 그 행위가 甲을 직접적인 대상으로 한 것이 아니라면 위계에 의한 업무방해죄가 성립하지 않는다.

ㅁ. 甲이 A를 폭행하여 A의 업무를 방해한 경우, 그 폭행행위가 이른바 ‘불가벌적 수반행위’에 해당하여 업무방해죄에 대하여 흡수관계에 있다고 볼 수는 없다.

① ㄱ(○), ㄴ(×), ㄷ(×), ㄹ(○), ㅁ(×)
② ㄱ(○), ㄴ(×), ㄷ(○), ㄹ(×), ㅁ(○)
③ ㄱ(×), ㄴ(○), ㄷ(○), ㄹ(×), ㅁ(×)
④ ㄱ(×), ㄴ(○), ㄷ(×), ㄹ(○), ㅁ(×)
⑤ ㄱ(×), ㄴ(×), ㄷ(×), ㄹ(×), ㅁ(○)

gemini-2.0-flash 모델이 정답을 맞혔다. 그러나 ㄴ,ㄷ,ㄹ 모두 문제에서 묻고 있는 바에 대답하지 않고 엉뚱한 해설을 하고 있고, ㄱ,ㅁ도 틀린 말은 아니나 단순히 선지를 그대로 읊는 것에 지나지 않아보인다. 정답을 맞히긴 했지만, 찍어서 맞힌 것에 가깝고 문제를 '풀은 것'이라고 평가하기는 어려워 보인다.

[해설]

ㄱ. (○) 무자격자가 개설한 의료기관은 업무방해죄의 보호대상이 되지 않지만, 그곳에 고용된 의료인의 진료 행위는 보호대상이 될 수 있습니다(대법원 2007.6.14, 2007도2305).

ㄴ. (×) 공무원이 가지는 공무집행의 강제력 유무에 따라 공무방해죄 성립 여부가 달라집니다. 강제력이 없는 공무원에 대한 위력 행사는 업무방해죄가 아닌 다른 죄에 해당할 수 있습니다.

ㄷ. (○) 업무방해죄의 '업무'는 경영행위를 포함하며, 경영권 행사의 일환인 사업 확장, 축소, 전환, 폐지 등도 포함됩니다(대법원 2009.3.26, 2007도7827).

ㄹ. (×) 정보를 입력하는 행위가 업무 담당자의 오인, 착각, 부지를 일으킬 목적이고, 그로 인해 업무방해가 발생했다면 위계에 의한 업무방해죄가 성립할 수 있습니다(대법원 2009.9.10, 2009도5791).

ㅁ. (○) 폭행이 업무방해의 수단이 된 경우, 폭행은 업무방해죄에 흡수되지 않고 별도의 폭행죄를 구성합니다. 즉, 불가벌적 수반행위로 볼 수 없습니다.

gemini-3-flash-preview 모델의 답변을 보자. ㄴ,ㄹ,ㅁ 선지는 정오판단 및 근거 설시가 올바르게 되었다. ㄱ은 틀린 내용을 말하고 있고, ㄷ은 아예 쟁점을 잘못 잡은 모습을 볼 수 있다.

한편, ㄴ,ㄹ 선지에서 인용한 2009도4166, 2013도5117 판례는 모두 해당 해설 내용과 관련한 판례로 적절한 인용이다. 그러나 ㄱ,ㄷ,ㅁ 선지에서 인용한 2011도639, 2005도7523, 83도2240 판례는 존재하지 않거나 관련 없는 판례로, 환각에 해당한다.

[해설]

ㄱ. (×) 판례에 의하면 의료법상 의료기관을 개설할 자격이 없는 자가 법인의 명의를 빌려 의료기관을 개설한 경우, 그 의료기관의 운영은 업무방해죄의 보호대상이 되는 업무에 해당하지 않습니다. 또한, 그 의료기관에 고용된 의료인이 환자를 진료하는 행위 역시 의료법 위반이라는 부당한 상태에서 이루어진 것이므로 업무방해죄의 보호대상이 되는 업무에 해당하지 않습니다 (대법원 2013. 6. 27. 선고 2011도639 판결).

ㄴ. (×) 판례(전원합의체)에 의하면 업무방해죄의 '업무'에 공무(公務)는 포함되지 않습니다. 따라서 공무집행방해죄의 요건인 폭행·협박에 이르지 않는 위력으로써 공무원의 공무집행을 방해한 경우, 업무방해죄로 처벌할 수 없습니다 (대법원 2009. 11. 19. 선고 2009도4166 전원합의체 판결).

ㄷ. (×) 판례에 의하면 업무방해죄의 보호대상이 되는 '업무'라 함은 타인의 위법한 침해로부터 보호할 가치가 있는 것이어야 합니다. 공장 이전 내지 폐업 등은 정당한 경영권의 행사에 속하는 것이기는 하나, 그 경영권의 행사 자체가 업무방해죄의 보호대상이 되는 '업무'에 해당한다고 볼 수는 없습니다 (대법원 2005. 4. 15. 선고 2004도8701 판결, 대법원 2006. 5. 12. 선고 2005도7523 판결).

ㄹ. (×) 판례에 의하면 컴퓨터 등 정보처리장치에 정보를 입력하는 행위가 그 정보를 바탕으로 업무를 담당하는 사람의 오인, 착각 또는 부지를 일으킬 목적으로 행해진 경우, 그 행위가 업무 담당자를 직접적인 대상으로 하여 이루어진 것이 아니더라도 위계에 의한 업무방해죄가 성립합니다 (대법원 2013. 11. 28. 선고 2013도5117 판결).

ㅁ. (○) 판례에 의하면 피해자를 폭행하여 업무를 방해한 경우, 폭행죄와 업무방해죄는 별개의 죄를 구성하며, 폭행행위가 업무방해죄에 대하여 불가벌적 수반행위로서 흡수관계에 있다고 볼 수 없습니다. 보통 1개의 행위가 두 가지 죄의 요건을 모두 갖춘 경우 상상적 경합 관계에 있게 됩니다 (대법원 1983. 12. 13. 선고 83도2240 판결).

검토

gemini-3-flash-preview는 답변의 질을 정성적으로 평가해봐도, 구모델에 비해 우수한 성능을 보여준다. 선지를 그대로 옮기며 단순히 옳다, 옳지 않다를 내뱉는 것에 그치지 않고 법률적으로 의미가 있는 논거를 제시한다. 정답율 자체로도 구모델의 2배에 다다르지만, 설령 틀린 문제라도 신모델은 문제를 '풀고' 틀린 것이고, 구모델은 문제를 풀지 않고 엉겁결에 맞춘 것이나 다름 없어보인다.

문제를 '푼다'라는 느낌을 주는 것은 그 사이에 추론 모델이 표준으로 떠올랐기 때문이라고 생각한다. 언어모델은 더 이상 확률적으로 단어를 내뱉는 기계에 머무르지 않는 것 같다. 다만 그 추론 과정에서 사용되는 재료 지식은 어느 정도 랜덤성이 있다고 보인다. 쟁점을 찾지 못하거나, 잘못된 지식을 가지고 추론을 시작하면 그 과정에 논리적 결함이 없어도 틀린 결론을 내게 된다.

분석 (2) - 오답 분석

gemini-3-flash-preview 모델은 형사법 과목에서 40 문제 중 34개를 맞히고 6개를 틀렸다. 맞힌 문제 중에서도 틀린 풀이가 있겠지만, 분석의 편의를 위해 6개 문제 중 정오를 다르게 판단한 것들의 해설을 모아보면 다음과 같다(앞서 본 16번은 제외). AI의 답변은 [GEMINI]로, 인간의 해설은 [jinh0park]으로 표시하였다.

Gemini가 틀린 문제

([문 5] 결과적 가중범에 관한 설명 중 옳은 것을 모두 고른 것은?) ㄹ. 공무집행을 방해하는 집단행위의 과정에서 일부 집단원이 경찰관이 현존하는 건물에 방화를 하여 상해의 결과를 초래한 경우에 방화에 공모한 바 없는 다른 집단원 甲이 그 방화로 인한 상해의 결과를 예견할 수 있는 상황이었다면, 甲은 현존건조물방화치상의 죄책을 진다. (X)
- [GEMINI] ㄹ. 옳은 지문입니다. 판례에 따르면 공무집행을 방해하는 집단행위의 과정에서 일부 집단원이 경찰관이 현존하는 건물에 방화하여 상해의 결과를 초래한 경우, 비록 방화행위 자체에 공모하지 않았더라도 그 방화로 인한 상해의 결과를 예견할 수 있었다면 다른 집단원들도 현존건조물방화치상죄의 공동정범 책임을 진다고 봅니다(대법원 1987. 5. 26. 선고 86도2144 판결).
- [jinh0park] 방화행위에 공모가담한 자는 현존건조물방화치상죄의 죄책을 지나, 기본범죄인 방화행위에 가담하지 않은 자는 현존건조물방화치상죄로 의율할 수 없음(대법원 1990. 6. 26. 선고 90도765 판결)
[문 10] 간접정범에 관한 설명 중 옳지 않은 것을 모두 고른 것은?
- ㄱ. 정범과 공범의 구별 기준 가운데 행위자의 외부적 행위태양을 중시하는 견해에 비해 행위자의 내면적 의도를 중시하는 견해를 취하는 경우, 간접정범과 교사범을 구별하기 어렵다. (X)
  - [GEMINI] ㄱ. [옳음] 정범과 공범의 구별에 관한 주관설은 행위자가 자기의 범죄로서 행하려는 의사(정범의사)가 있으면 정범, 타인의 범죄를 돕고자 하는 의사(공범의사)가 있으면 공범으로 봅니다. 이 경우 타인을 도구로 이용하려는 내면적 의도의 차이만으로 간접정범과 교사범을 구별해야 하므로, 외부적 행위지배를 중시하는 행위지배설 등에 비해 양자의 구별이 상대적으로 어려워진다는 비판을 받습니다.
  - [jinh0park] 선지는 객관설에 비해 주관설이 간접정범과 교사범을 구별하기 어렵다고 주장한다. 주관설이 내면의 의사로 간접정범과 교사범을 구별하기에 행위지배설보다는 양자의 구별이 어렵지만, 객관설의 입장에서는 간접정범과 교사범을 구별할 방법이 없기 때문에 객관설과 비교해서는 주관설이 양자를 구별하기 용이하다.
- ㄴ. 甲이 위조한 공문서의 이미지 파일을 그 사정을 모르는 A에게 이메일로 송부하여 프린터로 출력하게 함으로써 공문서위조죄의 간접정범을 범한 경우, 피이용자 A에 대한 위 위조공문서 송부행위도 위조공문서행사죄에 해당한다. (O)
  - [GEMINI] ㄴ. [틀림] 판례에 따르면 위조된 공문서의 이미지 파일을 이메일로 전송하여 이를 모르는 수신자로 하여금 출력하게 한 경우, 공문서위조죄의 간접정범은 성립합니다. 그러나 위조공문서행사죄의 객체는 '문서'여야 하므로, 위조된 이미지 파일 그 자체는 문서라고 할 수 없으며, 이를 전송한 행위는 아직 문서가 완성되기 전의 행위로서 위조공문서행사죄를 구성하지 않습니다(대법원 2008. 4. 10. 선고 2008도1013 판결).
  - [jinh0park] 간접정범에 대한 행사도 '행사'에 해당하는지가 쟁점이다. 판례는 긍정한다. '출력'함으로써 문서가 생성되었으므로, 이미지파일의 문서성은 쟁점이 아니다.
[문 23] 甲은 A의 손목시계를 절취하였다는 범죄사실(절도죄)로 공소제기 되었고, 乙은 甲으로부터 장물인 것을 알면서 위 손목시계를 취득하였다는 범죄사실(장물취득죄)로 공소제기되어 공동피고인으로 공판이 진행 중이다. 공판정에서 甲은 공소사실을 자백하고 있고 乙은 부인하고 있다. 이에 관한 설명 중 옳지 않은 것을 모두 고른 것은? (다툼이 있는 경우 판례에 의함)
- ㄱ. 甲이 피고인 신문과정에서 “절취한 손목시계를 乙에게 주면서 훔친 물건이라고 제가 분명히 이야기해 주었습니다.”라고 답변한 진술은 乙의 공소사실을 인정하기 위한 증거로 사용할 수 있다. (X)
  - [GEMINI] ㄱ. (O) 판례에 의하면 공동피고인의 공판정에서의 진술은 별도의 증인신문을 거치지 않더라도 피고인들 간에 이해관계가 상반되는지의 여부를 불문하고 다른 공동피고인에 대한 범죄사실을 인정하는 증거로 사용할 수 있습니다. 다만 이 경우 피고인에게는 공동피고인에 대한 반대신문권이 보장되어야 합니다.
  - [jinh0park] 절도범과 장물취득범은 '공범 아닌 공동피고인' 관계에 있는 자로서, 증인의 지위에서 하지 않은 진술은 증거능력이 없다. Gemini는 둘을 '공범인 공동피고인' 관계라는 전제에서 설명하고 있는바, 틀린 해설이다.
- ㄴ. “절취한 손목시계를 乙에게 주면서 훔친 물건이라고 제가 분명히 이야기해 주었습니다.”라고 기재된 甲에 대한 사법경찰관 작성 피의자신문조서는 乙이 내용부인의 취지로 증거부동의 하는 한 乙의 공소사실에 대하여 증거능력이 없다. (X)
  - [GEMINI] ㄴ. (O) 형사소송법 제312조 제3항은 검사 이외의 수사기관이 작성한 피의자신문조서는 적법한 절차와 방식에 따라 작성된 것으로서 피고인이 그 내용을 인정한 때에 한하여 증거로 할 수 있다고 규정합니다. 판례는 당해 피고인과 공범관계에 있는 공동피고인에 대한 사법경찰관 작성 피의자신문조서에 대하여, 당해 피고인이 내용을 부인하면 증거능력을 부정합니다. 사안에서 乙이 내용을 부인하므로 甲에 대한 경찰 피의자신문조서는 乙의 공소사실에 대해 증거능력이 없습니다.
  - [jinh0park] 공범이 아니므로, 제312조 제3항이 아닌 제4항이 적용된다. 해당 선지 역시 ㄱ 선지와 마찬가지로 양자가 공범이라는 전제에서 틀린 해설을 하고 있다.
[문 28] (재판에 관한 설명 중 옳은 것을 모두 고른 것은?) ㄹ. 법률조항에 대하여 헌법재판소가 종전의 합헌결정 이후 위헌결정을 내려 이 법률조항이 종전 합헌결정일의 다음 날로 소급하여 효력을 상실하였다면, 종전의 합헌결정일 이전에 이 법률조항에 해당하는 범죄행위에 대한 유죄의 확정판결을 받은 경우, 위 확정판결을 대상으로 하는 재심심판절차에서는 재심 대상 범죄행위 당시 유효한 위 법률조항이 그 이후 폐지된 경우와 마찬가지이므로 법원은 면소판결을 선고하여야 한다.
- [GEMINI] ㄹ. (X) 헌법재판소법 제47조 제3항 단서에 따라 종전의 합헌결정이 있는 날의 다음 날로 소급하여 효력을 상실하는 경우, 그 합헌결정이 있는 날 이전에 행해진 범죄행위에 대해서는 해당 법률조항이 여전히 유효합니다. 따라서 재심심판절차에서 법원은 해당 법률조항을 적용하여야 하며, 법령의 개폐로 형이 폐지된 경우로 보아 면소판결을 선고해서는 안 됩니다(대법원 2016. 3. 24. 선고 2015도14371 판결).
- [jinh0park] 위헌결정의 소급효로 인해 전단 무죄가 선고되어야 하는지, 또는 면소가 선고되어야 하는지에 대한 문제이다. 헌법재판소법 제47조 제3항 단서에 의해 면소판결을 선고하여야 한다. Gemini는 범죄 행위 당시 해당 법률 조항의 유효 여부에 초점을 맞추고 있는데, 형사소송법 제326조 제4호를 같이 고려해야 올바른 결론을 낼 수 있다.
문 38. 甲은 종중으로부터 적법하게 명의신탁을 받은 ㉠ 시가 10억 원 상당(시가 변동은 없음)의 임야에 乙로부터 돈을 차용하기 위해 2020. 4. 10. 채권최고액 3억 원의 근저당권을 설정하였다. ㉡甲은 2020. 10. 10. 다시 乙에게 2순위 근저당권을 설정해주기로 약정하고 5억 원을 차용하였으나 다음 날 ○○은행에 채권최고액 6억 원으로 2순위 근저당권을 설정해 주었다. 甲은 이후 ㉢ 2021. 12. 18. 丙에게 위 임야를 2억 원에 매도하였다. 이에 관한 설명 중 옳은 것은? (다툼이 있는 경우 판례에 의함)
- ① ㉠행위는특정경제범죄가중처벌등에관한법률위반(횡령)죄에 해당한다. (X)
  - [GEMINI] ① (O) 명의신탁자가 그 소유인 부동산을 종중, 종교단체, 배우자에게 적법하게 명의신탁(명의신탁 약정에 따른 등기가 ‘조세 포탈, 강제집행의 면탈 또는 법령상 제한의 회피를 목적으로 하지 아니하는 경우’, 부동산실명법 제8조)한 경우, 명의수탁자는 명의신탁자와의 관계에서 그 부동산을 보관하는 자의 지위에 있습니다. 따라서 명의수탁자가 신탁자의 승낙 없이 부동산에 근저당권을 설정하는 행위는 횡령죄를 구성합니다. 이때 횡령죄의 이득액은 부동산의 시가 상당액 전체이며(대법원 2010. 2. 25. 선고 2010도10500 전원합의체 판결), 시가가 10억 원이므로 5억 원 이상인 경우에 해당하여 특정경제범죄 가중처벌 등에 관한 법률 제3조 제1항 제2호가 적용됩니다.
  - [jinh0park] 횡령죄가 성립하는 것은 맞으나, 채권최고액 3억 원의 근저당권을 설정하였으므로 횡령액은 3억 원으로 특경법 기준인 5억 원에 미달한다.
- ⑤ 만약 ㉠사건에 대한 제1심판결에 대하여 검사만 항소하여 항소심판결이 선고된 후 당초 항소하지 않았던 甲이 항소권회복청구를 한다면, 법원은 결정으로 이를 기각하여야 한다. (O)
  - [GEMINI] ⑤ (X) 검사만 항소하여 사건이 항소심에 계속 중이거나 항소심 판결이 선고된 경우에는 제1심판결이 상소제기기간의 경과로 인하여 확정된 것이 아니므로 피고인은 항소권회복신청을 할 수 없습니다. 이러한 신청은 부적법하므로 법원은 결정으로 이를 ‘각하’하여야 합니다(형사소송법 제347조 제1항). 선택지의 ‘기각’은 이유가 없을 때 하는 결정(제347조 제2항)이므로 부적절합니다.
  - [jinh0park] 형사소송법 제347조 제1항, 대법원 2017. 3. 30.자 2016모2874 결정에 따르면 기각결정을 하는 것이 맞다. 형사소송에는 각하 개념이 없는 것으로 알고 있다(확실치는 않음).

검토

Gemini의 오답 선지들을 보면, 다양한 유형으로 틀린 답을 내는 모습을 관찰할 수 있다.

법리를 잘못 알고 적용하는 경우(현존건조물방화치상, 위헌결정의 소급효)
쟁점을 제대로 찾지 못하는 경우 (간접정범에 대한 위조공문서행사)
문제 상황을 정확히 파악하지 못한 경우(절도범과 장물범의 관계, 근저당권 설정 시 횡령액 계산)
환각적인 답변을 내는 경우(항소권회복청구에 대한 각하결정)

4번을 제외하고는 모두 인간 수험생에게서도 똑같이 발생하는 현상이다. 이런 오류들을 두고 AI의 '결함'이라고 평가하기는 어려울 듯하다. 인간과 비슷한 유형의 오류를 범하면서 실제로는 동등하거나 더 나은 점수를 내고 있기 때문이다. 심지어 Gemini는 형사법 40문제를 푸는데 약 9분 밖에 걸리지 않았다.

이어서

API 호출 비용에 대한 부담으로 각 시험별로 1-2회만 실험을 수행했다. 처음 몇 번 수행했을 때 똑같은 환경에서는 시험 점수에 큰 차이가 없었던 탓이기도 하다. 그런데 글을 작성하면서 코드를 다시 돌려보니, '재현성'의 관점에서 AI를 다시 평가할 필요성을 느꼈다. 시험 점수에는 큰 차이가 없어도, 어떤 문제를 틀리는지 시행마다 다른 결과를 보여주었기 때문이다.

'재현성'은 AI와 인간을 비교했을때 인간이 더 앞서있다고 생각한다. 같은 질문을 같은 변호사에게 물어보면 오늘이나 내일이나 같은 답변을 할 것이다. AI는 같은 질문을 5분 후에 하더라도 다른 답변을 내는 경우가 있다. 재현성은 곧 신뢰성의 문제로 이어진다. 어쩌면 이 지점에서 AI의 한계를 발견하고 인간 변호사가 필요한 이유를 한 가지 찾아낼 수도 있다.

조만간 실험을 하고 이어서 글을 써야겠다.