3장 LLM은 어떻게 틀리는가

3.1 유창함은 옳음이 아니다: 환각의 세 얼굴

1장에서 LLM을 최소한으로 해부하며 세 가지를 확인했다. LLM은 다음 토큰을 확률적으로 예측해 이어 붙이고, 그래서 같은 프롬프트에도 다른 답을 내며, 맞는 답과 틀린 답이 같은 기제로 만들어진다. 마지막 사실이 이 장의 출발점이다. 출력이 유창하다는 것은 "그럴듯한 토큰을 잘 이었다"는 뜻일 뿐, 내용이 옳다는 증거가 아니다.

근거 없이 그럴듯하게 지어낸 출력을 환각(hallucination)이라 한다. 환각은 LLM의 고장이 아니라 정상 작동의 부산물이다. 모델은 "이 문맥 다음에 올 법한 문장"을 만들 뿐, 그 문장이 세계와 맞는지는 검사하지 않는다. 도입부의 카드가 정확히 그랬다. "물의 임계온도는 350 °C이다"는 물의 임계온도에 대한 문장으로서 형식이 완벽했고, 그래서 모델은 그것을 내놓았다. 값이 맞는지는 모델의 관심사가 아니었다.

화학공학 데이터에서 환각은 세 가지 얼굴로 나타난다. 이 셋을 구분해 두어야 어떤 검증이 어떤 오류를 잡는지 보인다.

3.1.1 물성 날조: 없는 값을 자신 있게 만든다

첫째 얼굴은 물성 날조다. 존재하지 않는 물성 상수, 출처 없는 끓는점, 그럴듯한 임계 물성을 모델이 지어낸다. 도입부 카드의 "350 °C"가 여기에 해당한다. 위험한 점은 날조된 값이 터무니없어 보이지 않는다는 것이다. 물의 임계온도가 3500 °C였다면 누구나 의심하겠지만, 350 °C는 참값 374 °C와 그리 멀지 않아 눈으로는 걸러지지 않는다. 그럴듯한 크기의 오답이 특히 걸러 내기 어렵다.

3.1.2 단위 오류: 개념은 맞고 단위가 틀린다

둘째 얼굴은 단위 오류다. 이 경우 모델은 옳은 개념을 쓰지만 단위·로그 밑·환산에서 미끄러진다. 압력을 mmHg로 계산해 놓고 bar라 이름 붙이거나, 상용로그(log₁₀)로 정의된 식을 자연로그(ln)로 계산하는 식이다. 결과는 자릿수가 통째로 어긋나기도 하지만, 때로는 크기가 비슷해 물성 날조보다 더 잘 숨는다. 이 얼굴을 잡는 검증이 뒤에 나올 단위 체크다.

3.1.3 자신만만한 오답: 어조는 정답 여부와 무관하다

셋째 얼굴은 앞의 둘을 더 위험하게 만드는 성질이다. LLM은 틀린 답도 맞는 답과 똑같이 확신에 찬 문장으로 내놓는다. 출력의 어조는 정답 여부와 아무 상관이 없다. 도입부 카드에는 "아마도"나 "확인 필요" 같은 표시가 없었고, 5주차에 만날 사례에서는 AI가 날조한 Antoine 상수 뒤에 "출처: NIST WebBook"이라는 가짜 출처까지 붙인다. 사람이라면 모르는 것 앞에서 머뭇거리지만, 모델의 문장은 아는 것과 모르는 것을 같은 톤으로 서술한다. 그래서 "AI가 확신하는가"는 판정 기준으로 삼기 어렵다. 판정은 어조가 아니라 대조에서 나와야 한다.

3.2 검증 루틴 3종: 역할 분담을 절차로

1주차의 역할 분담은 짧았다. 코드는 AI가 쓰고, 검증은 학생이 한다. 그런데 "검증한다"는 말은 그 자체로는 절차가 아니다. 무엇을, 어떤 순서로 확인하는지 정해져 있지 않으면 검증은 "한 번 훑어봤다"로 미끄러진다. 그래서 이 수업은 검증을 세 개의 고정된 질문으로 못 박는다. 단위가 맞는가, 아는 값과 맞는가, 극한에서 말이 되는가. 이 셋을 검증 루틴 3종이라 하고, 15장까지 모든 예제와 실습에서 같은 순서·같은 형식으로 반복한다.

⑤ 테스트와 ⑥ 화공 검증이 어떻게 다른지부터 갈라 두자. 테스트는 코드가 "내가 정한 대로 동작하는가"를 묻고, 화공 검증은 "그 대로가 물리적으로 옳은가"를 묻는다. 2장의 assert는 273.15를 기대값으로 넣어 273을 잡아냈지만, 기대값 자체를 273으로 잘못 정했다면 테스트는 조용히 통과한다. 테스트가 통과한 뒤에도 검증 루틴 3종이 남는 이유가 여기 있다.

3.2.1 단위 체크: 입력·출력 단위가 식과 맞는가

첫째 루틴은 단위 체크다. 함수에 들어가는 값과 나오는 값의 단위가 식이 요구하는 단위와 일치하는지 확인한다. 이 확인이 가능하려면 단위가 코드 안에 적혀 있어야 하므로, 이 교재는 물리량 변수마다 단위를 주석으로 남긴다. T = 373.15 # K처럼 적는다. 단위가 적혀 있지 않으면 검증하기 어렵다.

상관식을 다룰 때는 단위 체크가 네 항목으로 늘어난다. 상관식은 겉보기가 같아도 정의가 제각각이기 때문이다. 같은 Antoine 식이라도 어떤 자료는 로그 밑을 log₁₀으로, 어떤 자료는 ln으로 쓰고, 압력을 bar로 주기도 mmHg로 주기도 한다. 그래서 상관식의 상수를 받으면 로그 밑 · 압력 단위 · 온도 단위 · 유효범위 네 가지를 먼저 확인한다. 이 네 항목을 이 교재에서는 상관식 상수 표에 늘 함께 적는다.

3.2.2 대조값: 아는 값 한 점과 비교한다

둘째 루틴은 대조값 비교다. 계산 결과를 이미 알려진 참값 한 점과 맞대어 본다. 물이 1 atm에서 100 °C에 끓는다는 사실 하나만 있어도, 100 °C의 증기압 계산이 1.013 bar 근처로 나오는지 확인할 수 있다. 대조값이 하는 일은 물성 날조와 자신만만한 오답을 동시에 걸러 내는 것이다. AI의 어조가 아무리 확신에 차 있어도, 값이 참값과 어긋나면 그 답은 채택하지 않는다.

대조값은 어디서 얻는가. 두 곳을 이 장에서 소개하고, 코드로 조회하는 법은 5장에서 익힌다.

NIST Chemistry WebBook은 미국 국립표준기술원(NIST)이 운영하는 공개 물성 데이터베이스다. 웹 브라우저에서 물질을 찾아 상변화 데이터(phase change data)를 열면, 끓는점·임계 물성과 함께 Antoine 상수까지 출처가 명기된 채로 나온다. 조회 절차는 다음과 같다.

1. 브라우저에서 webbook.nist.gov/chemistry로 간다.
2. 이름이나 화학식으로 물질을 검색한다(예: water, H2O).
3. 물질 홈페이지에서 "Other data available"의 "Phase change data"를 연다.
4. 표에서 필요한 값을 읽고, 유효범위와 출처를 함께 적어 둔다.

CoolProp은 순수 유체의 열역학 물성을 계산해 주는 오픈소스 라이브러리다. NIST WebBook이 사람이 눈으로 찾는 웹 조회라면, CoolProp은 코드가 함수 호출로 값을 받아 오는 조회다. 자동화된 도구 안에서는 웹을 사람이 뒤질 수 없으므로, 5장부터는 물성값을 CoolProp으로 조회한다. 지금 기억할 것은 하나다. 물성값은 AI에게 묻지 않는다.

3.2.3 극한값 sanity: 극한에서 물리가 말이 되는가

셋째 루틴은 극한값 sanity다. 입력을 물리적 극단으로 밀어 넣고, 결과가 상식과 같은 방향인지 본다. 온도를 낮추면 증기압도 낮아져야 하고, 압력을 낮추면 끓는점도 내려가야 한다. 방향이 거꾸로면 대조값을 따질 것도 없이 코드가 틀린 것이다.

극한값 검사가 특히 날카롭게 걸리는 지점이 상관식의 유효범위 경계다. 경험식은 특정 온도·압력 구간의 데이터에 맞춰 만든 곡선이라, 그 구간을 벗어나 값을 구하면 오차가 급격히 커진다. 유효범위 밖에서 값을 구하는 일을 외삽(extrapolation)이라 한다. §3.3의 예제에서 이 외삽 오차를 숫자로 직접 본다.

3.3 물성 날조를 잡아내는 법: Antoine 상수 사례

세 루틴을 실제 물성에 걸어 보자. 소재는 증기압이다. 액체가 자신의 기체와 평형을 이루는 압력을 증기압(vapor pressure, p*)이라 하고, 온도가 오르면 증기압도 오른다. 증기압을 온도의 함수로 근사하는 대표적 경험식이 Antoine 식이다.

log₁₀ p* = A − B / (T + C) (3.1)

여기서 A, B, C는 물질마다 다른 상수이고, p*는 증기압, T는 온도다. 이 식의 물리적 의미와 유도는 8장에서 다룬다. 지금은 검증의 대상으로만 쓴다. 이 절에서 배울 것은 Antoine 식을 푸는 법이 아니라, AI가 이 식으로 낸 값을 어떻게 걸러 내는가다.

NIST WebBook에서 물의 상수를 조회하면 온도 구간별로 여러 벌이 나온다. 그중 두 벌을 표 3-1에 옮겼다. 표에 로그 밑·압력 단위·온도 단위·유효범위 네 항목이 모두 적혀 있음을 눈여겨보라. 이것이 §3.2.1에서 말한 상관식 상수 표의 형식이다.

def water_vapor_pressure(T, A, B, C):   # T: 온도 [K]
    """Antoine 식으로 증기압을 계산한다. 반환 단위 [bar]."""
    return 10 ** (A - B / (T + C))       # 식 (3.1), p* [bar]

# 표 3-1의 고온역(379-573 K) 상수를 373 K에 적용
p = water_vapor_pressure(373.0, 3.55959, 643.748, -198.043)
print(round(p, 3))                       # 0.759 가 출력된다

예제 3.3-1은 코드가 옳은데 입력이 틀린 경우였다. 이제 코드 자체가 틀리는 두 경우를 본다. 첫째는 물성 날조, 둘째는 단위·로그 밑 오류다. 두 사례 모두 검증 루틴이 없으면 지나쳤을 오류다.

def read_wiki_note(path):
    """위키 노트(.md) 한 편을 문자열로 읽어 온다."""

def save_deck_csv(filename, cards):
    """cards(리스트: (앞면, 뒷면) 튜플)를 Anki용 CSV로 저장한다."""