13장 시각화·대시보드·기계학습 맛보기

13.1 공학 그래프의 문법

과학 계산의 목적은 숫자가 아니라 통찰이다. 계산이 쏟아 낸 수백 개의 숫자를 사람이 이해하려면 그림이 필요하고, 그래서 시각화는 해석의 시작 단계다. 그리고 그래프는 "이 온도에서 압력이 이만큼이다"라는 주장이고, 주장에는 근거가 붙어 있어야 한다.

공학 그래프가 갖춰야 할 최소 요건은 네 가지다. 첫째, 두 축에 물리량 이름과 단위를 적는다. 단위 없는 축은 검증 루틴 중 단위 체크를 원천적으로 불가능하게 만든다. 둘째, 곡선이 둘 이상이면 어느 선이 무엇인지 밝힌다. 여러 데이터 계열을 구분하는 이름표를 범례(legend)라 한다. 셋째, 데이터의 성격에 맞는 표현을 고른다. 측정한 데이터는 점(마커)으로, 모델이나 상관식은 선으로 그린다. 측정점 열두 개를 실선으로만 이어 버리면 측정하지 않은 중간값까지 측정한 것처럼 주장하는 셈이 된다. 넷째, 데이터의 분포에 맞는 축 스케일을 고른다.

넷째 요건이 낯설 수 있으니 8장의 증기압으로 확인해 보자. 물의 증기압은 NIST 상수의 유효범위인 379~573 K 사이에서 약 1 bar에서 약 70 bar까지, 70배 가까이 변한다. 이것을 눈금이 일정한 보통 축(선형축)에 그리면 고온부의 큰 값이 축 전체를 차지해 저온부 곡선은 바닥에 붙은 0처럼 보인다. 눈금 한 칸이 일정한 배수(10배)를 나타내는 축을 로그축(logarithmic axis)이라 한다. 로그축에서는 1 bar와 70 bar가 같은 비중으로 보이고, 저온부의 변화도 읽을 수 있다.

증기압에 로그축이 어울리는 것은 우연이 아니다. Antoine 식 자체가 log₁₀ p*를 온도의 함수로 쓰는 식이므로, 세로축을 로그로 잡으면 곡선이 완만하게 펴진다. 데이터를 만든 물리가 지수적이면 축도 로그로 잡는다. 이것이 스케일 선택의 원칙이다.

import numpy as np
import matplotlib.pyplot as plt

A, B, C = 3.55959, 643.748, -198.043
T = np.linspace(300, 600, 100)
p = 10**(A - B/(T + C))
plt.plot(T, p)
plt.show()

import numpy as np
import matplotlib.pyplot as plt

# NIST WebBook: 물, 유효범위 379~573 K
# log10(p*/bar) = A - B/(T + C)
A, B, C = 3.55959, 643.748, -198.043

T = np.linspace(379, 573, 100)      # 온도 [K] — 유효범위만
p = 10**(A - B/(T + C))             # 증기압 [bar]

plt.semilogy(T, p, label="물 (NIST 상수)")   # 세로축 로그
plt.xlabel("온도 T [K]")
plt.ylabel("증기압 p* [bar]")
plt.legend()
plt.grid(True)
plt.savefig("vapor_curve.png", dpi=150)

13.2 스크립트에서 대시보드로: Streamlit 최소한

13.2.1 일단 띄워 보기

먼저 손을 움직여 보자. 터미널에서 pip install streamlit으로 라이브러리를 설치한 뒤, 다음 다섯 줄을 app.py로 저장한다.

import streamlit as st

st.title("나의 첫 대시보드")               # 페이지 제목
T = st.slider("온도 [K]", 379, 573, 400)   # 슬라이더 (최소, 최대, 초기값)
st.write(f"선택한 온도: {T} K")            # 화면에 출력

실행은 python app.py가 아니라 streamlit run app.py다. 브라우저가 열리고, 슬라이더가 있는 웹 페이지가 나타난다. 슬라이더를 끌면 아래 숫자가 즉시 바뀐다. (아무것도 뜨지 않으면 터미널에 출력된 주소를 브라우저에 직접 입력해 보라.)

방금 만든 것에 이름을 붙이자. 데이터와 계산 결과를 한 화면에 모아 사용자가 직접 조작하며 보게 만든 것을 대시보드(dashboard)라 하고, 슬라이더·선택 상자처럼 사용자 입력을 받는 화면 요소를 위젯(widget)이라 한다. Streamlit은 파이썬 스크립트를 이런 웹 대시보드로 바꿔 주는 라이브러리다.

동작 원리는 하나만 알면 된다. 위젯 값이 바뀔 때마다 Streamlit은 스크립트 전체를 위에서 아래로 다시 실행한다. 새로운 프로그래밍 모델을 배우는 것이 아니라, 지금까지 쓰던 "위에서 아래로 흐르는 스크립트"가 위젯 값만 갱신된 채 반복 실행되는 것이다. 그래서 5장부터 만들어 온 함수들을 고치지 않고 그대로 가져다 쓸 수 있다.

13.2.2 화공 도구의 대시보드화

이제 8장의 증기압 계산기를 대시보드로 옮겨 보자. 핵심은 두 가지다. 계산 함수는 새로 짜지 않고 재사용하며, 위젯의 범위를 상수의 유효범위로 제한한다.

import numpy as np
import streamlit as st

# NIST WebBook: 물(379~573 K), log10(p*/bar) = A - B/(T + C)
A, B, C = 3.55959, 643.748, -198.043

st.title("증기압 대시보드 — 물")
T = st.slider("온도 [K]", 379, 573, 400)   # 유효범위로 제한 [K]
p = 10**(A - B/(T + C))                     # 증기압 [bar]
st.metric("증기압", f"{p:.2f} bar")         # 숫자 카드 표시

T_arr = np.linspace(379, 573, 100)          # 곡선용 온도 [K]
p_arr = 10**(A - B/(T_arr + C))             # 증기압 [bar]
st.line_chart({"p* [bar]": p_arr})

13.3 회귀에서 신경망으로: 모델·손실·학습

13.3.1 두 얼굴의 오차

12장에서 데이터에 직선과 다항식을 맞추는 회귀(regression)를 다뤘다. 그 작업을 세 부분으로 나눠 이름을 붙이면 기계학습 전체의 뼈대가 된다. 모양을 가진 함수(모델), 모델이 얼마나 틀렸는지 재는 함수, 그리고 틀림이 줄어들도록 모델의 매개변수(parameter)를 조정하는 절차(학습)다. 틀림을 재는 함수를 손실 함수(loss function)라 한다.

가장 기본적인 손실 지표는 평균절대오차(mean absolute error, MAE)다. 데이터 n개에 대해 다음과 같이 정의한다.

MAE = (1/n) Σ |y_i − ŷ_i|   (13.1)

여기서 y_i는 실제 값, ŷ_i는 모델의 예측값이다. MAE는 오차의 평균 크기를 그대로 알려 주고, 제곱을 쓰는 RMSE는 큰 오차를 더 무겁게 벌준다. 모델 성적을 눈으로 보려면 가로축에 실제 값, 세로축에 예측값을 찍는다. 이런 산점도를 패리티 플롯(parity plot)이라 하며, 완벽한 모델이라면 모든 점이 대각선 위에 놓인다.

성적의 기준선도 필요하다. 모든 입력에 대해 평균 하나만 답하는 상수 모델은 뜻밖에 유용한 기준선이다. 이보다 못한 모델은 아무것도 배우지 못한 것이다. 그런데 여기에 함정이 하나 있다. 지금까지처럼 갖고 있는 데이터 전부로 피팅하고 같은 데이터로 성적을 매기면, 그 성적은 무엇을 말해 주는가? 모델을 만드는 이유는 아직 보지 못한 데이터를 예측하기 위해서다. 그래서 데이터를 둘로 가른다. 모델을 맞추는 데 쓰는 부분을 훈련 데이터(training data), 성적을 매기기 위해 감춰 두는 부분을 시험 데이터(test data)라 한다. 학생이 시험 문제를 미리 보고 공부하면 점수가 실력을 말해 주지 않는 것과 같은 이치다.

import numpy as np

rng = np.random.default_rng(1)        # 재현 가능한 난수 시드
T = np.linspace(60, 100, 16)          # 반응 온도 [degC]
y = 20 + 1.5*T - 0.008*T**2           # 우리가 심은 참 관계 (2차) [%]
y = y + rng.normal(0, 1.0, T.size)    # 측정 잡음 [%p]

idx = rng.permutation(T.size)         # 순서를 무작위로 섞는다
train, test = idx[:12], idx[12:]      # 훈련 12점 / 시험 4점

for deg in [1, 2, 9]:
    coef = np.polyfit(T[train], y[train], deg)      # 훈련 데이터로만 피팅
    err_tr = np.polyval(coef, T[train]) - y[train]  # 훈련 오차 [%p]
    err_te = np.polyval(coef, T[test]) - y[test]    # 시험 오차 [%p]
    print(f"{deg}차: 훈련 MAE {np.mean(np.abs(err_tr)):.2f}, "
          f"시험 MAE {np.mean(np.abs(err_te)):.2f}")

1차: 훈련 MAE 1.19, 시험 MAE 0.87
2차: 훈련 MAE 0.52, 시험 MAE 0.45
9차: 훈련 MAE 0.23, 시험 MAE 2.71

실무 데이터에는 참 관계가 없으므로 결정계수(coefficient of determination, R²) 같은 지표로 판단을 보조한다. 화학공학의 실측 데이터에서는 R²가 0.9를 넘으면 대체로 훌륭한 수준이고, 0.95를 넘으면 오히려 과적합을 의심하라는 경험칙이 있다. 높은 점수가 항상 좋은 소식은 아니다.

13.3.2 신경망: 모양을 데이터가 정하는 함수

직선 모델의 매개변수는 기울기와 절편 2개다. 9차 다항식은 10개다. 이 수를 더 늘리면 무슨 일이 생기는가? 신경망(neural network)은 "입력의 가중합을 구하고 단순한 비선형 변환을 거치는" 작은 함수를 층층이 쌓아 만든, 매개변수가 대단히 많은 유연한 함수다. 다항식에서는 사람이 차수라는 모양을 골랐지만, 신경망은 모양 자체를 데이터가 정하게 한다.

그렇다고 새 수학이 등장하는 것은 아니다. 신경망의 학습도 손실 함수가 작아지는 방향으로 매개변수를 조금씩 반복 조정하는 절차이고, 성적은 시험 데이터의 MAE나 패리티 플롯으로 매긴다. 12장의 회귀에서 배운 모델–손실–학습의 3요소가 규모만 커진 채 그대로 있다. 1장에서 만난 대형 언어 모델도 다음 토큰을 예측하도록 이 절차로 훈련된 매우 큰 신경망이다. 학기 내내 함께 일한 AI가 사실은 이 절의 주제였던 셈이다.

유연함에는 대가가 따른다. 매개변수가 많을수록 과적합의 위험이 커지고, 필요한 데이터가 많아지고, 왜 그런 답이 나왔는지 해석하기 어려워진다. 그래서 신경망에서는 훈련/시험 분리를 반드시 지켜야 한다. 예제 13.3-1에서 9차 다항식이 보여 준 붕괴는, 매개변수가 수백만 개인 모델에서는 더 조용하고 더 그럴듯한 모습으로 일어난다.

13.4 칼럼: 화공 연구 현장의 기계학습, DFT와 MLIP

이 장에서 배운 3요소가 연구 현장에서 어떻게 쓰이는지 잠깐 엿보자. 새 촉매를 찾는 계산화학 연구에서는 반응물 분자가 촉매 표면에 얼마나 강하게 붙는지(흡착 에너지)가 성능을 가르는 핵심 물성이다. 이 값은 양자역학으로 분자와 재료의 에너지를 계산하는 밀도범함수이론(density functional theory, DFT)으로 구하는데, 계산 한 건에 많은 시간이 든다. 그래서 연구자들은 이미 수행된 대량의 DFT 결과를 훈련 데이터 삼아, 새 촉매 후보의 흡착 에너지를 곧바로 예측하는 기계학습 모델을 만든다. 이 분야에서는 실용적 의미가 있으려면 흡착 에너지의 MAE가 0.1~0.2 eV 수준이어야 한다는 목표가 통용된다. 모델의 성패를 가르는 잣대가 결국 시험 데이터의 MAE라는 점이 이 장의 예제와 같다.

한 걸음 더 나아간 도구도 있다. 원자들의 배치를 입력받아 에너지와 힘을 출력하도록 훈련된 신경망을 기계학습 포텐셜(machine-learned interatomic potential, MLIP)이라 한다. DFT의 정확도에 가까운 답을 훨씬 적은 비용으로 내는 것이 목표이며, 전지 소재나 촉매처럼 원자 수가 많은 시스템의 시뮬레이션에 쓰인다. 여기서도 뼈대는 모델–손실–학습 그대로이고, "훈련 범위 밖의 원자 배치에서는 믿을 수 없다"는 외삽 경고까지 Antoine 상수의 유효범위와 같은 논리로 따라온다. 13주차 이론 세션에서 담당 교수의 실제 연구 사례로 이 두 주제를 소개한다.

13.5 실습 13: 도구⑨ 공정 데이터 대시보드 + 서브프로젝트 스프린트