엔트로피

1. 개요[편집]

엔트로피 Entropy
기호 · 단위	$S$ · J/K (SI), 무차원(정보 단위)
열역학적 정의	클라우지우스, 1865: $dS=\delta Q_{\rm rev}/T$
통계적 정의	볼츠만: $S=k_B\ln W$
분포에 대한 정의	깁스·섀넌: $S=-k_B\sum p_i\ln p_i$
성질	상태함수 · 시량변수(extensive) · 오목(concave)
기준점	완전 결정에서 $S\to0$ (열역학 제3법칙)
계산 도구	분배함수, NASA 다항식, 자유에너지 계산법

에너지는 “얼마나 있느냐”를 세고, 엔트로피는 “그중 얼마나 쓸 수 있느냐”를 센다.

엔트로피(entropy, $S$)는 계의 거시상태 하나에 대응하는 미시상태가 얼마나 많은지를 재는 상태함수이며, 동시에 가역 과정에서 주고받은 열을 온도로 나눈 몫의 총계로 정의되는 열역학적 양이다. 이 두 문장이 같은 것을 말한다는 사실이 19세기 물리학의 가장 큰 수확 중 하나다.

이 문서는 양(量) 자체를 다룬다. 클라우지우스의 $dS=\delta Q_{\rm rev}/T$, 볼츠만의 $S=k_B\ln W$, 깁스·섀넌의 $S=-k_B\sum p\ln p$ 가 어떻게 하나의 양의 세 얼굴인지, 그것이 왜 상태함수인지, 그리고 수치해석에서 이 양이 실제로 어디에 계산되어 들어가는지가 주제다. 왜 그것이 증가하는지(법칙의 진술과 등가성)는 열역학 제2법칙이, 역학에서 증가를 유도하려던 시도는 H 정리가 맡는다. 이름이 같지만 성격이 다른 엔트로피 조건은 뒤의 절에서 왜 그 이름을 달게 됐는지만 짚고 넘긴다.

2. 클라우지우스 — 열의 몫으로 정의된 양[편집]

루돌프 클라우지우스는 1854년 무렵부터 순환 과정에서 $\oint \delta Q/T$ 라는 조합이 특별하게 행동한다는 것을 붙들고 있었고, 1865년에 이 양에 엔트로피라는 이름을 붙였다.¹ 정의는 이렇다.

$$dS \;=\; \frac{\delta Q_{\rm rev}}{T}$$

여기서 세 단어가 전부 중요하다.

• $\delta Q$ 가 아니라 $\delta Q_{\rm rev}$ — 실제로 일어난 과정이 아니라 같은 두 상태를 잇는 가역 경로를 따라 잰 열이다. 비가역 과정에는 이 공식을 쓸 수 없고, 대신 $dS>\delta Q/T$ 라는 부등식만 성립한다.
• $T$ 로 나눈다 — 이 나눗셈이 $\delta Q$ 를 완전미분으로 만드는 적분인자다. $\delta Q$ 자체는 경로에 의존하지만 $\delta Q/T$ 는 그렇지 않다.
• 따라서 $S$ 는 상태함수 — 두 상태 사이의 $\Delta S$ 는 어떤 경로로 갔든 같다. 이것이 엔트로피가 쓸모 있는 유일한 이유다. 계산할 때는 실제 경로가 아무리 지저분해도 가역 경로를 하나 지어내서 적분하면 된다.

상태함수라는 성질에서 곧바로 실무용 공식들이 나온다. 열역학 제1법칙 $dU=\delta Q-p\,dV$ 를 가역 경로에서 대입하면 깁스 관계식

$$dU = T\,dS - p\,dV \;+\; \sum_i \mu_i\, dN_i$$

가 되고, 여기서부터 맥스웰 관계식과 각종 편미분 항등식이 쏟아진다. 이상기체에 대해 $c_p$ 가 상수이면 적분이 손으로 끝난다.

$$s(T,p) - s(T_0,p_0) \;=\; c_p\ln\frac{T}{T_0} \;-\; R\ln\frac{p}{p_0}$$

압축성 유동 코드가 등엔트로피 관계 $p/\rho^\gamma=\text{const}$ 를 쓰거나, 노즐 유입 경계에서 전온도·전압력을 주고 상태를 역산하는 것이 전부 이 식의 응용이다. 실제 기체에서는 이상기체 값에 이탈함수(departure function)를 더하는데, 그 이탈함수는 상태방정식에서 $(\partial p/\partial T)_V$ 를 적분해 얻는다. 즉 엔트로피 계산의 정확도는 상태방정식의 정확도에 그대로 묶여 있다.

한 가지 클라우지우스 정의의 한계 — 이 정의는 차이만 준다. 절대값의 기준점은 열역학 제3법칙(네른스트, 1906)이 “완전 결정에서 $T\to0$ 이면 $S\to0$“으로 못 박아 준다. 그 기준점 덕분에 화학 편람의 표준 몰 엔트로피 $S^\circ$ 가 절대값으로 표기될 수 있다.

3. 볼츠만 — 셈으로 정의된 양[편집]

같은 양을 완전히 다른 곳에서 다시 만난다. 거시상태 하나에 대응하는 미시상태의 수를 $W$ 라 할 때

$$S = k_B \ln W$$

이다. 볼츠만의 묘비에 새겨진 그 식이며, 정작 이 형태로 처음 적은 사람은 플랑크라는 것이 정설이다.² 여기서 $k_B=1.380649\times10^{-23}\ \mathrm{J/K}$ 는 단위 환산 상수일 뿐이다. 물리는 $\ln W$ 에 다 들어 있고, $k_B$ 는 그것을 켈빈과 줄이라는 인간의 단위에 맞춰 주는 역할만 한다.

로그가 붙은 이유는 시량성(extensivity) 때문이다. 독립된 두 계를 합치면 미시상태 수는 곱해지고($W=W_1W_2$), 엔트로피는 더해져야 한다($S=S_1+S_2$). 곱을 합으로 바꾸는 함수는 로그뿐이다. 그래서 $S=k_B\ln W$ 는 선택이 아니라 거의 강제된 형태다.

이 정의가 클라우지우스 정의와 정말 같은 것인지 확인하는 표준 시험대가 단원자 이상기체다. 위상공간 부피를 세고 $h^{3N}$ 으로 나누고 동일 입자 $N!$ 로 나누면 자쿠어-테트로데 식

$$S = N k_B\left[\ln\!\left(\frac{V}{N}\left(\frac{4\pi m U}{3Nh^{2}}\right)^{3/2}\right)+\frac52\right]$$

이 나온다. 이 식이 예측하는 아르곤의 표준 몰 엔트로피는 약 $154.8\ \mathrm{J/(mol\cdot K)}$ 이고, 열량계로 $0\ \mathrm K$ 부터 $\int c_p\,dT/T$ 를 적분해 얻은 실측값과 소수점 아래에서 만난다.³ 미시상태를 세서 얻은 수와 열을 재서 얻은 수가 일치한다 — 이것이 두 정의가 같은 양이라는 가장 직접적인 증거다.

여기서 $h$ 와 $N!$ 이 등장한다는 점을 눈여겨봐야 한다. 고전역학만으로는 위상공간의 “칸 크기”를 정할 수 없어 $S$ 의 절대값이 임의 상수만큼 떠 있고, 그 상수를 고정하는 것이 양자역학이다. 엔트로피의 절대값은 고전물리가 혼자 답할 수 없는 양이다.

4. 깁스와 섀넌 — 분포로 정의된 양[편집]

$S=k_B\ln W$ 는 모든 미시상태가 똑같이 그럴듯할 때의 이야기다(미시정준 앙상블). 확률이 상태마다 다르면 깁스의 정의로 일반화된다.

$$S = -k_B\sum_i p_i \ln p_i$$

$p_i$ 가 $W$ 개 상태에 균등하면 $p_i=1/W$ 를 넣어 $S=k_B\ln W$ 로 되돌아온다. 정준 앙상블에서는 $p_i=e^{-\beta E_i}/Z$ 를 대입해

$$S = k_B\ln Z + \frac{U}{T},\qquad F = U - TS = -k_B T\ln Z$$

를 얻고, 이것이 통계역학이 열역학에 접속하는 지점이다. 계산 관점에서 이 식이 뜻하는 바는 명확하다 — 분배함수 $Z$ 하나만 구하면 엔트로피는 미분으로 떨어진다. 문제는 $Z$ 가 거의 언제나 못 구하는 적분이라는 것이고, 그래서 분자 시뮬레이션에서 엔트로피가 유난히 비싼 양이 된다(아래 절 참조).

1948년 클로드 섀넌은 통신에서 “메시지 하나가 담는 정보량”을 공리적으로 유도하다가 정확히 같은 함수꼴에 도달했다.

$$H(p) = -\sum_i p_i \log_2 p_i \quad [\text{bit}]$$

$k_B$ 가 빠지고 로그 밑이 2로 바뀐 것 외에는 완전히 같다. 즉 깁스 엔트로피와 섀넌 엔트로피는 다른 양이 아니라 단위가 다른 같은 양이다. 환산은 1비트 $=k_B\ln 2\approx 9.57\times10^{-24}\ \mathrm{J/K}$. 이 다리를 어떤 방향으로 건너느냐에 따라 최대 엔트로피 원리(제약 조건만 알 때 가장 덜 편향된 분포를 고르는 추론 원리), 쿨백-라이블러 발산(두 분포 사이의 상대 엔트로피), 상호정보량, 엔트로피 부호화와 허프만 부호화가 전부 같은 함수의 다른 응용으로 정렬된다.

특히 상대 엔트로피가 더 근본적이라는 관점이 계산에서는 훨씬 편하다. $-\sum p\ln p$ 는 연속 분포로 넘어가면 좌표 변환에 대해 불변이 아니지만, $D_{\rm KL}(p\Vert q)=\sum p\ln(p/q)$ 는 불변이다. 물리에서도 실제로 등장하는 것은 대개 “평형에서 얼마나 떨어져 있는가”이고, 그 양이 곧 KL 발산이다. H 정리에서 $H$ 함수가 정확히 이 구조를 갖는다.

5. 세 정의를 한눈에[편집]

정의	형태	필요한 것	주 사용처
클라우지우스	가역 열의 적분	온도·열량 측정	사이클 해석, 물성 표
볼츠만	미시상태 셈	거시상태의 정의	이상기체, 격자 모형
깁스	확률분포의 범함수	앙상블·분배함수	통계역학 계산 전반
섀넌	같은 범함수, 무차원	확률분포만	추론, 압축, 기계학습

세 정의는 각자 잘 정의된 영역이 다르다. 클라우지우스 정의는 평형 상태 사이에서만 쓸 수 있고, 볼츠만 정의는 거시상태를 무엇으로 잡을지 사람이 정해야 하며, 깁스 정의는 앙상블이 무엇인지 정해야 한다. “엔트로피가 무엇의 엔트로피인지”를 명시하지 않으면 논쟁의 절반이 정의 불일치에서 생긴다.

6. 혼합 엔트로피와 깁스 역설[편집]

칸막이로 나뉜 같은 부피·온도·압력의 두 상자에 서로 다른 이상기체가 각각 $N$ 개씩 들어 있다. 칸막이를 빼면 각 기체가 두 배 부피로 퍼지므로

$$\Delta S_{\rm mix} = 2N k_B \ln 2 \;>\;0$$

일반적으로는 몰분율 $x_i$ 에 대해 $\Delta S_{\rm mix}=-Nk_B\sum_i x_i\ln x_i$ 다. 여기서 깁스 역설이 튀어나온다 — 양쪽 기체가 같은 기체라면? 칸막이를 빼도 아무 일이 일어나지 않으므로 $\Delta S=0$ 이어야 하는데, 위 계산은 기체의 정체를 묻지 않으므로 여전히 $2Nk_B\ln2$ 를 뱉는다. 게다가 “두 기체가 얼마나 비슷한가”를 연속적으로 바꿔도 혼합 엔트로피는 연속적으로 줄지 않고 동일해지는 순간 계단처럼 0으로 떨어진다.

해소는 두 층에서 온다.

• 동일 입자의 구별 불가능성. 미시상태를 셀 때 같은 종류의 입자를 바꿔치기한 배치를 같은 상태로 세야 하고, 그것이 $N!$ 로 나누는 조작이다. 깁스는 1902년에 이 인수를 사실상 손으로 넣었고, 양자역학이 나온 뒤에야 그것이 임시방편이 아니라 동일 입자의 근본 성질임이 밝혀졌다.
• 거시상태의 정의가 관측자에게 달려 있다. 제인스의 관점은 더 실용적이다. 두 기체를 분리할 수 있는 반투막이 존재하는가가 관건이며, 분리할 수단이 없다면 그 혼합에서는 일을 뽑을 수 없고 따라서 엔트로피 차이도 없다. 엔트로피는 계에 대해서만이 아니라 “우리가 계에 대해 무엇을 조작할 수 있는가”에 대해서도 정의된다.

이 논의는 철학이 아니라 실무다. 다성분 유동을 푸는 코드는 화학종을 몇 개로 나눌지 사람이 정하고, 그 선택이 곧 혼합 엔트로피와 화학 퍼텐셜을 바꾼다. 이성질체를 한 덩어리로 묶느냐 나누느냐가 평형 조성 결과를 바꾸는 것이 그 직접적 결과다.

7. 잔류 엔트로피 — 제3법칙이 안 맞을 때[편집]

제3법칙은 “완전 결정”이라는 단서를 달고 있고, 그 단서가 깨지면 $T\to0$ 에서도 엔트로피가 남는다. 대표 사례가 얼음이다. 물 분자 하나에 대해 수소 결합의 배치가 여러 가지 가능하고(각 산소 주변 네 방향 중 두 곳에 수소), 폴링의 셈에 따르면 분자당 $\ln(3/2)$ 만큼의 자유도가 남아

$$S_{\rm res} \approx R\ln\frac32 \approx 3.4\ \mathrm{J/(mol\cdot K)}$$

가 되며 열량계 측정과 잘 맞는다. 일산화탄소 결정처럼 분자 방향이 무작위로 얼어붙는 경우에는 $R\ln 2$ 급이 남는다. 요점은 이것이 측정 오차가 아니라 셈이 예측한 값이라는 것이다. 볼츠만 정의가 “미시상태를 센다”는 말을 문자 그대로 쓸 수 있는 가장 깔끔한 예시이기도 하다.

8. 수치해석에서 엔트로피가 실제로 계산되는 자리[편집]

• 열역학 물성 라이브러리. 화학종별 $s^\circ(T)/R$ 을 온도 다항식(NASA 7항·9항 형식)으로 저장하고, 압력·조성 보정을 얹어 혼합물 엔트로피를 만든다. Cantera 같은 라이브러리가 하는 일의 절반이 이것이고, 연소 CFD의 국소 온도 계산이 여기에 의존한다.
• 화학평형. 정온·정압 평형은 $G=H-TS$ 를 최소화하는 조성이다. 즉 평형 계산기는 실질적으로 엔트로피 항이 만드는 오목성 덕분에 유일한 최소점을 얻는 최적화 문제를 푼다. 엔트로피가 없으면 모든 반응이 완전 진행되어 버린다. 깁스 자유에너지와 헬름홀츠 자유에너지가 각각 $(T,p)$ 와 $(T,V)$ 구속에서 같은 역할을 한다.
• 분자 시뮬레이션. 에너지는 궤적 평균으로 바로 나오지만 엔트로피는 앙상블 평균이 아니다 — $\ln p$ 라는 확률 자체의 함수라, 표본만 모아서는 안 나온다. 그래서 자유에너지 섭동, 열역학적 적분, 준조화 근사 같은 별도의 기법을 동원해야 하고, 이것이 분자동역학에서 자유에너지 계산이 유독 비싼 이유다.
• 격자 모형과 표본추출. 이징 모형이나 격자 기체에서 상태밀도를 직접 세는 방법(왕-란다우류)은 $S(E)=k_B\ln g(E)$ 를 직접 표본추출한다. 몬테카를로 방법이 평형 표본을 뽑을 때 쓰는 볼츠만 가중치 $e^{-\beta E}$ 자체가 “에너지와 엔트로피의 거래”를 구현한 것이다.
• 양자 쪽. 밀도행렬 $\rho$ 에 대한 폰 노이만 엔트로피 $S=-k_B\,\mathrm{Tr}(\rho\ln\rho)$ 가 깁스 정의의 양자 판본이고, 부분계로 자르면 얽힘 엔트로피가 된다. 텐서 네트워크 계산의 비용이 이 양의 크기로 결정된다는 점에서 엔트로피가 곧 계산 복잡도의 척도로 쓰이는 드문 사례다.

8.1. CFD의 “엔트로피 조건”은 왜 그 이름인가[편집]

엔트로피 조건과 엔트로피 안정 도식에서 말하는 엔트로피는 열역학 엔트로피와 이름만 같은 것이 아니라 실제로 이어져 있지만, 부호가 뒤집혀 있다. 압축성 유동의 충격파를 통과하면 물리 엔트로피는 증가하고, 그 사실이 여러 개인 약해 중 물리적으로 실현되는 것을 골라 준다. 수학 쪽에서는 다루기 편하도록 볼록한 함수 $\eta$(예: $\eta=-\rho s$)를 잡아 $\partial_t\eta+\partial_x q\le0$ 이라는 부등식으로 쓰기 때문에, 물리 엔트로피가 증가하는 상황이 수학적 엔트로피가 감소하는 것으로 표현된다. 헷갈리기 딱 좋은 관례이므로 부호를 확인하는 습관이 필요하다. 자세한 내용은 해당 문서로.

9. 여담[편집]

• 클라우지우스가 이름을 지을 때의 의도는 노골적이었다. “에너지(Energie)와 최대한 비슷하게 들리되 그리스어 τροπή(변환)에서 따온 말”을 원했다는 것. 두 양이 같은 층위의 근본량임을 이름으로 못 박은 셈인데, 결과적으로 학생 수천만 명이 두 단어를 헷갈리게 만든 원인이기도 하다.
• 엔트로피는 물리학 밖으로 가장 많이 새어 나간 물리 개념이다. 경제학·생태학·조직론에서 “엔트로피가 증가한다”는 말이 은유로 쓰일 때 대부분은 거시상태와 앙상블을 정의하지 않은 채 쓰는 것이라 검증 가능한 진술이 아니다. 정의를 명시하는 순간 은유는 대개 사라진다.
• “무질서의 척도”라는 표준 설명은 편리하지만 자주 배신한다. 딱딱한 구 계에서 밀도를 올리면 무작위로 흩어진 배치보다 결정 배치의 엔트로피가 더 높아져 자발적으로 결정화한다(알더 전이). 무질서해 보이는 쪽이 지는 것이다. 정확한 문장은 언제나 “접근 가능한 미시상태의 수가 더 많은 쪽”이다.
• 정보 엔트로피에 “엔트로피”라는 이름을 붙이라고 섀넌에게 권한 사람이 폰 노이만이었고, 이유가 “아무도 엔트로피가 뭔지 모르니 논쟁에서 항상 유리할 것”이었다는 일화가 전해진다. 출처가 확실하지 않은 이야기지만, 이 문서의 절반이 그 농담을 증명하고 있다.

10. 관련 문서[편집]

• 열역학 제2법칙 · H 정리 · 로슈미트 역설 · 시간의 화살
• 정준 앙상블 · 미시정준 앙상블 · 에르고딕 가설 · 상전이
• 깁스 자유에너지 · 헬름홀츠 자유에너지 · 화학평형 · Cantera
• 최대 엔트로피 원리 · 쿨백-라이블러 발산 · 상호정보량 · 정보 기하
• 엔트로피 부호화 · 허프만 부호화 · 엔트로피 조건
• 얽힘 엔트로피 · 위상 엔트로피 · 이징 모형 · 자유에너지 섭동
• 맥스웰-볼츠만 분포 · 볼츠만 방정식 · 분자동역학 · 몬테카를로 방법

11. Footnotes[편집]

1. 클라우지우스가 1865년 논문 말미에 붙인 두 줄짜리 요약이 유명하다. “우주의 에너지는 일정하다. 우주의 엔트로피는 최대를 향한다.” 물리학 논문 결론부에서 우주 전체를 언급하는 것이 허용되던 시절의 문장이며, 요즘 저널에 이렇게 썼다가는 심사자에게 “우주가 고립계임을 보이시오”라는 코멘트를 받는다. ↩

2. $S=k\log W$ 를 이 형태로 처음 적고 $k$ 에 “볼츠만 상수”라는 이름을 붙인 사람은 플랑크다. 볼츠만 본인은 비례관계를 논증했지 상수를 이렇게 정의해 쓰지는 않았다. 묘비에 새겨진 식이 본인이 쓴 적 없는 형태라는 점이 이 분야 최고의 아이러니로 자주 인용된다. ↩

3. 아르곤·네온 같은 단원자 기체에서 자쿠어-테트로데 값과 열량계 값이 맞아떨어진 것은 1910년대에 이미 확인됐고, 이것이 “원자가 실재한다”는 간접 증거 목록에 조용히 한 줄 추가됐다. 볼츠만이 원자론 때문에 학계에서 시달리다 1906년에 죽었다는 것을 생각하면 타이밍이 잔인하다. ↩