본문으로 건너뛰기

머신러닝을 위한 기초 수학

1. 요약 및 일상 예시​

서론​

머신러닝 알고리즘의 성능과 효율성은 근본적으로 특정 핵심 수학 개념에 의존합니다.
모델이 데이터를 해석하고, 패턴을 학습하며, 예측을 수행하는 모든 과정은 수학적 원리의 정교한 적용을 통해 이루어집니다.

머신러닝의 근간을 이루는 핵심 수학 개념들을 명확히 설명하고,
각 개념이 실제 알고리즘 구현에 어떻게 응용되는지 분석하는 것을 목적으로 합니다.

핵심 내용 요약​

  • 수학적 모델링: 머신러닝은 함수, 행렬, 미분과 같은 기본 수학 원리를 기반으로 데이터를 해석하고 예측 모델을 구축합니다.
  • 핵심 작업과의 연관성: 선형회귀, 손실함수 계산, 최적화 알고리즘 등 머신러닝의 주요 작업들은 각각 특정 수학 개념과 직접적으로 연결되어 있습니다.
  • 실용적 구현 도구: Python의 SymPy 라이브러리는 이러한 복잡한 수학적 연산을 코드 내에서 효율적으로 구현하고 검증할 수 있는 실용적인 도구를 제공합니다.

일상 예시: 최고의 사진을 추천하는 스마트폰​

스마트폰으로 사진 여러 장을 찍었을 때, 갤러리 앱이 자동으로 가장 잘 나온 '인생샷'을 추천해주는 기능을 상상해봅시다.
머신러닝은 바로 이 과정에 수학을 사용합니다.

  1. 평가 (함수): 앱은 각 사진의 선명도, 구도, 인물의 표정 같은 요소들을 입력받아 '품질 점수'를 계산하는 규칙, 즉 함수(Function) 를 사용합니다.
  2. 최적의 선택 (최적화/미분): 모든 사진의 점수를 비교하여 최고점의 사진을 찾아낼 수 있습니다. 하지만 여기서 한 걸음 더 나아가, 사진의 밝기를 조절하여 '완벽한' 점수를 만들려 한다고 상상해봅시다. 이때 미분(Differentiation) 은 밝기를 얼마나 높이거나 낮춰야 점수가 가장 효율적으로 개선되는지를 알려주어 최적의 설정값으로 안내하는 수학적 도구입니다. 이처럼 머신러닝 모델은 미분을 통해 '학습'하고 성능을 개선합니다.

이제 이러한 기술의 근간이 되는 수학의 역사적 배경부터 구체적으로 살펴보겠습니다.

2. 인공지능과 수학: 역사적 관점​

현대 인공지능 기술을 깊이 있게 이해하기 위해서는 그 이론적 뿌리가 되는 역사적 배경을 아는 것이 중요합니다.
현대 인공지능의 개념은 앨런 튜링과 같은 선구자들이 제시한 수학적, 논리적 시스템 연구에서 시작되었습니다.
그의 연구는 단순한 이론을 넘어, 오늘날 우리가 사용하는 AI 기술의 토대를 마련했습니다.

앨런 튜링의 기여​

  • 튜링 머신 (Turing Machine): 앨런 튜링은 숫자와 부호를 이진법 체계로 처리하는 논리적 연산 모델인 '튜링 머신'을 개발했습니다. 이 추상적인 기계는 모든 계산 가능한 문제를 풀 수 있는 잠재력을 가졌으며, 현대 컴퓨터 과학과 인공지능의 이론적 시초로 평가받습니다.
  • 실제적 영향: 그의 이론은 현실 문제 해결에 결정적인 역할을 했습니다. 제2차 세계대전 당시, 튜링은 독일군의 암호 기계 '에니그마(Enigma)'를 해독하는 데 기여하여 연합군의 승리를 앞당겼습니다. 이는 수학적 모델이 어떻게 복잡한 현실 세계의 문제를 해결할 수 있는지 보여주는 대표적인 사례입니다.

튜링의 이론적 계산 모델이 현실 문제 해결의 초석이 되었듯, 이제 머신러닝에서 데이터를 처리하는 구체적인 시스템들이 수학을 통해 어떻게 구현되는지 선형 및 비선형 시스템의 비교를 통해 알아보겠습니다.

3. 머신러닝 시스템의 이해: 선형 vs. 비선형​

머신러닝 모델이 데이터를 해석하고 패턴을 학습하는 방식은 크게 선형(Linear) 과 비선형(Non-linear) 두 가지 시스템으로 나눌 수 있습니다.
이 둘의 근본적인 차이점을 이해하는 것은 해결하고자 하는 문제에 적합한 모델을 선택하고 설계하는 데 매우 중요합니다.

구분선형 시스템 (Linear System)비선형 시스템 (Non-linear System)
핵심 형태f(x) = Wx + b 형태의 직선적 관계를 가정합니다.활성화 함수 f(Z)를 통해 비선형적 관계를 모델링합니다. (여기서 Z = Wx + b)
구현구조가 단순하여 비교적 쉽게 구현할 수 있습니다.여러 신경망 층을 통과하며 학습하므로 복잡성이 높습니다.
데이터 처리모델이 가정한 직선 관계에 맞지 않는 데이터의 패턴은 학습하지 못합니다.직선에서 벗어난 데이터에도 의미를 부여하고 복잡한 패턴을 학습할 수 있습니다.
한계복잡한 패턴이나 예외적인 데이터를 처리하는 능력이 부족합니다.학습 과정이 복잡하고 더 많은 계산 자원을 필요로 합니다.

이러한 시스템들을 실제로 구현하고 작동시키기 위해 필요한 구체적인 수학적 도구들이 무엇인지 다음 섹션에서 자세히 분석하겠습니다.

4. 머신러닝의 핵심 수학 개념 분석​

이 섹션은 본 문서의 핵심으로, 머신러닝 알고리즘을 구성하는 가장 기본적인 네 가지 수학적 요소를 분석합니다.
함수, 수열, 행렬, 미분이 각각 머신러닝의 특정 부분에서 어떻게 활용되는지를 명확히 이해함으로써
알고리즘의 내부 동작 원리에 대한 통찰을 얻을 수 있습니다.

4.1. 함수 (Functions): 기본 모델링 도구​

함수는 입력과 출력 간의 관계를 정의하는 규칙입니다. 머신러닝에서 함수는 데이터의 패턴을 수학적으로 표현하고, 새로운 입력에 대한 출력을 예측하는 모델의 근간을 이룹니다.

  • 일차 함수 (y = ax + b)

    • 정의: 기울기(a)와 y절편(b)으로 정의되는 직선 형태의 함수입니다.
    • 핵심 용도: 선형 회귀 (Linear Regression) 모델의 기본 수식으로 사용되어 변수 간의 선형적 관계를 모델링합니다.

  • 이차 함수 (y = ax² + ...)

    • 정의: 아래 또는 위로 볼록한 포물선 형태를 그리는 함수입니다.
    • 핵심 용도: 모델의 예측값과 실제값의 차이(오류)를 측정하는 손실 함수(Loss Function) 로 널리 사용됩니다. U자 형태(볼록성)는 단 하나의 최솟값을 보장하므로 최적화 알고리즘이 안정적으로 최상의 해를 찾을 수 있게 합니다. 또한, 제곱 항은 큰 오류에 더 큰 페널티를 부여하여 모델이 심각한 실수를 더 공격적으로 수정하도록 유도합니다.

  • 지수 함수 (y = eˣ)

    • 정의: 밑이 자연상수 e인 함수로, 입력값이 커질수록 출력값이 기하급수적으로 증가하는 특징이 있습니다.
    • 핵심 용도: 인공 신경망에서 뉴런의 신호를 활성화할지 결정하는 활성화 함수(Activation Function) 로 사용됩니다. 지수 함수의 비선형적 특성은 신경망이 단순한 직선을 넘어 복잡한 패턴을 학습할 수 있게 만드는 핵심 요소입니다. 또한, 확률을 다루는 분류 문제의 손실 함수에도 활용됩니다.

  • 로그 함수 (y = logₑx)

    • 정의: 지수 함수의 역함수로, 큰 입력값의 편차를 줄여 데이터 분포를 안정시키는 효과가 있습니다.
    • 핵심 용도: 지수 함수와 마찬가지로 활성화 함수 및 분류 문제의 손실 함수(예: 교차 엔트로피 손실) 에 널리 사용됩니다.

4.2. 수열의 합과 곱 (Summation and Product of Sequences): 데이터 집계의 언어​

수열의 합(Σ, 시그마)과 곱(Π, 파이)은 여러 데이터 포인트를 하나의 값으로 집계하는 강력한 수학적 표기법입니다.
특히 머신러닝에서는 데이터 집합 전체의 특징을 요약하거나 모델의 전체 성능을 평가할 때 필수적으로 사용됩니다.

  • 합 (Summation - Σ)

    • 설명: Σ(i=1 to n) xi는 수열의 첫 번째 항인 x₁부터 마지막 항인 xn까지 모든 값을 더하는 것을 의미합니다.
    • 핵심 용도: 모든 데이터 샘플에 대한 예측 오류의 합을 계산하여 총 손실(Total Loss)을 구하는 손실 함수 등에서 핵심적인 역할을 합니다.

  • 곱 (Product - Π)

    • 설명: Π(i=1 to n) xi는 수열의 첫 번째 항인 x₁부터 마지막 항인 xn까지 모든 값을 곱하는 것을 의미합니다.
    • 핵심 용도: 확률 기반 모델에서 여러 독립 사건의 **결합 확률(Joint Probability)**을 계산하는 등의 작업에 사용됩니다.

4.3. 행렬 (Matrices): 데이터 구조와 연산의 근간​

행렬은 숫자들을 행(row)과 열(column)의 직사각형 형태로 배열한 구조입니다. 머신러닝에서 행렬은 대규모 데이터를 효율적으로 저장하고, 복잡한 연산을 한 번에 처리하는 핵심 데이터 구조로 기능합니다.

  • 데이터 표현: 이미지 픽셀 데이터, 사용자-아이템 평가 데이터 등 머신러닝의 기본적인 데이터 처리 단위로 행렬이 사용됩니다.

  • 원소별 연산 (Element-wise Operations): 두 행렬의 크기가 같을 때, 동일한 위치의 원소끼리 더하고, 빼고, 곱하고, 나누는 연산이 가능합니다. 이는 신경망의 편향(bias)을 더하는 등 특정 연산에 사용되며, 다음에 설명할 행렬곱과는 다른 규칙을 따릅니다.

  • 행렬곱 (Matrix Product / Dot Product)

    • 연산 규칙: 행렬곱은 (n x m) 행렬과 (m x k) 행렬처럼 앞 행렬의 열 개수와 뒤 행렬의 행 개수가 일치해야만 연산이 가능합니다. 예를 들어, (3x2) 행렬은 (2x5) 행렬과 곱할 수 있습니다.
    • 핵심 용도: 인공 신경망의 핵심 연산입니다. 입력 데이터와 각 뉴런의 가중치(weights)를 곱하는 순전파(Forward Propagation) 및 역전파(Backpropagation) 계산에 사용됩니다. 이 단일 연산은 한 계층의 모든 뉴런 출력을 동시에 계산하여 수많은 연산을 병렬로 효율적으로 처리하게 해주는 엔진 역할을 합니다. 이는 3장에서 설명한 비선형 시스템의 Z = Wx + b 연산을 실제로 구현하는 방식입니다.

4.4. 미분과 편미분 (Differentiation and Partial Differentiation): 최적화의 열쇠​

미분이란 특정 지점에서의 '순간 변화율' 또는 '기울기'를 구하는 과정입니다. 머신러닝에서는 모델의 성능을 나타내는 손실 함수(Loss Function)의 값을 최소화하는 방향으로 파라미터를 조정(학습)해야 하며, 이때 미분은 가장 효율적인 개선 방향을 알려주는 결정적인 역할을 합니다. (이 '기울기'는 머신러닝에서 흔히 **'그래디언트(gradient)'**라 불리며, 손실 함수 값이 가장 가파르게 증가하는 방향을 가리킵니다.)

  • 미분 (Derivative)
    • 정의: 단일 변수를 가진 함수에서 한 점의 기울기를 계산하는 것입니다.
    • 핵심 용도: **최적화 알고리즘(Optimization Algorithm)**에서 손실 함수를 최소화하는 방향(기울기가 0에 가까워지는 방향)을 찾기 위해 사용됩니다.
  • 편미분 (Partial Derivative)
    • 정의: 여러 변수를 가진 함수에서, 하나의 특정 변수에 대해서만 변화율을 계산하고 나머지 변수는 상수처럼 취급하는 미분 방식입니다.
    • 핵심 용도: 인공 신경망과 같이 수많은 가중치(변수)를 가진 모델에서, 각 가중치가 전체 손실에 미치는 영향을 개별적으로 계산하여 모델의 파라미터를 업데이트(학습)하는 데 사용됩니다.

지금까지 살펴본 추상적인 수학 개념들을 실제 코드로 어떻게 다룰 수 있는지, 파이썬의 SymPy 라이브러리를 통해 구체적으로 알아보겠습니다.

5. 수학 개념의 실용적 구현: SymPy 라이브러리​

SymPy는 파이썬에서 기호 계산(Symbolic Computation)을 가능하게 하는 강력한 오픈소스 라이브러리입니다. 학습자로서 여러분은 SymPy를 활용하여 머신러닝에 필요한 미분, 적분 등의 수학적 연산을 코드로 직접 구현하고 그 결과를 수학 공식처럼 검증할 수 있습니다.

주요 모듈 기능

  • .symbols 또는 Symbol()
    • 기능: SymPy에게 'x'나 'y'를 숫자를 담는 프로그래밍 변수가 아닌, 추상적인 수학적 '기호'로 다루라고 알려주는 결정적인 첫 단계입니다. 이를 통해 x²+2x+1과 같은 수식을 코드로 직접 만들고 조작할 수 있습니다.
  • .diff()
    • 기능: 이 함수를 사용하면 수동 계산 없이 미분을 자동으로 수행할 수 있습니다. 복잡한 손실 함수의 그래디언트도 단 한 줄의 코드로 구할 수 있어 매우 편리합니다.
  • .integrate()
    • 기능: 주어진 수식을 특정 변수에 대해 적분하여 미분의 역연산을 코드로 구현할 수 있게 해줍니다.
  • .expand()
    • 기능: (x+1)²와 같이 압축된 다항식을 x²+2x+1 형태로 완전히 전개하여 수식의 전체 구조를 명확하게 파악하는 데 도움을 줍니다.
  • .factor()
    • 기능: .expand()와 반대로, x²+2x+1처럼 전개된 다항식을 (x+1)² 형태로 인수분해하여 수식을 간결하게 만들 때 사용합니다.

이론적 배경부터 실제 구현 도구까지 살펴보았으니, 마지막으로 전체 내용을 종합하고 머신러닝 학습자에게 수학이 갖는 의미를 되새기며 결론을 맺겠습니다.

6. 결론: 머신러닝의 언어로서의 수학​

본문에서 살펴본 바와 같이, 함수, 행렬, 미분과 같은 수학적 원리들은 단순히 추상적인 개념에 그치는 것이 아닙니다. 이들은 선형 회귀 모델의 설계, 인공 신경망의 데이터 처리(순전파/역전파), 그리고 모델 성능을 극대화하는 최적화 과정에 이르기까지, 머신러닝의 모든 단계에서 실질적인 작동 메커니즘을 구성하는 필수적인 언어입니다.

이러한 수학적 원리에 대한 확고한 이해는 여러분을 단순히 머신러닝 라이브러리를 사용하는 사용자에서, 모델의 문제를 진단하고, 성능을 미세 조정하며, 궁극적으로는 더 효과적인 모델을 설계할 수 있는 실무자로 변화시킵니다. 수학은 머신러닝이라는 강력한 시스템이 실제로 어떻게 작동하는지에 대한 통제력과 통찰력을 부여하는 언어입니다.