머신러닝이란 무엇인가요?

머신러닝은 공상 과학 소설에나 등장하는 용어였지만, 최근 몇 년 사이 기업이 정보를 처리하는 핵심적인 방식으로 자리잡으며 일상적인 용어가 되었습니다. 데이터 생성 속도가 기하급수적으로 증가함에 따라 머신러닝은 데이터로부터 패턴을 발견하고, 추세를 파악하고, 가장 수익성이 높은 경로를 모색하려는 기업을 위한 필수적인 도구 역할을 수행하고 있습니다.

머신러닝은 얼마나 일상적으로 사용되고 있을까요? 이커머스 웹사이트 또는 스트리밍 플랫폼의 제안을 클릭했거나, 신용카드 오용 가능성에 대한 알림을 받았거나, 음성을 텍스트로 변환해 주는 소프트웨어를 사용했다면 이미 머신러닝을 사용해 본 경험이 있는 것입니다. 머신러닝은 금융, 의료, 마케팅, 리테일을 비롯한 다양한 산업에서 데이터로부터 가치 있는 인사이트를 추출하고 프로세스를 자동화하는 데 사용되고 있습니다.

머신러닝이란 무엇인가요?

머신러닝(ML)은 데이터를 처리하며 지속적으로 학습하고 개선하는 시스템을 구축하기 위한 인공지능의 하위 집합입니다. 인공지능은 인간의 지능을 모방한 시스템이나 기계를 지칭하는 포괄적인 용어입니다. 머신 러닝과 AI는 함께 논의되는 경우가 많고 서로 교환해서 사용되기도 하지만 같은 것을 의미하지는 않습니다.

즉, 모든 머신러닝은 AI이지만 모든 AI가 머신러닝인 것은 아닙니다.

핵심 요점

• 머신러닝은 AI의 하위 집합입니다.
• 머신러닝의 가장 일반적인 네 가지 유형은 지도, 비지도, 반지도, 강화입니다.
• 널리 사용되는 머신러닝 알고리즘 유형으로는 신경망, 의사 결정 트리, 클러스터링, 랜덤 포레스트 등이 있습니다.
• 비즈니스에서 흔히 사용되는 머신러닝 사용 사례로는 개체 식별 및 분류, 이상 징후 감지, 문서 처리, 예측 분석 등이 있습니다.

머신 러닝 설명

머신러닝은 매우 대규모인 경우가 많은 데이터 세트를 검색해 단순한 통계 분석을 넘어 패턴 및 추세를 발견함으로써 데이터로부터 그간 알려지지 않았던 관계성을 새롭게 발견하는 기술입니다. 머신러닝은 데이터의 패턴을 식별하도록 훈련된 정교한 알고리즘을 사용해 모델을 생성합니다. 생성한 모델은 예측을 수행하고 데이터를 분류하는 데 사용할 수 있습니다.

알고리즘은 모델과 동일하지 않다는 사실에 유의해야 합니다. 알고리즘은 특정 문제를 해결하거나 특정 작업을 수행하는 데 사용되는 일련의 규칙 및 절차이고, 모델은 데이터 세트에 알고리즘을 적용한 결과 또는 결과물입니다.

훈련 전에는 알고리즘만이 존재합니다. 훈련 후에는 모델이 구축됩니다.

예를 들어, 머신러닝은 의료 분야에서 의료 영상 분석, 예측 분석, 질병 진단 등의 작업에 널리 사용되고 있습니다. 머신러닝 모델은 MRI 스캔, X-레이, CT 스캔과 같은 의료 이미지를 분석해 패턴을 식별하고, 사람의 눈에는 보이지 않거나 피로한 진단 담당자가 놓칠 수 있는 이상 징후를 감지하기 위한 이상적인 도구입니다. 또한 머신러닝 시스템은 증상, 유전 정보 등의 환자 데이터를 분석해 암, 당뇨병, 심장병과 같은 질환에 대한 검사를 제안할 수 있습니다.

머신러닝의 주요 기능은 다음과 같습니다.

• 자동 패턴 파악
• 가능성 있는 결과 예측
• 실용적인 정보 생성
• 대량의 데이터 분석

머신러닝의 유형

머신러닝에는 크게 네 가지 유형이 있습니다. 각 유형별 장점과 한계를 파악해 수행하고자 하는 작업에 적합한 접근 방식을 선택하는 것이 중요합니다.

• 지도 학습은 가장 일반적인 유형입니다. 본 방식은 레이블이 지정된 데이터가 알고리즘이 어떤 결론을 내려야 하는지 알려줍니다. 아이가 그림책의 과일 그림을 보고 실제 과일을 식별하는 법을 배우는 것처럼, 지도 학습은 이미 레이블이 지정된 데이터 세트로 알고리즘을 학습시킵니다. 지도 학습의 예시로는 스팸 이메일 필터를 들 수 있습니다. 관련 알고리즘은 스팸 또는 스팸이 아닌 것으로 태그가 지정된 이메일로 구성된 데이터 세트를 학습합니다. 레이블이 지정된 예제를 학습한 모델은 식별한 패턴을 기반으로 새로 수신되는 이메일이 스팸일 가능성이 있는지 여부를 예측할 수 있습니다. 이러한 유형의 지도 학습은 알고리즘이 학습을 통해 정확한 예측을 수행할 수 있도록 인간 전문가가 데이터에 레이블을 지정해 정답을 제공해야 합니다.
  
  깨끗한 데이터를 사용한 학습이 목적이 아니라는 사실에 유의해야 합니다. 학습 데이터는 시스템이 실제로 처리하게 될 스팸 메일을 모방해야 합니다. 일부 스팸은 쉽게 발견할 수 있지만, 은밀하거나 모호한 형태의 스팸도 존재합니다. 지나치게 깨끗한 데이터는 모델이 다른 깨끗한 샘플만을 식별할 수 있게 되는 과적합 현상을 야기할 수 있습니다.
• 비지도 학습은 컴퓨터가 사전에 레이블이 지정된 데이터에 의존하지 않고도 복잡한 프로세스와 패턴을 식별하는 방법을 학습하는 더욱 독립적인 접근 방식을 사용합니다. 비지도 학습은 레이블이 없는 데이터를 기반으로 학습할 뿐만 아니라, 이메일의 스팸 가능성 여부와 같이 구체적이고 정의된 결과물을 요구하지도 않습니다.
  
  비지도 학습을 거친 모델은 유사한 데이터의 그룹을 발견해 클러스터를 생성하는 경향이 있습니다. 학습을 완료한 모델은 유사한 패턴을 식별하고 해당 데이터를 적절한 그룹으로 분류할 수 있습니다. 비지도 머신러닝의 일반적인 용례로는 소비자 애플리케이션에서 '이 제품을 구매한 고객들은 이런 제품도 구매했다'는 제안을 제공하는 데 사용되는 추천 엔진이 있습니다. 유사하지 않은 패턴이 발견되면 알고리즘은 이를 이상 징후로 식별할 수 있으므로 사기 감지에도 유용합니다.
• 반지도 학습모델을 완전히 학습시키기에는 레이블이 지정된 데이터가 충분하지 않을 경우 사용 가능한 방식입니다. 예를 들어, 대규모 학습 데이터 세트가 있지만 전체 세트에 레이블을 지정하기 위한 시간과 비용을 들이고 싶지 않은 경우가 있을 수 있습니다. 지도 방식과 비지도 방식을 조합해 사용하면 완전히 학습된 모델을 얻을 수 있는 경우가 많습니다. 반지도 학습 프로세스는 지도 학습과 마찬가지로 레이블이 지정된 데이터를 사용해 초기 결과를 도출하고 알고리즘에 대한 지침을 설정하는 것으로 시작됩니다. 레이블이 지정된 데이터가 모두 소진되고 나면 반쯤 학습된 상태인 모델에 레이블이 지정되지 않은 데이터 세트가 주어집니다. 해당 모델은 레이블이 지정된 데이터 세트에 추가하기 위해 기존에 학습한 내용을 바탕으로 레이블이 지정되지 않은 데이터를 살펴봅니다. 모델이 샘플과 일치하는 레이블을 높은 정확도로 찾을 수 있는 경우 해당 샘플이 레이블이 지정된 데이터에 추가됩니다. 같은 학습 프로세스가 다시 반복되지만, 이번에는 더 많은 레이블이 지정된 샘플 세트를 사용하게 됩니다. 반복할수록 더 많은 샘플에 의사 레이블(pseudo-labels)이라고 하는 레이블을 지정하고 모델을 더욱 세분화할 수 있습니다.

  강화 학습은 비지도 학습과 마찬가지로 레이블이 지정되지 않은 데이터 세트를 사용하며 알고리즘이 데이터를 평가하도록 합니다. 그러나 강화 학습은 알고리즘이 데이터를 탐색하며 어떤 패턴이 존재하는지 직접 발견하도록 하는 대신 정해진 목표를 향해 작업하도록 한다는 점이 다릅니다. 알고리즘은 주어진 목표를 바탕으로 시행착오를 거듭하는 프로세스를 진행합니다. 각각의 움직임에는 긍정, 부정, 중립적인 피드백이 주어지고 알고리즘은 이를 통해 전반적인 의사 결정 과정을 개선합니다. 강화 학습 알고리즘은 단기적으로는 부정적인 결과를 도출하더라도 거시적인 차원에서는 프로젝트 목표에 점점 가까워지는 방식으로 작동합니다. 즉, 강화 학습은 프로젝트 목표라는 큰 맥락에 따라 위험이 내재된 선택을 수행하기도 하므로 다른 방식보다 더 복잡하고 역동적인 상황을 처리할 수 있습니다. 컴퓨터에게 체스를 가르치는 것이 좋은 예입니다. 전체적인 목표는 게임에서 승리하는 것이지만, 게임이 진행되는 과정에서는 말을 희생시켜야 할 때도 있기 때문입니다.

귀사의 목표를 달성하는 데는 어떤 유형이 가장 적합할까요? 지도 학습 또는 다른 세 가지 학습 방법 중 하나를 선택하는 기준은 일반적으로 가용 데이터의 구조 및 볼륨, 학습에 투입할 수 있는 예산 및 시간, 최종 모델을 적용하고자 하는 사용 사례 등에 따라 달라집니다. 블라우스에 어울리는 스커트를 제안하는 모델을 구축하는 과정에서는 어떤 방식을 사용하든 큰 차이가 없을 수 있습니다. 반면 종양을 찾아내는 모델의 경우 모델의 학습 방식이 환자의 생사를 좌우할 수도 있습니다.

머신러닝의 작동 방식

머신러닝은 그 이름과도 같이 프로그래머가 문제 해결을 위한 정적인 알고리즘을 개발하는 고전적인 방식 대신 모델이 훈련 데이터를 직접 분석해 주어진 목적에 맞춰 개선된 컴퓨터 기반 통계 모델을 생성하는 방식으로 작동합니다. 데이터 과학자는 데이터 세트가 ML 모델을 통과한 결과물의 정확도를 판단해 하이퍼파라미터라는 일련의 설정된 변수와 학습 파라미터라는 알고리즘으로 조정된 변수를 사용해 모델을 조정할 수 있습니다.

알고리즘은 학습 데이터를 분석하며 조정되므로 새로운 데이터에 대한 노출 및 계산 프로세스를 통해 작업을 더 잘 수행하도록 알고리즘을 훈련시킬 수 있습니다. 알고리즘은 모델 훈련 프로젝트의 계산을 담당하는 요소이며, '모델'이라는 용어는 실제 사용 사례에 적용할 수 있는 훈련된 알고리즘을 의미합니다.

머신러닝 프로젝트에 가장 적합한 경로는 범위, 리소스, 목표에 따라 결정되지만, 그 과정은 대부분 다음과 같은 일련의 단계를 거치게 됩니다.

1. 데이터 수집 및 컴파일

ML 모델을 훈련하려면 대량의 고품질 데이터가 필요합니다. 그만한 데이터를 찾기가 어려울 수도 있고, 레이블링 작업은 매우 리소스 집약적일 수 있습니다. 잠재적인 데이터 소스를 찾아낸 뒤에는 평가 작업을 통해 데이터의 전반적 품질을 파악하고 프로젝트의 기존 데이터 통합/저장소 리소스와의 연계성을 결정합니다. 데이터 소스는 머신러닝 프로젝트에 필요한 훈련의 기반이 됩니다.

2. 원하는 모델 생성을 위한 적절한 알고리즘 선택

데이터 과학자는 지도, 비지도, 준지도 등 프로젝트에 사용할 학습법에 따라 가장 적합한 알고리즘을 선택합니다. 예를 들어, 레이블이 지정된 데이터 세트가 있는 간단한 프로젝트의 경우 의사 결정 트리를 사용할 수 있지만, 클러스터링(데이터 샘플을 유사한 개체 그룹으로 나누는 것)의 경우 알고리즘이 비지도 방식으로 작동해 목표에 이르는 최적의 경로를 스스로 결정하므로 더 많은 컴퓨팅 리소스가 필요합니다.

3. 분석을 위한 데이터 정제 및 준비

데이터가 바로 사용 가능한 준비가 되어 있지 않을 가능성도 있습니다. 데이터 준비는 훈련 중 모든 레코드를 간단히 가져올 수 있도록 데이터 세트를 정리하는 작업입니다. 데이터 준비는 날짜 및 시간 형식 설정, 필요에 따른 열 조인 또는 분리, 기타 형식 매개변수 설정(예: 실제 숫자 데이터의 허용 가능한 유효 자릿수) 등의 다양한 변환 작업을 통해 수행됩니다. 다른 주요 작업으로는 중복 레코드 정리(또는 데이터 중복 제거), 이상값 식별 및 제거 등이 있습니다.

4. 훈련을 통한 모델 교육

원하는 최종 모델을 선택한 뒤에는 훈련 프로세스가 시작됩니다. 훈련 과정에는 레이블이 지정되거나 또는 지정되지 않은 선별된 데이터 세트를 알고리즘에 공급합니다. 초기 실행에서는 좋지 않은 결과가 도출될 수도 있으며 데이터 과학자는 필요에 따라 성능을 개선하고 정확도를 높이기 위한 조정을 수행합니다. 더 정확한 조정을 위해 다음 번에는 알고리즘에 더 많은 양의 데이터를 보여주는 것이 일반적입니다. 알고리즘이 더 많은 데이터를 볼수록 최종 모델이 더 정확한 결과를 도출할 수 있습니다.

5. 모델 성능 및 정확도 평가

충분한 정확도로 모델을 훈련시킨 뒤에는 훈련 시에는 볼 수 없었던 데이터를 제공해 모델의 성능을 테스트합니다. 테스트에 사용되는 데이터는 초기 훈련 뒤 사용하기 위해 따로 보관해 두었던 훈련용 데이터의 하위 집합인 경우가 많습니다.

6. 모델 매개변수 미세 조정 및 보강

이제 모델이 배포 가능한 수준에 가까워졌을 가능성이 높습니다. 테스트 데이터 세트를 사용해 모델을 실행하면 정확도가 높은 결과를 얻을 수 있습니다. 모델 보강은 일반화된 데이터로 훈련된 모델에 특정 데이터(많은 경우 고유한 기업별 운영 데이터)를 추가적으로 학습시켜 보완하는 방식으로 이루어집니다.

7. 모델 배포

모델의 결과값이 최적화되었다면 해당 모델은 일반적인 운영 환경에서 훈련 과정에서는 접할 수 없었던 데이터를 처리할 준비를 마친 것입니다. 모델을 운영 환경에 배포한 프로젝트 팀은 실제 시나리오에서 모델이 어떻게 작동하는지에 대한 데이터를 수집합니다. 데이터 수집은 모델 산출물의 정확도, 모델 예측의 전반적 정확도, 양성 데이터를 정확하게 예측하는 비율인 리콜 등의 주요 성능 메트릭을 모니터링하는 방식으로 이루어집니다. 또한 모델의 예측이 실제 비즈니스 성과에 어떤 영향을 미치는지, 예를 들어 블라우스의 판매량 증가, 진단 성공률 상승 등의 실질적인 가치를 창출하는지 여부도 함께 고려해야 합니다.

모델 성능에 대한 정기적인 감사 및 검토를 수행하는 것은 배포 후 사용 과정에서 발생 가능한 문제 또는 왜곡을 식별하는 데 도움이 될 수 있으며, 모델의 효과적 작동 및 목표 달성을 위한 필수 요소입니다.

머신러닝 알고리즘

알고리즘은 머신러닝 프로젝트의 계산을 담당하는 요소입니다. 훈련된 알고리즘은 일정한 통계적 확률로 질문에 답하거나 목표를 달성할 수 있는 모델을 구축합니다. 목표는 '고양이를 모두 찾기'과 같이 이미지로부터 특정 요소를 찾는 것일 수도 있고, 사기, 스팸, 기계의 유지보수가 필요한 부분 등을 암시하는 데이터의 이상 징후를 발견하는 것일 수도 있습니다. 구매자가 장바구니에 추가한 항목을 기반으로 구매 확률이 높은 다른 의류 품목을 예측하는 등의 예측 작업에 사용되는 알고리즘도 있습니다.

머신러닝에 사용되는 가장 일반적인 알고리즘은 다음과 같습니다.

• 신경망: 인간의 뇌는 눈의 이미지 처리, 기억 저장, 근육 제어 등 다양한 기능을 수행하는 노드 네트워크를 생성하는 방식으로 작동합니다. 컴퓨터 기반 신경망은 이러한 뇌의 구조를 모델로 삼아 분석된 데이터와 인접한 노드의 데이터 간의 관계를 평가하는 노드 레이어를 만듭니다. 여러 노드가 네트워크를 이루어 함께 작동하며 사진 속 요소와 같은 데이터의 특징을 파악합니다.
• 선형 회귀: 선형 회귀 알고리즘은 데이터 포인트를 가져와 예측 결과를 가장 잘 뒷받침하는 선에 대한 수학적 방정식을 구축합니다. 이를 '최적선(line of best fit)'이라고도 합니다. 선형 회귀는 방정식의 변수를 조정해 예측의 오류를 최소화하는 방식으로 작동합니다. 선형 회귀의 예시는 소아과 진료에서 찾아볼 수 있습니다. 과거 데이터를 기반으로 다양한 데이터 포인트를 사용하면 어린이의 키와 몸무게를 예측할 수 있습니다. BMI 역시 키 및 몸무게와 전신의 체지방 간의 연관성을 찾기 위한 선형 회귀법입니다. 선형 회귀 알고리즘은 예측에 단순한 선을 사용하므로 오차율이 높을 수 있습니다. 예를 들어 BMI 30은 비만을 의미합니다. 이는 일반인에게는 해당되는 경우가 많지만 NFL 라인배커와 같은 근육질의 운동선수에게는 해당되지 않는 기준입니다.
• 논리 회귀: 이진법적 결과 도출에 가장 적합한 알고리즘인 논리 회귀는 선형 회귀와 비슷하지만 가능한 데이터 범위의 경계에 특별한 고려 사항을 적용합니다. 논리 회귀의 예시로는 잠재 고객을 유료 고객으로 전환할 가능성에 대한 pass/fail 분석을 들 수 있습니다. 논리 회귀는 의학적 진단에 자주 사용됩니다. 예를 들어 특정 범위 이상의 혈장 포도당 농도는 당뇨병 가능성을 나타내는 강력한 지표입니다. 이메일의 스팸 여부, 또는 신용카드 거래의 사기 여부를 예측하는 데에도 논리 회귀를 사용할 수 있습니다.
• 클러스터링: 클러스터링은 레이블이 지정되지 않은 데이터 세트에 알고리즘을 노출시키고 데이터를 각자 별개의 그룹 또는 클러스터별로 구분하도록 만드는 비지도 학습의 한 형태입니다. 알고리즘은 학습 데이터를 분석할 때 데이터 간의 패턴 및 중복되는 세부 정보를 검색해 그룹을 만듭니다. 다양한 과일의 영양가를 조사하는 알고리즘을 가정해 보겠습니다. 해당 알고리즘은 감귤류를 한 그룹, 베리류를 다른 그룹, 멜론은 세 번째 그룹으로 묶을 수 있다는 사실을 깨달을 수 있습니다. 분류를 통해 각 클러스터별 특징을 더 쉽게 이해할 수 있습니다. 클러스터링은 시장 세분화를 비롯한 모든 종류의 범주화 프로젝트에 특히 유용합니다.
• 의사 결정 트리: 의사 결정 트리는 지도 학습과 기본적인 if-then 진행을 사용해 예측을 수행합니다. 의사 결정 트리는 프로젝트의 복잡성을 기준으로 간단한 결과를 도출하고 리소스를 적게 사용하는 알고리즘이 필요한 경우에 적절한 선택입니다. 예를 들어 대학에서는 의사 결정 트리를 사용해 신입생이 고등학교에서 4년 동안 영어를 수강했는지, 수강했다면 해당 수업에서 3.6 이상의 GPA를 받았는지 등을 순차적으로 확인해 1학년 대상 영어 수업을 수강하지 않아도 되는 학생들을 선정할 수 있습니다. 해당 의사 결정 트리의 다른 가지에는 학생이 읽기, 쓰기, 언어 SAT 영역에서 특정 기준점보다 높은 점수를 받았는지와 같은 간단한 기준이 포함될 수도 있습니다.
• 랜덤 포레스트: 의사 결정 트리는 경직된 워크플로, 평가를 위한 모든 질문에 답해야 함 등 자체적인 요구 사항에 따른 한계를 지니고 있습니다. 위의 의사 결정 트리 예시에서 대학은 학생이 한 가지 조건만 충족하면 충분한 경우에도 두 가지 조건을 모두 충족하도록 요구할 수 있습니다. 또한 학생이 입학 에세이를 얼마나 잘 썼는지 등 고려해야 할 다른 요소가 있을 수도 있습니다. 학생들이 세 가지 조건을 모두 충족할 것을 요구하는 대학은 의사 결정 트리의 '과적합'을 요구하는 문제를 발생시키는 것입니다. 물론 세 가지 기준 모두를 충족하는 학생은 기초 영어 강의를 수강하지 않더라도 괜찮을 가능성이 높습니다. 그러나 모든 조건을 충족하지는 않지만 충분한 영어 실력을 갖추고 있는 학생의 경우 불필요한 강의를 수강해야만 합니다. 랜덤 포레스트는 다양한 의사 결정 트리를 한데 모아 결과를 누적하고 가중치를 부여함으로써 더 넓은 관점을 제시합니다. 랜덤 포레스트를 선택하면 프로젝트를 진행하는 과정에서 의사 결정 트리의 핵심 메커니즘을 그대로 사용하면서도 데이터 포인트 간의 미묘한 관계를 함께 고려할 수 있습니다. 예를 들어, 위 예시의 대학에서는 세 가지 기준을 별도의 의사 결정 트리로 나눈 뒤 가중치를 적용해 고등학교 영어 성적이 좋았던 학생이 영어 실력이 뛰어날 가능성이 가장 높고, 에세이 성적은 가장 낮다는 사실을 파악해 기초 영어 강의를 수강하지 않아도 되는 학생을 선정할 수 있습니다.

신경망을 넘어서

머신러닝은 방대한 알고리즘을 사용합니다. 앞서 설명한 알고리즘들이 가장 많이 사용되지만, 그보다는 덜 일반적이면서도 유용한 5가지 알고리즘은 다음과 같습니다.

머신러닝의 이점

기업은 머신러닝을 통해 데이터로부터 다른 방법으로는 찾을 수 없었던 인사이트를 도출할 수 있습니다. 기업의 프로세스에 머신러닝을 통합해 얻을 수 있는 가장 일반적인 이점은 다음과 같습니다.

• 의사 결정 및 예측 분석 간소화: 데이터 기반 의사 결정은 데이터 분석으로부터 시작됩니다. 수동으로 분석 프로세스를 수행하면 시간과 리소스가 많이 소요되고 비용을 정당화할 만큼 풍부한 인사이트를 얻지 못할 수 있습니다. 반면 머신러닝은 대량의 데이터를 검색하여 추세와 패턴을 파악할 수 있으므로 사용자는 수동 데이터 처리를 최적화하는 대신 쿼리와 실행 가능한 결과에 집중할 수 있습니다. 머신러닝은 사용하는 분석 도구에 따라 예측을 수행하고 데이터로부터 찾기 어려운 인사이트를 식별해 분석의 깊이를 더하고 기업에 더 많은 가치를 제공할 수 있습니다.
• 효율성 향상 및 작업 자동화: 머신러닝은 작업자의 업무 효율성 향상에 기여하는 많은 기술의 근간이 됩니다. 머신러닝의 발전으로 인해 맞춤법 검사, 문서 디지털화 및 분류 등 낮은 인지능력을 요하고 반복적인 작업은 이제 컴퓨터가 자동으로 처리할 수 있습니다.
  
  또한 머신러닝은 인간에게는 매우 어려운 초고속, 실시간 데이터 분석에도 탁월한 능력을 발휘합니다. 이것은 사기성 거래인가요? 피싱 사기 이메일인가요? 많은 경우 머신러닝 시스템은 수 초 내로 정확하게 판단하고 자동으로 적절한 조치를 취할 수 있습니다. 머신러닝 기술은 데이터를 활용한 예측을 수행하고 예측에 영향을 미친 요인에 대한 설명을 함께 제공해 경영진이 기업에 가장 적합한 경로를 계획할 수 있도록 데 기여합니다.
• 서비스의 개인화 및 혁신: 머신러닝은 개인화를 통해 고객 경험의 새로운 시대를 열었습니다. 구매 내역, 검색 기록, 인구 통계 데이터 및 추가 정보를 사용해 개별 고객 프로필을 구축하고 유사한 프로필과의 상호 참조를 통해 고객의 관심사를 예측할 수 있습니다. 이를 통해 추천 엔진 제안, 자동 생성된 할인 등의 다양하고 개인화된 참여 유도 수단을 제공해 고객의 지속적인 재방문을 유도할 수 있습니다.
  
  앞서 설명한 개념들을 활용해 보겠습니다. 의사 결정 트리는 고객을 분류하는 데 도움을 줍니다. 빈티지 및 중고 패션을 좋아하는 고객도 있고, 최첨단 디자이너 의류를 좋아하는 고객도 있을 것입니다. 비슷한 고객을 서로 클러스터링하면 클릭할 가능성이 높은 제품, 할인 판매시 판매율이 상승할 제품 등을 식별할 수 있습니다. 클러스터링이 완료되면 머신러닝은 각 고객이 어떤 클러스터에 속하는지 고려해 각 고객에게 가장 적합한 제안이 무엇일지 예측할 수 있습니다.

머신러닝 관련 도전 과제

머신러닝 프로젝트의 효과는 프로젝트 구축에 사용된 시스템과 자원의 효율성에 비례합니다. 이는 적절한 계획 및 준비를 위한 투자의 중요성을 강조합니다.

머신러닝 프로젝트가 직면하는 가장 일반적인 도전 과제는 다음과 같습니다.

• 데이터 품질: 데이터 품질은 훈련 단계 및 운영 단계 모두를 좌우하는 매우 중요한 요소입니다. '쓰레기를 입력하면 쓰레기가 출력된다'는 표현은 머신러닝에도 적용됩니다. 고품질 데이터는 보다 정확한 결과를 효율적으로 적시에 제공할 수 있지만, 저품질 데이터는 모델의 부정확성과 왜곡을 초래할 수 있습니다. '품질'은 프로젝트마다 다른 의미를 가질 수 있다는 점에 유의해야 합니다. 이미지 인식 시스템 훈련의 경우, 데이터는 모델이 실제 세계에서 볼 수 있는 피사체들을 담고 있어야 합니다. 그림자에 가려 있거나, 초점이 약간 맞지 않거나, 카메라를 직접 바라보지 않는 피사체 등이 그 예입니다. 훈련의 목적을 고려하면 시스템이 실제 환경에서 볼 수 있는 것과 유사한 데이터일수록 좋은 데이터라 할 수 있습니다.
  
  기업은 고품질의 데이터를 확보하기 위해 데이터 소스를 조사하고, 일관적이고 호환 가능한 형식으로 데이터 세트를 변환하고, 정리 및 중복 제거 절차를 실행하고, 사용자들에게 프로세스 및 프로토콜에 대한 교육을 제공하고, 품질 및 적합성 평가 도구를 통합해야 합니다.
• 편향: 데이터가 정제되었을 수는 있습니다. 하지만 편향되어 있지는 않은가요? 간단한 예로, 사진에서 개를 감지하도록 머신러닝 시스템을 훈련시키는 상황에서 데이터 세트가 래브라도와 푸들 사진으로만 구성되어 있다고 가정해 보겠습니다. 모델 훈련 후 해당 모델은 두 견종을 잘 감지합니다. 그러나 이는 편향된 감지 능력입니다. 불독 사진을 보여주면 개를 찾지 못했다고 답할 것이기 때문입니다. 훈련 방식을 생각해 보면 당연한 결과입니다.
  
  올바른 훈련용 데이터 세트를 만드는 것은 원하는 방식으로 작동하는 머신러닝 도구를 구축하는 과정에서 가장 까다롭고 비용이 많이 드는 부분 중 하나입니다. 특정 유형의 데이터를 찾는 것이 어렵다면 의도하지 않은 편향이 발생할 수 있습니다. 예를 들어, 티베트 마스티프는 희귀 품종이지만 주황빛 갈색 뉴펀들랜드와 비슷하게 생겼습니다. 따라서 티베트 마스티프에 대한 데이터 샘플이 충분하지 않은 경우 머신러닝 모델이 티베트 마스티프를 뉴펀들랜드로 식별하더라도 크게 놀랄 일은 아닙니다.
• 데이터 보안: 머신러닝은 많은 이점을 제공하지만 다양한 보안 문제를 야기할 수도 있습니다. 머신러닝 분석에 사용되는 데이터에는 공개해서는 안 되는 민감한 정보나 독점 정보가 포함될 수 있습니다. 또한 데이터는 모델을 오염시키고 잘못된 정보를 결과에 포함시키려는 사이버 공격의 표적이 될 수 있습니다. 데이터 준비는 보안 취약성을 노출시킬 수도, 해결할 수도 있는 단계입니다. 특히 데이터 세트를 시스템 간에 내보내기 또는 가져오기 프로세스를 거치는 과정에서 그렇습니다. 기업은 보안 문제를 완화하기 위해 실질적인 직원 교육을 포함한 다양한 보안 정책, 절차, 통제 수단을 도입해야 합니다.
• 데이터 프라이버시: 민감한 데이터가 공개되지 않도록 방지하기 위해서는 지속적인 노력이 필요합니다. 데이터 익명화는 새로운 관행이지만 항상 사용 가능하지 않을 수도, 그것만으로는 충분하지 않을 수도 있습니다. 예를 들어, 수집한 고객 데이터를 기반으로 비즈니스 고객이 최종 소비자에 대한 더 많은 정보를 알 수 있는 서비스를 제공하고자 하는 기업을 가정해 보겠습니다 그러한 유형의 정보는 법적 요건에 따라 보호되고 사용되어야 하며, 해당 기업은 머신러닝 시스템을 통해 데이터를 손상시킬 수 있는 새로운 위협 경로를 신중하게 고려해야 합니다.

머신러닝 사용 사례

머신러닝은 거의 모든 산업, 기업 내 거의 모든 부서에 유의미한 이점을 제공할 수 있습니다. 충분한 숫자 및 데이터가 존재하는 경우, 머신러닝은 효율성을 높이고 새로운 유형의 참여를 이끌어낼 수 있는 방법을 제공합니다. 산업 전반의 일반적 머신러닝 사용 사례는 다음과 같습니다.

• 리테: 머신러닝은 리테일 업체의 운영, 판매 등에 도움을 줄 수 있습니다 운영 차원에서 머신러닝은 공급망 데이터를 분석해 재고 관리를 최적화하고 지연 가능성을 조기에 파악할 수 있습니다. 판매 증대 차원에서 머신러닝은 고객 인구통계 정보, 고객의 검색 및 탐색 기록을 함께 검색해 향후 고객 참여 전략의 기반이 될 프로필을 구축할 수 있습니다.
• 스트리밍 미디어: 리테일 업체와 마찬가지로 오디오 및 비디오 스트리밍 업체도 사용자의 참여 및 검색 기록, 인구통계학적 데이터를 기반으로 고객 프로필을 구축할 수 있습니다. 해당 프로필은 검색 및 추가 참여 유도에 기여하는 추천 엔진 강화에 사용됩니다.
• 금융: 머신러닝의 가장 강력하면서도 간단한 사용 사례 중 하나는 금융 업계의 사기 탐지입니다. 머신러닝을 통해 알고리즘은 일반적인 계정 행동을 파악한 뒤 비정상적인 행동에 잠재적인 사기 조사를 위한 플래그를 지정합니다.
• 보건의료 : 보건의료 산업은 거의 모든 운영에 머신러닝을 사용할 수 있습니다. 전자 의료 기록을 통한 환자 프로필은 유사한 인구 통계와 비교한 패턴을 기반으로 발생 가능한 문제를 미리 파악할 수 있습니다. 스마트 의약품 디스펜서 등의 사물인터넷 기기의 데이터를 바탕으로 오류를 신속하게 표시하고, 환자 유동량이나 병상 사용량에서 얻은 운영 데이터를 통해 인력 확장성을 파악할 수 있습니다.

Oracle 솔루션으로 보다 빠르고 안전한 머신러닝 사용하기

Machine Learning in Oracle Database는 머신러닝 프로세스를 가속화할 수 있는 다양한 기능을 제공합니다. 데이터 과학자는 데이터베이스 내에 저장된 데이터를 그대로 활용할 수 있는 기능을 통해 워크플로를 간소화하고, 보안을 강화하고, 30개 이상의 내장된 고성능 알고리즘, R, SQL, Python을 비롯한 인기 언어 지원, 자동화된 머신러닝 기능, 노코드 인터페이스 등을 활용할 수 있습니다.

대규모 데이터 세트를 보유한 기업의 경우, HeatWave MySQL을 통한 인데이터베이스 머신러닝을 사용하면 머신러닝을 위해 데이터를 별도의 시스템으로 옮길 필요가 없으므로 보안을 강화하고, 비용을 절감하고, 시간을 절약할 수 있습니다. HeatWave AutoML은 알고리즘 선택, 학습을 위한 지능형 데이터 샘플링, 기능 선택, 튜닝 등의 머신러닝 수명 주기 전반을 자동화해 많은 시간과 노력을 절약시켜 줍니다.

머신러닝의 장점은 대량의 데이터를 빠르고 정확하게 분석하고 해석할 수 있다는 것입니다. 훈련 완료된 머신러닝 모델은 인간이 직접 식별하기에는 몇 주가 걸리거나 불가능할 수도 있는 패턴, 트렌드, 인사이트를 단 몇 초 또는 몇 분 내로 식별할 수 있습니다. 결과적으로 더 많은 정보를 바탕으로 의사 결정을 내리고, 문제 해결 능력을 향상시키고, 데이터 기반 예측을 수행할 수 있습니다. 또한, 머신러닝 모델은 반복적인 프로세스를 자동화해 시간과 리소스를 절약시켜 줍니다. 머신러닝에는 업무 환경을 혁신하고 혁신을 주도할 수 있는 잠재력이 있으며, 이제 그 잠재력을 꽃피우기 시작했습니다.

머신러닝 FAQ

AI와 ML의 차이점은 무엇인가요?

인공지능은 인간처럼 생각할 수 있는 시스템을 구축하고 개선하는 데 중점을 둔 광범위한 컴퓨팅 분야입니다. 머신러닝은 인공지능의 하위 분야로서 특히 학습 과정의 계산적 측면에 집중합니다. 두 용어는 종종 같은 의미로 사용되고 비슷한 도전 과제에 직면하곤 하지만, 이러한 연관성에도 불구하고 분명 별개의 개념입니다.

머신러닝의 4가지 주요 유형은 무엇인가요?

머신러닝의 4가지 유형은 다음과 같습니다.

• 지도. 지도 학습은 레이블이 지정된 데이터 세트를 사용해 특정 목표를 향해 알고리즘을 훈련시킵니다.
• 비지도. 비지도 학습은 레이블이 지정되지 않은 데이터 세트를 사용해 알고리즘이 직접 패턴을 탐색하고 식별하도록 합니다.
• 반지도. 반지도 학습은 레이블이 지정된 데이터 세트로 초기 학습을 진행해 프로젝트의 광범위한 매개변수를 설정합니다. 이후 초기 학습 내용을 바탕으로 알고리즘이 레이블이 지정되지 않은 샘플을 평가해 높은 확률로 정확한 레이블을 지정할 수 있는지 파악합니다. 이 프로세스는 반복될 수 있으며 레이블이 지정된 샘플 세트는 프로세스를 반복할 때마다 더 커집니다.
• 강화. 강화 학습은 레이블이 지정되지 않은 데이터 세트를 사용한다는 점에서는 비지도 학습과 유사합니다. 그러나 강화 학습은 패턴을 찾기보다는 긍정, 부정, 중립 피드백을 통해 특정 목표를 달성하기 위한 최적의 경로를 학습시키는 데 중점을 둡니다.

머신러닝은 배우기 어려운가요?

다른 기술 분야와 마찬가지로 머신러닝을 숙달하기 위해서는 긴 시간과 반복적인 노력이 필요합니다. 머신러닝을 배우는 좋은 출발점은 Python이나 R과 같은 프로그래밍 언어에 대한 기초 지식, 통계에 대한 지식을 갖추는 것입니다. 머신러닝 결과물을 평가하는 데 관련된 많은 요소에는 회귀, 분류, 피팅, 매개변수 등의 통계적 개념이 사용됩니다.

머신러닝의 예시로는 어떤 것들이 있나요?

머신러닝의 가장 일반적인 예시로는 제안 엔진이 있습니다. 이커머스 사이트에서는 '이런 제품은 어떠신가요?'와 같은 제품 제안에 사용됩니다. 비디오 스트리밍 미디어에서는 다음 차례로 시청할 작품을 제안하는 데 사용됩니다. 알고리즘은 사용자의 과거 기록을 바탕으로 사용자가 흥미를 느낄 만한 내용을 예측합니다. 사용자가 데이터 포인트를 더 많이 추가할수록 알고리즘이 예측을 더 세밀하게 조정할 수 있습니다.