머신러닝과 인공지능을 통해 향상된 예측[Improved Forecasting Through Machine Learning & Artificial Intelligence]

오늘날 데이터 과학과 기계 학습과 인공지능에 관한 기사들이 없으면 어떤 뉴스도 읽을 수 없습니다. 최근에,

  • Jeff Bezos는 자신의 개인 MARS(Machine Learning, Automation, Robotics, Space) 컨퍼런스를 대중에게 공개하였습니다.
  • 페이스북 10년 도전이 단지 노화에 대한 알고리즘을 훈련시키는 데 도움이 되는 방법이라는 음모론이 있습니다.
  • 최근에 나온 와이어드 잡지 사본의 제목이 “인공을 줄이면, 지능이 더 높다” 였습니다.

 

이 모든 이야기와 과장된 이야기들을 더 잘 평가하기 위해, 저는 최근에 Columbus Collaboratory의 부사장이자 수석 분석 혁신가인 Brian Sampsel과 함께 자리할 기회를 가졌습니다. Brian, 기계 학습에 관한 이 모든 의논들을 볼 때, 기업들은 어떻게 반응하고 있습니까?

 

Brian Sampsel: 모든 이야기와 과장된 이야기들을 감안할 때 놀랍게도 많은 대기업들이 그들이 항상 해왔던 과거의 방식으로 일을 하고 있다는 것을 발견했는데, 특히 백 오피스 기능과 관련되어 있을 때 더 그런 성향을 보였습니다.

 

한가지 두드러진 예가 예측입니다. 대부분의 조직에는 다양한 예측을 하는 많은 사람들이 있습니다. 이러한 예측은 FP&A의 매출 예측을 하는 재무 부서, 미래 보관소 및 컴퓨팅 요구사항에 대한 예측이 있는 IT 부서(특히 클라우드로의 이동) 및 특정 유형의 제품이 얼마나 필요하고 이러한 제품들이 크기와 모델형에 따라서 어떻게 분포되어 있는지에 대한 예측을 하는 기획부서(Planning departments)에서 이루어집니다.

 

전형적인 작업 흐름은 여전히 아래와 같습니다. 데이터는 ERP시스템, 또는 데이터베이스의 어느 한 유형에 존재합니다.

  • 분석가는 BI 도구를 사용하여 집계된 자료를 추출합니다.
  • 그 추출물은 엑셀에 첨부됩니다.
  • 분석가는 고도의 수동 엑셀 계산 또는 매크로를 통해 예측을 생성합니다..
  • 예측은 경영 의사결정자들에게 제때 전달됩니다.
  • 의사결정자들이 가정(추정)을 수정함에 따라 프로세스가 반복됩니다.

 

Drenik: 그 프로세스는 익숙하게 들리지만, 인공지능이나 분석은 어디에 적합합니까?

 

Sampsel: 그것이 요점입니다. 지금은 많은 경우에 적합하지 않습니다.. 아주 정확한 예측은 많은 프로세스의 시작이며 조직의 주요 목표지만, 대부분의 사람들은 분석을 프로세스에 어떻게 또는 왜 포함시켜야 하는지를 아직 이해하지 못하고 있습니다..

 

Drenik: “방법”을 이해하기 전에 “이유”-예측 프로세스에 분석기능을 통합할 때 얻을 수 있는 주요 이점은 무엇인지-에 대해서 설명해주세요.

 

Sampsel: 통계학자나 데이터 과학자의 작업 흐름을 이용하여 이 과정을 설계하면 많은 이점이 있습니다.

 

첫째, 이러한 단계 중 많은 단계들이 자동화되어 상당한 시간을 절약할 수 있습니다. 일반적으로 각각의 예측을 만들어내기 위해서는 담당자가 매주 많은 시간을 써야하는 경우가 많습니다. 그리고, 예측이 만들어진 후 VP이나 CFO가 “X를 바꾸면 어떨까?” 라고 물어본다면 프로세스는 다시 시작되고, 작업에 시간이 더 추가될 수 있습니다. 하지만 프로세스를 자동화하면 의사결정자가 스프레드시트에서 숫자를 계산하고 공식(수식)을 재계산하는 대신 결과를 분석하고 이해함으로써 시간을 보다 효율적으로 사용할 수 있습니다.

 

둘째로, 예측에 관심을 가지는 대부분의 조직은 변동성(가변성)에 대한 이해를 통해 이익을 얻습니다.. 그래서 많은 예측들이 하나의 숫자로 전달됩니다. 이때, 우리는 숫자가 틀릴 것이라는 것은 알고 있지만, 얼마나 틀릴 지는 알 수 없습니다. 저는 많은 리더들이 가능성 있는 결과의 범위를 알고 있었거나 그 추정치가 좁은 범위에 있었는지 혹은 꽤 넓은 범위에 있었는지를 안다면 다른 결정을 내릴 수도 있을 것이라 생각합니다.

 

셋째, 대부분의 예측은 일부 제 3의 데이터들로부터 이점을 얻을 것입니다.. 명백하게는 날씨 데이터를 들 수 있지만 상품 가격, 지역 행사, 심지어 마케팅 달력 데이터들도 이용할 수 있습니다. 예를 들어Prosper의 미래 지향적인 고객 의도 데이터는 예측의 정확도를 크게 증가시켜 소비자가 어떻게 행동할지에 대한 더 많은 예측을 가능하게 할 것입니다. 이러한 데이터 소스를 추가하면 새로운 통찰력이 생기고 보다 정확한 예측이 이루어질 수 있습니다.

그리고 마지막으로, 많은 리더들은 어떤 추정이 예측에 가장 큰 영향을 미치는지 알고 싶어할 것입니다. 이것은 흔히 ‘민감도 분석’으로 알려져 있습니다. 예를 들어 상품 X의 가격이 5% 증가하면 예측은 어떻게 되는가? 20% 증가하면? 내가 상품X의 가격까지 신경 써야 하는가? 등을 알고 싶어할 수 있습니다.

 

만약 우리가 예측 방법을 전통적인 접근방식에서 벗어나 기계학습과 통계적 모델을 사용한다면 이러한 이점들을 모두 얻을 수 있습니다.

 

Drenik: 그거 말이 되네요. 그럼 기업은 앞으로 어떻게 발전하며 또 그 과정에서 어떤 리스크에 직면하게 될까요??

 

Sampsel: 그 과정에서 몇 가지 잠재적 장애요인이 있습니다.

  • 문화적 변화가 있을 것이고 이에 익숙해지는데 시간이 걸릴 것입니다. 저는 지역이나 사업의 일부에서 현재의 접근방식에 따라 파일럿 테스트하는 것을 추천합니다. 이 테스트를 통해 작은 규모에서 이 콘셉트를 입증한 후 점차적으로 조직 내 지원을 구축해야 합니다..
  • 다른 시스템과의 통합이 필요할 것입니다. 최대한 빨리 당신의 IT 파트너와 협력하여 전체 일정을 진행할 수 있도록 해야 합니다. 앞으로 데이터를 효율적으로 관리할 프로세스를 구축하는 것을 고려해야 합니다. 하지만 기술적 복잡성 때문에 속도를 줄이는 일 없이 콘셉트를 입증하기 위해서는 파일럿을 위한 간단한 매뉴얼 데이터를 추출하는 것이 바람직합니다.
  • 당신이 원하는 해석가능성 수준을 결정하십시오. 즉, 당신은 얼마나 많은 속성 및 가정을 유연하게 만들어 결과에 영향을 미치고 싶습니까? 일부 기계 학습 기법은 “블랙박스”에 더 가깝지만, 오히려 더 나은 결과를 제공할 수도 있습니다..

 

Drenik: 따라서, 만약 기업에서 인공지능이 가능한 예측 프로세스를 채택하면 엑셀 Excel의 필요성이 사라질까요?

 

Sampsel: 전 그런 일이 일어난 것을 본적이 없습니다. 엑셀은 훌륭한 도구이고 많은 사람들에게 매우 친숙합니다. 그 프로세스에 인공지능 모델을 추가하면 정확성과 일관성이 모두 향상될 수 있습니다(스프레드시트의 수동 오류 감소 – 이것은 중요한 문제입니다). 실제로 많은 데이터 과학자들이 엑셀 추출물과 스프레드시트를 인공지능 모델의 데이터 소스로 사용하고 있습니다.

 

Drenik: 많은 사람들이 일반적으로 가지는 반응 중 하나는 인공지능이 인간을 대체할 것이라는 것입니다. 만약 조직이 이러한 매우 정확한 분석 예측 엔진을 구축한다면, 그런 일이 여기서 일어날 가능성이 있습니까?

 

Sampsel: 아닙니다. 기억하세요. 목표는 인공지능이 사람들을 대체하는 것이 아닙니다. 그 이점은 사람들이 다른 부가가치 활동을 하는 시간을 확보할 수 있다는 것에 있습니다. 예를 들어, 단순히 매출을 예측하는 수동 단계를 거치지 않고 판매량(매출)을 늘릴 수 있는 방법을 생각할 수 있습니다. 당신을 위해 데이터 및 분석이 효율적이고 정확하게 이루어지는 동안 당신은 결과를 해석하고 전략적 맥락, 직감, 경험을 토론에 적용하십시오. 인간이 사업(업무)에 영향을 미치는 적절한 전략적 결정을 내릴 수 있는 곳은 언제나 있을 것입니다.

 

Drenik: 고마워요, Brian!

TOP