실행 가능한 빅 데이터 : 데이터 과학자와 엔지니어 간의 격차를 해소하는 방법

빅 데이터에 대한 유행은 그저 존재만으로도 회사에 실질적인 통찰력과 긍정적 인 비즈니스 성과를 제공 할 수 있다는 오해를 널리 퍼뜨 렸습니다. 현실은 좀 더 복잡합니다. 빅 데이터에서 가치를 얻으려면 데이터 과학자 팀이이를 통해 선별해야합니다. 대부분의 경우, 기업은 2016 년부터 2019 년까지 데이터 과학자 일자리가 15 배 ~ 20 배 증가한 것으로이를 이해합니다. 그러나 유능한 데이터 과학자 팀이 있더라도 여전히 주요 장애물을 제거해야합니다. 이러한 아이디어를 생산에 투입합니다. 진정한 비즈니스 가치를 실현하려면 엔지니어와 데이터 과학자가 서로 협력하도록해야합니다. 핵심적으로 데이터 과학자는 귀사가 매일 섭취하는 데이터에서 새로운 아이디어와 생각을 추출하는 혁신가이며, 엔지니어는 이러한 아이디어를 바탕으로 데이터를 볼 수있는 지속 가능한 렌즈를 만듭니다. 데이터 과학자는 긍정적 인 비즈니스 성과를 위해 데이터를 해독, 조작 및 판매하는 업무를 맡고 있습니다. 이러한 목표를 달성하기 위해 데이터 마이닝에서 통계 분석에 이르는 다양한 작업을 수행합니다. 중요한 경향과 관련 정보를 파악하기 위해 데이터 수집, 구성 및 해석이 모두 수행됩니다. 엔지니어는 확실히 데이터 과학자와 협력하여 작업하지만 두 역할 간에는 분명한 차이점이 있습니다. 근본적인 차이점 중 하나는 엔지니어가 시스템의 "생산 준비 상태"에 결정적으로 높은 가치를 두는 것입니다. 데이터 과학자가 생성 한 모델의 탄력성 및 보안 성에서 실제 형식 및 확장성에 이르기까지 엔지니어는 시스템이 빠르고 안정적으로 작동하기를 원합니다. 다시 말해, 데이터 과학자와 엔지니어링 팀은 매일 다른 관심사를 가지고 있습니다. 이것은 질문을 제기합니다. 어떻게 성공의 두 역할을 모두 배치하고 궁극적으로 데이터에서 가장 의미있는 통찰력을 추출 할 수 있습니까? 답은 데이터와 엔지니어링 관계를 완성하는 데 시간과 자원을 투입하는 데 있습니다. 데이터 세트에 대한 혼란이나 "소음"을 줄이는 것이 중요 하듯이 비즈니스 성공에 중요한 역할을하는 두 팀 간의 마찰을 완화하는 것도 중요합니다. 이를 실현하기위한 세 가지 중요한 단계가 있습니다. 과학자 몇 명과 엔지니어 몇 명을 한 방에두고 세계의 문제를 해결해달라고 요청하는 것만으로는 충분하지 않습니다. 먼저 서로의 용어를 이해하고 같은 언어로 말하기 시작해야합니다. 이를 수행하는 한 가지 방법은 팀을 교차 훈련시키는 것입니다. 과학자와 엔지니어를 두 명의 포드로 연결하면 공유 학습을 장려하고 장벽을 무너 뜨릴 수 있습니다. 데이터 과학자에게 이것은 코딩 패턴 학습,보다 체계적인 방식으로 코드 작성, 그리고 가장 중요한 것은 모델을 프로덕션에 도입하는 것과 관련된 기술 스택 및 인프라 균형을 이해하는 것을 의미합니다. 7wData.be에 게시 됨