이 게시물은 우리의 일부입니다“Netflix의 데이터 엔지니어”인터뷰 시리즈, 우리의 자체 데이터 엔지니어가 자신의 여정에 대해 이야기하는 곳데이터 공학 @ netflix.…에

Samuel Setegne.핵심 데이터 과학 및 엔지니어링 팀의 고위 소프트웨어 엔지니어입니다.Samuel과 그의 팀은 Netflix에서 데이터 엔지니어링 팀을 지원하는 도구 및 프레임 워크를 구축합니다.이 우편에서 Samuel은 데이터 공학 팀을 지원하기 위해 임상 연구원이되는 것에서 그의 여정에 대해 이야기합니다.

Samuel은 West PH에서 온다나는Ladelphia, 그리고 그는 성전 대학에서 석사 공학을 받았습니다.Netflix 이전에 Samuel은 데이터 과학 & amp에서 여행자 보험에서 일했습니다.부동산 청구의 발병시 심각도와 복잡성을 예측하는 실시간 기계 학습 모델을 구현하는 공학 공간.

그의 가장 좋아하는 TV 쇼 : Bojack Horseman.,마르코 폴로, 그리고요새

그의 가장 좋아하는 영화 :Scarface, 나는 전설과 오래된 경비원이다

샘, 데이터 공학을 위해 그려진 것은 무엇입니까?

일찍 경력에서 나는 임상 연구원으로서의 인생을 향해 완전한 속도를 향했다.많은 의료 종사자들은 경험적 연구에 대해 시험하기 위해 흥미로운 강한 굶주림과 야생 이론을 가지고있었습니다.나는 개인적으로 원시 데이터를보고 기술을 통해 세계의 패턴을 이해하기 위해 그것을 사용합니다.그러나 역할과 함께 온 대부분의 도전은 도메인 관련 이었지만 기술적으로 요구되지는 않습니다.예를 들어, 임상 데이터는 종종 평균 컴퓨터에 메모리에 맞추기에 충분히 작고 드문 경우에만 해당 계산에는 기술적 독창성 또는 대규모 컴퓨팅 전력이 필요합니다.일반적으로 큰 데이터 처리가 함께 제공되는 분산 및 대규모 컴퓨팅 문제를 탐색하는 범위가 충분하지 못했습니다.또한, 엔지니어링 속도는 종종 경질 과정으로 인해 희생됩니다.

순수한 데이터 공학으로 이사하는 것은 저에게 항상 갈망하는 기술적 어려움을 제공 할뿐만 아니라 두 세계에서 가장 좋은 데이터를 통해 점을 연결할 수있는 기회를 제공했습니다.

가장 좋아하는 프로젝트 또는 특히 자랑스러워하는 프로젝트는 무엇입니까?

Netflix 계약자가 모든 데이터 과학 및 엔지니어링의 모든 것을 마이그레이션 했으므로 최초의 프로젝트를 수행했습니다.파이썬 2 코드 Python 3 코드…에이것은 의심의 여지가 없었습니다. 제가적인 프로젝트가 전임 직원으로 조직에 가입하기 위해 문을 열었습니다.다양한 교차 기능 팀의 코드를 분석하고 다른 코딩 패턴과 스타일을 배우는 것은 스릴 있습니다.

이러한 종류의 노출은 나에게 다양한 데이터 엔지니어링 팀과 참여하고 Python Best Practices를 옹호하는 데 도움이되는 기회를 열었습니다.

What drew you to Netflix?

처음에는 Netflix에서 일할 기회에 대한 내 관심을 끌었으며 다양한 품질의 내용이었습니다.우리 가족과 친구들은 마르코 폴로와 타이거 킹처럼 보는 Netflix 쇼 나 영화에 대한 활기차고가 급한 대화를 나누는 것에 대해 항상 황홀했습니다.

다른 훌륭한 회사는 일상 생활에서 역할을 수행하지만 많은 사람들이 일종의 유틸리티로 사용되는 반면, Netflix는 새로운 목소리, 문화 및 관점을 경험할 수있게함으로써 우리를 살고 웃고, 사랑하게 만들 것입니다.…에

Netflix의 문화 메모를 읽은 후에 나는 완전히 판매되었습니다.전에 내가 전에 일한 곳에서 항상 알고 있었던 것을 정확하게 설명했습니다.나는 만트라를 발견했다“과정을 지닌 사람들”매우 상쾌하고 결국 기술적 인 디자인에서 저의 대담하고 창의적인 부분을 잠금 해제한다는 것을 알게되었습니다.예를 들어, 응용 프로그램이나 파이프 라인의 디자인이 새로운 기술이나 건축물의 혜택을 누릴 것이라고 느끼면 과도한 빨간 테이프없이 탐험하고 혁신 할 자유가 있습니다.일반적으로 대기업에서는 엄격하고 중복 된 프로세스에 연결되어 엔지니어에게 많은 피로가 발생합니다.내가 Netflix에 착륙했을 때, 우리가 자유와 책임에 기대고 엔지니어가 경계를 밀고 할 수 있도록하는 것은 신선한 공기의 숨을 멈 췄다.

Sam, how do you approach building tools/frameworks that can be used across data engineering teams?

제 팀은 일반 및 반복적 인 데이터 엔지니어링 작업을위한 일반화 된 솔루션을 제공합니다.이는 데이터 엔지니어링 팀을위한 “포장 된 경로”솔루션을 제공하고 휠을 다시 발명하는 부담을 줄입니다.…에고도로 숙련 된 엔지니어로 구성된 많은 전문 팀이있을 때 데이터 엔지니어에게 마지막으로 원하는 것은 크고 넓고 영향력있는 문제의 내부에 보통 묻혀있는 작은 문제를 해결하는 데 너무 많은 시간을 보내는 것입니다.우리가 모든 데이터 과학 & amp의 모든 엔지니어에게이를 외삽 할 때;엔지니어링 팀, 쉽게 추가하고 최적화 할 가치가있는 것입니다.

데이터 엔지니어 지출 사이클이 뇌의 데이터 엔지니어링 부분이 꺼져있는 작업에서 작업하는 시간을 보내면 더 나은 툴링이 도움이되는 기회입니다.

예를 들어 많은 데이터 엔지니어링 팀은 다운 스트림 종속성이있는 중요한 테이블을 변경할 때 알림 캠페인을 조정해야합니다.이는 데이터 엔지니어가 달성 할 수 있지만 변경 사항을 완료하는 것이 안전을 지키기 위해 이러한 다운 스트림 사용자의 마이그레이션을 새 테이블 또는 테이블 스키마로 추적하는 것이 매우 시간이 많이 걸릴 수 있습니다.이 문제는 데이터 엔지니어가 다운 스트림 사용자를 자동으로 식별하고 JIRA를 활용하여 알림 및 상태 추적 기능을 제공 할 수있는 “마이그레이션 캠페인”을 쉽게 시작할 수있는 “마이그레이션 캠페인”을 쉽게 시작할 수있는 중앙 숙련 된 팀 구성원 중 한 명이 해결되었습니다.목표는 데이터 엔지니어가 이러한 캠페인 중 하나를 신속하게 발사하고 다른 작업에 초점을 맞추기 위해 해당 추가 시간을 사용하는 동시에 이러한 캠페인 중 하나를 신속하게 발사 할 수있게하는 것입니다.

올바른 툴링을 투자하여 중복 (아직 필요한) 작업을 간소화하여 Netflix의 혁신을 가속시키면서 높은 데이터 엔지니어링 생산성과 효율성을 높일 수 있습니다.

더 많은 것을 배우십시오

Netflix의 데이터 역할에 대해 더 자세히 알고 싶습니까?당신은 올바른 곳에 있습니다!작업 사이트를 방문하여 데이터 과학 및 엔지니어링에서 열려있는 역할을 보관하십시오.여기…에우리의문화우리의 영향과 성장의 핵심입니다.여기…에Dhevi Rajendran과의 채팅을 확인하여 전염병 동안 데이터 엔지니어로서 새로운 역할을 시작하는 것에 대해 더 알고 있습니다.여기…에