책 의 7장을 요약정리한 내용입니다. 3. 배치 수집 고려 사항 배치 수집은 데이터 대량 처리에 적합하며, 일정한 시간 간격이나 누적된 데이터 크기에 따라 데이터를 수집합니다.시간 간격 배치 수집: 주로 데이터 웨어하우스에서 매일 또는 일정 간격으로 데이터를 수집하여 일일 보고서와 같은 정기적인 분석을 지원하는 방식입니다.크기 기반 배치 수집: 스트리밍 데이터에서 객체 스토리지로 데이터를 전송할 때, 데이터 양에 따라 개별 블록으로 나누어 저장하는 방식입니다. 데이터 레이크 저장소에서 대용량 데이터를 효율적으로 관리하는 데 유용합니다.일반적인 배치 수집 패턴은 아래와 같습니다:스냅숏 또는 차등 추출: 원천 시스템의 전체 데이터를 캡처하거나 변경된 부분만 선택하여 효율적으로 수집합니다.파일 기반 익스포트 ..
분류 전체보기
책 의 7장을 요약정리한 내용입니다. 이번 장에서는 다양한 원천 시스템에서 데이터를 수집할 때 적용되는 패턴과 선택사항을 알아보겠습니다. 데이터 수집과 수집단계의 주요 엔지니어링 고려사항, 배치 및 스트리밍 수집의 주요 패턴, 데이터 수집 파이프라인 개발 시 함께 작업할 담당자, 수집 단계에서 드러나지 않는 요소가 어떻게 기능하는지를 학습해 봅시다.1. 데이터 수집이란? 데이터 수집은 데이터를 한 장소에서 다른 장소로 옮기는 프로세스를 의미합니다. 데이터 엔지니어링 수명 주기에서 데이터는 원천 시스템에서 스토리지로 이동하며, 데이터 수집은 중간 단계에서 수행됩니다. 데이터 수집과 데이터 통합의 차이점데이터 수집은 단순히 데이터를 한 지점에서 다른 지점으로 이동하는 과정입니다.데이터 통합은 서로 다른 소..
책 의 4장을 요약정리한 내용입니다. 데이터 엔지니어는 데이터 애플리케이션과 사용자에게 서비스를 제공하기 위해 수명 주기 전체에 걸쳐 데이터를 관리하는 적절한 기술을 선택해야 합니다. 이번 장에서는 좋은 아키텍처에 적합한 기술을 선택하는 방법에 대해 알아보도록 하겠습니다. 적절한 데이터 기술을 선택하는 기준은 간단합니다. '그 기술이 데이터 제품과 광범위한 비즈니스에 가치를 더해줄 수 있는가? 다. 많은 사람이 아키텍처와 도구를 혼동하는데, 아키텍처는 전략적이고 도구는 전술적입니다. "우리 데이터 아키텍처는 도구 X, Y, Z다"라는 말을 종종 듣는데, 이는 아키텍처에 대한 잘못된 사고방식이라 합니다. 아키텍처는 비즈니스의 전략적 목표를 충족하는 데이터 시스템의 고수준 설계, 로드맵 및 청사진이다. ..
책 의 2장을 요약정리한 내용입니다. 이 책은 데이터 엔지니어링을 특정 데이터 기술 집합으로 보는 관점이 아닌 데이터 엔지니어가 데이터 수명 주기 관리 원칙의 관점에서 사고하는 것을 장려합니다. 이번 2장에서는 중심소재인 데이터 엔지니어링 수명 주기를 설명합니다.데이터 엔지니어링 수명 주기란?원시 데이터 요소(raw data)를 데이터 분석가, 과학자. ML 엔지니어 등이 사용할 수 있는 유용한 최종제품으로 전환하는 단계로 구성됩니다. 데이터 엔지니어링 수명 주기는 다음 5가지 단계를 거칩니다. 데이터 엔지니어링 수명 주기는 원천 시스템에서 데이터를 가져와 저장하는 것부터 시작됩니다. 이후 데이터를 변환하고, 이를 내부 사용자에게 제공하는 것을 목표로 진행됩니다. 데이터 저장은 수명 주기 전체에 ..
실패편 내용에서 루커스튜디오에서 구현이 불가능한 요건들을 정리하고 목표에 맞는 차트 재정의를 완료하였으니,이 글에서는 목표에 맞는 차트를 생성하는 방법을 알아봅시다. 미리 보는 오늘의 구현할 대시보드입니다. 대시보드가 궁금하신 분들은 아래 링크를 통해 데이터팀이 구축한 대시보드를 확인하실 수 있습니다🔗 https://lookerstudio.google.com/reporting/9e64bca2-9823-49a3-9526-e060142334da 1. Looker Studio란? 루커 스튜디오(구 데이터 스튜디오)는 구글에서 제공하는 무료 비즈니스 통계 시각화 툴입니다.구글 애널리틱스, Google Ads, Google Sheets 등 다양한 소스와 빠르게 연결할 수 있다는 장점이 있어, 실시간 데이터를 ..
0. 대시보드 세우기 목표 설정진행하고 있는 프로젝트인 회고 웹사이트 Past Forward 팀원분들께 어떤 지표들이 궁금했었는지 간단한 수요조사를 진행하면서 한 가지 의견을 받았습니다. 유저 별 페이지 플로우 집계가 가능할까에 대한 질문을 주시며 "초기 서비스니까 이탈 케이스보단 활성, 리텐션에 집중해서 유저가 어떤 점에서 매력을 느껴서 서비스를 사용하는지"에 대해 궁금하다고 의견을 제안해 주셨고 저 역시 이 부분이 궁금해져, 이를 해결할 대시보드를 만들기로 했습니다. 이미 팀원들과 GA4 데이터를 활용해 주요 지표를 추출하는 일정이 잡혀 있었기에, 다음 두 가지 사항을 바탕으로 대시보드를 계획했습니다: 대시보드 구현도구: 루커스튜디오사용 데이터: GA4 데이터 연결구현 목표 및 가설: 유저를 활성화된..
3. GA를 이용해 어떤 리포트를 중점적으로 보고 싶은가? 구글애널리틱스(GA)에서 다양한 리포트를 볼 수 있습니다. 큰 카테고리로 ‘실시간 리포트’, ‘잠재고객 리포트’, ‘획득 리포트’, ‘행동 리포트’, ‘전환 리포트’, ‘맞춤 리포트’ 6개로 나눌 수 있습니다. 실시간 리포트: 홈페이지에 방문한 유저의 실시간 위치, 매체 소스, 콘텐츠, 이벤트 등을 확인할 수 있다. (주로 신규 세팅 & 실시간 이벤트 발생 시 활용) 잠재고객 리포트: 인구 통계(관심 분야, 성별, 연령, 지역, 기기 정보 등)에 대한 데이터를 확인할 수 있다. (주로 광고 효율 측정 & 홈페이지UI/UX 데이터 진단을 위해 활용) 획득 리포트: 홈페이지로 유입되는 매체나 채널 & 구글 애즈 & 구글 콘솔 데이터를 확인할 수 있다..
1. UX 리서치 범위를 활용해 방향성 잡기 발견적 리서치인가? 평가적 리서치인가? 발견적 리서치는 사내에서는 보통 ‘선행연구’*로 불리는데 디지털/논-디지털 환경에서 제품, 서비스, 비즈니스의 새로운 기회를 파악하는 조사입니다. * 바로 제품에 적용하는 것이 목적이 아닌 콘셉트를 먼저 발굴하는 프로젝트를 말합니다. 발견적 리서치는 조사의 목표 자체가 추상적입니다. 예를 들면, ‘10년 후 스마트시티 모빌리티 환경에서 나올 법한 사용 경험은 뭘까?’, ‘미래의 주방환경은 어떤 방향으로 바뀔까?’와 같은 문제에 대한 실마리를 말 그대로 ‘발견’하는 게 목표입니다. 못 발견할 수도 있지만, 최대한 의미 있는 결과를 발견하기 위해서는, 가능한 여러 방법을 동원하여 최대한 구체화된 기회를 드러내고 창의적이고 열..
