데이터분석

작성일자 : 2024-01-11 Ver 0.1.1 0. Intro Tableau 대시보드 개발을 하는 와중 처음 받는 요건을 받아보았다. 디지털 정보의 용량 데이터인 8GB, 16TB, 1.5Gb, 4G 등 다양한 문자열의 길이와 다양한 단위가 있는 컬럼을 한가지의 단위로 환산을 해야하는 요건이었다. 이를 위해선 해당 컬럼에서 숫자 컬럼과 단위 컬럼을 나눈 후 기준이 되는 단위로 환산을 해야했는데, 숫자 및 단위 길이도 제각각이고 소수점 등 케이스가 많아서 어떻게 식을 짜야 효율적으로 식을 짤 수 있을지에 대한 고민이 생겼다. 이 문제는 Tableau 대시보드에서 해결하지 않고, Oracle에서 해결했는데 DBA분께서 TRANSLATE 함수와 TRIM, NVL 함수를 함께 활용하여 해결을 해주셨다. 문자..

작성일자 : 2024-01-10 Ver 0.1.1 참고 사이트 : 데이터 기반 조직의 핵심 기능 0. Tableau Blueprint 대시보드를 만드는 방법은 무궁무진하며, 대시보드 개발자로서 정말 다양하고 어려운 요건들을 접해왔고, 앞으로도 접할 것이다. 지금까지 대시보드 개발 및 프로젝트를 해오면서 느낀점은 물론 대시보드를 만드는데 필요한Tableau Desktop을 잘 다루는 것과 SQL과 모델링 등 하드 스킬적인 부분도 있지만, 좀 더 조직적이고, 거시적인 관점에서 거버넌스와 같은 내용 역시 필요함을 많이 느꼈다. 아무래도 다수의 사용자가 존재하는 조직에서 프로젝트를 하니 대시보드 한개만을 바라보는 미시적인 관점보다 더더욱이 이러한 관점과 지식이 필요했다. 이를 위해 Tableau Blueprin..

작성일자 : 2024-01-09 Ver 0.1.1 참고 : Tableau Blueprint 개요 1. Intro 이 글의 작성일 기준으로 Tableau 개발자로서 대시보드 개발을 한지 2년 6개월차이다. 물론 대시보드를 만드는 방법은 무궁무진하며, 정말 다양하고 어려운 요건들을 접해왔고, 앞으로도 접할 것이다. 지금까지 대시보드 개발 및 프로젝트를 해오면서 느낀점은 물론 대시보드를 만드는데 필요한Tableau Desktop을 잘 다루는 것과 SQL과 모델링 등 하드 스킬적인 부분도 있지만, 좀 더 조직적이고, 거시적인 관점에서 거버넌스와 같은 내용 역시 필요함을 많이 느꼈다. 아무래도 다수의 사용자가 존재하는 조직에서 프로젝트를 하니 대시보드 한개만을 바라보는 미시적인 관점보다 더더욱이 이러한 관점과 지..

작성일자 : 2024-01-02 Ver 0.1.1 Pandas로 데이터 분석을 하다보면 같은 형태의 데이터가 날짜별로 적재가 되는 로그 데이터라던지 월별 테이블과 같은 파일들을 한번에 합쳐서 분석하고자 하는 필요가 있다. 한두개의 파일이라면 직접 코드를 작성해도 무방하지만 그 갯수가 많아진다면 직접 입력하기란 번거로워진다. 이런 경우 반복문으로 파일들을 손쉽게 합칠 수 있는데, 그 방법 중에서도 효율적으로 병합하는 방법에 대해서 정리해보겠다. 1. 방법(1) - 권장하지 않는 방법 첫번째 방법은 빈 DataFrame을 선언한 후 For Loop으로 각 파일을 읽어 붙이는 형태이다. # 권장하지 않는 사례 import pandas as pd, os dir = '/.../dir/path' df = pd.Da..