하파와 데이터

빅분기에서 데이터를 다루다보면, 특정한 컬럼만을 선택해야하는 때가 온다.  즉, 전체 데이터 집합 중 부분집합만을 추출해야할 때가 오는데, 그때 여러가지 방법을 활용해서 추출할 수 있다. subset, loc, iloc, query 등으로!  이번엔 그중 subset의 활용에 대해서 알아본다.  0. 전제 jupyter notebook을 실행시킨 폴더 내 data 폴더가 있고, 그 안에 iris.csv 파일이 존재한다.  1. 열 또는 열의 집합을 이용한 데이터 선택import pandas as pd# load the iris datadf = pd.read_csv('data/iris.csv')print(df.head()) # check the data a few# print the 'sepal_leng..

오늘 상관계수까지 해서, 가장 기본인 데이터를 이리저리 둘러보는 작업을 끝낸다. 즉, 수치형 데이터들 분석하는 것을 마스터 해버린다 이말씀이다. 0. 전제jupyter notebook 을 실행한 폴더 내 data 폴더가 있고 그 안에 iris.csv 파일이 있다.  1. 상관계수상관계수는, 각 컬럼이 다른 컬럼과 어느정도의 상관성이 있는지를 보여주는거다. 이는 서로의 상관도가 어느정도인지 보고, 가시적으로 보기 좋게 하기 위해서 바로 히트맵을 찍는 경우가 대다수이다. 빅분기 실기에서는 히트맵을 찍으라고 안하겠지만, 나는 그냥 그거까지 해버리련다.  import pandas as pdimport matplotlib.pyplot as pltimport seaborn as sns# 데이터 불러오기df = pd..

오늘은 수치형 데이터의 기본을 분석하는 여러가지를 한번에 때려배워보자 역시나 엄청난 판다스에 의해서, 모든 것들은 한줄에 끝난다. 나머지는 이미 영어로 단어를 다들 잘 알고 있을테니, 왜도와 첨도의 스펠링만 주의깊게 외우면 모든 것은 일사천리로 끝나버린다!! 빅분기 부셔버리자!!!  0. 전제현재 Jupyter notebook을 켠 폴더 내 data라는 폴더가 있고, 그 안에 iris.csv라는 파일이 있다.  1. 수치형 데이터 분석(개수~첨도)import panda as pd# 데이터 불러오기df = pd.read_csv('data/iris.csv')# 개수 df.count() # 각 컬럼별 NaN을 제외한 데이터 수# 최소값df.min(numeric_only = True)# 최대값df.max(nu..

오늘은 pandas에서 기본인 것들을 본다.  사실 shape, describe, info  등은 너무 기본이기 때문에 그냥 넘어가버린다.  오늘은 내 데이터에 결측치가 컬럼별로 몇개나 있는지 확인하는 법, 한 컬럼에서 고유한 값(value)들이 무엇이 있는지 그리고 그 고유한 값들이 몇개씩 있는지를 보고자 한다.  0. 데이터 전제, 내가 Jupyter notebook을 연 폴더 내 data라는 폴더가 있고, 그 안에 iris.csv라는 파일이 있다.  1. 결측치 개수 확인데이터 분석을 할때, 결측치를 확인하고, 결측치를 처리하는 것은 아주 기본이다. 기본이지만 그 결측치를 처리하는 방법은 정말.. 무수히 많다. 방법도 많고, 처리하는 이론도 많고 ... 결국은 모델을 돌렸을때, 높은 정확도를 보이는..

이번주 토요일 오전 10시, 나는 빅데이터분석기사 실기를 보러간다.  우선 현재 상태는, 오랜만에 Jupyter notebook을 켰고, Pandas의 기본 문법을 사용한지도 오래되어서, 기본적인 메소드도 잊어버린게 많다.  그래서 유데미를 통해 빅분기 실기 강의를 들으면서,거기서 배운 내용을 간략하게 정리하고자 한다. 스스로에게는 복습을 하며 기억을 하는 것으로, 이 글을 보는 빅분기 실기 준비생에게는 어떤 것을 준비해야하는지 알아야 하는 글로 이해가 되면 좋겠다.  우선 내가 듣는 강의는 udemy에서 이래중 박사(Ph.D)님의 빅분기 강의다.https://www.udemy.com/course/rfjhluyv/ 나는 유데미 계정이 있어서, 들을 수 있는데, 현재 강의를 보면서 느끼는 것은 굳.......

데이터 분석으로 진로를 희망하면서, 나에 대해 조금 생각해보는데,  나는 데이터분석과는 직접적인 연관은 없어보인다.  1. 비전공자2. 근무 경험도 연관 X3. 그렇기에 관련 프로젝트도 거의 X 그렇다면 내가 할 수 있는게 무엇이 있을까?라고 생각하다가 시작한게 자격증 취득 현재는 SQLD, ADSP 2가지 자격증을 가지고 있다. 그리고 24년 11월 30일에 있는 빅분기 실기를 앞두고 있으니, 그것까지하면 3가지  그러던 중, ADSP, SQLD를 취득할때 동영상으로 덕을 봤던메타코드에서 정처기 강의를 무료로 제공한다고 이벤트가 나왔다. 아무래도 이벤트다보니, 후기 작성, 글작성 뭐뭐뭐 해야할게 있지만뭐 그래도 무료로 강의를 잘 들을 수 있으니 이번 기회를 통해서 정처기 필기를 끝내고, 1월에 있을 시..

ADP 공부 2일차 오늘은 PART2-1 데이터 처리 프로세스를 학습했다. 이번 챕터에서는 조직 내 정형 데이터 통합 및 연계를 위한 기술(ETL, CDC, EAI)과 전통적 데이터분석과 빅데이터 분석의 차이 그리고 대용량 비정형 데이터 처리방법에 대한 다양한 것을 배웠다. 그리고 문제를 풀었고, 여전히 나는 틀렸다. 이번에 문제를 풀면서 애매한 부분이 몇개 있었고, 오답의 결과를 보니 애매하다고 생각했던 부분이 틀렸다. 내가 안일하게 외웠고, 문제로 나왔던 부분은 아래의 2개 주제였다. - 전통적 분석방법과 빅데이터분석방법의 차이 - CDC LOG SCAN의 특징 관련 사항을 다시금 읽고, 학습해야겠다. 제2과목 -1 데이터처리 프로세스(교재 153~160쪽) 03. 다음 중 빅데이터가 가지고 있는 특..

ADP 공부를 시작했다. 먼길의 여정이 이미 ADsP나 빅분기에서 학습했던 내용의 반복이라 다행이다. 하지만 여기서 문제는, 이미 2개의 시험에서 공부했던 내용임에도, 기출문제 50개 푸는 주제에 그새 또 틀린다. 그래서, 무언가 공부의 기록을 남기는 목적이며, 내가 문제를 다시 정리하기 위해서 오답노트를 작성해보려고 한다. 내가 공부하는 책은 ADP데이터분석가 전문가(저자 윤종식)이다. ADsP에 이어서 동일한 저자의 책으로 구매했다. 제1과목 데이터의 이해 기출문제(교재 108쪽~119쪽) 06. 개인에게 내재된 경험을 객관적인 데이터로 문서나 매체에 저장, 가공, 분석하는 과정은? ① 연결화 ② 내면화 ③ 표출화 ④ 공통화 더보기 내가 선택한 답: ④ → 실제 답: ③ 내가 답을 택한 이유: 내가 ..

나는 데이터분석가를 꿈꾸고 있고, 지금은 데이터분석가가 맞는 것인지 아니면 최근 배우고 있는 ML/AI 쪽이 맞는 것인지 고민하고 있는 중이다. 근데 중요한 것은 나는 비전공자라는 것이다. 통계를 전공한 것도, 컴공을 전공한 것도 아니다. 나에게는 조금 쓸모 없어보이는 경영을 전공하고, 그것도 석사를 했다... (지금의 생각이었다면 데이터사이언스쪽으로 석사를 가야했는..) 그래서 나는 전공자와 같지 않다는 것을 알고 있어서 이를 보완해보고자 자격증 이것저것에 관심이 많다. 근데, 생각보다 이런 시험에 강한편이 아니다. 그냥 잡지식과 우기는것에 능하지 무언가를 정확하게 외워서 일치시키는 학습에 능하지는 못한 것 같다. 그래도 무슨 자신감인지, 자격증이 보이면 이것저것한다. 그래서 ADsP, SQLD를 취득..

ADsP(데이터분석 준전문가) 정의 데이터분석 준전문가(ADsP : Advanced Data Analytics Semi-Professional)란 데이터 이해에 대한 기본지식을 바탕으로 데이터분석 기획 및 데이터분석 등의 직무를 수행하는 실무자를 말합니다. 특징 ADsp는 국가공인자격증입니다. 대한민국 자격증은 주체에 따라 크게 국가자격과 민간자격으로 구분됩니다. 등록된 민간자격증 중에서 시행자의 신청에 따라 운영의 신뢰도, 활용성 등을 종합적으로 판단하여 주무부처 즉, 국가가 법에 따라 인증한 자격증을 국가공인자격이라고 합니다. 필요성 오늘날 데이터 처리 및 분석을 통한 데이터 활용은 생산성 향상, 고부가가치 및 고용 창출 등 국가 경제적 가치 창출의 핵심동력으로 급부상하고 있습니다. 특히, 과학적 의..