하파와 데이터

메타코드의  강의를 기반으로내가 배운 내용을 정리해보고자 한다.   여기 나온 코드는 대부분 강사님의 코드를 사용함을 여기서 미리 밝힌다.  강사님의 코드는 간단하면서도, 합리적이고 효율적인 코드가 많다.  그래서 배워두면 좋을게 많고, 나도 그러한 코드를 짜는 것들을 그리고 어떤 지표들을 뽑아야하는지에 대한 감을 잡을 때 지금의 프로젝트를 보면서 하면 좋을 것 같다는 생각이 든다.  나는 배움을 보다 나의 것으로 익히고자 이 배움을 적어보고자 한다. 나는 아래의 5가지 순서로 프로젝트를 기록하고자 한다. 1. EDA2. 추천 시스템 개괄3. BASELINE 알고리즘 만들기4. 알고리즘 성능 개선하기5. 주요 문제점 개선하기   강의를 듣고자 하는 경우, 아래 링크를 통해 강의를 확인해볼 수 있다. ht..

도서관에서는 대출이 기본 2주, 연장 1주로 총 3주간 대여할 수 있다. 그래서 나는 3주를 간격으로 도서관에 방문한다.  이번에도 기존 책을 반납하고, 새로운 책들을 빌려온다. 아주 여러가지 책이 있었는데, 오늘은 전혀 생각치 않았던 책을 빌렸다. 그 책은 바로 개그맨이자, 투자자인 황현희 그리고 공저자인 제갈현열이 쓴 비겁한 돈이다.  이 책을 고른 이유는 별게 없다. 황현희라는 개그맨이 2023년 즈음 나와서 투자에 대한 이야기를 하는 것을 여러 유튜브를 통해서 확인했고, 비겁한 돈이라는 특이한 제목을 사용했다는 것도 기억에 남았다. 근데 마침 내 앞에 그게 있길래, 아주 가벼운 마음으로 읽어야지 라는 생각으로 책을 빌렸다.  그래서 책을 빌린지 이틀만에 이 책을 읽었다. 투자에 대한 엄청난 인사이..

며칠 전 빅분기 필기를 다녀오고나서부터, 내가 요즘 듣고 있는 강의는 메타코드 m에서 장학생 선발을 통해 강의를 들을 수 있는정보처리기사 100% 환급과정이다.  그래도 기사 자격증인데 어렵지 않을까? 사실 기사 자격증은 다른 자격증에 비해 무게감이 있는게 사실이다. 그렇기 때문에 혼자 여유로운 마음으로 준비를 하는 것은 좀 무리가 있다. 특히 비전공자로 학습을 할때, 분량은 많은데 무엇이 중요한지 알기 어렵고 무엇을 중점으로 공부해야하는지 감이 오지 않는다. 특히 시험시간의 단축과, 난이도 조정으로 어려움이 있을 수 있다. 우리는 그렇기에 도움을 받을 수 있는 곳에 확실한 도움을 받아야한다. 나의 경험상 메타코드의 강의는 그런면에서 큰 도움이 된다.  그럼 이 강의를 한번 보자. 우선, 강의는 내용 자..

오늘은 메타코드의 강의를 처음으로 듣는 날이다.  처음 강의를 등록하면서, 강의를 시작하는 가장 기초의 소개강의는 이미 들어두었고이제는 시험을 준비하는 강의로서는 처음이다.  메타코드 장학생으로, 강의를 들으면서 내가 들은 내용을 기록하고, 향후에는 이 기록이 메타코드의 강의를 듣는 사람들을 위한 기록이되고또는 정처기 자체를 공부하는 사람들에게도 의미있는 글이 되기를 바라면서, 서투루고 미숙한 글을 작성해본다.  참고로 아래처럼 메타코드 홈페이지에 접속하면, 빅데이터 관련 자격증 교육을 많이 가지고 있다. 내가 데이터 관련해서 엄청 잘나가는건 아니지만, 나도 저기있는 모든 자격증이 다있다. 정처기 빼고 그래서 이제 정처기를 취득해보고자 한다..!    0. 1주차 강의를 들으며 든 생각- 현재 강의를 약..

2024 하반기의 거의 마지막이랄까..?점점 자신감은 없어지지만, 그래도 계속 하긴 해야지!!  이번에는 우리금융의 자회사 중 하나인 캐피탈에 지원했다!  기업정보 기업명 : 우리금융캐피탈기업규모: 대기업사원수: 436명(24.06 기준)매출액: 1조 5,386억원(별도재무재표 기준)상세업종: 신용카드 및 할부 금융업 직군은 경영일반과 디지털/IT직군 2가지가 있었고, 나는 그중에서 디지털 /IT 직군에 지원했다.열심히 서류를 썼고, 서류를 다행히 통과했다. 서류를 낸지 약 1주일인가? 결과가 나왔다. BNK저축은행 최종탈락의 메세지를 받은 날 서류 합격의 메세지가 왔다. 쳇..   시험 전 준비지금 이 글을 적으면서도, 온라인에도 우리금융캐피탈의 필기에 대한 자료는 많지 않다. 더욱이, 시중 서점에서도..

그러하다.  교만했고, 안일했던 나의 최종면접탈락이다.   11월 29일의 여파가 거의 일주일이 다 되어가는 지금도 여전하다. 앞선 나의 글에서도 볼 수 있듯, 최종면접을 보고 11월 29일 오후 1시까지 나는 교만에 가득차있었다.  이미 합격인데, 언제 발표를 하는거지?발표를 빨리하면 좋겠다. 등이러한 생각으로 가득차있었다.  멍청하긴..  통보를 받던 순간을 떠올리면11월 29일 오후 1시에 차를 타고 여유롭게 커피를 마시러 가는 길, 워치에 진동이 왔다. 최종면접 결과확인 안내 문자! 너무도 당연하게, 합격 메세지는 어떻게 생겼을지 기대를 하며 접속했다.  근데, 내 예상과 달리 볼드도 없고, 강조된 곳도 없고 어느 곳에서도 팡파레가 보이지 않는다...그리고 글을 자세히 읽어보아야 무슨 내용인지 알..

나는 데이터에 관심이 많다.  대학원에서 전공을 하면서, 데이터가 활용도가 얼마나 높고,재미있게 활용되는지 그리고 기업에서 데이터의 활용도를 점점 확대하고 있다는 것도 체감하게 되었다.  나는 이에 대학원에서 스스로 데이터 관련 공부를 하고sql, python 관련 강의를 듣고, ai 부트캠프를 들었다.  AI 부트캠프는 사실, 아쉬운 부분이 많기는 한데, 그래도 좋았던 점은첫번째, 데이터 분석에서 멈추지 않고, 다양한 서비스를 만들어보았다는 점두번째는, 운이 좋게(노력을 엄청 했으니 당연하지!!!) 모두 대상을 수상했다는 것이다.   하지만, 취업의 문은 부캠 따위 하나 듣는다고 거저 주어지지 않는다. 롯데라는 기업이 휘청거리고 LG는 비상경영을 하고 삼성도 주가가 녹아내리는 상황 이런 상황에 사람들이..

이제는 앞서 배웠던 것들을 실습해보자!!  Q) iris데이터에서 sepal_width, petal_width를 삭제하시오import pandas as pddf = pd.read_csv('data/iris.csv')df1 = df.copy()df1.drop(['sepal_width', 'petal_length'], axis=1, inplace = True)print(df1)Q) iris 컬럼의 이름을 다음과 같이 변경하고 df_kor에 저장하시오df2 = df.copy()df_kor = df2.rename(columns = {'sepal_length':'꽃받침길이', 'sepal_width':'꽃받침너비', ..

데이터에서 가장 큰 골치거리가 결측지다. 하나만 비어있을때는 전체를 날리지도 못하고, 너무 무의미한 데이터가 많다면, 결측치가 많은 컬럼 자체를 날려야하는 경우도 있다.  즉, 우리의 필요에 따라서 우리는 결측된 데이터들을 제거하거나, 보완하는 방법을 알아야 한다.  우리는 그중에서 우선 간단한 방법인 평균으로 결측을 보완하는 방법과아예 결측치를 제거하는 방법에 대해서 알아본다.  나아가, 유니크한 값을 구하는 다른 방법인 중복값들을 제거하는 방법도 배워본다!  0. 전제우리만의 DataFrame을 만든다. import pandas as pdimport numpy as npdates = pd.date_range('20241129', periods= 6)df = pd.DataFrame(np.random.r..

인코딩은 대체로 str로 되어있는 데이터를 유의미하게 사용하기 위해서 전처리하는 방법중 하나이다. 예를들어, Setosa, Virginica 등이 문자로 있는 것은 의미가 없고, 이걸 이해하는 것도 어렵기때문에, 0,1,2 등의 숫자로 그 단어를 대체하는 것이다.  또는 10~19세를 0, 20~29를 1 등으로 변경하는 것도 동일한 방법이다.  사실 간단한 값들만 존재한다면, replace, map을 이용해서 내가 직접 인코딩과 같은 절차를 거칠 수도 있다. 하지만 그 값이 너무도 많다면?? 그럴때 사용하는 것이 인코딩 기술이다. 이러한 인코딩에 대해서 배워보자  0. 전제jupyter notebook 실행한 위치에 data라는 폴더가 있고, 그 안에 iris.csv가 존재한다. 1. Categoric..