하파와 데이터

이 프로젝트의 경우, 다양한 모델을 만들어서, 개인 맞춤형 추천 서비스를 구축하는 것이 목표다 . 우선 데이터셋은 캐글에 있는 데이터를 원 파일로 하지만, 기본 데이터에서 이미지, 의미없는 컬럼들을 삭제한 채 시작한다.  덧붙여, 캐글 노트북을 이용할 수 있지만, 나는 그냥 VS CODE를 이용해서 작업을 수행하였다.  기본 소스파일 출처 : https://www.kaggle.com/datasets/arashnic/book-recommendation-dataset/data Book Recommendation DatasetBuild state-of-the-art models for book recommendation systemwww.kaggle.com 0. 준비단계가장 앞서, 필요한 라이브러리들을 호출하..

메타코드의  강의를 기반으로내가 배운 내용을 정리해보고자 한다.   여기 나온 코드는 대부분 강사님의 코드를 사용함을 여기서 미리 밝힌다.  강사님의 코드는 간단하면서도, 합리적이고 효율적인 코드가 많다.  그래서 배워두면 좋을게 많고, 나도 그러한 코드를 짜는 것들을 그리고 어떤 지표들을 뽑아야하는지에 대한 감을 잡을 때 지금의 프로젝트를 보면서 하면 좋을 것 같다는 생각이 든다.  나는 배움을 보다 나의 것으로 익히고자 이 배움을 적어보고자 한다. 나는 아래의 5가지 순서로 프로젝트를 기록하고자 한다. 1. EDA2. 추천 시스템 개괄3. BASELINE 알고리즘 만들기4. 알고리즘 성능 개선하기5. 주요 문제점 개선하기   강의를 듣고자 하는 경우, 아래 링크를 통해 강의를 확인해볼 수 있다. ht..

나는 데이터에 관심이 많다.  대학원에서 전공을 하면서, 데이터가 활용도가 얼마나 높고,재미있게 활용되는지 그리고 기업에서 데이터의 활용도를 점점 확대하고 있다는 것도 체감하게 되었다.  나는 이에 대학원에서 스스로 데이터 관련 공부를 하고sql, python 관련 강의를 듣고, ai 부트캠프를 들었다.  AI 부트캠프는 사실, 아쉬운 부분이 많기는 한데, 그래도 좋았던 점은첫번째, 데이터 분석에서 멈추지 않고, 다양한 서비스를 만들어보았다는 점두번째는, 운이 좋게(노력을 엄청 했으니 당연하지!!!) 모두 대상을 수상했다는 것이다.   하지만, 취업의 문은 부캠 따위 하나 듣는다고 거저 주어지지 않는다. 롯데라는 기업이 휘청거리고 LG는 비상경영을 하고 삼성도 주가가 녹아내리는 상황 이런 상황에 사람들이..

두번째 글을 올린다. 첫날 공부했던 양인데, 나눠서 올린다. 공부를 해두었고, 글을 올리는것만 하는 것인데도 참 번거로움이 느껴진다. 그러나, 하기로 했으니 우선 계속 해보는게 어떨까라는 마음으로 다시 그러나 사실 지금 30일째도, 50일째도 아닌 2일차라는게 놀랍다.. Chatper1.1.1 정형화된 데이터의 요소1.2 테이블 데이터 1.3 위치 추정1.4 변이 추정1.5 데이터 분포 탐색하기1.6 이진 데이터와 범주 데이터 탐색하기1.7 상관관계1.8 두 개 이상의 변수 탐색하기1.9 마치며1.4 변이추정(Variability)_데이터의 산포(변이)를 추정학문을 습득하고, 배움을 익히는데 어려운 가장 큰 장애물 중 하나는 그들만의 체계/언어이다. 한국어를 모국어로 사용하지만, 부끄럽게도 우리나라의 9..

Chatper1.1.1 정형화된 데이터의 요소1.2 테이블 데이터 1.3 위치 추정1.4 변이 추정1.5 데이터 분포 탐색하기1.6 이진 데이터와 범주 데이터 탐색하기1.7 상관관계1.8 두 개 이상의 변수 탐색하기1.9 마치며 0. EDA(탐색적 데이터 분석)가 필요한 이유EDA( Exploratory Data Analysis)는 데이터를 분석하거나  ML에서 학습시키는 등의 작업 전에 이루어진다. 탐색적 데이터분석이라고 불리우는 EDA를 통해 우리는 현재 내가 보유하고 있는 데이터의 유형, 형태, 위치, 변이, 분포 등 다양한 특징들을 파악하게 된다.  그럼 EDA는 왜, 즉 왜 데이터의 특징을 파악하는 것일까? 그것은 데이터의 특징에 따라 우리가 적용하고 사용할 유형과 방법이 상이하기 때문이다. 범..

퇴사를 하고, 언 3주차취업 준비(이력서 점검, 포폴 정리, 자소서 작성...!!)을 하는 것도 좋지만그간 나의 기본 역량을 함께 쌓는 것도 중요하겠다 라는 생각에  예전에 사두고, 절반 정도 읽다가 멈춘 책을 다시 꺼냈다. 특히 나는 컴공, 통계 모두 전공이 아니기 때문에 특히 '잘 아느냐'라는 질문이 오면 자존감이 떨어져서 통계에 대한 기본적인 지식을 쌓고자 하는 마음이 있었다.  그랬던 마음도 잠시, 언 일년만에야 다시 책을 꺼내들고이제 다시 시작을 해보려고 한다.  그 책은 바로 오랠리에서 출간한 아래의 책이다!Practical Statistics for Data Scientist(데이터 과학을 위한 통계)저자: 피터 브루스, 앤드루 브루스 / 옮긴이 이준용  우선은 열심한 마음으로 스스로 책을 ..

AI는 사회의 새로운 원천으로 작용하고 있다. 사회를 변화시키고, 사회는 AI를 통해서 많은 것들을 얻게 된다. 80년대 컴퓨터의 기술이 발전되지 못했고, 다양한 데이터도 없었으며, 인공지능 관련 학문의 발전도 빈약했던 시기와 다르게 요즘은 많은 기술과 데이터의 발생으로 지금까지와는 너무 다른 세상을 보여주고 있다. 특히 이러한 변화는 위의 그림에서 혁신을 일으켰다. 예전에는 아이디어를 구상하고 코드를 작성하는데 많은 시간이 소요되었다. 하드웨어적으로 어려웠다. 그리고 Experiment로 나아갈 때에도 어려움이 많았다. 다시 idea부분에서도 많은 데이터가 없고 활용도가 없으니 아이디어도 충분하지 않았다. 하지만 컴퓨터의 발전으로 코드로 구현하고, 빠르게 시도해보는 일들이 가능하게 되었다. 이로써 전체..

지금은 멋쟁이사자처럼(테킷)에서 진행하는 AI School 9기를 수강하고 있다. 23년 9월에 시작했던 부트캠프. 언제 시간이 지나나 했는데, 취업도 하지 못한채 어느새 시간이 흘러, 다음달이면 수료다... 시간아 멈춰봐! 부트캠프를 들었음에도, 뭔가 크게 성장하지는 못한것 같아서 네이버커넥트재단에서 운영하는 boostcourse에서 24년 새해를 맞아 Data Science Project를 하길래 거기도 신청! 여기서는 이것저것 기본기를 배우고 있다. 온라인 강의 강사님이 오늘코딩의 박조은강사님이셨고, 스터디 관련해서 안내해주신게 있었다. 그중에 캐글코리아에서를 통해 모집하는 스터디가 있었고, 딥러닝에 대해 좀 열심히 배워보자는 마음으로 신청했다. 내가 학습하고자 하는 것은 딥러닝의 대가인 Andre..