혼공분석11 혼자 공부하는 데이터 분석 with 파이썬: 3주차(Chapter 03-2) Chapter03 "데이터 정제하기" Chapter 03-2의 주제는 '잘못된 데이터 수정하기' 이다. 판다스에서 누락된 값은 NaN이라고 표시한다. NaN을 찾는 방법과 NaN을 수정하는 방법을 배울 예정 데이터 프레임 정보 요약 확인하기 먼저 03-1에서 처리한 남산도서관 데이터를 가져온다. import gdown gdown.download('https://bit.ly/3GisL6J','ns_book4.csv',quiet = False) import pandas as pd ns_book4 = pd.read_csv('ns_book4.csv',low_memory = False) 요약 정보는 아래와 같이 확인한다. # ns_book4의 요약 정보 ns_book4.info() 누락된 값 처리하기 누락된 값 .. 2023. 1. 26. 혼자 공부하는 데이터 분석 with 파이썬: 3주차(Chapter 03-1) Chapter03 "데이터 정제하기" 데이터 정제란 데이터에서 손상되거나 부정확한 부분을 수정하고, 불필요한 데이터를 삭제하거나 불완전한 값을 교체하는 등의 작업이다. Chapter 03도 2개로 나누어 글을 작성하려 한다. Chapter 03-1의 주제는 '불필요한 데이터 삭제하기' 이다. 03-1 불필요한 데이터 삭제하기 열 삭제하기 먼저 남산도서관 데이터를 가져온다. # gdown으로 다운로드 import gdown gdown.download('https://bit.ly/3RhoNho','ns_202104.csv',quiet=False) # 판다스로 저장 import pandas as pd ns_df = pd.read_csv('ns_202104.csv',low_memory=False) ns_df.h.. 2023. 1. 25. 혼자 공부하는 데이터 분석 with 파이썬: 2주차(Chapter 02-2) Chapter 02-2는 "웹 스크래핑"에 대해 알아본다. 도서 쪽수를 찾아서 웹 스크래핑(또는 웹 크롤링) : 프로그램으로 웹사이트이 페이지를 옮겨 가면서 데이터를 추출하는 작업 사이트에서 직접 데이터를 찾는 것은 API로 url에 파라미터를 붙여서 찾는 것과는 조금 다름. Yes24 사이트에서 는 도서 제목이나 ISBN으로 검색을 해서 도서 상세 페이지로 넘어감. 검색 결과 페이지 가져오기 import gdown gdown.download('https://bit.ly/3q9SZix', '20s_best_book.json',quiet=False) import pandas as pd books_df = pd.read_json('20s_best_book.json') books_df.head() # 열이 많.. 2023. 1. 15. 혼자 공부하는 데이터 분석 with 파이썬 : 2주차(Chapter 02-1) Chapter 02는 양이 많아서 나눠서 작성하려 한다. Chapter 02-1의 주제는 "API 사용하기"이다. API란 API는 두 프로그램이 서로 대화 하기 위한 방법을 정의한 것이다. 예시로 윈도우나 맥OS같은 운영체제는 문서 작성 프로그램이 디스크에 있는 파일을 읽고 쓸 수 있도록 API를 제공한다 API를 구현하는 방법은 다양하고 각기 장단점이 있다. 이 책에서는 웹 기반의 API에 초점을 맞추어 설명한다. 웹 페이지를 전송하기 위한 통신 규약: HTTP 웹 사이트는 웹 서버 소프트웨어를 사용한다. 웹 서버 프로그램은 웹 브라우저와 통신할 때 HTTP란 프로토콜(통신 규약)을 사용한다. HTTP:인터넷에서 웹 페이지를 전송하는 기본 통신 방법이다. 웹 서버(운영) 웹 브라우저(설치) 의 관계로.. 2023. 1. 11. 혼자 공부하는 데이터 분석 with 파이썬 : 1주차(Chapter 01) 1주차(1/2~1/8)은 도서의 Chapter 01부분을 학습하는 것이다. Chapter 01은 다음과 같은 파트로 구성되어 있다. Chapter 01 데이터 분석을 시작하며 -1 데이터 분석이란 -2 구글 코랩과 주피터 노트북 -3 이 도서가 얼마나 인기가 좋을까요? 그럼 이번 챕터에서 배운 내용을 정리해보겠다. -1 데이터 분석이란 먼저 첫번째인 '데이터 분석이란'이다. 데이터 분석과 데이터 과학에 대한 차이를 알려주고, 데이터 분석에 필요한 과정과 도구를 설명해준다. - 데이터 분석과 데이터 과학의 차이 특징 데이터 분석 데이터 과학 범주 비교적 소규모 대규모 목표 의사 결정을 돕기 위한 통찰을 제공하는 일 문제 해결을 위해 최선의 솔루션을 만드는 일 주요 기술 컴퓨터 과학, 통계학, 시각화 등 컴.. 2023. 1. 8. 이전 1 2 다음
