hwibeenjeong 님의 블로그

지나간 인연을 뒤로하고, 새로운 교수님을 모셨다. 한남대학교 경영정보학과 교수님이 앞으로의 수업을 진행해주신다고 하셨다. 지금까지는 read_csv 함수를 이용하여 기존의 데이터 파일을 불러오는 것이 아닌 웹에서 표시되는 데이터들을 원하는 부분만 긁어오는 것을 크롤링이라고 한다. 크롤링에는 정적 크롤링과 동적 크롤링이 있다. 먼저, 정적 크롤링은 웹 페이지의 HTML 소스코드를 직접 다운로드하여 데이터를 추출하는 방법이다. 이 방법은 서버에서 제공하는 정적인 HTML 컨텐츠만을 대상으로 한다. 동적 크롤링은 JavaScript를 통해 동적으로 생성된 컨텐츠를 수집하는 방법이다. 정적 크롤링이 정적인 데이터를 대상으로 하기 때문에 정적 크롤링을 많이 사용하지만, 동적 크롤링 또한 필요로 의해 여러 곳에서 ..

오늘은 새로운 개념을 더 배우진 않았고, 지금까지 배웠던 개념들을 돌아보고, 새로운 프로젝트를 진행하는 시간을 가졌다. 프로젝트 내용은 크게 5단계로 이루어져 있다.데이터 불러오기결측값 및 파생 변수 생성데이터 집계 및 부분선택데이터 집계 및 데이터 처리데이터 프레임 저장5단계를 자세하게 하나씩 살펴보자.1. 데이터 불러오기주어진 csv파일은 다움과 같다. 2022년도 서울의 아파트 실매매가에 대한 데이터인데, 이를 데이터프레임으로 변환하고, 데이터프레임의 전체적인 크기, 각 변수 별 데이터 유형들을 확인해보는 코드를 작성해야한다.import pandas as pddf_trade = pd.read_csv('./아파트(매매)_실거래가_서울_2022.csv', encoding = 'CP949', ..

1. 피봇 테이블(Pivot table)피봇 테이블이란 많은 양의 데이터에서 필요한 자료만을 뽑아 새롭게 표를 작성해주는 기능을 말한다. 그렇기 때문에 행과 열을 지정해서 원하는 데이터로 만들고, 그 안에 각각의 행렬에 맞게 데이터를 집계할 수 있다. 또한 'aggfunc' 매개변수를 통해 집계함수를 사용할 수 있다. 예시를 함께 보면 좋을 것 같다.데이터프레임명.pivot_table( values = '실제 데이터가 되는 값', index = '기준 레이블1', columns = '기준 레이블2', aggfunc = '집계함수')비교를 원하는 값을 values의 매개변수로 넘기게 되고, index, columns의 매개변수로는 기준이 되는 레이블들을 정해준다. 이때 values를..

실제로 파이썬 수업을 나간지 2주차가 되었다. 파이썬 기초와 pandas 기초를 배울 땐 들어본 내용이기에 이해와 응용이 쉬웠지만 이제부터는 달라지는 것 같다. 슬슬 전공 단어들도 들어보게 되고, 앞으로 얼마나 더 어려워질 지 기대된다. 1. Pandas 데이터 프레임의 변수 선택저번 시간에 loc(), iloc() 메서드를 이용해 위치 값 혹은 인덱스 값으로 데이터를 특정지었다. 하지만 데이터분석을 하다보면 데이터의 위치를 모르거나, 조건을 이용하여 값을 찾는 경우가 있을 것이다. 그럴 때 우린 함수를 사용해서 값들을 추출해야한다. 먼저 함수를 이용하여 변수를 선택하는 방법에 대해 알아보자.1-1. 함수를 이용한 변수 선택우리는 filter메서드를 통해 원하는 columns를 추출할 수 있다. 데이터프..

부트캠프를 시작한 지 벌써 일주일이 지났다. OT부터 ESG데이, 파이썬 기초를 배우고 나서 이제 데이터분석의 첫걸음을 디뎠다. 지금까진 파이썬의 기초를 다지는 시간이었다면 앞으로는 데이터 핸들링부터 머신러닝, 딥러닝까지 배우게 된다. 앞으로의 시간이 유익할 수 있게 노력해야지. 1. 데이터 분석이란?데이터 분석은 크게 6단계로 나뉜다. 1. 문제 정의 단계는 분석하고자 하는 문제를 명확히 이해하고 정의하는 과정이다. 해결하고자 하는 문제를 구체화하고, 필요한 데이터와 분석 범위를 결정하기도 한다.2. 데이터 수집 단계는 분석에 필요한 데이터를 모으는 과정이다. 데이터는 다양한 출처에서 수집될 수 있으며, 필요한 데이터를 다양한 형태로 수집하거나, 데이터의 질과 적합성을 평가한다. 데이터를 저장 혹은 관..

1. Python 표준 라이브러리Python에서는 다양한 라이브러리들을 사용할 수 있다. 라이브러리란, 사전에 누군가가 정의한 함수를 우리가 가져와 사용하는 것을 말한다. 그 중에는 파이썬에서 기본적으로 제공되고, 파이썬을 설치할 때 함께 설치되는 라이브러리가 있는데 해당 라이브러리를 표준 라이브러리라고 한다. 라이브러리를 사용하는 방법에 대해 알아보자.import 라이브러리명import pandas as pd # as 키워드를 통해 사용하기 쉬운 단어로 교체 후 사용from calendar import promonth # from 키워드를 통해 불필요한 라이브러리 호출을 방지'import' 키워드를 통해서 원하는 라이브러리를 자신의 코드에서 사용할 수 있게 해준다. import 키워드를 사용하면 자신이..

불어버린 강물 덕분에 가는 길이 험난해졌다. 차도 많았고, 끼어들기도 많이 해야 했지만 결과적으로는 무사히 도착. 오늘은 프로그래밍의 꽃, 함수에 대해 배운다.  1. 함수 (Function)함수란? 입력값을 받아서 어떠한 행동을 취하고 그 결과값을 반환(return)하는 코드입력 값을 받아서 작업을 처리한 뒤, 그 결과 값을 반환하는 코드를 함수라고 한다. 하지만, 경우에 따라서 입력값이 없는 경우도 있고, 반환 값이 없는 경우도 있다. 함수가 무엇인지 알았으니 왜 사용하는지 생각해 보자. 함수를 사용하지 않는 방법도 있다. 하지만 함수를 사용하지 않는다면 코드의 길이는 걷잡을 수 없도록 길어질 것이다. 함수의 형태부터 살펴보자.def 함수 이름( 매개 변수 ): # 매개 변수가 없을 수도 있다. ..

기초지식 2(리스트, 튜플, 딕셔너리, 조건문, 반복문) 0. 들어가기 앞서 리스트, 튜플 딕셔너리는 시퀀스 데이터 타입이다. 여기서 시퀀스는 문자열에도 포함이 되지만, 문자열과 시퀀스 데이터 타입은 차이가 있다. 그 이유를 먼저 알아보자면, 문자열은 기본적으로 수정이 불가능하다. 이 말은 변수와 달리 한 번 문자열이 정해지면 수정할 때 새로운 문자열 변수를 생성하는 방법만 가능하다.이와 같이 수정이 불가능한 객체들을 Immutable 객체라고 한다. 이와 반대로 앞으로 배울 리스트, 딕셔너리는 Mutable(수정 가능한),  튜플은 Immutable(수정 불가능한) 객체임을 알면 좋을 것 같다. 1. 리스트 (List) 리스트는 다양한 자료형들이 모인 집합을 의미한다. C언어 등에서의 리스트는 동일한 ..

지난주 오리엔테이션과 ESG 데이를 뒤로하고 이제 본격적으로 파이썬 기초부터 데이터 분석의 첫걸음을 딛는 날이다. 비가 정말 많이 오고, 차도 정말 많이 막혀서 지각하면 어쩌나 조마조마했지만 다행히 제시간에 맞게 도착했다 :)1. 환경 구축 및 주피터 노트북 사용 방법1-1. 환경 구축 앞으로 사용할 환경은 아나콘다이다. 아나콘다를 사용하는 이유는 각종 라이브러리들과 주피터 노트북 등 앞으로 할 활동에 도움이 되는 많은 기능들을 지원하기 때문에 사용한다. 다른 언어도 아니고 파이썬을 사용하는 이유는 다음과 같다.    1. 직관적이며, 사용에 용이하다.    2. 다양한 곳에 사용된다.    3. 풍부한 커뮤니티를 보유하고 있다. 먼저, 아나콘다를 설치하는 과정이다.아나콘다 공식 홈페이지에 가게 되면 윈..