멋쟁이 사자처럼 AI Shcool 3주차

5월 16일

• EDA 실습 마무리
• 데이터 수집 실습 -> fdr, pandas 이용
• 저작권, 크롤링과 스크래핑

5월 17일

• 스크래핑 실습
• bs4 모듈이 아직 익숙하지 않은 듯 -> 안써도 되는 부분에 사용했음
• pd.read_html은 requests, bs 등을 추상화해서 만들어둔 것
  • 헤더가 필요한 경우에는 사용할 수가 없음
• 수집해도 되는 페이지인지 확인하기 (주의할점)
  • 로봇 베재 표준 (root.txt)
  • 저작권
  • 무리한 네트워크 요청하지 않기

5월 18일

• 웹 스크래핑 실습
• html, CSS 소개 -> 기본적인 문법은 숙지하고 있어야 할 듯..
• read_html과 requests 모듈을 함께 사용하는 이유에 대해서 이해하지 못하겠음
  • 이해한바로는, read_html은 판다스에서 지원하는 강력한 기능이고
  • requests 모듈은 read_html로 수집이 되지 않는 경우 수집하는 방법을 보여주기 위함인가?
  • 일단 read_html 모듈은 requests 모듈을 한번 더 감싼거라고 들었는데, 뭔가 확실하게 이해가 안간다

5월 19일

• 2~3주차 회고
• 팀원들에게 깃과 깃블로그 간단하게 설명
• 지난주 실습을 파이썬을 이용해 구현해봄
• 판다스 문법의 숙지와 익숙해지는것이 필요함
• ill-defined problem(실제) vs well-defined problem(코테)

5월 20일

• SQL 실습 (조건문, 피봇 테이블)
• EDA와 RFM 분석
• Hackerrank 문제풀이
• slovesql 문제풀이

요약

• 온라인 수업이라다보니 질문의 의도가 잘 전달되지 않는듯하다, 이에따라 질문에 대한 답변이 길어진다는 단점이 있는 듯
• 복습을 성실하게하지 않으면 과제를 하는데 조금 문제가 생김
• 엑셀이나 시트를 사용해본적이 없어서 피봇 테이블 개념이 너무 생소하고 어려웠음 -> 추가적인 공부가 필요..
• 팀 개편이 있을 예정