본문 바로가기

Python3

python을 이용해서 web scrapping 하기 - (1) web scrapping은 해당 url에서 필요한 정보만 쏙 뽑아 정리할 수 있도록 도와주는 것 구글에서 브래드 피트를 검색하면 관련 뉴스가 뜰 것이며(사진과 제목 등) 참여했던 영화목록도 볼 수 있을 것. 이 것이 스크래핑이다. 외국의 저명한 구직사이트는 indeed와 stackoverflow가 있다. 만약 indeed에서 python을 검색하게 되면 외부 사이트에서 모집하는 python 관련 링크가 검색될 것이다. 👉🏻 무얼 할 것인가? 파이썬을 이용해 indeed와 stackoverflow에 있는 모든 페이지의 구직정보를 엑셀에 담아 저장할 것 👉🏻 웹스크래퍼 코딩 과정 - python을 이용해 indeed와 stackoverflow에 접속 (전체 페이지 수 세기) * indeed 1페이지 검색결과.. 2021. 8. 22.
python 기초 - variable - List : [1, 2, 3], Tuple : (1, 2, 3), Dictionary : {'a': 1, 'b': 2, 'c': 3} - json하고 형식이 같다. 기존 선언해둔 kyungsnim에 속성 추가도 바로 가능하군 - 문자열 포맷팅 * % 연산자를 이용해 문자열에 숫자, 문자열 대입이 가능 >>> print('My name is %s' % 'Tom') My name is Tom >>> print('x = %d, y = %d' % (1, 2)) x = 1, y = 2 >>> print('%f' % 3.14) 3.14 - format() * % 연산자보다 더 파이썬같은 대입법 >>> print('My name is %s' % 'Bob') My name is Bob >>> p.. 2021. 7. 7.
파이썬으로 웹 크롤러 만들기 - (1) 웹스크레핑, 브라우저 동작방식 웹 스크레핑이란 ? 웹 스크레핑은 데이터를 수집하는 작업을 말하며 가장 널리 쓰이는 방법은 프로그램을 만들어 웹 서버에 쿼리를 보내 데이터를 요청하고, 이를 파싱(내가 활용하기 편한 데이터로 변환)해 필요한 정보를 추출하는 작업을 자동으로 하는 것을 말한다. 왜 웹 스크레핑을 써야 할까 ? 오직 브라우저만 사용해 인터넷에 접근하면 수많은 가능성을 놓치고 있는 것이다. 브라우저는 자바스크립트를 실행하고 이미지를 표시하며 객체를 사람이 읽기 편한 형식으로 표시하는데 뛰어나지만, 웹 스크레퍼는 다량의 데이터를 수집하고 처리하는 데 뛰어나다. 모니터의 좁은 창에서 페이지를 하나씩 볼 필요 없이, 데이터베이스에서 수천, 심지어 수백만 페이지를 즉시 볼 수 있다. 데이터 수집을 하기 위해 API가 존재한다고 생각할.. 2020. 7. 24.

티스토리툴바