크롤러 만들기 기초1 파이썬 크롤링, 웹사이트 정보 가져오기 크롤링, Crawling 크롤링은 스크래이핑이라고도 하는데, 웹상의 정보를 스크랩하듯이 그대로 가져와서 내가 원하는 형태로 가공하는 것을 이야기 한다. 크롤링하는 소프트웨어를 크롤러라고 한다. 일반적으로 파이썬이라는 언어를 활용하여 크롤러를 많이 만든다. 그 이유는 웹 상의 정보를 가져 올 수 있는 다양한 라이브러리가 있고, 웹상의 가져온 정보를 전처리 하는 것이 유용하기 때문이다. 웹 상의 정보를 가져오는 것은 생각보다 어렵지 않다. 처음에 몇번만 해보면 쉽게 가져올 수 있다. 하지만, 어려운 것은! 가져온 정보 중 내가 원하는 데이터만 가져오는것. 필요없는 정보는 쓰레기와 다름없기 때문에 원하는 정보만 꼭 찝어서 가져올 수 있도록 다양한 방법을 고민해야 한다. 정규표현식을 사용하거나, HTML을 분석.. 2019. 5. 9. 이전 1 다음 반응형
