본문 바로가기

전체 글152

파이썬 크롤링, 웹 이미지 저장(파일 저장 방법) 웹 이미지 저장하는 방법은 생각보다 간단하다. 만약 자바를 먼저 배운 사람인 경우 자바에서 이미지 파일을 저장하기 위해서는 파일 처리 및 stream 등에 대한 이해를 해야 하지만 파이썬의 경우 이미지 저장 시 훨씬 간단하게 저장이 가능하다. 3줄이면 이미지를 저장할 수 있다. 예시를 보면서 이해하면 좋을 것이다. 웹 주소 이미지 저장 예제 위키피디아의 로고를 저장하는 예제이다. 이미지를 저장하고자 하는 주소 정보를 가져와서 requests로 해당 소스 정보를 가져온다. file = open("저장 파일명.확장자", "wb") open( ) 메소드는 파일을 처리하기 위한 메소드 저장 파일명은 특수문자는 사용하지 않고, 영어와 숫자로 쓰는 것을 권장한다. 확장자는 이미지 파일의 경우 jpg 또는 png 등.. 2019. 5. 9.
파이썬 크롤링, BeautifulSoup으로 정보 가져오기 BeautifulSoup이란? BeautifulSoup은 별도 설치가 필요한 라이브러리이다. 파이참을 사용한다면 아래 링크에서 설치하는 방법을 참고하길 바란다. [Python Crawling] - 파이썬 크롤링 기본, requests와 re & BeautifulSoup 개념 및 설치 파이썬 크롤링 기본, requests와 re & BeautifulSoup 개념 및 설치 크롤링을 하기 위해서 설치해야 하는 것이 2개 있음 원하는 사이트의 정보를 가져오기 사용하는 requests 패키지 사이트의 모든 정보를 가져온 다음 내가 원하는 것을 추출하기 위해서 필요한 라 developsd.tistory.com HTML 소스를 활용하여 특정 노드를 선택할 수 있는 라이브러리로 웹 크롤링을 하는 경우 기본적으로 사용하.. 2019. 5. 9.
파이썬 크롤링, re로 특정 정보 선택하기(간단한 정규표현식) re란? re는 파이썬 기본 라이브러리로 별도 설치가 필요 없다. re를 사용하면 특정 규칙을 가지고 있는 형태의 정보만 선택해서 가져올 수 있다. re 예제 re를 import한 다음 아래와 같이 쓰면 된다. re.findall( 정규표현을 활용한 규칙, 값이 담긴 변수명 ) .+?는 하나 이상의 글자를 의미하며, (.+?)는 해당 위치에 있는 값을 선택하는 것이다. ( )안에 들어가는 것이 내가 추출하고자 하는 정보를 뜻한다. 한번에 여러개의 가로를 쓸수 있음. ( )에 담긴 정보는 배열의 형태로 반환된다. re의 findall 메소드를 사용하면 반환 값이 하나여도 배열을 반환한다. 그렇기 때문에 일반적으로 2차원 배열이 반환 된다. 그래서 그 안의 정보를 가져오기 위해서는 배열변수명[ 1차 인덱스 .. 2019. 5. 9.
파이썬 크롤링, requests로 네이버 웹 정보 가져오기 requests란? requests는 웹상의 html 소스를 가져오기 위한 라이브러리 기본 라이브러리는 아니기 때문에 별도 설치가 필요하다. 만약 파이참을 쓰고 있다면 아래 링크 참조! [Python Crawling] - 파이썬 크롤링 기본, requests와 re & BeautifulSoup 개념 및 설치 파이썬 크롤링 기본, requests와 re & BeautifulSoup 개념 및 설치 크롤링을 하기 위해서 설치해야 하는 것이 2개 있음 원하는 사이트의 정보를 가져오기 사용하는 requests 패키지 사이트의 모든 정보를 가져온 다음 내가 원하는 것을 추출하기 위해서 필요한 라이브러리가 re와.. developsd.tistory.com 네이버 HTML 소스 추출 자주 들어가게 되는 네이버메인. 만.. 2019. 5. 9.
파이썬 크롤링 기본, 정규표현식이란? 정규표현식(regular expression) 컴퓨터 소프트웨어 기술로 원하는 정보를 추출하는 것을 크롤링이라고 한다.​ 크롤링으로 여러가지 데이터를 가지고 와서 맘에드는 데이터만 뽑기 위해 작성하는 식이 정규표현식. 파이썬에서 re를 import 해서 사용할 수 있다. 기본 라이브러리로 별도 설치 없이 import만으로 사용 가능 ​? 1번 이하 u? u가 0번 이거나 1번 나와야 함 * 0번 이상 u* u가 0번이상 나옴 + 1번 이상 u+ u가 1번 이상 나옴 . 문자 . 1개의 문자와 일치 [ ] 문자클래스 [1-9] [abc]d 1-9까지 중 하나 ad, bd, cd를 뜻 [^ ] 부정 [^a-z] 알파벳 소문자로 시작하지 않는 모든 문자 정규표현식의 문법 설명 정규표현식은 정해진 규칙으로 사용.. 2019. 5. 9.
파이썬 크롤링 기본, requests와 re & BeautifulSoup 개념 및 설치 크롤링을 하기 위해서 설치해야 하는 것이 2개 있음 원하는 사이트의 정보를 가져오기 사용하는 requests 패키지 사이트의 모든 정보를 가져온 다음 내가 원하는 것을 추출하기 위해서 필요한 라이브러리가 re와 BeautifulSoup이 있다. re는 기본 라이브러리로 requests와 BeautifulSoup을 별도 설치가 필요하다. 이렇게 3개의 라이브러리가 있다면, 내가 원하는 웹상의 정보를 가져와서 사용할 수 있다. (HTML에 대한 이해도 있다면 쉽게 크롤러를 만들 수 있다.) requests 웹 상의 html 소스를 가져오기 위한 것 http 요청(request)을 조금 더 편하게 할 수 있는 기능이 들어 있는 패키지 내가 원하는 URL의 정보를 가져올 수 있도록 하는 패키지 라이브러리 설치 .. 2019. 5. 9.
파이썬 크롤링, 웹사이트 정보 가져오기 크롤링, Crawling 크롤링은 스크래이핑이라고도 하는데, 웹상의 정보를 스크랩하듯이 그대로 가져와서 내가 원하는 형태로 가공하는 것을 이야기 한다. 크롤링하는 소프트웨어를 크롤러라고 한다. 일반적으로 파이썬이라는 언어를 활용하여 크롤러를 많이 만든다. 그 이유는 웹 상의 정보를 가져 올 수 있는 다양한 라이브러리가 있고, 웹상의 가져온 정보를 전처리 하는 것이 유용하기 때문이다. 웹 상의 정보를 가져오는 것은 생각보다 어렵지 않다. 처음에 몇번만 해보면 쉽게 가져올 수 있다. 하지만, 어려운 것은! 가져온 정보 중 내가 원하는 데이터만 가져오는것. 필요없는 정보는 쓰레기와 다름없기 때문에 원하는 정보만 꼭 찝어서 가져올 수 있도록 다양한 방법을 고민해야 한다. 정규표현식을 사용하거나, HTML을 분석.. 2019. 5. 9.
Python 파이썬 기본, 반복문 for / while 반복문 특정 명령어(문장들)을 반복 수행시키기 위하여 사용하는 문장 종류 : for, while ​ 반복문 for for는 ~하는 동안, 주어진 반복 범위에서 반복해 달라고 하는 것 for문 안에 함수를 넣을 수 있는데 가장 많이 사용하는 것이 range()함수 for x 에서 x는 변수가 선언된 것 처음 0부터 range(숫자)까지 반복되는 상황 range 안의 숫자는 바로 전까지 실행 된다. range(4)면 0,1,2,3까지 실행되는 형태 for 변수 in range(반복원하는 숫자) : 명령어 for x in range(8) : print("Hello") (결과값) Hello Hello Hello Hello Hello Hello Hello Hello for 변수 in 문자열 : 문장 1 문장 2 .. 2019. 5. 9.
Python 파이썬 기본, 조건식 if 조건식 조건식은 만약 이러한 경우에 아래와 같은 일을 해달라고 하는 것 if a > 0 : print("a는 양수",a) if(조건식): else : #여기는 조건식은 안 들어감, 이미 앞에 것이 아니라는 뜻을 포함 하고 있는 것 if만입력하는 것도 가능하다. if와 else는 세트가 아니다. if에서 조건식이 자바와 다름 010 라고만 써야 되는건 자바나 C언어 파이썬은 둘 다 가능 월을 입력 받아 계절명 구하는 프로그램 season=int(input("월을 입력하세요==>")) if season==3 or season==4 or season==5 : r= "봄입니다." elif season==6 or season==7 or season==8 : r= "여름입니다." elif season==9 or s.. 2019. 5. 9.
파이썬 모듈 기본 & import 사용법 모듈 프로그래밍을 할 때 프로그램이 길어지면 몇 개의 파일로 나누어 저장하고 관리할 필요가 있음 그리고 공통적으로 사용되는 변수, 함수, 클래스들을 별도의 파일에 저장해 놓고 작성하는 프로그램에서 이를 불러서 쓰면 편리 ==> 이러한 용도로 사용하는 것이 모듈! ㅇ math 모듈 sin, cos, tan, log, pow 등의 값을 구할 때 사용하는 것이 math 모듈 import math math.모듈함수명( ) floor( ) : 소수점 이하 절삭, 내림 ceil( ) : 실수를 무조건 올림 한 값 factorial( ) : 펙토리얼 구하기(1부터 해당 값까지 곲 한 값 ㅇ random 모듈 난수를 발생시키거나 난수와 관련된 기능을 제공하는 모듈이 random 해당 모듈을 활용하면 주사위 게임, 가위.. 2019. 5. 9.
파이썬, 클래스와 객체 그리고 생성자 파이썬도 자바와 마찬가지로 객체지향 언어이다. 그렇기 때문에 클래스나 객체 등에 대한 개념을 알고 있으면 사용할 때 도움이 된다. 자바에 비해서 유연한 언어인 파이썬이지만, 함수를 만들고 해당 함수를 활용한다. 자바와 다르게 다중 치환이나 다중 리턴이 가능하다 보니, 일부 내용은 자바 보다 더 짧게 효율적으로 구현이 가능하다. 클래스와 객체, 인스턴스 등은 프로그래밍을 하다보면 계속적으로 봐야 하는 내용으로 명확한 정리가 필요하다. 클래스 클래스는 객체지향 프로그래밍에서의 핵심 요소 객체 지향 프로그래밍에서는 제일 먼저 필요한 클래스들을 정의한 다음 정의된 클래스를 기반으로 한 객체들을 생성하여 프로그램을 작성한다. 클래스는 쉽게 말해 다음의 그림과 같이 변수와 함수를 모아 놓은 것이라고 말할 수 있음,.. 2019. 5. 9.
파이썬 python, 함수만들기 함수만들기 함수는 def로 만들 수 있음, 이미 파이썬에 있는 함수가 있지만 본인이 직접 만들 수 있다. def는 define(정의하다)의 약어로 함수를 정의 하는 것 def 함수명(변수명) : 수식 명령어 return 변수 ​ 모니터 노출 시 : print(함수변수) r : r=b return r def max3(a,b,c): r = max2(max2(a,b),c) return r print(max3(100,12,15)) (결과값) 100 2019. 5. 9.
반응형

티스토리툴바