전체 글152 노드 라이브러리 패키지 관리자 npm npm이란? NPM은 노드 패키지 매니저 / Node Package Manager 자바스크립트 프로그래밍 언어를 위한 패키지 관리자 외부모듈을 사용할 수 있도록 해주는 것, maven과 비슷한 개념 npm을 활용 하면 자바스크립트 관련 라이브러리를 다운로드 받아서 사용 할 수 있음 Node.js가 기본적으로 갖고 있지 않고 개인 혹인 단체가 만들어 배포하는 모듈 npm 공식 사이트 공식 사이트에 들어가면 설치하고자 하는 모듈에 대한 정보를 찾아서 볼 수 있다. https://www.npmjs.com/ npm | the ❤ of the modern development community Bring the best of open source to your company npm is the tool used .. 2019. 5. 11. Node.js란 무엇인가요? Node.js 정의 NodeJS는 구글 크롬의 자바스크립트 엔진(V8 Engine)에 기반해 만들어진 서버 사이드 플랫폼 자바스크립트 런타임(특정 언어로 만든 프로그램을 실행할 수 있는 환경) Node.js는 확장성 있는 네트워크 애플리케이션(특히 서버사이드) 개발에 사용되는 소프트웨어 플랫폼 Node.js 패키지 생태계인 npm은 방대한 오픈 소스 라이브러리 생태계 노드는 자바스크립트 애플리케이션이 서버로서 기능하기 위한 도구를 제공하여 서버로의 역할도 쉽게 할 수 있다. 기존에 Java-Spring-tomcat으로 프로그램을 개발해 본 사람이 Node.js를 배우면, 단 2개의 페이지로 서버까지 구현이 가능한 것이 놀라울 것이다. 자바스크립트가 기본 언어 이다 보니, 기존에 서버 단이 아닌 프론트 단.. 2019. 5. 11. Spring 스프링 특징 : DI / POJO / AOP 스프링의 특징 어플리케이션 프레임워크 경량(Lightweight) 컨테이너 의존성 주입 Dependency Injection(DI)을 통한 객체 간의 관계 구성 Aspect Oriented Programming(AOP) 지원 POJO 기반의 구성 편리한 MVC 구조 WAS에 종속적이지 않은 개발 환경 ㅇ POJO 기반의 구성 내부에는 객체 간의 관계를 구성할 수 있는 특징을 가지고 있음 스프링은 다른 프레임워크들과 달리 이 관계 구성 시 별도의 API 등을 사용하지 않는 POJO(Plain Old Java Object)의 구성만으로 가능하도록 제작되어 있음 일반적인 JAVA 코드를 이용해서 객체를 구성하는 방식을 그대로 스프링에서 사용 가능 그렇기 때문에 코드를 개발할 때 개발자가 특정한 라이브러리나 컨.. 2019. 5. 10. Spring STS, Maven 메이븐이란? STS는 기본적으로 maven을 내장하고 있다. 프로젝트를 생성하면 바로 maven을 이용해서 스프링 관련 라이브러리가 다운로드 된다. maven하면, pom.xml을 떠올리고, 프로젝트에 필요한 라이브러리를 다운받는 것이라고만 생각할 수있지만 maven은 엄밀히 말해서 프로젝트 관리 도구이다. maven이란? Java 기반 프로젝트의 라이프사이클 관리를 위한 빌드 도구 컴파일과 빌드를 동시에 수행, 테스트를 병행하거나 서버 측 Deploy 자원을 관리할 수 있는 환경을 제공하는 것 라이브러리 관리 기능도 내포하고 있어서, settings.xml 또는 pom.xml 파일에 필요한 라리브러리만 적으면 Maven이 다운로드 하고 설치 후 경로까지 지정해 준다. settings.xml maven 관련 설정을 .. 2019. 5. 10. 스프링 Spring 프레임워크 왜 쓰는거지? 처음에 웹 프로그래밍을 배우면서 스프링 프레임워크를 배우면 꽤나 어렵다고 느껴진다. 분명 프로그램 개발을 더 쉽게 해준다고 했는데, 기존 방식에 비해 더 복잡하고 어려워 진듯한 기분이 들었다. 그래서 책이나 블로그 등을 찾으면서 정리한 내용을 올리고자 한다. 스프링 전에는 서블릿 방식으로 프로그램을 개발하였다. 그리다가 스프링이 나오게 되었고, 개발자들은 서블릿 방식이 아닌 스프링을 개발에 쓰는 경우가 많아졌다. 왜 스프링이 대세가 된 것일까? 프레임워크는 어플리케이션 개발을 쉽게 하기 위한 뼈대이다. 기본 클래스, 인터페이스 등을 제공한다. 일반적으로 개발자 각각의 능력의 차이가 큰 편이다. 그렇다 보니 구성원에 따라 프로젝트의 결과 차이가 생긴다. 이러한 것을 극복하기 위해서 프레임워크를 사용하게 된.. 2019. 5. 10. 스프링 프레임워크란? Spring framework Frame work 어플리케이션 개발을 쉽게 하기 위한 뼈대(클래스, 인터페이스 등…) 제공 고객이 수정을 요청을 할 때 리소스(시간, 비용, 인력 등)를 덜 들이기 위해 사용 프레임워크 중에 가장 많이 사용 하는 것 struts2 : 일본에서 많이 사용 spring 스프링(Spring) 엔터프라이즈 어플리케이션에서 필요로 하는 기능을 제공하는 프레임워크 JEE(Java Enterprise Edition)가 제공하는 다수의 기능을 지원하고 있기 때문에 JEE를 대체하는 프레임워크로 자리잡고 있음 핵심 기능인 DI(Dependency Injection)나 AOP(Aspect Oriented Programming)도 지원 스프링 개발 도구 eclipse STS 스프링의 특징 어플리케이션 프레임워크 경량(Li.. 2019. 5. 10. 파이썬 크롤러 : requests.get( )으로 못가져오는 사이트 간혹 requests.get으로 못 가져가게 막아 놓은 사이트가 있다. 그런 경우 크롬 개발자 도구의 network탭으로 가면 페이지 변환이 일어나거나 데이터 전송이 일어나는 경우에 네트워크에서 전송되는 파일의 목록을 확인할 수 있다. 이런 경우에 해당 내용을 보면서 데이터가 어떻게 전송되는지 확인하면 json파일로 쉽게 정보를 가져올 수도 있고, 간혹 일반 url만으로 정보가 오지 않는 경우 해당 url 뒤에 쿼리스트링으로 Request Headers에 나온 것을 객체로 만들어서 함께 전달하면 정보를 받을 수 있는 경우가 있다. 동일 사이트 : 정보 가져오지 못함 import requests import re from bs4 import BeautifulSoup url = "http://www.jols.. 2019. 5. 10. 파이썬 에러, re와 BeautifulSoup error : html.parser type Error 파이썬으로 크롤링을 하다보면 웹상의 정보를 가져 온 뒤 원하는 특정 정보를 추출하는 과정에서 에러가 발생하는 경우가 있다. 정규표현식을 하기 위한 re만 쓰거나, Beautifulsoup 뷰티풀숲만 쓰는 경우에는 발생하지 않지만, 2가지를 같이 쓰는 경우에는 에러가 발생하게 된다. 네이버 뉴스 긁어오는 크롤러 : 에러발생 import requests import re from bs4 import BeautifulSoup url="http://news.naver.com/main/main.nhn?mode=LSD&mid=shm&sid1=105" html=requests.get(url) bs_html=BeautifulSoup(html.content,"html.parser") news_list=bs_html.fi.. 2019. 5. 10. 파이썬 웹 크롤러 : 네이버 이미지 검색 저장 프로그램 이번에는 사용자가 함수에 매개변수로 주는 "검색 키워드"와 저장 이미지 숫자에 따라 이미지를 저장하는 웹크롤러 파이썬 프로그램을 만들고자 한다. 우선, 검색어에 따라 가져와야 하는 url의 값이 달라지기 때문에 url의 쿼리스트링을 분석해야 한다. 검색을 할때 변하는 변수를 참고하면 사용자가 입력하는 값에 따라 다른 이미지를 저장하는 프로그램을 만들 수 있다. 네이버에서 이미지로 검색을 하는 경우 주소창이 아래와 같이 변하게 된다. https://search.naver.com/search.naver?where=image&sm=tab_jum&query=커피 주소창에 쓰여있는 정보 중 ?뒤에 붙은 것들은 쿼리스트링이라고 이야기 하며, 서버 쪽으로 정보를 전달 할 때 사용하게 된다. 검색어를 전달하면 해당 검.. 2019. 5. 10. 파이썬 웹 크롤러 만들기 : 네이버 웹툰 전체 썸네일(이미지) 저장 (*주의* 웹크롤러의 경우 다른 사람의 저작물을 저장하여 사용하게 되기 때문에 상업적 이용 시 문제가 될 수 있음) 네이버 웹툰에서 많은 웹툰이 게재되어 있다. 이미지를 저장하는 웹 크롤러를 교육용으로 만들어봤다. 웹툰 별로 정보를 가져올 수 있지만 이미지만 추출 한 후 이미지를 컴퓨터에 저장하는 크롤러를 만들고자 한다. 파일처리가 들어가기 때문에 어렵다고 생각할 수 있지만, 파이썬의 경우 파일처리가 어렵지 않기 때문에 20줄 이하로 만들 수 있다. 네이버 웹툰 이미지 저장 크롤러 requests를 활용하여 내가 이미지를 가져오고자 하는 곳의 정보를 가져오기 해당 정보를 기준으로 BeautifulSoup으로 해당 위치의 이미지 주소를 찾기 img 태그를 찾아서 scr 속성 안에 쓰여져 있는 정보를 가져오.. 2019. 5. 9. 파이썬 웹 크롤러 만들기 : 기상청 RSS 도시 예보 기상청 사이트 이외에도 다양한 api 또는 RSS 정보를 제공하는 곳들이 다수 있다. 공공데이터 활용이 가능하거나, 정보 제공사이트 등에서 무료로 서비스 하는 정보를 개발자 들이 사용할 수 있게 제공하는 곳이 다수 있기 때문에 관련 내용을 참고해 보는 것이 좋다. RSS는 참고로 Really Simple Syndication, Rich Site Summary로 정보를 XML 형태로 제공하여 쉽게 원하는 정보만 가지고 수정할 수 있도록 제공해주는 서비스이다. 기상청 아래 사이트에 가면 RSS 정보를 사용할 수 있는 URL을 준다. http://www.weather.go.kr/weather/lifenindustry/sevice_rss.jsp RSS > 인터넷 > 서비스 > 생활과 산업 > 날씨 > 기상청 홈.. 2019. 5. 9. 파이썬 웹 크롤러 만들기 : 네이버 뉴스 가져오기 웹 크롤러를 만드는 예제의 기본중의 기본 네이버 뉴스 웹 크롤러를 만들어 보고자 한다. 네이버 뉴스 중 IT/과학 분야의 타이틀과 링크를 가져와서 출력하는 웹 크롤러 예제이다. requests와 re, BeautifulSoup을 활용하여 만들 예정이며, 20줄도 안되는 파이썬 코드로 충분히 만들 수 있다. 크롤러를 만드는 코드는 생각보다 어렵지 않다. 크롬 개발자 도구에서 내가 가져오고자 하는 정보가 어떤 태그로 이루어져 있는지, class 또는 ID 명이 지정되어 있는지에 따라 가져 올 수 있는 방법이 나누어 진다. 우선은 사이트를 분석하고, HTML 태그를 개발자 도구로 보면서 해당 위치가 어느위치인지 보고 class 명이나 ID명이 지정되어 있다면 해당 명칭으로 BeautifulSoup을 활용하여 .. 2019. 5. 9. 이전 1 ··· 5 6 7 8 9 10 11 ··· 13 다음 반응형
