| 정규식 적용 크롤링한 데이터의 "학력"에 불필요한 "\n\t\t\t\t\t\t\t\t\t\t"가 포함되어 있어서 replace()로 제거하였다. #2에서는 "\n\t\t\t\t\t\t\t\t\t\t"를 replace()의 파라미터로 복붙 하여 해결했는데, 이번에는 정규식을 적용하였다. 정규식에서 () 안의 문자열은 한 덩어리로 본다. +는 앞의 표현식이 1회 이상, *는 0회 이상 반복되는 부분과 대응한다. /(\n)*(\t)*/ 위와 같이 *만 사용하여 시도하였을 때는 [그림 1]과 같은 결과가 나왔다. 그래서 +, *를 각각 사용하여 문제를 해결할 수 있었다. /(\n)+(\t)*/ 전체 코드 중 정규식을 적용한 크롤링, 파싱 처리 부분은 다음과 같다. // 2_crawling_worknet.js..

| 개발 동기 매번 워크넷에 들어가 비슷한 검색어를 입력하는 것이 번거로웠다. 스케줄링까지 적용해 매일 정해진 시간에 자동으로 이메일 구직 정보를 받아보는 프로그램을 만들고자 한다. | 개발 목표 워크넷 정보를 크롤링한다. 크롤링된 정보를 개인 메일로 발송한다. 크롤링된 정보를 매일 지정한 시간에 개인 메일로 발송한다. 이상의 기능에 GUI를 적용한다. | 사용 기술 이번에 사용한 모듈은 dotenv, nodemailer이다. dotenv는 깃허브에 이 프로젝트를 커밋, 푸시하더라도 구글로부터 받은 메일 키는 제외되도록 하기 위해 사용하였다. nodemailer는 크롤링된 정보를 개인 이메일로 발송하기 위해 사용하였다. ※ node.js에서 진행한 이번 프로젝트에서 현재까지 사용한 모듈은 axios, c..

| 개발 동기 및 내용 매번 워크넷에 들어가 비슷한 검색어를 입력하는 것이 번거로웠다. 스케줄링까지 적용해 매일 정해진 시간에 자동으로 이메일 구직 정보를 받아보는 프로그램을 만들고자 한다. | 사용 기술 node.js와 axios, cheerio 모듈을 사용했다. | 진행 현황 현재까지 구현한 기능은 "검색어(keyword), 검색 결과 수(resultCnt, 최대 검색 건수 기본값 10), 지역코드(regionNumber)"를 매개변수로 주면 "채용공고명, 회사명, 채용 공고 상세 페이지 url"을 크롤링하는 것이다. | 다음 단계 크롤링된 정보를 gmail로 보내는 기능을 구현할 것이다. | 작성 코드 const axios = require("axios"); const cheerio = requir..

지난 26일(수), 웹크롤링(web crawling) 기술을 이용해 서비스를 개발한 지인을 만났다. 그도 본업이 있어 점심 약속을 잡고 식사와 커피를 마시며 이야기를 나누었다. 그가 만든 서비스는 온라인 커머스를 위한 툴이다. 그는 이 서비스를 만들기 전에 온라인 커머스를 공부하였고, 관련 커뮤니티에 조인 후 적극적으로 활동하였다. 관련 분야에 대한 도메인 지식과 네트워크가 형성되니 자연스럽게 니즈를 발견하게 되었다고 한다. 서비스를 배포한 후 카카오 단톡방을 열고, 온라인 커머스 커뮤니티의 회원들에게 쪽지로 홍보하였다고 한다. 그러다 보니 단톡방에 사람들이 모이고 그들이 유저가 되었다. 월 구독 방식으로 서비스 중이며, 단톡방을 통해 사용자의 피드백을 실시간으로 받는다. 피드백을 통해 기존 서비스의 오..