기본 콘텐츠로 건너뛰기

도서 '파이썬으로 웹 크롤러 만들기' 리뷰

 크롤링 이란 무엇일까? 이 책을 보기 전, 크롤링이랑 인터넷에서 간단하게 이미지나 원하는 글 정도를 자동으로 긁어 주는 정도라고 생각했다. 하지만 이 책을 보고 크롤링으로 생각했던 것보다 더 많은 것들을 할 수 있다는 것을 알았다. 책의 표지를 보면 초간단 나만의 웹 크롤러로 원하는 데이터를 가져오는 방법이라고 작게 적혀있다. 작게 적어 놓은 것을 보면 책을 번역하신 분도 자신이 없으셨던 걸까ㅎㅎ...


책에는 파이썬 소스 코드와 링크 등이 있어서 굳이 한 땀 한 땀 키보드로 코드를 입력하지 않고도 사용할 수 있다. 책 내용은 파이썬과 파이썬 모듈 패키지 등을 사용하여 크롤링을 하는 내용으로, 처음에는 단순한 텍스트부터 책 뒷부분으로 갈수록 CAPTCHA를 자동으로 입력하는 것을 넘어 이미지로 되어 있는 내용에서 텍스트를 읽어 오고 이미지가 저 해상도일 경우 별도의 처리를 한 다음 최대한 정확한 내용을 읽어오는 방법까지도 나와있다. 기대 이상으로 활용도가 많다. 무엇보다 특정 상품의 인터넷 최저가를 찾기 위해 인터넷의 바다를 헤매는 요즘의 나에게 정말 큰 도움이 됐다. 거기다 Mysql에 대한 설명도 있고 설치부터 파이썬과의 연동 방법까지 자세하게 적혀 있다.

책 내용의 난이도는 파이썬을 잘 사용할지 몰라서 그런지 중상 정도로 어려운 편이다. 당연하지만 크롤링이 단순하게 뭔가 한다기 보다 인터넷상에서 웹에 있는 여러 가지 데이터를 가져오는 작업이라 각각 분야에 대한 지식도 필요한 부분이다. 그래서 쉽지는 않지만 기본적으로 제공되는 샘플 코드를 조금씩 수정하다 보면 내가 원하는 결과를 얻는 것은 크게 어렵지 않았다. 크롤링을 배우고 싶어서 인터넷 여기저기를 검색하는 것도 좋은 방법 이긴 하지만, 시간을 단축하고 확실히 익히고 싶다면 이 책으로 공부해 보는 것이 좋을 것 같다.

댓글

이 블로그의 인기 게시물

샷시문, 유리문, 현관문 방화문으로 교체비용, 방화문으로 바꾸는 가격

샷시문 방화문으로 교체. 유리문 방화문으로 교체. 현관문 철문 교체. 현관문 철문 가격. 내가 왜 이런것을 알아보았느냐면, 우리집에는 현관문이 2개가 있다. 1층 현관문과 2층 현관문. 2층 현관문은 보시다시피 알루미늄 샷시에 유리가 끼워져있는 매우 부실한 현관문이다. 물론 1층에도 현관문이 하나 더 있기 때문에 크게 신경쓸 필요는 없지만. 그래도 여기는 지금 안락동집처럼 외부 창고같은 것이 없기 때문에 택배를 받기가 애매해서, 부피가 큰 택배를 받을때 1층 현관문을 열어두기 위해 2층 현관문을 보강할 필요가 있었다. 우리집 문의 크기는 아래와 같다. (cm) 문틀포함 문높이 171 / 문틀포함 문폭 76 문틀비포함 문높이 172 / 문틀비포함 문폭 69 문틀면 폭 5~6 문윗 스틸 폭 10 / 문옆 스틸폭 7 / 문가운데 스틸폭 10 / 문아래 스틸폭 50 문윗유리 가로 54 / 문윗유리 세로 69 문아랫유리 가로 54 / 문아랫유리 세로 30 안락동집 근처 문마트라는 곳에 가서 사이즈와 사진을 보여주고 견적을 받았다. 지식인은 물론 카페와 블로그, 각종 사이트 등에서 나와 같은 경우를 찾아 보고 엄청나게 알아보았으나, 다들 교체비용이 40~50만원이 든다고 하더라. 집근처에 문마트가 있다는 걸 떠올리고 직접 견적을 내러 가보니 문틀 포함해서 시공비까지 27만원이라고 했다. 샷시문 철문으로 교체, 현관문 철문으로 교체하는게 27만원이면 충분하다. 주문하고 맞춤 제작이 들어가기 때문에 시공 완료까지 일주일정도 소요가 된다고 한다. 나 말고도 막막하게 인터넷으로 알아보는 사람들을 위해서 정보 공유차 글을 올려본다. 불안에 떨지말고, 문을 철문, 방화문 교체하는거 크게 비싸지 않다. 한달 월세만큼이면 충분하니 집주인하고 상의해보거나 해서 부산분이라면 교체하는 것도 좋을 것 같다. 물론 철문이라고 해도 문에 틈이 있으면 장도리로 뚫리고, 홀커터로 털릴 수도 있는거라 완전한 안전지대는 없지만, 그래도 마음은 편안하지 않은가. 더

천주교 성경책 구입

수요일 교리를 마치고도 봉사자님께 질문을 드렸었지만, 천주교는 개신교와는 성경이 다르다. 사실 나는 9월 말에 프리마켓에서 중고로 구입한 '개신교 성경책'이 있다. 그때만해도 내가 몇주 뒤에 성당에 다니게 될 거라고는 상상조차 하지 않았으니까, 교양서 읽듯이 읽어보려고 샀었다. 하지만 '우리말 성경'이라고 해놓고서 번역이 엉망진창이라 이해하려고 노력하다가 포기했다. 제대로 보지 못하고 구석에 처박힌 개신교 성경은 뒤로하고, 천주교 성경이 필요했다. 인터넷에 검색을 해보니 신자의 가정에 비치해야할 물건에는, 성경책, 가톨릭기도서, 성가집, 십자고상, 성모상, 묵주 가 있다고 했다. 사실 교재 공부를 할 때도 성경이 필요해서 성경책을 하나 구입하려고는 했는데, 인터넷으로 찾아보니 달랑 대,중,소에 1단, 2단 이렇게 쓰여져 있는데 무슨 소린지 도통 알 수가 없었다. 지퍼가 있고 없고만 알아들을 수 있었다. 아무래도 곁에 두고 자주 읽을 책이니 직접 보고 결정하기로 마음 먹었다. 천주교 수영성당으로 향했다. 2단으로 된 성경책을 사가지고 왔다. 재미있게도 이 성경책은 모든 곳에서 판매가가 29,000원이다. 오프라인이든 온라인이든. 신기한 일이다. 세로 22cm, 가로는 15.5cm 정도 된다. 2단이지만 폰트가 깔끔하고 읽기 편하게 되어 있다. 굵기도 적당해서 수시로 펴고 읽기에 좋았다. 개신교 성경처럼 화려하지도 장식이 있지도 않지만, 표지는 감촉이 좋고 책장 넘김도 좋고 책갈피 줄도 두 줄이나 있다. 크기도 딱 적당하다. 매우 마음에 든다. 이렇게 나의 첫 신앙물품은 당연하게도 성경책이 됐다. 교회 공용으로 사용하는 성경이 있다니. 이것도 천주교라서 가능한 걸까. 내가 구입한 책은 2017년 5월 1일에 재판된 책이다. 이제 공부 준비는 충분한 것 같다. 책상 위 나와 가장 가까운 위치의 책꽂이에 성경책과 교재를 꼽아 두었다. 언제라도 꺼내서 볼 수 있도록. 사실 성경책은 그날의 독서에

화장실 문이 잠겼을 때 여는 방법

10일. 손님이 왔다가 갔다. 손님이 화장실을 사용했는데, 나중에 손님이 집에 간 뒤 들어가려고 보니까 화장실 문이 안에서 잠겼다. 이런 망할. 일단 급한대로 가까운 지하철역 화장실에 다녀왔다. 현관문에 붙어 있는 열쇠상에 다 전화를 돌렸지만, 새벽 한 시에 와 줄 수 있는 사람은 아무도 없었다. 그래서 그냥 슈퍼가서 손톱가는 것을 사와서 집에 있는 클립과 함께 진지하게 화장실 문따기를 시작했다. 우리집 화장실은 안쪽으로 열리는 타입이라 턱이 있어서 난이도가 좀 있었다. 손톱 가는 것과 클립 펼친 것과 제본 표지였던 플라스틱 접은 것으로 사투 끝에 문을 여는데에 성공했다. 문을 열고 원인을 확인해보니, 보통은 화장실 문은 잠그고서 안에서 문고리를 돌리면 같이 열리는데, 이 문은 안에서 문고리를 돌리면 열리기는 하는데 잠금은 안 풀리는 것이다. 그래서 닫힌 뒤에 밖에서는 열리지 않는 문제가 발생한다. 앞으로 손님이 올 때는 이점을 꼭 당부를 드려야겠다. 진짜 식겁했다. 아무튼 문을 따고 나서 이쪽으로 전직을 해야하는 걸까나 라는 그런 생각을 했다. ㅋㅋㅋ