web crawling

"""icrawler 패키지를 이용해서, Google 이미지 검색 결과의 이미지들을 다운로드> pip install icrawler"""from icrawler.builtin import GoogleImageCrawlerimport os # 이미지 저장 폴더 경로save_dir = os.path.join('..', '..', 'images')# GoogleImageCrawler 객체 생성google_crawler = GoogleImageCrawler(storage={'root_dir': save_dir})google_crawler.crawl(keyword='펭수', max_num=50) 결과 >> 위의 결과는 images.google.com에서 '펭수' 검색 결과를 가져온 것이다. 그 밖에 여러 검색 조..
파이썬으로 HTML 문서 분석:설치해야할 패키지(pip install package-name)1) beautifulsoup4: HTML 요소들을 분석하는 패키지2) html5lib: HTML 문서를 parsing(분석)3) requests: HTTP 요청(request)을 보내고, 서버로부터 응답(response)을 받는 기능을 담당. web01.html----------------------------------------------------------------------------------------------------------------- 처음 작성하는 HTML HTML: HyperText Markup Language 여기는 paragraph입니다. 여기는 division입니다. 다음 카카..
Codezoy
'web crawling' 태그의 글 목록