Python 64_ 파이썬 웹 크롤링2_ 다음 뉴스 기사 크롤링

import requests

from bs4 import BeautifulSoup

# 접속할 사이트(웹 서버) 주소

url = 'https://search.daum.net/search?w=news&q=%EB%A8%B8%EC%8B%A0%20%EB%9F%AC%EB%8B%9D&DA=YZR&spacing=0'

# 사이트(웹 서버)로 요청(request)를 보냄

html = requests.get(url).text.strip() # 요청의 결과(응답, response - HTML)를 저장

# print(html[0:100]) # 전체 문자열에서 100자만 확인

# BeautifulSoup 객체를 생성

soup = BeautifulSoup(html, 'html5lib')

# HTML 문서의 모든 링크에 걸려 있는 주소들을 출력

links = soup.find_all('a')

for link in links:

    # print(link.get('href'))

    pass

print()

# 관심 있는 링크(뉴스 링크)들만 찾을 수 있는 방법을 고민

div_coll_cont = soup.find_all(class_='coll_cont')

        a: 태그

        .class: 클래스

        #id: id

# HTML 하위 요소(sub/child element)를 찾는 방법:

# 1) parent_selector > child_selector

#       div > ul > li

#       .coll_cont > #clusterResultUL > .fst

# 2) ancestor_selector(조상 선택자) descendant_selector(자손 선택자)

#       div li(div의 자손 요소들 중 li들)

#       .coll_cont .fst(클래스 .coll_cont 요소의 자손 요소들 중 클래스가 .fst인 요소들)

# soup.select(css_selector): soup 객체에서 CSS 선택자로 요소들을 찾는 방법

news_link = soup.select('.coll_cont ul li a.f_link_b')

https://cp.news.search.daum.net/p/87257246

http://v.media.daum.net/v/20191206104223990?f=o

http://v.media.daum.net/v/20191206081549155?f=o

http://v.media.daum.net/v/20191128200443076?f=o

https://cp.news.search.daum.net/p/87157229

https://cp.news.search.daum.net/p/87103956

https://cp.news.search.daum.net/p/87068633

https://cp.news.search.daum.net/p/87212496

http://v.media.daum.net/v/20191123120109125?f=o

http://v.media.daum.net/v/20191113202402907?f=o

Process finished with exit code 0

웹 주소(URL)의 형식:

프로토콜: // 서버주소[:포트번호] / 경로?쿼리스트링

https://www.naver.com

쿼리 스트링(query string): 클라이언트(브라우저)가 서버로 보내는 정보

    param이름=param값 형식으로 작성

    파라미터가 여러개일 경우에는 &로 파라미터들을 구분

다음에서 "머신 러닝"으로 검색한 기사 100개의 URL 주소와 기사 제목을 출력

import requests

from bs4 import BeautifulSoup

# 접속할 사이트(웹 서버) 주소

def get_link(p_url):

    html = requests.get(p_url).text.strip() # 요청의 결과(응답, response - HTML)를 저장

    # print(html[0:100]) # 전체 문자열에서 100자만 확인

    # BeautifulSoup 객체를 생성

    soup = BeautifulSoup(html, 'html5lib')

    # soup.select(css_selector): soup 객체에서 CSS 선택자로 요소들을 찾는 방법

    r_news_link = soup.select('.coll_cont ul li a.f_link_b')

    return r_news_link

# 사이트(웹 서버)로 요청(request)를 보냄

for page in range(1, 11):

    print('page:', page)

    url = f'https://search.daum.net/search?w=news&q=%EB%A8%B8%EC%8B%A0%20%EB%9F%AC%EB%8B\

    %9D&DA=YZR&spacing=0&p={page}'

    news_link = get_link(url)

    for link in news_link:

        print(link.text)

        print(link.get('href'))

page: 1

AWS, 5가지 ‘머신러닝 서비스’ 발표

https://cp.news.search.daum.net/p/87257246

머신러닝 위세아이텍, 코스닥 상장 예비심사 승인

http://v.media.daum.net/v/20191206104223990?f=o

앤디 재시 "AWS 머신러닝 서비스 도입, 타사보다 2배 높다"

http://v.media.daum.net/v/20191206081549155?f=o

머신러닝 기반 모바일 악성코드 분석 서비스 나온다

http://v.media.daum.net/v/20191128200443076?f=o

AWS, 머신러닝용 아마존 세이지메이커 기능 발표

https://cp.news.search.daum.net/p/87157229

글로벌제약사 ‘머신러닝’ 활용···신약 타겟 발굴

https://cp.news.search.daum.net/p/87103956

"국내 헬스케어 머신러닝 기술 활용 제한적"

https://cp.news.search.daum.net/p/87068633

AWS, 누구나 쉽게 익히는 5대 기업용 머신러닝 서비스 공개

https://cp.news.search.daum.net/p/87212496

[공공솔루션마켓]위세아이텍, 비전문가도 머신러닝 자동화 플랫폼...

http://v.media.daum.net/v/20191123120109125?f=o

머신러닝이 스포츠 경기를 진화시키는 방법

http://v.media.daum.net/v/20191113202402907?f=o

page: 2

[종합] 초심자부터 숙련 아티스트와 머신 러닝까지, '유니티 마스...

https://cp.news.search.daum.net/p/87085920

AWS, 머신러닝·인공지능 기반 기업 디지털 혁신 지원

http://v.media.daum.net/v/20191113115717718?f=o

175억달러 '헬스케어 머신러닝', 한국 대응방안은?

https://cp.news.search.daum.net/p/86628869

최태원 "AI·머신러닝도 사회적가치 측정해야"

http://v.media.daum.net/v/20191124150302919?f=o

LG히다찌, KEB하나은행 의심거래보고 고도화에 머신러닝 구축

http://v.media.daum.net/v/20191118135010456?f=o

AI와 머신러닝으로 비즈니스 효과를 거두는 5가지 방법

http://v.media.daum.net/v/20191119060316690?f=o

NHN, 게임·빅데이터·머신러닝 총망라한 ‘NHN FORWARD’ 개최

https://cp.news.search.daum.net/p/86888768

펜타시큐리티, 웹방화벽에 머신러닝 기술 적용

http://v.media.daum.net/v/20191114091159307?f=o

'실제 데이터 활용' 의료 AI 해커톤 개최.. 네이버 머신러닝 플랫...

http://v.media.daum.net/v/20191119100223051?f=o

[ADD 미래기술] 국과연, 머신러닝 기반 ‘모의 데이터 생성 기술...

https://cp.news.search.daum.net/p/87011884

page: 3

정우진 NHN 대표, “머신러닝(ML) 전문인재 발굴에 집중”

https://cp.news.search.daum.net/p/86885385

고려사이버대학교, ‘매치업’ 프로그램 빅데이터 분석(R 머신러...

https://cp.news.search.daum.net/p/86852938

'데이터 분석' 교육 강화하는 기업銀..R·크롤링·머신러닝 활용 ...

http://v.media.daum.net/v/20191120144816652?f=o

"AI, 머신러닝 기반 '뉴 네트워크' 도래"..시스코 "데브넷으로 혁...

http://v.media.daum.net/v/20191126182058042?f=o

[뉴테크 포럼 강연자 릴레이 인터뷰] 4. 신성진 클로바 소속 머신...

https://cp.news.search.daum.net/p/86527662

슈뢰딩거 "머신러닝으로 신소재부터 신약개발까지 선도"

http://v.media.daum.net/v/20191107161756392?f=o

슈퍼브에이아이, AI 기반 머신러닝 데이터 플랫폼 출시

http://v.media.daum.net/v/20191114162936917?f=o

강학주 울랄라랩 대표 "머신러닝으로 설비 예지 보전 가능한 스마...

https://cp.news.search.daum.net/p/86537186

데이터 가공 속도 향상된 머신러닝 데이터 플랫폼 첫 출시

http://v.media.daum.net/v/20191114141704005?f=o

‘머신러닝’ 의약품 이상반응 실마리정보 탐지 NEW 대안?

https://cp.news.search.daum.net/p/86128745

page: 4

AWS “‘세이지 메이커’로 머신러닝 더 쉽고 빠르게 도입”

https://cp.news.search.daum.net/p/86311434

데이터분석 및 머신러닝 엑셀러레이터 기업 (주)두다지, 대한민국...

https://cp.news.search.daum.net/p/86483356

구글 픽셀4에 쓰인 머신러닝, 오픈소스로 공개

http://v.media.daum.net/v/20191115142941357?f=o

CPU부터 AI까지.. '넥스트 클라우드' 띄우는 아마존

http://v.media.daum.net/v/20191208185607992?f=o

머신러닝 통한 '도네페질�니볼루맙' 이상반응 분석 결과는?

https://cp.news.search.daum.net/p/86082910

ABL생명, 보험사기 예측시스템에 AI '머신 러닝' 기능 도입

https://cp.news.search.daum.net/p/86740866

[강연] 오라클 강우진 전무, "복잡한 머신러닝 기술, 간편한 UI ...

https://cp.news.search.daum.net/p/86408662

시큐리온, 스마트워치 안티바이러스 '온백신 포 웨어' OS 베타 출시

http://v.media.daum.net/v/20191209101921314?f=o

"머신러닝, 소비 행동 예측..기업 이익 높여요"

http://v.media.daum.net/v/20191009171320460?f=o

[PASCON 2019] 권영목 파고네트웍스 대표 “AI·머신러닝 기반 블...

https://cp.news.search.daum.net/p/86219495

page: 5

JT친애저축은행, 중금리신용대출 누적 공급액 1조원 넘었다

http://v.media.daum.net/v/20191209092653138?f=o

[인터뷰]기업 내부 문서 검색, 이젠 AI로

http://v.media.daum.net/v/20191208093354361?f=o

엔비디아, ‘RSNA 2019’서 의학용 머신러닝(ML) 플랫폼 ‘클라라...

https://cp.news.search.daum.net/p/87063182

KPMG, 디지털 혁신 위해 5년간 50억달러 투자

http://v.media.daum.net/v/20191209104729510?f=o

"디지털전환 핵심 AI・머신러닝, AWS 서비스 있으면 됩니다 "

https://cp.news.search.daum.net/p/86313670

머신러닝 기반 '레벨 2.5 ADAS' 시대 개막..OTA 구축이 과제

http://v.media.daum.net/v/20191021114734570?f=o

현대기아차, 머신러닝 기반 스마트크루즈컨트롤 개발

http://v.media.daum.net/v/20191021084524201?f=o

< Science >연주 데이터에 감정 표현하는 '머신러닝'.. 인간 창의...

http://v.media.daum.net/v/20191104104020586?f=o

엘라스틱, 머신러닝·보안 강화 '엘라스틱스택' 7.4 출시

http://v.media.daum.net/v/20191008163052782?f=o

현대·기아차, 머신러닝 AI 기술 'HDA2' 적용.."세계 최초 AI 반...

http://v.media.daum.net/v/20191021202816282?f=o

page: 6

이셋, 고급 머신러닝 탑재한 개인용 보안 솔루션 출시

https://cp.news.search.daum.net/p/85973185

포스텍-델테크놀로지스, AI와 머신러닝분야 공동연구개발 협약

http://v.media.daum.net/v/20191023185109182?f=o

KPMG, 6조원 투자..'디지털 혁신·고품질 감사' 추진

http://v.media.daum.net/v/20191209112527197?f=o

HPE, ‘머신러닝 옵스’ 출시

https://cp.news.search.daum.net/p/85031987

MS, AI 신뢰 위해 블록체인 적용

http://v.media.daum.net/v/20191209084442763?f=o

CJ올리브영, '한국 SCM 산업대상' 수상..SCM 혁신 인정받아

http://v.media.daum.net/v/20191209110515273?f=o

[인공지능 365] 인텔・퀄컴, AI 품은 新제품 잇따라 선봬

https://cp.news.search.daum.net/p/87266104

[AI시대, 저작권법 개선 토론회]해외에서는 수년 전부터 논의 시작

http://v.media.daum.net/v/20191209132107358?f=o

모니터랩, 머신러닝 접목 보안솔루션으로 글로벌 시장 공략

http://v.media.daum.net/v/20191028130207032?f=o

[청론직설]"AI생태계 기본은 SW인데..SW개발자 10만~20만명 부족"

http://v.media.daum.net/v/20191209000526352?f=o

page: 7

[화제의 현장] “변화하는 AI·머신러닝 트렌드에 최적의 대응방...

https://cp.news.search.daum.net/p/85856483

KB금융그룹, 데이터분석 인력 육성 '열매' 맺다

https://cp.news.search.daum.net/p/87271643

국내 최초 '스마트워치' 전용 백신 솔루션 출시

https://cp.news.search.daum.net/p/87282718

[에너지포럼 2019-혁신사례①] 석유개발 머신러닝 시장 38조 규모...

https://cp.news.search.daum.net/p/85650109

[리인벤트19]클라우드 장악한 AWS, AI 완전 정복 시동

http://v.media.daum.net/v/20191204132236571?f=o

[AWS 리인벤트] “전문가와 대화하듯 AI로 기업 내부 정보 검색”

https://cp.news.search.daum.net/p/87269247

비앤빛 안과, 세계시력교정협회(RSA) 컨퍼런스 성료

https://cp.news.search.daum.net/p/87277639

에이젠글로벌, 금융상품 ‘AI자동화 모델’ 특허 등록

https://cp.news.search.daum.net/p/87281196

HPE, 컨테이너 기반 소프트웨어 솔루션 출시..'머신러닝 수명 주...

http://v.media.daum.net/v/20191010095204065?f=o

[영상] 아이폰 11 프로 VS 아이폰 XS 카메라 비교..'머신러닝 더...

http://v.media.daum.net/v/20191028131816421?f=o

page: 8

KB증권, 머신러닝 기법 광고성 뉴스 필터링 시스템 도입

http://v.media.daum.net/v/20191015095722417?f=o

앤디 제시 AWS CEO "기업 디지털 트랜스포메이션은 기술 아닌 경...

http://v.media.daum.net/v/20191204134136168?f=o

구글 클라우드, 꼼꼼히 재고 알아서 깎아준다

http://v.media.daum.net/v/20191209090022141?f=o

[칼럼] '인공지능'과 '인간지능' 공존 시대 "어떻게 가르쳐야 할까"

https://cp.news.search.daum.net/p/87253272

실시간 머신 러닝으로 성능과 활용도↑.. 아이폰 11 정식 출시

http://v.media.daum.net/v/20191025172413208?f=o

[AWS 리인벤트] 아마존 CTO, “4차 산업혁명 아직 멀었다”

https://cp.news.search.daum.net/p/87264181

KB證, 머신러닝 기법 HTS·MTS 적용..투자 정보 뉴스 정확도 높여

http://v.media.daum.net/v/20191015094951076?f=o

"언더라이팅도 이젠 AI로"..교보생명, 자연어처리·머신러닝 '바...

http://v.media.daum.net/v/20191030134609544?f=o

[논설실의 서가] AI 어디까지 진화할까

http://v.media.daum.net/v/20191204182656807?f=o

LG유플러스-카카오모빌리티, 고도화된 머신러닝 기술로 ‘U+카카...

https://cp.news.search.daum.net/p/86238517

page: 9

[리인벤트19]AWS, 인공지능으로 스포츠 안전 책임진다

http://v.media.daum.net/v/20191206124004513?f=o

메디치소프트, ‘인공지능 빅데이터 분석 추천 방법 최우수 사례...

https://cp.news.search.daum.net/p/87281875

보험심사업무에 '머신러닝' 적용한 삼성화재.. AI 효과에 주목

https://cp.news.search.daum.net/p/85274588

[AWS Re:Invent 2019] '이면(裏面)'의 '발명(發明)'을 보다

https://cp.news.search.daum.net/p/87247674

아마존, 클라우드 영토 확장..버라이즌·SKT와도 '공조'

http://v.media.daum.net/v/20191204092716779?f=o

[뉴스워커_CJ] 올리브영, ‘한국 SCM 산업대상’ 수상

https://cp.news.search.daum.net/p/87283863

CJ올리브영, '한국 SCM 산업대상' 수상

https://cp.news.search.daum.net/p/87279639

KPMG '디지털 혁신' 위해 5년간 6조원 투자

https://cp.news.search.daum.net/p/87281266

워크데이, 3분기 매출 9억3810만 달러…전년 동기 대비 26.2%↑

https://cp.news.search.daum.net/p/87280756

HPE, 머신러닝 모델 수명주기 관리 솔루션 ‘HPE ML 옵스’ 출시

https://cp.news.search.daum.net/p/85053583

page: 10

효성인포메이션시스템, 산업 IoT 플랫폼 '루마다' 머신러닝 자동...

https://cp.news.search.daum.net/p/86083436

메디치소프트, '인공지능 빅데이터 분석 추천 방법 최우수 사례상...

https://cp.news.search.daum.net/p/87272756

'차가 나처럼 운전을?' 현대·기아차 머신러닝 기반 스마트 크루...

http://v.media.daum.net/v/20191021085059330?f=o

현대차의 야심작 GV80…스파이샷으로 김빠졌지만 출격 준비 끝!

https://cp.news.search.daum.net/p/87251418

JT친애저축은행, 중금리 신용대출 상품 1조원 돌파

https://cp.news.search.daum.net/p/87274312

CJ올리브영, '한국 SCM 산업대상' 유통부문 대상

https://cp.news.search.daum.net/p/87269925

[2019 메이커] 머신러닝 '동키카'로 모두 즐겁게 놀아요

https://cp.news.search.daum.net/p/84913005

"SCM 혁신 인정" CJ올리브영 '한국 SCM 산업대상' 수상

https://cp.news.search.daum.net/p/87271426

CJ올리브영, 한국 SCM 산업대상 수상

https://cp.news.search.daum.net/p/87270934

CJ올리브영, '한국 SCM 산업대상' 수상..."SCM 혁신 인정받아"

https://cp.news.search.daum.net/p/87269910

다음에서 임의의 검색어(키워드)로 검색한 기사 100개의 URL 주소와 기사 제목을 출력하는

함수 작성하고 테스트

    

def daum_search(keyword):

    url = 'https://search.daum.net/search?w=news&DA=PGD&spacing=0'

    # 검색 결과는 1페이지부터 10페이지 까지

    for page in range(1, 11):

        print(f'=== Page {page} ===')

        req_params = {

            'q': keyword, # 검색어(키워드)를 쿼리 스트링에 파라미터로 추가

            'p': page # 검색 페이지 번호를 쿼리 스트링에 파라미터로 추가

        }

        response = requests.get(url, params=req_params)

        html = response.text.strip()

        soup = BeautifulSoup(html, 'html5lib')

        news_links = soup.select('.coll_cont ul li a.f_link_b') # css 선택자대로 .class, #id, 

        # tag 와 띄어쓰기로 구분

        for link in news_links:

            news_title = link.text

            news_url = link.get('href')

            print(news_url, news_title)

if __name__ == '__main__':

    daum_search('네이버')

=== Page 1 ===

http://v.media.daum.net/v/20191209060006449?f=o '황제주'로 거듭난 네이버.. 내년에도 '꽃길' 걷나

http://v.media.daum.net/v/20191208180846413?f=o 잘나가던 네이버, 박스권 갇힌 이유

http://v.media.daum.net/v/20191209113720793?f=o 와콤, 네이버 레전드웹툰 '마음의 소리' 조석 작가 인터뷰 영상 공개

http://v.media.daum.net/v/20191209125526905?f=o 고아라, 네이버 V앱 라이브 통해 팬들과 소통 예고..'다채로운 모...

http://v.media.daum.net/v/20191204112923194?f=o 네이버, 중기·소상공인 대출 중개한다

http://v.media.daum.net/v/20191209102343504?f=o 보아, 새 미니 앨범 발매 기념 네이버 V 라이브 생방송

http://v.media.daum.net/v/20191204104402097?f=o 대만·태국에서도 '네이버페이' 결제

http://v.media.daum.net/v/20191203144213159?f=o 네이버 '실검'으로 돈버는 카카오

http://v.media.daum.net/v/20191202092602976?f=o 네이버 앱에 국민연금 고지서..내년 3월, 모바일 네이버서도 가능

http://v.media.daum.net/v/20191129134606598?f=o 네이버 디자인 콜로키움 개최.."네이버는 글로벌 도전 집합체"

=== Page 2 ===

http://v.media.daum.net/v/20191205060528999?f=o 2020년부터는 대만·태국 오프라인 상점에서도 네이버페이

http://v.media.daum.net/v/20191204113322395?f=o 타이완·태국서도 네이버페이 통한다

http://v.media.daum.net/v/20191205175542234?f=o 쥬니어네이버 게임랜드, 역사 속으로.. 누리꾼 '아쉬움'

http://v.media.daum.net/v/20191202040034417?f=o [디지털프리즘]네이버는 왜 소뱅과 손잡았나

http://v.media.daum.net/v/20191202093721391?f=o 크러쉬, 네이버 나우 '#OUTNOW' 첫 호스트

http://v.media.daum.net/v/20191203114402180?f=o 박영선 장관, AI 활용 연구 네이버랩스유럽 방문

http://v.media.daum.net/v/20191129143237294?f=o 네이버 "살아남으려 계속 글로벌 도전하는 것"

http://v.media.daum.net/v/20191206072504148?f=o "배달하고 인사까지"..진화한 네이버표 '카페로봇' 외부테스트 성공

http://v.media.daum.net/v/20191129100010524?f=o LGU+, 네이버와 '오늘의 미션' 음성검색 이벤트.."네이버페이 쏜다"

http://v.media.daum.net/v/20191201120131054?f=o "키워드 치면 창작자 콘텐츠 뜹니다" 검색門 넓힌 네이버

=== Page 3 ===

http://v.media.daum.net/v/20191203111717688?f=o '백두산' 이병헌 하정우, 네이버 무비토크 개최

http://v.media.daum.net/v/20191204100140157?f=o 네이버웹툰 퀴즈쇼 인산인해.. 태국이 들썩

http://v.media.daum.net/v/20191201095414928?f=o 네이버, 글로벌 석학들과 AI·로봇 미래 논의

http://v.media.daum.net/v/20191204150852336?f=o 네이버페이·페이코 등 국내 간편결제 서비스 영토 넓힌다(종합)

http://v.media.daum.net/v/20191203120915295?f=o 네이버 황제주 등극..SK제치고 환산주가 857만원 '1위'

http://v.media.daum.net/v/20191202092550970?f=o 네이버 앱에서 국민연금 신청부터 납부까지 한다

http://v.media.daum.net/v/20191202095810183?f=o 네이버·국민연금, 모바일 전자고지 활성화 위한 MOU 체결

http://v.media.daum.net/v/20191128173604587?f=o 네이버 실급검 개편..광고노출 줄여

http://v.media.daum.net/v/20191201174222554?f=o 네이버 "댓글 문제 AI 기술로 해결할 수 있어"

http://v.media.daum.net/v/20191201112339339?f=o "AI·로봇 기술 리더십 쥔다"..네이버, 유럽서 글로벌 워크숍

=== Page 4 ===

http://v.media.daum.net/v/20191130080002133?f=o 네이버·카카오 동반 상승..자회사 '예비 IPO' 즐비

https://cp.news.search.daum.net/p/87276307 대기업집단 브랜드평판 2019년 12월 빅데이터 분석 결과 삼성 '톱...

http://v.media.daum.net/v/20191129155817508?f=o 네이버 인플루언서 검색, 비공개 시범 서비스 오픈

http://v.media.daum.net/v/20191205103621576?f=o "10초면 결제 가능" 와그트래블, 네이버페이 간편결제 도입

http://v.media.daum.net/v/20191201093013637?f=o 알프스자락 천혜의 환경 갖춘 네이버 AI 연구소 가보니..

http://v.media.daum.net/v/20191209120122757?f=o 한화·CJ·네이버 등 19곳 총수 이사등재 '0'.."책임경영한계"

http://v.media.daum.net/v/20191129203753814?f=o "새로운 예술 경험".. 네이버, 협업 창작 플랫폼 '온스테이지X'

http://v.media.daum.net/v/20191203120051915?f=o "온라인 광고대행사 '네이버 사칭' 주의..섣부른 결제 금물"

http://v.media.daum.net/v/20191128073904108?f=o 네이버, 실검 개편..이벤트·할인정보 거른다

http://v.media.daum.net/v/20191128140531442?f=o 네이버 급상승 검색어 순위, 사람마다 달라진다

=== Page 5 ===

http://v.media.daum.net/v/20191129130257601?f=o 20살 네이버.."글로벌 진출은 선택 아닌 생존"

http://v.media.daum.net/v/20191129124648328?f=o 네이버, 구글·페북과 실시간경쟁 될까.."그래도 싸운다"

http://v.media.daum.net/v/20191201093008635?f=o 네이버, 유럽서 AI·로봇학자 한데 모아 기술흐름 공유

http://v.media.daum.net/v/20191201103054500?f=o "로봇 위한 운동지능 갖춰야"..네이버, 글로벌 AI 연구벨트 시동

http://v.media.daum.net/v/20191203111130406?f=o AI에 꽂힌 박영선.. 알프스 아래 '네이버 AI연구소'도 찾았다

http://v.media.daum.net/v/20191202112711331?f=o 네이버, 올해 10곳에 90억 지분투자

http://v.media.daum.net/v/20191129090126362?f=o 네이버, 창작자 지원 파트너스퀘어 홍대·상수 오픈

http://v.media.daum.net/v/20191129003326065?f=o 광고판 된 네이버 실검..필터 설정 강화가 전부?

http://v.media.daum.net/v/20191127101545821?f=o 네이버, '지식iN 엑스퍼트'로 실시간 일대일 상담

http://v.media.daum.net/v/20191129181324768?f=o 네이버웹툰, 클릭 높이는 비결.."영화 스타일 배너"

=== Page 6 ===

http://v.media.daum.net/v/20191204063044355?f=o 미래에셋·네이버가 점찍은 인도네시아 핀테크 기업

http://v.media.daum.net/v/20191203085107643?f=o 대상 종갓집, 4일 네이버 브랜드 감사제 진행

http://v.media.daum.net/v/20191126112028323?f=o 네이버 커넥트재단, 소프트웨어교육 강화

http://v.media.daum.net/v/20191129070033027?f=o 네이버·카카오 "광고·악플 막아라"..실검·댓글 개편 속도낸다

http://v.media.daum.net/v/20191127110938135?f=o 흔들림없는 네이버, 기업가치 재평가 시작

http://v.media.daum.net/v/20191129100041559?f=o LG유플·네이버, AI 스피커 활용 '오늘의 미션' 이벤트

http://v.media.daum.net/v/20191205172403999?f=o 림킴, 네이버 온스테이지 공개..섭외부터 연출까지

https://cp.news.search.daum.net/p/87231934 네이버 창작자가 모이는 ‘그곳’을 찾았다

http://v.media.daum.net/v/20191201144324058?f=o 네이버 유럽연구소로 모인 AI석학들.."로봇·AI 일상에 녹이자"

http://v.media.daum.net/v/20191129112940831?f=o 네이버, 예비 IT 디자이너에 노하우 공유.."서비스 설계 조직 중요"

=== Page 7 ===

http://v.media.daum.net/v/20191206132528201?f=o DB손보, 네이버웹툰 공식 연재..'가족사랑툰 시즌3' 진행

http://v.media.daum.net/v/20191128135943146?f=o 네이버 클라우드, AI 서비스 활성화 위한 세미나 개최

https://cp.news.search.daum.net/p/87273748 빌리브네이처X미래엔에듀케어With Z-Stars(지스타즈) 네이버 해피...

http://v.media.daum.net/v/20191129121355585?f=o 네이버 디자인 콜로키움.."글로벌 진출, 생존 위한 유일한 길"(종합)

http://v.media.daum.net/v/20191203110037889?f=o '백두산' 4일 네이버 무비토크 라이브 진행..이병헌·하정우 출연

https://cp.news.search.daum.net/p/87229347 '쥬니어네이버' 게임랜드 복원에 네티즌 깜짝

https://cp.news.search.daum.net/p/87070740 ‘네이버페이’ 피싱에 중고거래 몸살

http://v.media.daum.net/v/20191201154607218?f=o 네이버, 유럽서 글로벌 석학들과 '로봇·인공지능 미래' 논의

http://v.media.daum.net/v/20191203095301824?f=o '백두산' 이병헌X하정우, 4일 네이버 무비토크 라이브 출연

http://v.media.daum.net/v/20191127102031005?f=o "실시간 1:1 상담하세요"..네이버 지식인 '엑스퍼트' 출시

=== Page 8 ===

http://v.media.daum.net/v/20191128165708119?f=o 네이버 급상승검색어 개인화..광고성 검색어 없어진다

http://v.media.daum.net/v/20191202145114434?f=o 네이버·국민연금공단, 모바일 전자고지 서비스 활성화 MOU 체결

http://v.media.daum.net/v/20191201095706978?f=o 네이버랩스유럽 나일라 머레이 박사

http://v.media.daum.net/v/20191201095701975?f=o 네이버랩스유럽 나일라 머레이 박사

https://cp.news.search.daum.net/p/86953641 네이버, 디자인 콜로키움 개최

http://v.media.daum.net/v/20191129100020538?f=o LG유플러스, 네이버와 '오늘의 미션' 음성검색 이벤트

http://v.media.daum.net/v/20191127114653497?f=o 네이버, 실시간 전문 지식 상담 플랫폼 '지식인 엑스퍼트' 출시

http://v.media.daum.net/v/20191201105648848?f=o 네이버, 유럽서 글로벌 석학들과 '로봇-AI 하나 될 미래' 논의

https://cp.news.search.daum.net/p/87266012 [ 대기업집단 브랜드평판 2019년 12월 빅데이터 ] 1위 삼성, 2위 ...

https://cp.news.search.daum.net/p/87211438 시중銀 손잡는 네이버파이낸셜…'공급망금융' 참여할까

=== Page 9 ===

https://cp.news.search.daum.net/p/87113372 네이버페이, 대만·태국으로 글로벌 결제 확대

http://v.media.daum.net/v/20191129162145385?f=o 네이버, 음성인식 비서 '클로바'에게 명령하면 선물 준다

http://v.media.daum.net/v/20191128141041622?f=o 네이버, 개인별 맞춤 실검순위 AI로 보여준다

http://v.media.daum.net/v/20191128164050593?f=o "크리에이터들의 협업 창작 축제"..네이버 프로젝트 꽃 '온스테이...

http://v.media.daum.net/v/20191205031136490?f=o 현대차 "네이버·우버가 경쟁 상대"

http://v.media.daum.net/v/20191202163516671?f=o 네이버 앱, 내년 3월 국민연금 신청·납부 가능해진다

http://v.media.daum.net/v/20191202111430619?f=o 내년 3월부터 국민연금 신청부터 납부까지 네이버페이로 '원스톱'

http://v.media.daum.net/v/20191129134516575?f=o '글로벌 도전 집합체' 된 네이버, IT디자이너들이 갖출 역량은?

http://v.media.daum.net/v/20191129110712961?f=o "오늘의 미션을 말해주세요" 네이버, 음성 검색 이벤트 연다

https://cp.news.search.daum.net/p/87268782 [빅데이터로본다] 대기업집단 2019년 12월 브랜드평판...1위 삼성...

=== Page 10 ===

http://v.media.daum.net/v/20191203100702461?f=o 네이버, 태국서 라인웹툰 퀴즈쇼 개최..경쟁률만 41만대 1 '성황'

http://v.media.daum.net/v/20191129060408494?f=o 네이버, 세무·노무 등 실시간 전문지식 상담 '지식인 엑스퍼트' ...

https://cp.news.search.daum.net/p/87108423 네이버페이, 대만·태국으로 글로벌 결제 확대

http://v.media.daum.net/v/20191129170942908?f=o 네이버 이제 '인플루언서 검색'이다! 28일 CBT 오픈

http://v.media.daum.net/v/20191202112135998?f=o 네이버로 국민연금 신청한다..국민연금공단과 업무협약 체결

https://cp.news.search.daum.net/p/87111375 네이버페이, 대만·태국으로 결제 영토 확장

http://v.media.daum.net/v/20191127110700026?f=o 네이버, 전문가 유료 상담 '지식인 엑스퍼트' 출시

http://v.media.daum.net/v/20191203101504761?f=o '백두산' 이병헌·하정우, 4일 밤 9시 네이버 무비토크 라이브 열어

https://cp.news.search.daum.net/p/87115633 네이버페이, 대만-태국으로 글로벌 결제 확대

http://v.media.daum.net/v/20191129143918561?f=o 네이버 인플루언서 검색, 비공개 시범 서비스..내년 상반기 출시

"""

한겨레 신문사 페이지에서, 특정 검색어 검색 결과 50개의

URL 주소, 기사 제목, 기사 내용을 출력

"""

import requests

from bs4 import BeautifulSoup

def hani_search(keyword):

    # 한겨레 신문사 검색 URL

    url = 'http://search.hani.co.kr/Search?command=query&media=news&sort=d&period=all&'

    for page in range(5):

        print(f'==page {page + 1} ==')

        # 쿼리 스트링(query string, 질의 문자열)의 파라미터 설정

        req_params = {

            'keyword': keyword, # 검색어

            'pageseq': page # 페이지 번호

            }

        # 서버로 요청(request)를 보낸 후, 응답(response)를 받음

        response = requests.get(url, params=req_params)

        # 응답에서 html 문서를 추출

        html = response.text.strip()

        # HTML 문서를 분석하기 위한 Beautiful Soup 객체 생성

        soup = BeautifulSoup(html, 'html5lib')

        results = soup.select('ul.search-result-list li dt a')

        for link in results:

            news_url = link.get('href') # 검색 결과 뉴스 링크 URL

            news_title = link.text # 검색 결과 뉴스 제목

            print(news_url, news_title)

            hani_article(news_url) # 검색 결과 뉴스 링크를 새로 열기

def hani_article(url):

    response = requests.get(url)

    html = response.text.strip()

    # print(html[:500])

    soup = BeautifulSoup(html, 'html5lib')

    article = soup.select('div.article-text div.text')[0].text.strip()

    print(article)

if __name__ == '__main__':

    hani_search('손흥민')

다음과 같은 결과가 나온다. 일부 발췌

==page 1 ==

http://www.hani.co.kr/arti/sports/soccer/920087.html ‘70ｍ 질주 원더골’ 손흥민, BBC 선정 주간 베스트 11

토트넘의 손흥민이 8일(한국시각) 프리미어리그 번리전에서 70m 이상 질주해 득점한 뒤 기뻐하고 있다. 런던/AP 연합뉴스

            

손흥민(27·토트넘)이 영국 <비비시>가 선정한 프리미어리그 베스트 11에 이름을 올렸다.

비비시는 9일(한국시각) 축구해설가인 가스 크룩스의 ‘프리미어리그 이주의 팀’에 손흥민을 미드필더 부문에 꼽았다고 전했다. 3-4-3 포메이션을 바탕으로 선정한 프리미어리그 16라운드 베스트 11에서 손흥민은 왼쪽 미드필더로 표시됐다. 조지 발독(셰필드 유나이티드), 조던 헨더슨(리버풀), 제임스 매디슨(레스터시티)도 베스트 미드필더에 포진했다.

    

        

                            

                    

                    ''70ｍ 질주 원더골''로 전 세계를 놀라게 한 손흥민(27·토트넘)이 영국 공영방송 BBC가 선정한 2019-2020 잉글랜드 프리미어리그(EPL) 16라운드 베스트 11에 이름을 올렸다. BBC는 9일(한국시간) 홈페이지를 통해 ''가스 크룩의 이주의 베스트 11''을 발표하면서 손흥민을 미드필더 부문에 올렸다.[BBC 인터넷판 캡처] 연합뉴스

            

손흥민은 전날 열린 번리와의 홈 경기에서 전반 32분 70m가 넘는 폭풍 질주로 3-0으로 달아나는 골을 넣었다. 토트넘 진영에서 공을 잡은 손흥민은 6명의 번리 선수를 따돌렸다.

크룩스는 “그라운드 끝에서부터 끝까지 달리며 수비수 한 무더기를 떨쳐낸 뒤 골을 넣는, 이런 장면을 보여준 건 조지 웨아 라이베리아 대통령이 마지막이었다. 오랜만에 손흥민이 그것을 해냈다”고 말했다. 1996년 AC밀란 소속이던 웨아 대통령은 베로나를 상대로 82ｍ를 질주한 뒤 득점한 바 있다.

공격수 3인방에는 해리 케인(토트넘), 마커스 래시퍼드(맨체스터 유나이티드), 도미닉 칼버트-르윈(에버턴)이 선정됐다. 골키퍼에는 데 헤아(맨체스터 유나이티드)가 뽑혔다.

김창금 선임기자 kimck@hani.co.kr

http://www.hani.co.kr/arti/sports/soccer/920080.html ‘70ｍ 질주 원더골’ 손흥민, 팬이 뽑은 최우수선수

손흥민이 70여m를 단독질주한 뒤 골을 성공시키고 있다. 런던/로이터 연합뉴스

            

'70ｍ 질주 원더골'로 세계를 놀라게 한 손흥민(토트넘 홋스퍼)이 토트넘 팬 온라인 투표에서 최우수선수로 선정됐다.

9일 토트넘 공식 트위터에서 진행된 번리전 '맨 오브 더 매치(최우수선수)'를 뽑는 투표에서 손흥민은 71%의 압도적인 지지를 얻어 최고의 활약을 펼친 선수로 인정받았다.

손흥민의 도움에 힘입은 선제 결승 골을 포함해 2골 1도움을 올린 해리 케인이 22%의 득표율로

2위에 자리했고, 무사 시소코와 얀 페르통언이 5%와 2%로 뒤를 이었다.

손흥민은 전날 열린 번리와의 잉글랜드 프로축구 프리미어리그 16라운드 경기에서 2-0으로 앞선 전반 32분 폭풍 질주 후 3-0을 만드는 득점에 성공했다. 토트넘 진영에서 공을 잡은 손흥민은 약 70ｍ를 내달리며 무려 6명의 번리 선수를 따돌리고 오른발 슈팅으로 골망을 흔들었다.

손흥민의 골은 1986년 멕시코 월드컵 때 디에고 마라도나의 60ｍ 단독 질주 골 등 역사적인 '슈퍼 골'들의 기억을 소환해내며 전 세계 축구 팬들을 즐겁게 했다. 손흥민의 놀라운 골에 한껏 끓어오른 홈 팬들 앞에서 토트넘은 2골을 더 뽑아내며 5-0 완승을 했고, 시즌 10호 골을 기록한 손흥민은 4시즌 연속 두 자릿수 득점에 성공했다. 연합뉴스

http://www.hani.co.kr/arti/sports/soccer/919979.html 손흥민 원더골에 모리뉴 “내 아들은 손나우두라고 불러요”

손흥민이 경기 뒤 조제 모리뉴 감독의 축하를 받고 있다. 런던/로이터 연합뉴스

            

"엄청난 골이었다. 내 아들은 손흥민을 '손나우두'라고 부릅니다." 잉글랜드 프로축구 프리미어리그 토트넘의 조제 모리뉴 감독이 번리를 상대로 70ｍ가 넘든 '폭풍 질주' 드리블에 이은 원더골을 꽂은 손흥민에게 '손나우두'라는 별명을 붙여줬다. 브라질 출신의 골잡이 호나우두와 손흥민을 합친 말이다.

모리뉴 감독은 8일(한국시간) 영국 런던의 토트넘 홋스퍼 스타디움에서 끝난 번리와 2019-2020 잉글랜드 프리미어리그 16라운드 홈경기가 끝난 뒤 기자회견에서 손흥민에 대해 "엄청난 득점이었다"고 칭찬했다.

그는 "오늘 득점 이전부터 내 아들은 손흥민을 호나우두 루이스 나자리우의 이름을 따서 '손나우두'라고 부른다"고 말해 눈길을 끌었다.

호나우두 루이스 나자리우는 2002년 한일월드컵에서 득점왕에 올랐던 브라질 축구대표팀의 간판 스트라이커 호나우두의 본명이다. '손나우두'는 손흥민과 호나우두를 합성한 말이다.

모리뉴 감독은 "손흥민의 득점이 터지는 순간 내가 보비 롭슨 감독 옆에서 호나우두의 기막힌 득점 장면을 봤을 때가 떠올랐다"라고 말했다.

그는 "알렉스 퍼거슨 감독과 박지성에 관해 이야기 했던 것을 기억한다"라며 "한국 선수들은 지도하기가 아주 좋다. 손흥민은 환상적인 선수다. 그래서 나는 행복하다"고 칭찬했다. 연합뉴스

http://www.hani.co.kr/arti/sports/soccer/919977.html ‘70ｍ 드리블 원더골’ 손흥민 “운이 좋았다…수비 가담은 당연”

손흥민이 70여m를 단독질주한 뒤 골을 성공시키고 있다. 런던/로이터 연합뉴스

            

"볼을 잡고 처음부터 돌파해서 골을 넣겠다는 생각은 하지 않았어요. 운이 좋았어요." 말 그대로 '원더골'이었다. 볼을 잡고 스타트를 시작하는 순간부터 마지막 오른발 슛의 순간까지 손흥민을 막으려던 번리 선수들은 스피드에 눌려 '추풍낙엽'처럼 떨어져 나갔다.

혼자서 70ｍ 이상 드리블을 치고 나간 손흥민의 득점 순간 토트넘 홈팬들은 일제히 기립박수를 보냈다.