這篇文章主要講解了“Python如何爬取首都醫科大學文章”,文中的講解內容簡單清晰,易于學習與理解,下面請大家跟著小編的思路慢慢深入,一起來研究和學習“Python如何爬取首都醫科大學文章”吧!
公司主營業務:做網站、網站建設、移動網站開發等業務。幫助企業客戶真正實現互聯網宣傳,提高企業的競爭能力。創新互聯建站是一支青春激揚、勤奮敬業、活力青春激揚、勤奮敬業、活力澎湃、和諧高效的團隊。公司秉承以“開放、自由、嚴謹、自律”為核心的企業文化,感謝他們對我們的高要求,感謝他們從不同領域給我們帶來的挑戰,讓我們激情的團隊有機會用頭腦與智慧不斷的給客戶帶來驚喜。創新互聯建站推出五大連池免費做網站回饋大家。
爬蟲項目實踐
目標:首都醫科大學官網新發文章
請求網址
通過正則表達式提取數據
分析數據
# 導入模塊 # 用于請求網址 import requests # 用于解析網頁源代碼 from bs4 import BeautifulSoup # 用于正則 import re # 目標網址 # 設置頁數,提取10頁的數據 page=[''] for i in range(1,10,1): page.append(i) # 保存文件 with open(r'ccmu.csv','a',encoding='utf-8') as f: for i in page: url= 'http://www.ccmu.edu.cn/zxkylw_12912/index'+str(i)+'.htm' # 必要時添加header請求頭,防止反爬攔截 headers={ 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:79.0) Gecko/20100101 Firefox/79.0' } # 目標網址請求方式為get resp=requests.get(url) html = resp.content.decode('utf-8') # 解析html soup = BeautifulSoup(html,'html.parser') # 找到最近發表的sci論文 # 使用find和find_all 函數 infos=soup.find('ul',{'class':'list03'}).find_all('li') for info in infos: time=info.find('span').get_text() ajt= info.find('a').get_text() # 寫入文件 f.write("{},{}\n".format(time,ajt))
感謝各位的閱讀,以上就是“Python如何爬取首都醫科大學文章”的內容了,經過本文的學習后,相信大家對Python如何爬取首都醫科大學文章這一問題有了更深刻的體會,具體使用情況還需要大家實踐驗證。這里是創新互聯,小編將為大家推送更多相關知識點的文章,歡迎關注!