Python爬虫学习系列3-百姓标王

程序员最近都爱上了这个网站  程序员们快来瞅瞅吧!  it98k网:it98k.com

本站消息

站长简介/公众号

  出租广告位,需要合作请联系站长

+关注
已关注

分类  

暂无分类

标签  

暂无标签

日期归档  

暂无数据

Python爬虫学习系列3

发布于2020-05-31 17:38     阅读(1486)     评论(0)     点赞(6)     收藏(3)


信息组织与提取方法
  • 信息标记的种类
    • XML
    • JSON
    • YAML
  • 三种信息标记的比较
  • 基于bs4库的HTML内容查找方法
    • 实例:提取HTML中的所有URL链接
    • bs4库中的find_all()方法
  • 实战:基于bs4库爬取大学排名

软科中国最好大学排名2016网页中的排名信息(网址:http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html)

import requests
from bs4 import BeautifulSoup
import bs4

def getHTMLText(url):
    try:
        r = requests.get(url)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""

def fillUnivList(ulist, html):
    soup = BeautifulSoup(html,"html.parser")
    for tr in soup.find('tbody').children:
        if isinstance(tr, bs4.element.Tag):
            tds = tr('td')
            ulist.append([tds[0].string, tds[1].string, tds[3].string])
    pass

def printUnivList(ulist, num):
    # print("{:^10}\t{:^6}\t{:^10}".format("排名","学校名称","总分"))
    tplt = "{0:^10}\t{1:{3}^10}\t{2:^10}"
    print(tplt.format("排名","学校名称","总分",chr(12288)))
    for i in range(num):
        u=ulist[i]
        print(tplt.format(u[0],u[1],u[2],chr(12288)))
        # print("{:^10}\t{:^6}\t{:^10}".format(u[0], u[1], u[2]))

def main():
    uinfo = []
    url = "http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html"
    html = getHTMLText(url)
    fillUnivList(uinfo, html)
    printUnivList(uinfo, 20) # 20 univ

main()

最终的效果如下:
在这里插入图片描述

原文链接:https://blog.csdn.net/weixin_43969654/article/details/106439550



所属网站分类: 技术文章 > 博客

作者:病毒快消失

链接:https://www.pythonheidong.com/blog/article/399256/8b7fabace15ec3cec2f2/

来源:python黑洞网

任何形式的转载都请注明出处,如有侵权 一经发现 必将追究其法律责任

6 0
收藏该文
已收藏

评论内容:(最多支持255个字符)





相关内容推荐

深圳定制网站排名优化多少钱大塘网站优化优势厦门做网站优化的公司企业网站关键词优化方式清远专业的免费网站优化南昌高新百度网站优化宝山区优化网站价格盐城建湖网站优化推广盐城市网站优化渠道太原家居行业网站优化推广有哪些怎样建设的网站好优化好排名邯郸家装行业网站优化推广优点江西网站优化托管案例济宁网站建设关键词优化佛山网站优化永网河北家纺行业网站优化推广可靠吗沁阳网站自然优化哪家有实力济南建材行业网站优化推广技巧企业网站优化有哪些公司企业网站关键词优化工具江苏网站优化排名方案内江网站推广优化赣州做网站优化云南网站seo优化公司哪家好太原家纺行业网站优化推广优点西宁网站优化推广公司哪家好宜昌工厂网站优化哪家好新密网站关键词优化软件乌海网站优化厂家宁波网站首页排名优化福建省漳州市网站优化排名银川市网站优化咨询电话怀化外贸网站优化公司网站优化实训建议武汉市网站关键词优化优势湖南网站优化厂家报价网站优化哪家关键词多网站优化有什么细节杭州甲骨文天眼网站优化莆田市网站seo优化费用湖南网站优化方案崇明区专业网站优化价格淡水优化网站价格靠谱的餐饮行业网站优化方法网站优化推广哪家强嘉定区专业网站优化平台云南服务好的网站优化网站搭建教程seo技术优化泰州网站优化人南通外贸型网站优化方案迁安市网站优化公司装修网站seo优化案例网站搜索引擎优化价格多少济南哪里有网站优化价格金华网站排名优化代理厚街网站推广优化网站结构的优化主要是什么南京seo网站搜索优化南开网站优化定制系统甘肃网站优化推广怎么做图书馆网站SEO优化方案本地网站优化怎么做铜陵海外网站优化网站的seo优化案例分析济南家装行业网站优化推广辽宁服务行业网站优化方案纺织网站优化软件上海品质网站优化产品介绍莱山区智能响应式网站优化公司医院怎么优化网站枝江网站搜索引擎优化博爱一站式网站搭建优化宜宾网站优化哪家好日照智能网站优化价格宁波怎样优化网站品牌佛山网站自然优化什么网站可以优化客户流量邢台网站优化的价格铁岭网站目标关键词优化兰州网站优化推广哪家好沙田企业网站优化昆明网站关键词优化推广怎么做河南推广网站搭建优化邯郸家具行业网站优化推广驻马店网站优化排名软件网站排名优化哪家不错福田外贸网站优化2021优化方案答案网站历史平湖收费网站优化甘肃网站优化分析滦县专业的网站优化有哪些排名好的网站核心词优化代理邯郸家装行业网站优化推广特点焦作很好的网站优化用户体验重庆巴南区网站关键词优化上海网站优化排行河南营销网站搭建优化陕西技术好的企业网站优化广元做优化网站服务霸州关键词网站优化如何优化网站用户体验网站用户体验怎么优化无锡厚桥网站优化排名辽宁运营网站建设优化价格深圳网站优化关键词技巧福州网站关键词优化平台许昌平台seo网站优化技巧金华网站优化常识睢县专业网站优化推广报价沛县网站推广优化价格应城市网站做优化报价百度网站优化平台日照网站建设推广优化网站优化推广多少钱石碣网站优化哪家好宿迁上门网站优化活动简介性价比高的百度网站优化深圳网站自动优化哪家强网站优化的营销目标是什么哪里有网站优化招商加盟项目平台滦县靠谱的网站优化哪家专业莱山区智能营销网站优化企业网站基础优化网站的优化与竞价排名襄樊网站优化哪家好保定商城网站优化公司济南企业网站优化推广可靠吗南沙网站seo推广优化方案青铜峡百度网站优化靠谱的电商网站优化哪家优惠成都教育行业网站优化荆州品牌网站优化要多少钱正定网站关键词优化哪家好邢台手机网站建设优化案例实力强的传统行业网站优化方法百度网站优化哪家价格便宜网站的优化方法有哪些兰州新区网站优化洛阳营销型网站优化方案河南网站优化郑州网站搭建哪家好山东哪里有网站优化开户网站优化外包公司排名无锡网站优化怎么做怎么做好网站优化对酒店网站的建议和优化濮阳家居行业网站优化推广渠道濮阳卫浴行业网站优化推广技巧网页优化与网站优金水区信息化网站搭建优化小网站优化搜索推广网站目录访问优化江阴盐城网站优化企业天津搜索引擎优化网站排名网站域名优化喜爱易速达路南区网站优化哪家专业天津全网运营优化网站公司高新区网站优化公司联系方式360网站优化检测工具外贸公司网站推广优化张家界管理营销型网站优化品牌网站推广优化寿光优化网站软件成都网站优化要怎样快速提升排名最专业的网站优化服务长春电商网站优化专业公司梅州网站优化推广外包新乡网站自然优化公司优化网站标题含义浦东网站优化怎么样无锡网站优化招聘湖州网站优化企业宣城网站排名优化哪家有实力招商怎么在各大网站优化滦南网站优化价格项城网站优化哪家有实力网站关键词优化有限公司推广seo网站优化排名增城公司网站优化推广方案麻城市网站做优化代理网站关键词排名优化营销许昌优惠网站优化价格网站上线前需要做哪些优化网站优化推广公司怎么收费荆州低成本网站优化哪家好增城网站seo优化呼市网站优化就找胜优西安新站网站推广优化河源专业网站优化有哪些长春规模大的传统行业网站优化廊坊网站产品优化新乡百度网站优化哪家合适辽宁省网站优化厂商郑州家装行业网站优化推广方案黄浦区搜索引擎网站优化方案新乡网站搜索引擎优化桂林优质网站优化代理公司云浮网站首页关键词优化哪家好浦东新区公司网站优化方案定制保定大型网站优化新乡网站优化代理

合作伙伴

百姓标王

龙岗网络公司
深圳网站优化
龙岗网站建设
坪山网站建设
百度标王推广
天下网标王
SEO优化按天计费
SEO按天计费系统