python爬取某个网页的图片,python使用get在百度搜索并保存第一页搜索结果
分类:面向对象

python爬取某个网页的图片-如百度贴吧

python爬取某个网页的图片-如百度贴吧

作者:vpoet

日期:大约在冬季

注:随意copy,不用告诉我

 

 

#coding:utf-8
import urllib
import urllib2
import re

if __name__ =="__main__":
    rex=r'src="(http://imgsrc.baidu.com/forum/w%3D580.*?.jpg)"';
    Response=urllib2.urlopen("http://tieba.baidu.com/p/3842835603?fr=frs");
    Html=Response.read();
    lists = re.findall(rex, Html);
    x=0;
    for picurl in lists:
        urllib.urlretrieve(picurl,'C:UsersAdministratorDesktoppic%s.jpg' % x);
        x=x+1;
        print picurl;


    print 'DownLoadPicOver'
# 图片存储路径:C:UsersAdministratorDesktoppic
#测试爬取网址:http://tieba.baidu.com/p/3842835603?fr=frs

运行截图:

 

图片 1

因为图片是一张张下载,可能会有点慢,等后面用了多线程,那下载飕飕的

图片 2

 

 

 

python爬取某个网页的图片-如百度贴吧 作者:vpoet 日期:大约在冬季 注:随意copy,不用告诉我 #coding:utf-8...

python爬爬爬之单网页html页面爬取

python爬爬爬之单网页html页面爬取

作者:vpoet 日期:大约在夏季
注:随意copy 不用告诉我

#coding:utf-8 
import urllib2 
Response=urllib2.urlopen("http://www.baidu.com");
Html=Response.read();
print Html;

运行结果: 图片 3

再看看百度的源码: 图片 4

是一样,没骗你吧

python爬爬爬之单网页html页面爬取 作者:vpoet 日期:大约在夏季 注:随意copy 不用告诉我 #coding:utf-8 import urll...

python之花瓣美女下载

python之花瓣美女下载

作者:vpoet 日期:大约在夏季 注:代码随意copy 不用告诉我
主要功能: 1.搜索花瓣 2.选定下载图片数目 3.显示下载进度 4.创建目录并下载到桌面
注释少,凑合看。

#coding: utf-8
import urllib, urllib2, re, sys, os
import random
reload(sys)

def Schedule(a,b,c):
    """a:已经下载的数据块
    b:数据块的大小
    c:远程文件的大小"""
    per = 100.0 * a * b / c
    if per > 100:
        per = 100
    print '%.2f%%' % per





def SearchAndDownLoadImg(SearchStr,NumPerPage,filepath):

    url = 'http://huaban.com/search/?q=%s&per_page=%s' % (SearchStr,str(NumPerPage))

    Respon = urllib2.urlopen(url)

    Htm = Respon.read()

    print url+"nnn"

    print "----------------Search Over,And Begin DownLoad----------------"+"nn"

    Patt=re.compile('"file":{"farm":"farm1",.+?"bucket":"hbimg",.+?"key":"(.*?)",.+?"type":"image/(.*?)",.+?"width":')

    group = re.findall(Patt,Htm)

    #print "find total imgurl"+len(group)+"n"

    x = 1

    for item in group:

        imgurl=r"http://img.hb.aicdn.com/"+item[0]+"_fw658"

        urllib.urlretrieve(imgurl,filepath+'pic%s.%s' % (str(x),item[1]),Schedule)

        print imgurl+"------>down over" +"tpic"+ str(x)

        x = x+1



if __name__ == "__main__":

    print "Please input the picture you want to download:"

    SearchStr = raw_input()

    print "nn"

    print "Please input the PageNumber you want to download:"

    NumPerPage = raw_input()

    print "nn"

    print "-----------------------Begin Search---------------------------"+"n"


    filenum = random.randint(20, 50)

    filename = 'PictureFile'+str(filenum)

    filepath = 'C:UsersAdministratorDesktop'+'\'+filename

    if(os.path.exists(filepath) == False):
        os.mkdir(filepath)

    #print filepath

    SearchAndDownLoadImg(SearchStr,NumPerPage,filepath)

    #http://img.hb.aicdn.com/23a58517fb73f86bca85937f069724486b3e00a44caa-GMc99I_sq75sf

    print"nn"

    print "---------------------All Down Over-----------------------"

运行截图: 搜索Beatuiful,下载20张图片 图片 5
花瓣搜索结果: 图片 6

运行截图,显示下载进度: 图片 7
图片爬取结果: 图片 8

python之花瓣美女下载 作者:vpoet 日期:大约在夏季 注:代码随意copy 不用告诉我 主要功能: 1.搜索花瓣...

python使用get在百度搜索并保存第一页搜索结果

python使用get在百度搜索并保存第一页搜索结果

 

作者:vpoet

日期:大约在夏季

注:随意copy,不用在意我的感受

 

 

#coding:utf-8
import urllib
import urllib2
import re

"""
使用GET在百度搜索引擎上查询
此例演示如何生成GET串,并进行请求.
"""
if __name__=="__main__":
    url = "http://www.baidu.com/s"
    search = [('w','QQ')]
    getString = url + "?" + urllib.urlencode(search)

    req = urllib2.Request(getString)
    fd = urllib2.urlopen(req)
    baiduResponse=""
    while 1:
        data= fd.read(1024)
        if not len(data):
            break
        baiduResponse+=data
    fobj=open("baidu.html",'w')
    fobj.write(baiduResponse)
    fobj.close()

 

搜索QQ保存的网页截图为:

图片 9

打开看看:

图片 10

再和百度搜索QQ的结果对比:

图片 11
对的,是一样的。我们保存的网页没有图片是因为我们只保存的网页的html结构并没有将其中的图片链接从服务器上下载下来,懂了吧

 

python使用get在百度搜索并保存第一页搜索结果 作者:vpoet 日期:大约在夏季 注:随意copy,不用在...

本文由10bet手机官网发布于面向对象,转载请注明出处:python爬取某个网页的图片,python使用get在百度搜索并保存第一页搜索结果

上一篇:py在SAE中的Session问题解决方法,浅谈五大Python【10bet手机官网】 下一篇:没有了
猜你喜欢
热门排行
精彩图文