我正在尝试从 Google 图片搜索中获取特定查询的图像。但我下载的页面没有图片,它会将我重定向到 Google 的原始页面。这是我的代码:
AGENT_ID = "Mozilla/5.0 (X11; Linux x86_64; rv:7.0.1) Gecko/20100101 Firefox/7.0.1"
GOOGLE_URL = "https://www.google.com/images?source=hp&q={0}"
_myGooglePage = ""
def scrape(self, theQuery) :
self._myGooglePage = subprocess.check_output(["curl", "-L", "-A", self.AGENT_ID, self.GOOGLE_URL.format(urllib.quote(theQuery))], stderr=subprocess.STDOUT)
print self.GOOGLE_URL.format(urllib.quote(theQuery))
print self._myGooglePage
f = open('./../../googleimages.html', 'w')
f.write(self._myGooglePage)
我做错了什么?
谢谢
这是我用来从Google搜索和下载图像的Python代码,希望它有帮助:
import os
import sys
import time
from urllib import FancyURLopener
import urllib2
import simplejson
# Define search term
searchTerm = "hello world"
# Replace spaces ' ' in search term for '%20' in order to comply with request
searchTerm = searchTerm.replace(' ','%20')
# Start FancyURLopener with defined version
class MyOpener(FancyURLopener):
version = 'Mozilla/5.0 (Windows; U; Windows NT 5.1; it; rv:1.8.1.11) Gecko/20071127 Firefox/2.0.0.11'
myopener = MyOpener()
# Set count to 0
count= 0
for i in range(0,10):
# Notice that the start changes for each iteration in order to request a new set of images for each loop
url = ('https://ajax.googleapis.com/ajax/services/search/images?' + 'v=1.0&q='+searchTerm+'&start='+str(i*4)+'&userip=MyIP')
print url
request = urllib2.Request(url, None, {'Referer': 'testing'})
response = urllib2.urlopen(request)
# Get results using JSON
results = simplejson.load(response)
data = results['responseData']
dataInfo = data['results']
# Iterate for each result and get unescaped url
for myUrl in dataInfo:
count = count + 1
print myUrl['unescapedUrl']
myopener.retrieve(myUrl['unescapedUrl'],str(count)+'.jpg')
# Sleep for one second to prevent IP blocking from Google
time.sleep(1)
您还可以在这里找到非常有用的信息。
我会给你一个提示......从这里开始:
https://ajax.googleapis.com/ajax/services/search/images?v=1.0&q=JULIE%20NEWMAR
JULIE 和 NEWMAR 是您的搜索词。
这将返回您需要的 json 数据...您需要使用 json.load 或 simplejson.load 解析它以获取字典...然后深入其中首先找到 responseData ,然后是 results 列表,其中包含您想要下载其 url 的各个项目。
尽管我不建议以任何方式自动抓取 Google,因为他们的 (已弃用)API 明确表示不要这样做。
我只是来回答这个问题,尽管它已经很旧了。有一种更简单的方法可以做到这一点。
def google_image(x):
search = x.split()
search = '%20'.join(map(str, search))
url = 'http://ajax.googleapis.com/ajax/services/search/images?v=1.0&q=%s&safe=off' % search
search_results = urllib.request.urlopen(url)
js = json.loads(search_results.read().decode())
results = js['responseData']['results']
for i in results: rest = i['unescapedUrl']
return rest
就是这样。
最好的方法之一是使用icrawler。检查下面的答案。它对我有用。