it-swarm.com.ru

Проверка Python, если веб-сайт существует

Я хотел проверить, существует ли определенный веб-сайт, вот что я делаю:

user_agent = 'Mozilla/20.0.1 (compatible; MSIE 5.5; Windows NT)'
headers = { 'User-Agent':user_agent }
link = "http://www.abc.com"
req = urllib2.Request(link, headers = headers)
page = urllib2.urlopen(req).read() - ERROR 402 generated here!

Если страница не существует (ошибка 402 или другие ошибки), что я могу сделать в строке page = ..., чтобы убедиться, что страница, которую я читаю, действительно закрывается?

45
James Hallen

Вы можете использовать запрос HEAD вместо GET. Он будет загружать только заголовок, но не содержимое. Затем вы можете проверить статус ответа из заголовков.

import httplib
c = httplib.HTTPConnection('www.example.com')
c.request("HEAD", '')
if c.getresponse().status == 200:
   print('web site exists')

или вы можете использовать urllib2

import urllib2
try:
    urllib2.urlopen('http://www.example.com/some_page')
except urllib2.HTTPError, e:
    print(e.code)
except urllib2.URLError, e:
    print(e.args)

или вы можете использовать requests

import requests
request = requests.get('http://www.example.com')
if request.status_code == 200:
    print('Web site exists')
else:
    print('Web site does not exist') 
84
Adem Öztaş

Лучше проверить, что код состояния <400, как это было сделано здесь . Вот что означают коды статуса (взято из wikipedia ):

  • 1xx - информационный
  • 2xx - успех
  • 3xx - перенаправление
  • 4xx - ошибка клиента
  • 5xx - ошибка сервера

Если вы хотите проверить, существует ли страница и не хотите загружать всю страницу, вы должны использовать Head Request :

import httplib2
h = httplib2.Http()
resp = h.request("http://www.google.com", 'HEAD')
assert int(resp[0]['status']) < 400

взято из этот ответ .

Если вы хотите загрузить всю страницу, просто сделайте обычный запрос и проверьте код статуса. Пример использования запросов :

import requests

response = requests.get('http://google.com')
assert response.status_code < 400

Смотрите также похожие темы:

Надеюсь, это поможет.

32
alecxe
from urllib2 import Request, urlopen, HTTPError, URLError

user_agent = 'Mozilla/20.0.1 (compatible; MSIE 5.5; Windows NT)'
headers = { 'User-Agent':user_agent }
link = "http://www.abc.com/"
req = Request(link, headers = headers)
try:
        page_open = urlopen(req)
except HTTPError, e:
        print e.code
except URLError, e:
        print e.reason
else:
        print 'ok'

Чтобы ответить на комментарий unutbu:

Поскольку обработчики по умолчанию обрабатывают перенаправления (коды в диапазоне 300), а коды в диапазоне 100-299 указывают на успешное выполнение, вы обычно видите только коды ошибок в диапазоне 400-599 . Источник

8
keas

код:

a="http://www.example.com"
try:    
    print urllib.urlopen(a)
except:
    print a+"  site does not exist"
4
Raj

Попробуй это:: 

import urllib2  
website='https://www.allyourmusic.com'  
try:  
    response = urllib2.urlopen(website)  
    if response.code==200:  
        print("site exists!")  
    else:  
        print("site doesn't exists!")  
except urllib2.HTTPError, e:  
    print(e.code)  
except urllib2.URLError, e:  
    print(e.args)  
0
Vishal
def isok(mypath):
    try:
        thepage = urllib.request.urlopen(mypath)
    except HTTPError as e:
        return 0
    except URLError as e:
        return 0
    else:
        return 1
0
DiegoPacheco