it-swarm.com.ru

HttpClient Запрос, как браузер

Когда я звонил на сайт www.livescore.com по классу HttpClient, я всегда получал ошибку «500»…. Возможно, сервер заблокировал запрос от HttpClients.

1) Есть ли другой способ получить HTML с веб-страницы?

2) Как я могу установить заголовки для получения HTML-контента?

Когда я устанавливаю заголовки, как в браузере, я всегда получаю содержимое в коде stange.

    http_client.DefaultRequestHeaders.TryAddWithoutValidation("Accept", "text/html,application/xhtml+xml,application/xml");
    http_client.DefaultRequestHeaders.TryAddWithoutValidation("Accept-Encoding", "gzip, deflate");
    http_client.DefaultRequestHeaders.TryAddWithoutValidation("User-Agent", "Mozilla/5.0 (Windows NT 6.2; WOW64; rv:19.0) Gecko/20100101 Firefox/19.0");
    http_client.DefaultRequestHeaders.TryAddWithoutValidation("Accept-Charset", "ISO-8859-1");

3) Как я могу решить эту проблему? Какие-либо предложения?

Я использовал Windows 8 Metro Style App в C # и HttpClientClass

25
Norbert Pisz

Вот, пожалуйста, обратите внимание, что вы должны распаковать кодированный gzip-результат, который вы получите согласноmleroy :

private static readonly HttpClient _HttpClient = new HttpClient();

private static async Task<string> GetResponse(string url)
{
    using (var request = new HttpRequestMessage(HttpMethod.Get, new Uri(url)))
    {
        request.Headers.TryAddWithoutValidation("Accept", "text/html,application/xhtml+xml,application/xml");
        request.Headers.TryAddWithoutValidation("Accept-Encoding", "gzip, deflate");
        request.Headers.TryAddWithoutValidation("User-Agent", "Mozilla/5.0 (Windows NT 6.2; WOW64; rv:19.0) Gecko/20100101 Firefox/19.0");
        request.Headers.TryAddWithoutValidation("Accept-Charset", "ISO-8859-1");

        using (var response = await _HttpClient.SendAsync(request).ConfigureAwait(false))
        {
            response.EnsureSuccessStatusCode();
            using (var responseStream = await response.Content.ReadAsStreamAsync().ConfigureAwait(false))
            using (var decompressedStream = new GZipStream(responseStream, CompressionMode.Decompress))
            using (var streamReader = new StreamReader(decompressedStream))
            {
                return await streamReader.ReadToEndAsync().ConfigureAwait(false);
            }
        }
    }
}

называть такие как:

var response = await GetResponse("http://www.livescore.com/").ConfigureAwait(false); // or var response = GetResponse("http://www.livescore.com/").Result;
53
Jesse C. Slicer

Можно также попробовать добавить поддержку сжатия: 

var compressclient = new HttpClient(new HttpClientHandler() 
{ 
AutomaticDecompression = DecompressionMethods.Deflate | DecompressionMethods.GZip 
}); 

Это добавляет заголовки тоже. 

Согласно тому же потоку поддержка теперь в платформе Windows Store: http://social.msdn.Microsoft.com/Forums/windowsapps/en-US/429bb65c-5f6b-42e0-840b-1f1ea3626a42/httpclient-data-compression -и кеширование? prof = обязательно

21
user3285954

Несколько вещей, чтобы принять к сведению.

  1. Этот сайт требует, чтобы вы предоставили пользовательский агент, или он возвращает ошибку 500 HTTP.

  2. GET запрос к livescore.com отвечает 302 на livescore.us. Вам нужно обработать перенаправление или напрямую запросить livescore.us

  3. Вам нужно распаковать сжатый GZIP ответ

Этот код работает с использованием клиентского профиля .NET 4, я дам вам понять, подходит ли он для приложения Windows Store.

var request = (HttpWebRequest)HttpWebRequest.Create("http://www.livescore.com");
request.AllowAutoRedirect = true;
request.UserAgent = "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.17 (KHTML, like Gecko) Chrome/24.0.1312.57 Safari/537.17";

string content;

using (var response = (HttpWebResponse)request.GetResponse())
using (var decompressedStream = new GZipStream(response.GetResponseStream(), CompressionMode.Decompress))
using (var streamReader = new StreamReader(decompressedStream))
{
    content = streamReader.ReadToEnd();
}
3
siger

Я думаю, вы можете быть совершенно уверены, что они сделали все, чтобы помешать разработчикам убирать с экрана.

Если я пытаюсь из стандартного проекта C #, используя этот код:

  var request = WebRequest.Create("http://www.livescore.com ");
  var response = request.GetResponse();

Я получаю этот ответ:

The remote server returned an error: (403) Forbidden.
0
markoo