it-swarm.com.ru

Как сделать асинхронный запрос GET в PHP?

Я хочу сделать простой запрос GET к другому сценарию на другом сервере. Как мне это сделать?

В одном случае мне просто нужно запросить внешний скрипт без необходимости какого-либо вывода.

make_request('http://www.externalsite.com/script1.php?variable=45'); //example usage

Во втором случае мне нужно получить вывод текста.

$output = make_request('http://www.externalsite.com/script2.php?variable=45');
echo $output; //string output

Честно говоря, я не хочу возиться с CURL, так как на самом деле это не работа CURL. Я также не хочу использовать http_get, так как у меня нет расширений PECL.

Будет ли fsockopen работать? Если да, то как мне это сделать, не читая содержимое файла? Нет ли другого пути?

Спасибо всем

Обновление

Я должен добавить, в первом случае, я не хочу ждать, пока скрипт ничего не вернет. Как я понимаю file_get_contents () будет ждать полной загрузки страницы и т.д.?

88
Abs

file_get_contents будет делать то, что вы хотите

$output = file_get_contents('http://www.example.com/');
echo $output;

Правка: один из способов отменить запрос GET и немедленно вернуться.

Цитируется из http://petewarden.typepad.com/searchbrowser/2008/06/how-to-post-an.html

function curl_post_async($url, $params)
{
    foreach ($params as $key => &$val) {
      if (is_array($val)) $val = implode(',', $val);
        $post_params[] = $key.'='.urlencode($val);
    }
    $post_string = implode('&', $post_params);

    $parts=parse_url($url);

    $fp = fsockopen($parts['Host'],
        isset($parts['port'])?$parts['port']:80,
        $errno, $errstr, 30);

    $out = "POST ".$parts['path']." HTTP/1.1\r\n";
    $out.= "Host: ".$parts['Host']."\r\n";
    $out.= "Content-Type: application/x-www-form-urlencoded\r\n";
    $out.= "Content-Length: ".strlen($post_string)."\r\n";
    $out.= "Connection: Close\r\n\r\n";
    if (isset($post_string)) $out.= $post_string;

    fwrite($fp, $out);
    fclose($fp);
}

Для этого нужно открыть сокет, запустить запрос get, немедленно закрыть сокет и вернуться.

50
Marquis Wang

Вот как заставить ответ маркиза работать как с POST, так и с GET-запросами:

  // $type must equal 'GET' or 'POST'
  function curl_request_async($url, $params, $type='POST')
  {
      foreach ($params as $key => &$val) {
        if (is_array($val)) $val = implode(',', $val);
        $post_params[] = $key.'='.urlencode($val);
      }
      $post_string = implode('&', $post_params);

      $parts=parse_url($url);

      $fp = fsockopen($parts['Host'],
          isset($parts['port'])?$parts['port']:80,
          $errno, $errstr, 30);

      // Data goes in the path for a GET request
      if('GET' == $type) $parts['path'] .= '?'.$post_string;

      $out = "$type ".$parts['path']." HTTP/1.1\r\n";
      $out.= "Host: ".$parts['Host']."\r\n";
      $out.= "Content-Type: application/x-www-form-urlencoded\r\n";
      $out.= "Content-Length: ".strlen($post_string)."\r\n";
      $out.= "Connection: Close\r\n\r\n";
      // Data goes in the request body for a POST request
      if ('POST' == $type && isset($post_string)) $out.= $post_string;

      fwrite($fp, $out);
      fclose($fp);
  }
32
catgofire

Что касается вашего обновления, о нежелании ждать загрузки полной страницы - я думаю, что HTTP HEAD запрос - это то, что вы ищете ..

get_headers должен сделать это - я думаю, что он запрашивает только заголовки, поэтому не будет отправлено полное содержимое страницы.

«PHP/Curl: запрос HEAD на некоторых сайтах занимает много времени» описывает, как сделать запрос HEAD с использованием PHP/Curl

Если вы хотите инициировать запрос и вообще не задерживать сценарий, есть несколько способов различной сложности.

  • Выполните HTTP-запрос как фоновый процесс, php выполните фоновый процесс - в основном вы должны выполнить что-то вроде "wget -O /dev/null $carefully_escaped_url" - это будет зависеть от платформы, и вы должны быть действительно осторожны с экранированием параметров в команде
  • Выполнение скрипта PHP в фоновом режиме - в основном аналогично методу процесса UNIX, но выполнение скрипта PHP вместо команды Shell
  • Иметь «очередь заданий», используя базу данных (или что-то вроде beanstalkd , что, вероятно, излишне). Вы добавляете URL-адрес в очередь, а фоновый процесс или cron-job регулярно проверяет наличие новых заданий и выполняет запросы к URL-адресу.
13
dbr

Я бы порекомендовал вам хорошо протестированную библиотеку PHP: curl-easy

<?php
$request = new cURL\Request('http://www.externalsite.com/script2.php?variable=45');
$request->getOptions()
    ->set(CURLOPT_TIMEOUT, 5)
    ->set(CURLOPT_RETURNTRANSFER, true);

// add callback when the request will be completed
$request->addListener('complete', function (cURL\Event $event) {
    $response = $event->response;
    $content = $response->getContent();
    echo $content;
});

while ($request->socketPerform()) {
    // do anything else when the request is processed
}
6
stil

Вы не Хотя PHP предлагает множество способов вызова URL, он не предлагает встроенную поддержку для выполнения каких-либо асинхронных/многопоточных обработок за цикл запроса/выполнения. Любой метод отправки запроса на URL (или оператор SQL, или т.д.) Будет ожидать некоторый вид ответа. Вам понадобится какая-то вторичная система, работающая на локальном компьютере, чтобы добиться этого (Google ищет "очередь заданий php")

6
Alan Storm
function make_request($url, $waitResult=true){
    $cmi = curl_multi_init();

    $curl = curl_init();
    curl_setopt($curl, CURLOPT_URL, $url);
    curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);

    curl_multi_add_handle($cmi, $curl);

    $running = null;
    do {
        curl_multi_exec($cmi, $running);
        sleep(.1);
        if(!$waitResult)
        break;
    } while ($running > 0);
    curl_multi_remove_handle($cmi, $curl);
    if($waitResult){
        $curlInfos = curl_getinfo($curl);
        if((int) $curlInfos['http_code'] == 200){
            curl_multi_close($cmi);
            return curl_multi_getcontent($curl);
        }
    }
    curl_multi_close($cmi);
}
4
amez

Интересная проблема. Я предполагаю, что вы просто хотите запустить какой-то процесс или действие на другом сервере, но не волнует, каковы будут результаты, и хотите, чтобы ваш сценарий продолжался. Возможно, в cURL есть что-то, что может сделать это, но вы можете рассмотреть возможность использования exec() для запуска другого сценария на сервере, который выполняет вызов, если cURL не может этого сделать. (Обычно люди хотят получить результаты вызова скрипта, поэтому я не уверен, что PHP имеет возможность просто запустить процесс.) С exec() вы можете запустить wget или даже другой PHP скрипт, который делает запрос с file_get_conents().

3
Darryl Hein

Лучше рассмотреть вопрос об использовании очередей сообщений вместо рекомендованных методов. Я уверен, что это будет лучшим решением, хотя оно требует немного больше работы, чем просто отправка запроса.

2
mra214

позвольте мне показать вам мой путь :)

нужен nodejs, установленный на сервере

(мой сервер отправляет 1000 запросов на получение https занимает всего 2 секунды)

url.php: 

<?
$urls = array_fill(0, 100, 'http://google.com/blank.html');

function execinbackground($cmd) { 
    if (substr(php_uname(), 0, 7) == "Windows"){ 
        pclose(popen("start /B ". $cmd, "r"));  
    } 
    else { 
        exec($cmd . " > /dev/null &");   
    } 
} 
fwite(fopen("urls.txt","w"),implode("\n",$urls);
execinbackground("nodejs urlscript.js urls.txt");
// { do your work while get requests being executed.. }
?>

urlscript.js>

var https = require('https');
var url = require('url');
var http = require('http');
var fs = require('fs');
var dosya = process.argv[2];
var logdosya = 'log.txt';
var count=0;
http.globalAgent.maxSockets = 300;
https.globalAgent.maxSockets = 300;

setTimeout(timeout,100000); // maximum execution time (in ms)

function trim(string) {
    return string.replace(/^\s*|\s*$/g, '')
}

fs.readFile(process.argv[2], 'utf8', function (err, data) {
    if (err) {
        throw err;
    }
    parcala(data);
});

function parcala(data) {
    var data = data.split("\n");
    count=''+data.length+'-'+data[1];
    data.forEach(function (d) {
        req(trim(d));
    });
    /*
    fs.unlink(dosya, function d() {
        console.log('<%s> file deleted', dosya);
    });
    */
}


function req(link) {
    var linkinfo = url.parse(link);
    if (linkinfo.protocol == 'https:') {
        var options = {
        Host: linkinfo.Host,
        port: 443,
        path: linkinfo.path,
        method: 'GET'
    };
https.get(options, function(res) {res.on('data', function(d) {});}).on('error', function(e) {console.error(e);});
    } else {
    var options = {
        Host: linkinfo.Host,
        port: 80,
        path: linkinfo.path,
        method: 'GET'
    };        
http.get(options, function(res) {res.on('data', function(d) {});}).on('error', function(e) {console.error(e);});
    }
}


process.on('exit', onExit);

function onExit() {
    log();
}

function timeout()
{
console.log("i am too far gone");process.exit();
}

function log() 
{
    var fd = fs.openSync(logdosya, 'a+');
    fs.writeSync(fd, dosya + '-'+count+'\n');
    fs.closeSync(fd);
}
2
user1031143

Если вы используете среду Linux, вы можете использовать команду exec PHP для вызова linux curl. Вот пример кода, который сделает асинхронный HTTP-пост. 

function _async_http_post($url, $json_string) {
  $run = "curl -X POST -H 'Content-Type: application/json'";
  $run.= " -d '" .$json_string. "' " . "'" . $url . "'";
  $run.= " > /dev/null 2>&1 &";
  exec($run, $output, $exit);
  return $exit == 0;
}

Этот код не требует каких-либо дополнительных библиотек PHP и может завершить публикацию http менее чем за 10 миллисекунд. 

2
Stranger

Для меня вопрос об асинхронном запросе GET возник из-за того, что я столкнулся с ситуацией, когда мне нужно выполнить сотни запросов, получить и обработать данные result для каждого запроса, и каждый запрос принимает значительный миллисекунды выполнения, что приводит к минутам (!) общего выполнения с простым file_get_contents.

В этом случае это был очень полезный комментарий w_haigh на php.net о функции http://php.net/manual/en/function.curl-multi-init.php

Итак, вот моя обновленная и очищенная версия для одновременного выполнения большого количества запросов .. Для моего случая это эквивалентно "асинхронному" способу. Может быть, это помогает кому-то!

// Build the multi-curl handle, adding both $ch
$mh = curl_multi_init();

// Build the individual requests, but do not execute them
$chs = [];
$chs['ID0001'] = curl_init('http://webservice.example.com/?method=say&Word=Hello');
$chs['ID0002'] = curl_init('http://webservice.example.com/?method=say&Word=World');
// $chs[] = ...
foreach ($chs as $ch) {
    curl_setopt_array($ch, [
        CURLOPT_RETURNTRANSFER => true,  // Return requested content as string
        CURLOPT_HEADER => false,         // Don't save returned headers to result
        CURLOPT_CONNECTTIMEOUT => 10,    // Max seconds wait for connect
        CURLOPT_TIMEOUT => 20,           // Max seconds on all of request
        CURLOPT_USERAGENT => 'Robot YetAnotherRobo 1.0',
    ]);

    // Well, with a little more of code you can use POST queries too
    // Also, useful options above can be  CURLOPT_SSL_VERIFYHOST => 0  
    // and  CURLOPT_SSL_VERIFYPEER => false ...

    // Add every $ch to the multi-curl handle
    curl_multi_add_handle($mh, $ch);
}

// Execute all of queries simultaneously, and continue when ALL OF THEM are complete
$running = null;
do {
    curl_multi_exec($mh, $running);
} while ($running);

// Close the handles
foreach ($chs as $ch) {
    curl_multi_remove_handle($mh, $ch);
}
curl_multi_close($mh);

// All of our requests are done, we can now access the results
// With a help of ids we can understand what response was given
// on every concrete our request
$responses = [];
foreach ($chs as $id => $ch) {
    $responses[$id] = curl_multi_getcontent($ch);
    curl_close($ch);
}
unset($chs); // Finita, no more need any curls :-)

print_r($responses); // output results

Это легко переписать для обработки POST или других типов запросов HTTP (S) или любых их комбинаций. Поддержка Cookie, перенаправления, http-auth и т.д.

2
FlameStorm

Никто, кажется, не упоминает Guzzle , который является PHP HTTP-клиентом, который облегчает отправку HTTP-запросов. Может работать с или без Curl. Он может отправлять как синхронные, так и асинхронные запросы.

$client = new GuzzleHttp\Client();
$promise = $client->requestAsync('GET', 'http://httpbin.org/get');
$promise->then(
    function (ResponseInterface $res) {
        echo $res->getStatusCode() . "\n";
    },
    function (RequestException $e) {
        echo $e->getMessage() . "\n";
        echo $e->getRequest()->getMethod();
    }
);
1
zstate

Вот адаптация принятого ответа для выполнения простого запроса GET.

Стоит отметить, что если сервер выполняет перезапись URL, это не сработает. Вам нужно будет использовать более полнофункциональный http-клиент. 

  /**
   * Performs an async get request (doesn't wait for response)
   * Note: One limitation of this approach is it will not work if server does any URL rewriting
   */
  function async_get($url)
  {
      $parts=parse_url($url);

      $fp = fsockopen($parts['Host'],
          isset($parts['port'])?$parts['port']:80,
          $errno, $errstr, 30);

      $out = "GET ".$parts['path']." HTTP/1.1\r\n";
      $out.= "Host: ".$parts['Host']."\r\n";
      $out.= "Connection: Close\r\n\r\n";
      fwrite($fp, $out);
      fclose($fp);
  }
1
blak3r

Пытаться:

//Your Code here
$pid = pcntl_fork();
if ($pid == -1) {
     die('could not fork');
}
else if ($pid)
{
echo("Bye")  
}
else
{
     //Do Post Processing
}

Это НЕ будет работать как модуль Apache, вам нужно использовать CGI.

1
LM.

Я нашел эту интересную ссылку для асинхронной обработки (получить запрос).

Аскапаче

Кроме того, вы можете выполнять асинхронную обработку, используя очередь сообщений, например, beanstalkd.

1
Alfred

Предложение: отформатируйте HTML-страницу FRAMESET, которая содержит, скажем, 9 кадров внутри. Каждый фрейм ПОЛУЧИТ отдельный «экземпляр» вашей страницы myapp.php. Параллельно на веб-сервере будет работать 9 различных потоков.

0
newbie_dude

Основываясь на этой теме, я сделал это для своего проекта codeigniter. Работает просто отлично. Вы можете обработать любую функцию в фоновом режиме.

Контроллер, который принимает асинхронные вызовы.

class Daemon extends CI_Controller
{
    // Remember to disable CI's csrf-checks for this controller

    function index( )
    {
        ignore_user_abort( 1 );
        try
        {
            if ( strcmp( $_SERVER['REMOTE_ADDR'], $_SERVER['SERVER_ADDR'] ) != 0 && !in_array( $_SERVER['REMOTE_ADDR'], $this->config->item( 'proxy_ips' ) ) )
            {
                log_message( "error", "Daemon called from untrusted IP-address: " . $_SERVER['REMOTE_ADDR'] );
                show_404( '/daemon' );
                return;
            }

            $this->load->library( 'encrypt' );
            $params = unserialize( urldecode( $this->encrypt->decode( $_POST['data'] ) ) );
            unset( $_POST );
            $model = array_shift( $params );
            $method = array_shift( $params );
            $this->load->model( $model );
            if ( call_user_func_array( array( $this->$model, $method ), $params ) === FALSE )
            {
                log_message( "error", "Daemon could not call: " . $model . "::" . $method . "()" );
            }
        }
        catch(Exception $e)
        {
            log_message( "error", "Daemon has error: " . $e->getMessage( ) . $e->getFile( ) . $e->getLine( ) );
        }
    }
}

И библиотека, которая делает асинхронные вызовы

class Daemon
{
    public function execute_background( /* model, method, params */ )
    {
        $ci = &get_instance( );
        // The callback URL (its ourselves)
        $parts = parse_url( $ci->config->item( 'base_url' ) . "/daemon" );
        if ( strcmp( $parts['scheme'], 'https' ) == 0 )
        {
            $port = 443;
            $Host = "ssl://" . $parts['Host'];
        }
        else 
        {
            $port = 80;
            $Host = $parts['Host'];
        }
        if ( ( $fp = fsockopen( $Host, isset( $parts['port'] ) ? $parts['port'] : $port, $errno, $errstr, 30 ) ) === FALSE )
        {
            throw new Exception( "Internal server error: background process could not be started" );
        }
        $ci->load->library( 'encrypt' );
        $post_string = "data=" . urlencode( $ci->encrypt->encode( serialize( func_get_args( ) ) ) );
        $out = "POST " . $parts['path'] . " HTTP/1.1\r\n";
        $out .= "Host: " . $Host . "\r\n";
        $out .= "Content-Type: application/x-www-form-urlencoded\r\n";
        $out .= "Content-Length: " . strlen( $post_string ) . "\r\n";
        $out .= "Connection: Close\r\n\r\n";
        $out .= $post_string;
        fwrite( $fp, $out );
        fclose( $fp );
    }
}

Этот метод может быть вызван для обработки любой модели :: method () в фоновом режиме. Он использует переменные аргументы.

$this->load->library('daemon');
$this->daemon->execute_background( 'model', 'method', $arg1, $arg2, ... );
0
Patrick Savalle

Несколько исправлений в сценариях, опубликованных выше. Следующее работает на меня

function curl_request_async($url, $params, $type='GET')
    {
        $post_params = array();
        foreach ($params as $key => &$val) {
            if (is_array($val)) $val = implode(',', $val);
            $post_params[] = $key.'='.urlencode($val);
        }
        $post_string = implode('&', $post_params);

        $parts=parse_url($url);
        echo print_r($parts, TRUE);
        $fp = fsockopen($parts['Host'],
            (isset($parts['scheme']) && $parts['scheme'] == 'https')? 443 : 80,
            $errno, $errstr, 30);

        $out = "$type ".$parts['path'] . (isset($parts['query']) ? '?'.$parts['query'] : '') ." HTTP/1.1\r\n";
        $out.= "Host: ".$parts['Host']."\r\n";
        $out.= "Content-Type: application/x-www-form-urlencoded\r\n";
        $out.= "Content-Length: ".strlen($post_string)."\r\n";
        $out.= "Connection: Close\r\n\r\n";
        // Data goes in the request body for a POST request
        if ('POST' == $type && isset($post_string)) $out.= $post_string;
        fwrite($fp, $out);
        fclose($fp);
    }
0
A23

Для PHP5.5 + mpyw/co является окончательным решением. Это работает, как будто это tj/co в JavaScript.

Пример

Предположим, что вы хотите загрузить указанные аватары нескольких пользователей GitHub. Следующие шаги необходимы для каждого пользователя.

  1. Получить содержимое http://github.com/mpyw (ПОЛУЧИТЬ HTML)
  2. Найдите <img class="avatar" src="..."> и запросите его (GET IMAGE)

---: жду моего ответа
...: Ожидание другого ответа в параллельных потоках

Многие известные скрипты на основе curl_multi уже предоставляют нам следующие потоки.

        /-----------GET HTML\  /--GET IMAGE.........\
       /                     \/                      \ 
[Start] GET HTML..............----------------GET IMAGE [Finish]
       \                     /\                      /
        \-----GET HTML....../  \-----GET IMAGE....../

Однако это недостаточно эффективно. Вы хотите сократить бесполезное время ожидания ...?

        /-----------GET HTML--GET IMAGE\
       /                                \            
[Start] GET HTML----------------GET IMAGE [Finish]
       \                                /
        \-----GET HTML-----GET IMAGE.../

Да, это очень легко с mpyw/co. Для получения более подробной информации посетите страницу хранилища.

0
mpyw