Website-Status möglichst effizient und genau

Jenso · 27. August 2013

Hey Leute, ich schreibe gerade an einem Script dass Links aus einer DB auf Online/Offline prüfen soll.
Dazu nehme ich get_headers();. Leider kommen mir hierbei false-positives auf und das Skript läuft recht lange (55 Links).

PHP

while($row = $statement->fetchArray()){
$link = new Link($row['linkID']);
ini_set('user_agent', 'LinkCheck 1.0');
@$headers = get_headers($link->url);
if($headers != false){
$code = substr($headers[0], 9, 3);
if(intval($code) < 400){
$editor = new LinkEditor($link);
$editor->update(array(
'isOnline' => 1
));
}
else{
$editor = new LinkEditor($link);
$editor->update(array(
'isOnline' => 0
));
}
}
else{
$editor = new LinkEditor($link);
$editor->update(array(
'isOnline' => 0
));
}
}

Alles anzeigen

Wie krieg ich vor allem die 11 falschen Offline Meldungen weg (darunter auch stagetwo)

FragSalat · 27. August 2013

Ich würde curl nehmen und die Response und den status Code prüfen.

Ennosuke · 27. August 2013

Wie Sick^ schon sagte nimm curl, aber das mit der langen Laufzeit ist klar, schon alleine wenn eine der Seiten down ist wird das Skript bis zum Timeout des Connects laufen, wenn es nicht vorher abgebrochen wird, weil es zu lange läuft.

FragSalat · 27. August 2013

Du kannst mit Multithreading arbeiten sodass du mehrere Webseiten gleichzeitig geprüft werden.
Zudem kannst du den Timeout auf sagen wir 5 Sekunden setzen.
Eine webseite sollte bis dahin zumindest den Anfang einer Anwort gemacht haben^^

Jenso · 27. August 2013

mit cURL komme ich auf verbleibende 3 Falschmeldungen, darunter StageTwo:

PHP

while($row = $statement->fetchArray()){
$link = new Link($row['linkID']);
//ini_set('user_agent', 'Mozilla/5.0 (compatible; codeQuake Linklist V2.0 +http://codequake.de)');
//@$headers = get_headers($link->url);
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $link->url);
curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 6.2; WOW64; rv:23.0) Gecko/20100101 Firefox/23.0');
curl_setopt($ch, CURLOPT_TIMEOUT, 5);
curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt ($ch,CURLOPT_VERBOSE,false);
curl_setopt($ch,CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch,CURLOPT_SSLVERSION,3);
curl_setopt($ch,CURLOPT_SSL_VERIFYHOST, false);
$page = curl_exec($ch);
$code = curl_getinfo($ch, CURLINFO_HTTP_CODE);
curl_close($ch);
if($code >=200 && $code < 400){
$editor = new LinkEditor($link);
$editor->update(array(
'isOnline' => 1
));
}
else{
$editor = new LinkEditor($link);
$editor->update(array(
'isOnline' => 0
));
}
}

Alles anzeigen

//thante Edit: Ups jetzt sind sie weg, hatte nach der letzten Änderung vergessen das Skript auszuführen^^

FragSalat · 27. August 2013

Das ist mir noch nicht passiert
Ich ver gesse nur ab und an zu speichern und führe das script dann aus^^

Jenso · 27. August 2013

hab das ganze jetzt so gemacht:

PHP

$mh = curl_multi_init();
$handles = array();
while($row = $statement->fetchArray()){
$link = new Link($row['linkID']);
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $link->url);
curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 6.2; WOW64; rv:23.0) Gecko/20100101 Firefox/23.0');
curl_setopt($ch, CURLOPT_TIMEOUT, 5);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch,CURLOPT_VERBOSE,false);
curl_setopt($ch,CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch,CURLOPT_SSLVERSION,3);
curl_setopt($ch,CURLOPT_SSL_VERIFYHOST, false);
$handles[] = array('linkID' => $link->linkID, 'handle' => $ch);
}
foreach ($handles as $handle){
curl_multi_add_handle($mh, $handle['handle']);
}
$running = null;
do{
curl_multi_exec($mh, $running);
} while ($running);
foreach($handles as $handle){
$codes[] = array('linkID' => $handle['linkID'], 'code' => curl_getinfo($handle['handle'], CURLINFO_HTTP_CODE));
curl_multi_remove_handle($mh, $handle['handle']);
}
curl_multi_close($mh);
foreach($codes as $code){
if($code['code'] >=200 && $code['code'] < 400){
$editor = new LinkEditor($link);
$editor->update(array('isOnline' => 1));
}
else{
$editor = new LinkEditor($link);
$editor->update(array('isOnline' => 0));
}
}

Alles anzeigen

läuft seehr fix

Teilen