使用 Symfony DomCrawler 进行爬虫已解决

在使用 symfony 中。有需求需要对页面元素进行爬虫。一开始计划其他办法。但是好在symfony有官方爬虫组件。索性看文档直接就可以使用。

 $url = $this->baseUrl . $list->getApiUrL();$response = file_get_contents($url);$crawler = new Crawler();$crawler->addHtmlContent($response);$data = [];try {//使用crawler进行页面内容分析$content = $crawler->filterXPath('//ul[contains(@class,"conte_heliu_ul")]')->text();$imgSrc = $crawler->filterXpath('//img')->extract(array('src'));$name = $crawler->filterXPath('//ul[contains(@class,"conte_heliu_ul")]/li')->each(function (Crawler $node, $i) use (&$data) {$item = $node->filterXPath('//div/span')->text();$city = $node->filterXPath('//span')->text();return $city . '-' . $item;});$userName = implode(',', $name);$imgUrl = str_replace('../', '', $imgSrc[0]);$url = str_replace('3g/', '', $this->baseUrl);$fileUrl = '';if (!empty($imgUrl)) {$fileUrl = $url . $imgUrl;}$data = ['content' => $content,'userName' => $userName,'img' => $fileUrl,];} catch (Exception $e) {$output->writeln('error ');}


use Symfony\Component\DomCrawler\Crawler;function run()
{//伪造浏览器UA$headers = ['user-agent' => 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',];$client = new Client(['timeout' => 20,'headers' => $headers]);//发送请求获取页面内容$response = $client->request('GET', $url)->getBody()->getContents();$data = [];$crawler = new Crawler();$crawler->addHtmlContent($response);//使用crawler进行页面内容分析try{//这里使用的是xpath语法，轮询forFlow子类day中的元素，既页面上每一篇文章的块状元素，并且进行内容获取$crawler->filterXPath('//div[contains(@class, "forFlow")]/div[contains(@class, "day")]')->each(function(Crawler $node, $i) use (&$data){$item = ['date' => $node->filterXPath('//div[contains(@class, "dayTitle")]/a')->text(),'title' => $node->filterXPath('//div[contains(@class, "postTitle")]/a')->text(),'abstract' => $node->filterXPath('//div[contains(@class, "postCon")]/div')->text(),'url' => $node->filterXPath('//div[contains(@class, "postCon")]/div/a')->attr('href'),];$data[] = $item;});}catch (\Exception $e){echo $e->getMessage() . PHP_EOL;}//打印结果print_r($data);
}

使用 Symfony DomCrawler 进行爬虫已解决相关推荐

已解决pandas创建DataFrame对象失败
已解决(pandas创建DataFrame对象失败)ValueError: Shape of passed values is (1509, 1), indices imply (1509, 2) 文 ...
已解决IndexError: list index out of range
已解决(Python爬虫遍历列表报错)IndexError: list index out of range 文章目录报错代码报错翻译报错原因解决方法千人全栈VIP答疑群联系博主帮忙解决报错 ...
已解决error: Microsoft Visual C++ 14.0 or greater is required. Get it with “Microsoft C++ Build Tools“:
已解决(pip安装pyhanlp模块报错)error: Microsoft Visual C++ 14.0 or greater is required. Get it with "Micr ...
已解决NameError: name ‘unichr‘ is not defined
已解决(Python3报错)NameError: name 'unichr' is not defined 文章目录报错代码报错翻译报错原因解决方法千人全栈VIP答疑群联系博主帮忙解决报错 ...
已解决ModuleNotFoundError: No module named ‘Workbook‘
已解决(python xlwt库写入Excel表格报错)ModuleNotFoundError: No module named 'Workbook' 文章目录报错代码报错翻译报错原因解决方法 ...
已解决（Python语法报错）SyntaxError: invalid syntax
已解决(Python语法报错)SyntaxError: invalid syntax 文章目录报错信息报错翻译报错原因解决方法千人全栈VIP答疑群联系博主帮忙解决报错报错信息粉丝群里面一 ...
已解决SyntaxError：expected ‘:‘
已解决(Python语法错误)SyntaxError:expected ':' 文章目录报错代码报错翻译报错原因解决方法千人全栈VIP答疑群联系博主帮忙解决报错报错代码粉丝群里面的一个粉 ...
已解决MySQL 服务无法启动。
已解决MySQL 服务无法启动. 文章目录报错代码报错原因解决方法千人全栈VIP答疑群联系博主帮忙解决报错报错代码粉丝群里面的一个小伙伴安装完MySQL数据库以后,想启动MySQL服务器, ...
已解决requests.exceptions.ConnectTimeout: HTTPConnectionPool(host=‘123.96.1.95‘, port=30090): Max retri
已解决requests.exceptions.ConnectTimeout: HTTPConnectionPool(host='123.96.1.95', port=30090): Max retri ...

使用 Symfony DomCrawler 进行爬虫已解决

使用 Symfony DomCrawler 进行爬虫已解决相关推荐

最新文章

热门文章

使用 Symfony DomCrawler 进行爬虫 已解决

使用 Symfony DomCrawler 进行爬虫 已解决相关推荐

最新文章

热门文章

使用 Symfony DomCrawler 进行爬虫已解决

使用 Symfony DomCrawler 进行爬虫已解决相关推荐