在我网站的主页上,我使用 JQuery 的 ajax 功能来下拉用户最近活动的列表。
页面上显示最近的活动,最近活动的每一行都包含一个指向执行该活动的用户的用户个人资料的链接。
Google 是否真的会调用 ajax 来提取此信息并将其用于计算页面相关性/链接汁流?
我希望它不会,因为用户个人资料页面不太值得Google索引,而且我不希望所有这些指向用户个人资料页面的链接稀释我主页的链接汁从其他更重要的链接流走。
不会,默认不会抓取AJAX内容。
https://developers.google.com/search/docs/crawling-indexing/javascript/javascript-seo-basics有关于如何使AJAX内容可抓取的说明,但这些是您需要采取的明确步骤,它不是不是自动的
也许。如果您想保证 Google 不会抓取您的 JSON 响应,请将它们放入 robots.txt。但这并不是安全;而是安全。事实上,这是破解者寻找“有趣”页面的第一个地方。 其他爬虫可能会忽略它。
是的,Google 会抓取使用 JavaScript 创建的动态内容。它可以在加载后识别 DOM,包括对标题标签的修改。它还可以跟踪使用 onclick 事件处理程序创建的链接。
在这里阅读: http://searchengineland.com/tested-googlebot-crawls-javascript-heres-learned-220157
但是,对于您的个人资料链接,它会尊重 nofollow。
Google 现在有一种方法可以让您在 AJAX 页面上启用爬行。如果您的链接包含“#!”,那么 Google 会将其更改为“?_escaped_fragment_=”并向您的服务器请求该文档。但是,当它在搜索结果中显示该页面时,它将显示原始 URL 并带有“#!”。
http://code.google.com/web/ajaxcrawling/docs/learn-more.html
Google 肯定会抓取我们页面中仅在 AJAX 请求中引用的内容。
我想知道 Google 是否正在检查页面源代码,寻找潜在的有效 URL,并测试它们是否有内容。
这是我们的请求......这可能会提供一些关于正在发生的事情的见解。
'$(document).ready(function() {
$("#theDiv").block({ message: 'Getting latest content...' });
$.ajax({
url: '/content/pages/articles?count=4&part=true',
success: function(data) {
$('#theDiv').html(data);
$("#theDiv").unblock();
}
});
});`
Google本身并不抓取AJAX内容,但是它提出了一个让AJAX内容抓取的方案。我写了一篇文章来解释它是如何工作的。它还包括非常简单的代码来演示 AJAX 内容的 Google 抓取方案。在这里找到它:http://www.tayyabali.com/seo-ajax-content-asp-net-code-to-crawl-ajax
这里是 一些关于 AJAX 爬行的信息,来自 JQuery Address 插件的制作者。
对于 Ruby 用户来说,有一个 gem 可以相对轻松地处理这个问题...... google_ajax_crawler Github 存储库在这里,在 thecodeabode
写下关于将其用于backbonejs的文章