.htaccess для ботов SEO, сканирующих одностраничные приложения без hashbangs

Ответ 1

У вас была аналогичная проблема в одностраничном веб-приложении.

Единственное решение, которое я нашел для этой проблемы, - это эффективное создание статических версий страниц с целью создания чего-то навигационного с помощью Google (и других) ботов.

Вы можете сделать это самостоятельно, но есть также службы, которые выполняют именно это, и создают для вас свой статический кеш (и служат для моментальных снимков для ботов по их CDN).

В итоге я использовал SEO4Ajax, хотя доступны другие подобные услуги!

Ответ 2

У меня была такая же проблема. На данный момент я изменил .htaccess следующим образом:

RewriteCond %{QUERY_STRING} ^_escaped_fragment_=(.*)$
RewriteRule ^$ /snapshots/index.html? [L,NC]
RewriteCond %{QUERY_STRING} ^_escaped_fragment_=(.*)$
RewriteRule ^(.*)$ /snapshots/$1.html? [L,NC]

Не уверен, есть ли лучшее решение, но оно работает для меня до сих пор. Просто убедитесь, что структура каталогов для ваших снимков соответствует структуре URL.

Ответ 3

Я использую Symfony2, и хотя мне говорят другие разработчики, что Googlebot и Bingbot работают с Javascript достаточно хорошо, чтобы генерировать собственные HTML-фрагменты, я не уверен в себе. Я также считаю, что обслуживание статических ресурсов - лучшая альтернатива для работы ppl с отключенным JS (хотя это маловероятно), и поэтому я заинтересован в обслуживании HTML-фрагментов в любом случае, если это не хлопот. Ниже приведен метод, который я собираюсь использовать, но не пробовал:

Вот другие вопросы SO, которые похожи (один мой).
Angularjs против SEO против pushState
HTML-фрагменты для приложения AngularJS, использующего pushState?

Вот решение, которое я разместил в этом вопросе и рассматриваю для себя в случае, если я хочу отправить фрагменты HTML в боты. Это было бы решением для бэкэнд Symfony2:

• Используйте prerender или другую службу для создания статических фрагментов всех ваших страниц. Храните их в любом месте, доступном вашему маршрутизатору.

• В вашем файле маршрутизации Symfony2 создайте маршрут, соответствующий вашему SPA. У меня есть тестовый SPA, работающий на localhost.com/ng-test/, поэтому мой маршрут будет выглядеть следующим образом:

  # Adding a trailing / to this route breaks it. Not sure why.
# This is also not formatting correctly in StackOverflow. This is yaml.
NgTestReroute:
----path: /ng-test/{one}/{two}/{three}/{four}
----defaults:
--------_controller: DriverSideSiteBundle:NgTest:ngTestReroute
--------'one': null
--------'two': null
--------'three': null
--------'four': null
----methods: [GET]

• В вашем контроллере Symfony2 проверьте пользовательский агент, чтобы узнать, является ли он googlebot или bingbot. Вы должны сделать это с помощью кода ниже, а затем использовать этот список для целевых ботов, которые вас интересуют (http://www.searchenginedictionary.com/spider-names.shtml)...

  if(strstr(strtolower($_SERVER['HTTP_USER_AGENT']), "googlebot"))
{
  // what to do
}

• Если ваш контроллер обнаружит совпадение с ботом, отправьте ему фрагмент HTML. В противном случае, как и в случае с моим приложением AngularJS, просто отправьте пользователя на индексную страницу, а Angular будет делать все остальное.

Кроме того, если на ваш вопрос был дан ответ, выберите его, чтобы я и другие могли рассказать, что сработало для вас.

Ответ 4

Я использую PhantomJS для создания статических снимков моих страниц. Моя структура каталогов только на одном уровне (root и /projects), поэтому у меня есть два файла .htaccess, в которых я перенаправляюсь к файлу PHP (index-bots.php), который запускает процесс PhantomJS, указанный в моем SPA index.html и выводит отображаемые статические страницы.

Файлы .htaccess выглядят следующим образом:

/. Htaccess

# redirect search engine bots to index-bots.php
# in order to serve rendered HTML via phantomjs
RewriteCond %{HTTP_USER_AGENT} (bot|crawl|slurp|spider) [NC]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_URI} !^/index-bots\.php [NC]
RewriteRule ^(.*)$ index-bots.php?url=%{REQUEST_URI} [L,QSA]

/projects/.htaccess

# redirect search engine bots to index-bots.php
# in order to serve rendered HTML via phantomjs
RewriteCond %{HTTP_USER_AGENT} (bot|crawl|slurp|spider) [NC]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteRule ^(.*)$ ../index-bots.php?url=%{REQUEST_URI} [L,QSA]

Несколько примечаний:

• !-f RewriteCond имеет решающее значение! Поскольку .htaccess будет применять RewriteRule ко всем запросам, ресурсы на вашей странице будут переписаны в файл PHP, развернув несколько экземпляров PhantomJS и доведя ваш сервер до колен.
• Также важно освободить index-bots.php от перезаписи, чтобы избежать бесконечного цикла.
• Я выделяю JS в своем бегуне PhantomJS script, чтобы гарантировать, что JS ничего не делает, когда боты, которые его поддерживают, сталкиваются с "статическими" страницами.
• Я не мастер .htaccess, поэтому, вероятно, лучший способ сделать это. Я бы хотел услышать это, если да.