// Тег "robots.txt"

Все записи с тегом "robots.txt"

Файл robots.txt для Wordpress

Давайте вместе составим корректный файл robots.txt для блога на Wordpress. Думаю, что многим это пригодится. ;)
Напомню, что файл robots.txt должен быть один на сайт и располагаться в корне сайта.
Итак, приступим:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$

Может быть стОит добавить что-то еще?

]]> ]]>