Несколько дней назад один мой сайт почти полностью выпал из индекса Яндекса. В логах сайта я увидел, что Яндекс бот почему-то вместо обращения к http://мойсайт.ru/ стал обращатся к http://www.мойсайт.ru/. Я зашел на webmaster.yandex.ru, и увидел что Яндекс ошибочно определил основное зеркало сайта с www а не без. От самого рождения сайта у меня в .htaccess стоит 301 редирект с www.мойсайт.ru на мойсайт.ru. В итоге зеркальщик-бот Яндекса неправильно определил основное зеркало сайта , и при индексации все страницы сайта выпали из выдачи из-за редиректа (301 – ресурс перемещен навсегда). А индексировать http://мойсайт.ru/ не стал, ибо это есть не основное зеркало сайта, и так по кругу. Яндекс в таких случаях советует убрать 301 редирект, прописать в robots.txt директиву Host: мойсайт.ru с www или без www, по выбору вебмастера (но и это не являеться 100% гарантией выбора правильного зеркала Яндексом). Затем нужно дождаться повторной индексации и склейки доменов (это может занять несколько месяцев), а потом опять поставить 301 редирект. Я так и сделал, отпишусь о результатах.
У Google таких «детских» болезней не наблюдал.

Почему я поставил 301 редирект? Потому, что поисковые системы считают сайты http://мойсайт.ru/ и http://www.мойсайт.ru/ полностью разными. И если одни сайты будут ссылаться на http://мойсайт.ru/, а другая часть на http://www.мойсайт.ru/, то ссылочная популярность сайта поделится между разными доменами, что плохо скажется на результатах выдачи поисковых системах.

Чтобы подобных ситуаций не происходило, необходимо:
Для Google - в инструментах для веб-мастеров указать основное зеркало сайта.
Для Яндекса - при создании сайта создать файл robots.txt в корневом каталоге сайта и там прописать директиву Host, чтобы дать яндексу понять, какое зеркало основное. В итоге robots.txt для Яндекса может быть примерно такой:
User-agent: Yandex
Disallow:
Host: yousite.ru

P.S. Директива Host для Яндекса является лишь рекомендацией, и может не соблюдаться. Время для “склейки” зеркал Яндексом может занять несколько месяцев, а в некоторых случаях не происходит вовсе.