Свадебный форум
Саровский Клуб Покупателей
Июньские мамочки
Форум безумных идей
Ночной форум
Королевство кривых зеркал
Ищу вторую половинку!
Лютики-цветочки КУПЛЯ-ПРОДАЖА
Отряд стройности
Пчеловодство
Форум ленивых
Волейбольный клуб туристов
Встречи для секса
Буду мамой!
Алкогольный форум
Лютики-цветочки
Котоводство
Форум сексуального опыта
форум Весны - каталог товаров, доступных к заказу и болталка обо всем на свете
1001 Мелочь
Консультации по Астропсихологии+Нумерологии
Россия - великая страна.
ММ дубль 2
Gida
Вкусный форум
Неффорум
Шахматный клуб четырёх Крокодилофф
Оружейно-стрелковый форум НН
Компас НН
Жизнь в стиле Lexus
СМК, Стандартизация и сертификация
Changan автофорум
Первый Мясокомбинат
Пассивный доход, проверенный заработок.
Форум парашютистов Нижегородской области
ЖБИ
А.В.М.С. "Турист"
ГЭК-21
Ужасные последствия в Нижнем Новгороде! Срочные меры.
ЖЕНСКОЕ ЗДОРОВЬЕ И ПРОЦВЕТАНИЕ
Одежда и аксессуары для всей семьи
Туристическое агентство on-line 24. Выгодные предложения
Бытовая Техника: ОСНОВНОЙ
Обучение судоводителей маломерного судна ГАЛАКСИ
Форум банкротного консалтинга
Возврат автомобиля дилеру
OffroadNN
Старые фото
Гипноз и психотерапия
Форум шопоголиков
Greenway
Совет отцов Нижнего Новгорода
Инвестиций форум
ГТО
Электромобили
Автозапчасти из Японии и Кореи
Удачи на даче
В кредит или в прокат?
Сушилка
Студенческий
Медовая биржа
Яхтинг НН.
КОНЦЕНТРАТ (LIKE ЦЕНТР Нижний Новгород)
Стадион Нижний Новгород
Обучение
Нижегородский эксперт
Турфирма Аквамарин Нижний Новгород
Модераторы Автофорума
Купи-Продай,Отдам даром,Объявления Нижний Новгород
Дельтапланерный спорт
Магазин Sashs Fabiani ТРЦ Небо
Компьютерная Барахолка
Рыболов
Городские услуги Нижнего Новгорода
Отзывы
Beauty мастера и модели
Ищем таланты
Настольные игры
Я контактирую с тонким миром
Работа и заработок в интернете
ЛИКВИДАЦИЯ парфюмерии и косметики!!!
Красота, Здоровье, Спорт
Дизайн интерьера и ремонт квартир
Земли отчуждения
3d добрый,душевный долгожданный:-)
Ново-стройка
Форум электриков.Объявления.
Любители iHerb
Одиночества нет
Тотальный мужской форум
Собачье сердце
Работа-НН
Барахолка
Альтернативный
АвтоПати
Паранормальный форум
Форум "У бабушки ведуньи"
Мебельный форум
ОНКОЛОГИЯ-жизнь до и после
Массаж с выездом на дом
Радуга, ГСК
Халявный Студенческий
Хранилище сралок
Форум участников СП
Театральный форум
Форум печников
Черное и белое
ВП для модераторов (закрытый)
Форум Танкистов
Форум любителей кошек
Подарки V.I.P ручная работа
Барахолка
Авторазборки
Пристройство животных от Белого Бима
Форум распродаж
Психологический
Молодежный форум
Енотофорум
Форум сормовского района
Массажный форум
Улитководы
Каморка папы Карло
Работаю в Москве
Продам/куплю/меняю
Нет слов
Православный форум
BDSM
Отдам даром
Парикмахерский форум
857 ВМК 1996 год
Баскетбольный клуб
Папа может
Стол находок
Работа
Обсуждение вопросов пользователей техники Apple
Клуб любителей пятницы
Электрика
Форум сетевиков
Христианский форум
Мелкие домашние любимцы
Хозяйственный форум
Необъявленная психотерапия
SEO (Поисковая оптимизация)
Форум радиолюбителей
Уголок Скорпиона Тьмы
Еврейский форум
Покерный форум
Для любителей коньков
1С
Брак, Семья, Отношения
Бойцовский клуб
Сны и сновидения
Форум о правильном питании
Косметика, красота
Форум аццкого отжига
БАБ-КЛАБ
Древний Храм
Форум циников
Радиофак ННГУ
Игровой форум
Свободка
Напишите мне Robots.txt для Битрикса
Работа
280
52
Поделиться
вы б прикрепили ваш стандартный, кто б может и глянул одним глазком, ну а так, битрикс же его сам генерирует и вроде как проверку проходил
Вот
ну я б заменил Disallow: /*index.php$ на Disallow: */index.php
ну и по структуре папок надо смотреть,осталось ли что то открытое то))
ну и по структуре папок надо смотреть,осталось ли что то открытое то))
Ну так давай договоримся. Сделай мне все верно, и карту сайта тоже.
Да вроде нормально всё.
И карту сайта тоже бы сделать.
ситемап у вас просто не сгенерирован, его можно сделать каким-нибудь бесплатным сервисом
У меня 600 страниц, а бесплатно только 500. Хотела было заплатить, да что-то все подозрительно стало, сервисам не доверяю. Заплатила бы сразу за все одному человеку, чтоб гарантированно верно было.
Если у вас битрикс, то наверняка должна быть какая-либо приблуда для генерации сайтмапа.
сам битрикс его генерирует, причем динамически
dev.1c-bitrix.ru/learning/course/?COURSE_ID=41&LESSON_ID=5816
генерация файла robots.txt
dev.1c-bitrix.ru/learning/course/?COURSE_ID=41&LESSON_ID=5814
dev.1c-bitrix.ru/learning/course/?COURSE_ID=41&LESSON_ID=5816
генерация файла robots.txt
dev.1c-bitrix.ru/learning/course/?COURSE_ID=41&LESSON_ID=5814
Спасибо, конечно, но вот на данный момент у меня, и ни у кого нет такого доступа к сайту. Разработчики врут что потеряли все пароли, когда мы от них уходили. У меня есть доступ по FTP, я могла бы кинуть в корень эти файлы, а сгенерировать не могу. Сейчас вот в поиске программиста чтоб завести аккаунт администратора с полным доступом.
Годива писал(а)
Сейчас вот в поиске программиста чтоб завести аккаунт администратора с полным доступом
Сейчас вот в поиске программиста чтоб завести аккаунт администратора с полным доступом
а к БД то доступ есть :) ?
Нет
Тоесть есть доступ к файлам БД через хостинг, но нет через админский интерфейс. Надеюсь что меня можно понять)))
Годива писал(а)
Тоесть есть доступ к файлам БД через хостинг
Тоесть есть доступ к файлам БД через хостинг
ну так этого вполне достаточно :) . правьте напрямую :) .
Если б умела))
дарю :) ... бесплатно :-D ...
https://dev.1c-bitrix.ru/learning/course/?COURSE_ID=35&LESSON_ID=2161
.. только потом файлик уберите и доступ закройте :) .
https://dev.1c-bitrix.ru/learning/course/?COURSE_ID=35&LESSON_ID=2161
.. только потом файлик уберите и доступ закройте :) .
Спасибо большое, все поучилось!
Ну вот ;-) .
А от хостинга пароли есть? от базы данных?
От хостинга пароли есть.
Посмотрела, версия у меня видимо ниже 14.0, так как нет в панели настроек SEO.
Да у вас даже не 12я 9я какая нибудь ))) да еще и зануденая наверно
User-agent: *
Disallow: /
Disallow: /
Вот я не понимаю что написано))) Мне надо чтоб сделали и прислали правильный файл сразу.
Это я шучк так)
шутник :-D ...
Что-то не смешно)
так весь вопрос шутки - в понимании :) .
какая разница на какой cms сайт сделан?! правила составления robots.txt для всех одинаковы!
ошибка в вашем robots.txt следующая:
последнюю строку
Sitemap: _www.express-oriental.ru/sitemap.xml
нужно заменить на
Sitemap: _http://www.express-oriental.ru/sitemap.xml
только подчеркивание перед ссылкой уберите, это я его для этого сайта поставил, а то тут ссылку простым текстом нельзя написать. (как правильно см. картинку)
и кстати ссылка на карту указана,а по факту её нет! если нет карты сайта, то необходимо эту строку совсем удалить.
далее.. ИМХО в вашем robots.txt много лишнего, то, что там по закрывали я таких страниц на вашем сайте не нашёл, видимо, с какого-то другого сайта карту тупо скопировали :)
ошибка в вашем robots.txt следующая:
последнюю строку
Sitemap: _www.express-oriental.ru/sitemap.xml
нужно заменить на
Sitemap: _http://www.express-oriental.ru/sitemap.xml
только подчеркивание перед ссылкой уберите, это я его для этого сайта поставил, а то тут ссылку простым текстом нельзя написать. (как правильно см. картинку)
и кстати ссылка на карту указана,а по факту её нет! если нет карты сайта, то необходимо эту строку совсем удалить.
далее.. ИМХО в вашем robots.txt много лишнего, то, что там по закрывали я таких страниц на вашем сайте не нашёл, видимо, с какого-то другого сайта карту тупо скопировали :)
Карту сайта я в корень загрузила, но поскольку она, видимо, не полная (генерировала бесплатным сервисом), то он ее не видит. Вроде бред, но файл в корне правда есть.
по указанному адресу карты сайта нет, ошибка 404, надо смотреть куда именно загрузили и как файл карты сайта называется. в общем мне в личку пишите, я посмотрю и настрою всё.
elusive69 писал(а)
ИМХО в вашем robots.txt много лишнего, то, что там по закрывали я таких страниц на вашем сайте не нашёл, видимо, с какого-то другого сайта карту тупо скопировали :)
ИМХО в вашем robots.txt много лишнего, то, что там по закрывали я таких страниц на вашем сайте не нашёл, видимо, с какого-то другого сайта карту тупо скопировали :)
Да там наворочено просто - никто разобраться не может.
Я, конечно, ту строчку поправила, но может напишете мне все правильно, без лишнего?
Не бесплатно же прошу, что никто не хочет браться?
Ну с битриксом мало кто работает видимо...это же зло)))
да легко напишу,
написал в личку что и как
написал в личку что и как
robots.txt конкретно под ваш сайт www.express-oriental.ru составил, файл прикрепил, от обещанного вознаграждения не отказываюсь ))
Итак, что сделал:
ЗАПРЕТИЛ от индексации страницы:
- регистрации/авторизации пользователя и всё, что с ними связано,
- карту сайта для пользователей (не вижу смысла в её индексации там инфы практически нет),
- все rss - каналы,
- все динамические адреса, чтобы не было дублей,
- на всякий пожарный все файлы с расширением .zip и .swf
- на всякий пожарный также запретил индексировать страницу-дубль главной - /index.php,
РАЗРЕШИЛ индексацию .css и js, которые находятся в папке /bitrix/ (были запрещены), так как в последнее время поисковые системы стали требовать разрешить индексирование всех .css и js подключаемых к индексируемым страницам.
к данному комментарию прилагаю скриншот теста составленного robots.txt, а также его копию,
ещё повторюсь про карту сайта для поисковиков sitemap.xml.., по указанному пути в robots.txt она недоступна, нужно разобраться, куда именно вы скопировали свой sitemap.xml и затем исправить запись на правильный путь.
Итак, что сделал:
ЗАПРЕТИЛ от индексации страницы:
- регистрации/авторизации пользователя и всё, что с ними связано,
- карту сайта для пользователей (не вижу смысла в её индексации там инфы практически нет),
- все rss - каналы,
- все динамические адреса, чтобы не было дублей,
- на всякий пожарный все файлы с расширением .zip и .swf
- на всякий пожарный также запретил индексировать страницу-дубль главной - /index.php,
РАЗРЕШИЛ индексацию .css и js, которые находятся в папке /bitrix/ (были запрещены), так как в последнее время поисковые системы стали требовать разрешить индексирование всех .css и js подключаемых к индексируемым страницам.
к данному комментарию прилагаю скриншот теста составленного robots.txt, а также его копию,
ещё повторюсь про карту сайта для поисковиков sitemap.xml.., по указанному пути в robots.txt она недоступна, нужно разобраться, куда именно вы скопировали свой sitemap.xml и затем исправить запись на правильный путь.
Спасибо за файл, за вознаграждением - в личку, незнаю что почем и куда отправить))
Карта сайта у меня открывается, но думаю что она неверная, посмотреть бы тоже.
Карта сайта у меня открывается, но думаю что она неверная, посмотреть бы тоже.
Приветствую.
Я посмотрел на ваш сайт.
Вы выложили стандартный битриксовый роботс-файл. Там много лишних строк, и его легко можно сократить.
Я посмотрел по своим битриксовым сайтам, вот так можно оставить:
User-agent: *
Disallow: /bitrix/
Disallow: /upload/
Disallow: /search/
Disallow: /club/
Disallow: /communication/
Disallow: /examples/
Disallow: /auth/
Disallow: /auth.php
Disallow: /personal/
Disallow: /e-store/
Disallow: /content/board/my/
Disallow: /content/links/my/
Disallow: /*/search/
Disallow: /*PAGE_NAME=
Disallow: /*/slide_show/
Disallow: /*/gallery/*order=
Disallow: /*?print=
Disallow: /*=yes
Disallow: /*action=
Disallow: /*print_
Disallow: /*bitrix_
Disallow: /*backurl=
Disallow: /*back_url
Disallow: /*/index.php
Host: www.express-oriental.ru
Sitemap: www.express-oriental.ru/sitemap.xml
далее, просканил ваш сайт на предмет дублей - полных дублей нет, однако есть частичные типа этих
www.express-oriental.ru/catalog/30/1329/
www.express-oriental.ru/catalog/30/1325/
или этих
express-oriental.ru/catalog/92/1429/
express-oriental.ru/catalog/92/1582/
и еще - у вас главное зеркало - с www, но на сайте есть ссылки на версию "без-www" и эта версия не редиректит 301-м на главное зеркало. Нужно сделать данный редирект.
Я посмотрел на ваш сайт.
Вы выложили стандартный битриксовый роботс-файл. Там много лишних строк, и его легко можно сократить.
Я посмотрел по своим битриксовым сайтам, вот так можно оставить:
User-agent: *
Disallow: /bitrix/
Disallow: /upload/
Disallow: /search/
Disallow: /club/
Disallow: /communication/
Disallow: /examples/
Disallow: /auth/
Disallow: /auth.php
Disallow: /personal/
Disallow: /e-store/
Disallow: /content/board/my/
Disallow: /content/links/my/
Disallow: /*/search/
Disallow: /*PAGE_NAME=
Disallow: /*/slide_show/
Disallow: /*/gallery/*order=
Disallow: /*?print=
Disallow: /*=yes
Disallow: /*action=
Disallow: /*print_
Disallow: /*bitrix_
Disallow: /*backurl=
Disallow: /*back_url
Disallow: /*/index.php
Host: www.express-oriental.ru
Sitemap: www.express-oriental.ru/sitemap.xml
далее, просканил ваш сайт на предмет дублей - полных дублей нет, однако есть частичные типа этих
www.express-oriental.ru/catalog/30/1329/
www.express-oriental.ru/catalog/30/1325/
или этих
express-oriental.ru/catalog/92/1429/
express-oriental.ru/catalog/92/1582/
и еще - у вас главное зеркало - с www, но на сайте есть ссылки на версию "без-www" и эта версия не редиректит 301-м на главное зеркало. Нужно сделать данный редирект.
Сделаю замечание на счёт вашего robots.txt!
у вас роботс неверный, пожалуйста, не вводите человека в заблуждение! я уже составил нормальный роботс и результат выложил в предыдущем комментарии, кроме того, сайт с моим роботсом протестировал в яндекс и гугл вебмастере.
например, зачем вы указываете в роботсе несуществующие страницы?:
- www.express-oriental.ru/content/board/my/
- www.express-oriental.ru/club/
- www.express-oriental.ru/communication/
- www.express-oriental.ru/examples/
- www.express-oriental.ru/e-store/
- www.express-oriental.ru/content/links/my/
их вообще нет на сайте зачем их указывать?! указанные страницы возвращают ошибку 404 (HTTP/1.1 404 Not Found)
а для чего закрыли каталог Disallow: /upload/? вы сайт смотрели? обратите внимание, где картинки товаров хранятся?!
далее у вас строка- Disallow: /*/gallery/*order= , галереи нет на сайте! снова лишняя строка!
затем идут адреса типа - /*?print=, /*PAGE_NAME= , /*=yes и остальные.. ЯВЛЯЮТСЯ ДИНАМИЧЕСКИМИ адресами, которые легко можно закрыть всего двумя командами - /*& и /*?,
почему опять указываете параметр Sitemap: с ошибкой? почитайте документацию как правильно указывать карту сайта в роботсе и сравните со своим примером - https://yandex.ru/support/we...?lang=ru#sitemap
параметр Host: понимает только яндекс, поэтому лучше сделать правила с указанием этого параметра для яндекса отдельно от общих правил, чтобы *не смущать* пауков других поисковых систем.
вот Вы закрыли полностью Disallow: /bitrix/, а там есть .css .js файлы, которые подключаются к индексируемым страницам, значит данные файлы нужно разрешить к индексации! это не моя прихоть, а рекомендации гугла и яндекса иначе они будут занижать сайт в поисковой выдачи, так как это считается, что вы прячете в этих файлах что-то запрещённое для продвижения сайтов, пример, как сделать правильно смотрите в моём роботсе.
я Вам советую внимательно изучить как составлять robots.txt прежде чем давать советы, если не уверены в правильности ваших роботсов можете обратится ко мне за помощью, за вознаграждение помочь не откажусь, каждое своё замечание и исправление готов подтвердить документацией из официальных источников поисковых систем Яндекс и Гугл.
у вас роботс неверный, пожалуйста, не вводите человека в заблуждение! я уже составил нормальный роботс и результат выложил в предыдущем комментарии, кроме того, сайт с моим роботсом протестировал в яндекс и гугл вебмастере.
например, зачем вы указываете в роботсе несуществующие страницы?:
- www.express-oriental.ru/content/board/my/
- www.express-oriental.ru/club/
- www.express-oriental.ru/communication/
- www.express-oriental.ru/examples/
- www.express-oriental.ru/e-store/
- www.express-oriental.ru/content/links/my/
их вообще нет на сайте зачем их указывать?! указанные страницы возвращают ошибку 404 (HTTP/1.1 404 Not Found)
а для чего закрыли каталог Disallow: /upload/? вы сайт смотрели? обратите внимание, где картинки товаров хранятся?!
далее у вас строка- Disallow: /*/gallery/*order= , галереи нет на сайте! снова лишняя строка!
затем идут адреса типа - /*?print=, /*PAGE_NAME= , /*=yes и остальные.. ЯВЛЯЮТСЯ ДИНАМИЧЕСКИМИ адресами, которые легко можно закрыть всего двумя командами - /*& и /*?,
почему опять указываете параметр Sitemap: с ошибкой? почитайте документацию как правильно указывать карту сайта в роботсе и сравните со своим примером - https://yandex.ru/support/we...?lang=ru#sitemap
параметр Host: понимает только яндекс, поэтому лучше сделать правила с указанием этого параметра для яндекса отдельно от общих правил, чтобы *не смущать* пауков других поисковых систем.
вот Вы закрыли полностью Disallow: /bitrix/, а там есть .css .js файлы, которые подключаются к индексируемым страницам, значит данные файлы нужно разрешить к индексации! это не моя прихоть, а рекомендации гугла и яндекса иначе они будут занижать сайт в поисковой выдачи, так как это считается, что вы прячете в этих файлах что-то запрещённое для продвижения сайтов, пример, как сделать правильно смотрите в моём роботсе.
я Вам советую внимательно изучить как составлять robots.txt прежде чем давать советы, если не уверены в правильности ваших роботсов можете обратится ко мне за помощью, за вознаграждение помочь не откажусь, каждое своё замечание и исправление готов подтвердить документацией из официальных источников поисковых систем Яндекс и Гугл.
elusive69 писал(а)
Disallow: /bitrix/
Disallow: /bitrix/
Крайне опрометчиво открывать ее для ботов
все адреса данного каталога закрыты от индексации, открыты только css и js файлы:
Disallow: /bitrix
Allow: /bitrix/*.css
Allow: /bitrix/*.js
составленный мною роботс смотрели хоть?)) я час потратил, чтобы его грамотно составить именно для сайта автора - всё проверял и тестировал, можете сами проверить его тут https://webmaster.yandex.ru/tools/robotstxt/
у Вас тоже сайт на битриксе? и тоже css и js файлы закрыты? а сообщение в вебмастере висит, о том, что необходимо их открыть? конечно висит, только вы его игнорите.
ИМХО не соглашаться с правилами яндекса и гугла глупо, - они диктуют нам правила, а не мы им.
пару лет назад я специально закрывал css и js, но сейчас правила другие, требуют открывать, если они подключены именно к индексированным страницам. На сайте автора из каталога /bitrix/ есть css и js, которые подключаются к страницам товаров и новостей, поэтому их открыл.
Disallow: /bitrix
Allow: /bitrix/*.css
Allow: /bitrix/*.js
составленный мною роботс смотрели хоть?)) я час потратил, чтобы его грамотно составить именно для сайта автора - всё проверял и тестировал, можете сами проверить его тут https://webmaster.yandex.ru/tools/robotstxt/
у Вас тоже сайт на битриксе? и тоже css и js файлы закрыты? а сообщение в вебмастере висит, о том, что необходимо их открыть? конечно висит, только вы его игнорите.
ИМХО не соглашаться с правилами яндекса и гугла глупо, - они диктуют нам правила, а не мы им.
пару лет назад я специально закрывал css и js, но сейчас правила другие, требуют открывать, если они подключены именно к индексированным страницам. На сайте автора из каталога /bitrix/ есть css и js, которые подключаются к страницам товаров и новостей, поэтому их открыл.
У меня он не один, и вот специально проверил на трех (везде закрыта папка битрикс) ошибок 0
если закрыты css и js от индексации на индексируемых страницах это ошибкой и не считается! НО -
цитирую Гугла:
Блокировка JavaScript, CSS и графических файлов
Чтобы обеспечить правильное индексирование и отображение страниц, нужно предоставить роботу Googlebot доступ к JavaScript, CSS и графическим файлам на сайте. Робот Googlebot должен видеть ваш сайт как обычный пользователь. Если в файле robots.txt закрыт доступ к этим ресурсам, то Google не удастся правильно проанализировать и проиндексировать содержание. Это может ухудшить позиции вашего сайта в Поиске.
источник - https://developers.google.co...n-mistakes?hl=ru
цитирую Яндекса:
Робот Яндекса начал использовать JavaScripts и CSS
Мы начали использовать JavaScripts и CSS при обходе некоторых ресурсов для того, чтобы получить больше данных о страницах сайтов и увидеть содержимое таких сайтов в том виде, в каком оно отображается в современном браузере. Это позволяет оценить удобство интерфейса, получить контент, который ранее был недоступен роботу, и сравнить эти данные с уже используемыми при ранжировании в поиске. Если эти данные позволят предоставить пользователям нашего поиска лучший ответ по какому-либо запросу, то в ранжировании мы будем использовать именно версию, полученную с использованием JavaScripts и CSS.
источник - https://yandex.ru/blog/webmaster/21369
Удивлён, что Вы об этом не знаете, надо следить за новостями.
Ещё.., если у вас директория /bitrix полностью закрыта от индексации и никаких уведомлений в панели вебмастера нет, значит на ваших сайтах css и js из этой папки не используются на индексируемых страницах. А у автора данной темы используется! я уже про это третий раз повторяю. Зачем Вы сравниваете свои сайты с сайтом автора не понимаю! Проекты ведь разные, наверное, ещё и версии движков отличаются. А также на 100% уверен, что и дизайн сайтов разный, может ваши сайты верстальщик сделал так, чтобы css и js файлы из папки /bitrix вообще не использовались в пользовательской части.
цитирую Гугла:
Блокировка JavaScript, CSS и графических файлов
Чтобы обеспечить правильное индексирование и отображение страниц, нужно предоставить роботу Googlebot доступ к JavaScript, CSS и графическим файлам на сайте. Робот Googlebot должен видеть ваш сайт как обычный пользователь. Если в файле robots.txt закрыт доступ к этим ресурсам, то Google не удастся правильно проанализировать и проиндексировать содержание. Это может ухудшить позиции вашего сайта в Поиске.
источник - https://developers.google.co...n-mistakes?hl=ru
цитирую Яндекса:
Робот Яндекса начал использовать JavaScripts и CSS
Мы начали использовать JavaScripts и CSS при обходе некоторых ресурсов для того, чтобы получить больше данных о страницах сайтов и увидеть содержимое таких сайтов в том виде, в каком оно отображается в современном браузере. Это позволяет оценить удобство интерфейса, получить контент, который ранее был недоступен роботу, и сравнить эти данные с уже используемыми при ранжировании в поиске. Если эти данные позволят предоставить пользователям нашего поиска лучший ответ по какому-либо запросу, то в ранжировании мы будем использовать именно версию, полученную с использованием JavaScripts и CSS.
источник - https://yandex.ru/blog/webmaster/21369
Удивлён, что Вы об этом не знаете, надо следить за новостями.
Ещё.., если у вас директория /bitrix полностью закрыта от индексации и никаких уведомлений в панели вебмастера нет, значит на ваших сайтах css и js из этой папки не используются на индексируемых страницах. А у автора данной темы используется! я уже про это третий раз повторяю. Зачем Вы сравниваете свои сайты с сайтом автора не понимаю! Проекты ведь разные, наверное, ещё и версии движков отличаются. А также на 100% уверен, что и дизайн сайтов разный, может ваши сайты верстальщик сделал так, чтобы css и js файлы из папки /bitrix вообще не использовались в пользовательской части.
я не изучал внимательно сайт, а битриксовый роботс просто упростил - там лишнего многовато.
Среди своих сайтов на битриксе (их около десятка) - по роботсам никогда не заморачивался, и в вебмастере нет предупреждений тоже.
К слову, эти сайты в топе по органике занимают сразу 2 места в Яндексе (это значит он считает что сайт очень широко тему раскрывает), а в google - стоят на первом месте над выдачей (в виде карточки-определения), типа как википедия.
Так что я уж точно не парюсь по их правильности.
емое, а это что за паранойя?
А данному сайту - тут роботс вообще нет смысла выправлять (хост вот прописать и карту) - лишних страниц и так нет. Там проблемы другие - совершенно иного порядка, посерьезнее - 301 нет и дубли по контенту.
Среди своих сайтов на битриксе (их около десятка) - по роботсам никогда не заморачивался, и в вебмастере нет предупреждений тоже.
К слову, эти сайты в топе по органике занимают сразу 2 места в Яндексе (это значит он считает что сайт очень широко тему раскрывает), а в google - стоят на первом месте над выдачей (в виде карточки-определения), типа как википедия.
Так что я уж точно не парюсь по их правильности.
а рекомендации гугла и яндекса иначе они будут занижать сайт в поисковой выдачи, так как это считается, что вы прячете в этих файлах что-то запрещённое для продвижения сайтов
емое, а это что за паранойя?
А данному сайту - тут роботс вообще нет смысла выправлять (хост вот прописать и карту) - лишних страниц и так нет. Там проблемы другие - совершенно иного порядка, посерьезнее - 301 нет и дубли по контенту.
Maniac писал(а)
301 нет и дубли по контенту
301 нет и дубли по контенту
Конечно, постараюсь все исправить, но там наверно еще всего повылазит(( Сайт вообще ужас - ужас))
Да это еще вполне нормально - есть лишь частичные дубли. На них контент - почти целиком одинаковый кроме одного слова (Красный / черный / белый и т.п.).
Это в плане технической составляющей.
По семантике, наверное, тоже очень много нужно делать - собирать СЯ, смотреть какие страницы релевантные есть более-менее. и далее работать с оставшимися страницами и запросами
Это в плане технической составляющей.
По семантике, наверное, тоже очень много нужно делать - собирать СЯ, смотреть какие страницы релевантные есть более-менее. и далее работать с оставшимися страницами и запросами
ну тупо копировать robots.txt от совершенно другого проекта нельзя - разные страницы, разделы, задачи
Maniac писал(а)
А данному сайту - тут роботс вообще нет смысла выправлять (хост вот прописать и карту) - лишних страниц и так нет. Там проблемы другие - совершенно иного порядка, посерьезнее - 301 нет и дубли по контенту.
А данному сайту - тут роботс вообще нет смысла выправлять (хост вот прописать и карту) - лишних страниц и так нет. Там проблемы другие - совершенно иного порядка, посерьезнее - 301 нет и дубли по контенту.
301 редирект без www на www настроить можно, а можно и не делать этого, важно указать в панели вебмастера главное зеркало, например, для яндекса главное зеркало указано в robots.txt - Host: www.express-oriental.ru , поэтому оно автоматом пропишется в панели вебмастера яндекса.
на счёт некачественно контента полностью согласен, поработать над этим надо обязательно.
на счёт фразы *А данному сайту - тут роботс вообще нет смысла выправлять* не согласен! правильно составленный robots.txt улучшает позиции сайта - все ненужные страницы необходимо закрывать от индексации (rss-ленты, страницы авторизации/регистрации пользователей, страницы поиска по сайту, страницы меток и т.д.) Если поиск по сайту не закрыть знаете сколько он может наплодить страниц-дублей? Кто-нить начнёт делиться ссылками на результаты поиска по сайту и всё, не уникальный контент полез.. А вы знаете, что при использовании utm-меток тоже дубли появляются? А про то, что при репосте ссылки в социальных сетях к ссылкам добавляются всякие гет-параметры от самих соц сетей тоже не в курсе? Я все эти моменты учел в robots.txt, чтобы у автора в будущем не было проблем с неожиданными дублями.
хм, ну я даже не знаю с какой стороны к этому спичу подступиться
давайте так зайдем: вот если спарсить сайт роботом-краулером, ну как бы это поисковика глазами на сайт глянуть, то что мы увидим в плане www и без-www?
спешить с ответом не обязательно - времени много
давайте так зайдем: вот если спарсить сайт роботом-краулером, ну как бы это поисковика глазами на сайт глянуть, то что мы увидим в плане www и без-www?
спешить с ответом не обязательно - времени много
повторюсь, я ничего от себя не выдумываю! руководствуюсь официальной документацией:
- https://yandex.ru/support/
- https://www.google.com/intl/ru/webmasters/support/
для одной задачи часто бывает несколько решений, какое выбрать для своего сайта, каждый выбирает сам, можно тупо повторять за всеми и делать так же, как другие, а можно почитать документацию, немного подумать и потом сделать всё правильно.
- https://yandex.ru/support/
- https://www.google.com/intl/ru/webmasters/support/
для одной задачи часто бывает несколько решений, какое выбрать для своего сайта, каждый выбирает сам, можно тупо повторять за всеми и делать так же, как другие, а можно почитать документацию, немного подумать и потом сделать всё правильно.
зря поспешил. неверно.
Свадебный форум
Саровский Клуб Покупателей
Июньские мамочки
Форум безумных идей
Ночной форум
Королевство кривых зеркал
Ищу вторую половинку!
Лютики-цветочки КУПЛЯ-ПРОДАЖА
Отряд стройности
Пчеловодство
Форум ленивых
Волейбольный клуб туристов
Встречи для секса
Буду мамой!
Алкогольный форум
Лютики-цветочки
Котоводство
Форум сексуального опыта
форум Весны - каталог товаров, доступных к заказу и болталка обо всем на свете
1001 Мелочь
Консультации по Астропсихологии+Нумерологии
Россия - великая страна.
ММ дубль 2
Gida
Вкусный форум
Неффорум
Шахматный клуб четырёх Крокодилофф
Оружейно-стрелковый форум НН
Компас НН
Жизнь в стиле Lexus
СМК, Стандартизация и сертификация
Changan автофорум
Первый Мясокомбинат
Пассивный доход, проверенный заработок.
Форум парашютистов Нижегородской области
ЖБИ
А.В.М.С. "Турист"
ГЭК-21
Ужасные последствия в Нижнем Новгороде! Срочные меры.
ЖЕНСКОЕ ЗДОРОВЬЕ И ПРОЦВЕТАНИЕ
Одежда и аксессуары для всей семьи
Туристическое агентство on-line 24. Выгодные предложения
Бытовая Техника: ОСНОВНОЙ
Обучение судоводителей маломерного судна ГАЛАКСИ
Форум банкротного консалтинга
Возврат автомобиля дилеру
OffroadNN
Старые фото
Гипноз и психотерапия
Форум шопоголиков
Greenway
Совет отцов Нижнего Новгорода
Инвестиций форум
ГТО
Электромобили
Автозапчасти из Японии и Кореи
Удачи на даче
В кредит или в прокат?
Сушилка
Студенческий
Медовая биржа
Яхтинг НН.
КОНЦЕНТРАТ (LIKE ЦЕНТР Нижний Новгород)
Стадион Нижний Новгород
Обучение
Нижегородский эксперт
Турфирма Аквамарин Нижний Новгород
Модераторы Автофорума
Купи-Продай,Отдам даром,Объявления Нижний Новгород
Дельтапланерный спорт
Магазин Sashs Fabiani ТРЦ Небо
Компьютерная Барахолка
Рыболов
Городские услуги Нижнего Новгорода
Отзывы
Beauty мастера и модели
Ищем таланты
Настольные игры
Я контактирую с тонким миром
Работа и заработок в интернете
ЛИКВИДАЦИЯ парфюмерии и косметики!!!
Красота, Здоровье, Спорт
Дизайн интерьера и ремонт квартир
Земли отчуждения
3d добрый,душевный долгожданный:-)
Ново-стройка
Форум электриков.Объявления.
Любители iHerb
Одиночества нет
Тотальный мужской форум
Собачье сердце
Работа-НН
Барахолка
Альтернативный
АвтоПати
Паранормальный форум
Форум "У бабушки ведуньи"
Мебельный форум
ОНКОЛОГИЯ-жизнь до и после
Массаж с выездом на дом
Радуга, ГСК
Халявный Студенческий
Хранилище сралок
Форум участников СП
Театральный форум
Форум печников
Черное и белое
ВП для модераторов (закрытый)
Форум Танкистов
Форум любителей кошек
Подарки V.I.P ручная работа
Барахолка
Авторазборки
Пристройство животных от Белого Бима
Форум распродаж
Психологический
Молодежный форум
Енотофорум
Форум сормовского района
Массажный форум
Улитководы
Каморка папы Карло
Работаю в Москве
Продам/куплю/меняю
Нет слов
Православный форум
BDSM
Отдам даром
Парикмахерский форум
857 ВМК 1996 год
Баскетбольный клуб
Папа может
Стол находок
Работа
Обсуждение вопросов пользователей техники Apple
Клуб любителей пятницы
Электрика
Форум сетевиков
Христианский форум
Мелкие домашние любимцы
Хозяйственный форум
Необъявленная психотерапия
SEO (Поисковая оптимизация)
Форум радиолюбителей
Уголок Скорпиона Тьмы
Еврейский форум
Покерный форум
Для любителей коньков
1С
Брак, Семья, Отношения
Бойцовский клуб
Сны и сновидения
Форум о правильном питании
Косметика, красота
Форум аццкого отжига
БАБ-КЛАБ
Древний Храм
Форум циников
Радиофак ННГУ
Игровой форум
Свободка
Последние темы форумов
Форум
Тема (Автор)
Ответов
Продавец-консультант (г. Нижний Новгород)
Розничная сеть МТС
38000 -
51000 руб.
51000 руб.
Среднее образование, без опыта, полная занятость
Интернет-маркетолог / Специалист SEO-оптимизации
ГК "Kolobox"
от 50 000 руб.
Стаж работы 1-3 года, полная занятость
Продавец-консультант (Нижний Новгород, м. Московская)
Розничная сеть МТС
38000 -
51000 руб.
51000 руб.
Среднее образование, без опыта, полная занятость
Карта сайта | 18+
ООО «Сеть городских порталов»
© 1999 - 2024
Реклама на NN.RU +7 (831) 261-37-60, reklama52@iportal.ru
Раздел технической поддержки | Для Роскомнадзора и госорганов: juristnn@iportal.ru
Реклама на NN.RU +7 (831) 261-37-60, reklama52@iportal.ru
Раздел технической поддержки | Для Роскомнадзора и госорганов: juristnn@iportal.ru
Ставлю третий раз, Яндекс говорит что с ошибками.
Последний раз ставили с АМОРЕ, стандартный для Битрикса, но Яндексу не нравится:
Файл robots.txt содержит ошибки. Это может привести к некорректному обходу и индексированию сайта.
Проверьте файл robots.txt.