сейчас такого запрета нет, но вроде ты выкладывал свой роботс и там такое было … могу ошибаться
PS вот Robots.txt - #49 от пользователя ARTUR