User-agent: Yandex
Disallow: /cgi-bin # блокирует доступ к страницам 
Disallow: /conf    # блокирует доступ к страницам 
Disallow: /httpsdocs # блокирует доступ к страницам 
Disallow: /private # блокирует доступ к страницам 
Disallow: /statistics # блокирует доступ к страницам 
Disallow: /subdomains # блокирует доступ к страницам 
Disallow: /web_users # блокирует доступ к страницам 
Disallow: /bin # блокирует доступ к страницам 
Disallow: /anon_ftp # блокирует доступ к страницам