Cấu trúc của WordPress vốn đã rất thân thiện với Search Engine . Ngoài ra còn rất nhiều Plugin tốt hỗ trợ cho SEO. Trong bài viết này chúng ta sẽ tận dụng file Robots.txt để hướng dẫn Bots ” ghé thăm ” những chỗ quan trọng trên site bạn và ngăn nó không vào những nơi ” nhạy cảm “.
Không nên cho bots đọc cgi-bin:

• User-agent: *
• Disallow: /cgi-bin

Tiếp theo, chúng ta nên hướng dẫn Bots không index những thư mục sau nhằm mục đích bảo mật:

• Disallow: /wp-admin
• Disallow: /wp-includes
• Disallow: /wp-content/plugins
• Disallow: /wp-content/cache
• Disallow: /wp-content/themes

Không nên craw feed, Bots sẽ tập trung vào content hơn từ đó tác động đến thứ hạng trên SERPS ( Search Engine Results Page):

• Disallow: /feed
• Disallow: /*/feed

Tiếp tục bỏ Comments:

• Disallow: /comments

Để tránh lỗi Duplicate Content, ta ngăn Bots craw:

• Disallow: /author
• Disallow: /archives
• Disallow: /2010/*
• Disallow: /2011/*
• Disallow: /2012/*

Theo xu hướng SEO gần đây , nhiều SEOer có khuynh hướng dùng Tag nên ta hướng dẫn Bots craw phần này:

• Allow: /tag

Cuối cùng, nên để đường dẫn sitemap của bạn:

• Sitemap: http://yourdomain.com/sitemap.xml.gz

Dưới đây là nội dung hoàn chỉnh của file Robots.txt:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /feed
Disallow: /*/feed
Disallow: /comments
Disallow: /author
Disallow: /archives
Disallow: /2010/*
Disallow: /2011/*
Disallow: /2012/*
Allow: /tag

Sitemap: http://khotai.org/sitemap.xml.gz (Bạn điền domain vào)