supercato.net enpfiehlt folgende robots.txt für Typo3 (Version 4.5.1):
User-agent: * Disallow: /fileadmin/templates/ Disallow: /typo3/ Disallow: /t3lib/ Disallow: /typo3conf/ Disallow: /typo3temp/ User-agent: googlebot Disallow: /*?tx_ttnews Disallow: /*?tx_indexedsearch
Da Google scheinbar PDF Dokumente oft höher ranked, als die eigentliche HTML Seite liegt es nahe, diese auch von der Indizierung auszuschließen1), mit:
Disallow: /*.pdf$