Ich nutze ja Ghost als Blogging Software. Um Ghost um eine robots.txt zu erweitern, muss diese einfach im Ordner vom Theme erstellt werden.

$ cd /var/www/blog.nicojensen.de/content/themes/Vapor/
$ nano robots.txt

Da Ghost keine sitemap.xml erstellt macht es sinn den RSS-Feed als Sitemap in der robots.txt anzugeben, da die meisten Bots den RSS-Feed auch als Sitemap nutzen können.

Sitemap: https://blog.nicojensen.de/rss