あなたは検索エンジンからあなたのプラットフォームの特定の領域を隠したいですか、それともサイトマップが利用可能であることを伝えたいですか？ Robots.txtファイルにご挨拶しましょう。 シンプルなテキストファイルでありながら、大きな責任を担っています。
Robots.txtは検索エンジンに命令するために作られたものではありません。 しかし、それは普遍的な標準となっており、大きな検索エンジンの大半（最も重要なのはGoogle）は、あなたが提供するルールを尊重し、それに従います。 robots.txtファイルの設定方法を知りたいですか？ 私たちは以下でできる限り説明しています！
；
inSidedプラットフォームのデフォルトRobots.txtファイル
ヒント: 会員、ソート、検索ページのクロールを停止するには、以下のデフォルトルールを使用します。
User-agent: *
Disallow: /members/
Disallow: ?userid=
Disallow: ?sort=
Disallow: search_type=tag
Disallow: search?q=
Robots.txt要素
User-agent:はどの検索エンジンにルールが適用されるかを決定します。*はすべてのユーザーエージェントにルールが適用されることを示します
Allow： どのコンテンツがユーザーエージェントにとってアクセス可能かを決定します（GoogleとBingに対してのみ機能します）
Disallow: どのコンテンツがユーザーエージェントにとってアクセス不可能かを決定します
Sitemap: 検索エンジンがサイトマップを見つけられる場所を指定します。xmlファイルの場所を指定します。 これは絶対URLで、.xml形式でなければなりません。 (コミュニティプラットフォームはサイトマップ機能を内蔵していません。)
あなたのコミュニティにRobots.txtファイルを設定する方法
- Control→Settinds→SEO →Robots.txt（このページにアクセスするには管理者である必要があります。）
- detailsセクションにRobots.txtの要素を記述してください。 以下の要素がサポートされています： user-agent、disallow、allow、sitemap。
- Save Changesを押して完了です！ これでRobots.txtの設定は完了です。
例 すべてのコンテンツをクロールする方法
User-agent: *
Allow: /例 どのコンテンツもクロールしない方法
User-agent: *
Disallow: /Robots.txtをサポートしている検索エンジン
- Google (documentation)
- Bing (documentation)
- Yahoo (documentation)
- DuckDuckGo (documentation)
- Yandex (documentation)
- Baidu (documentation)
注意: Robots.txtファイルを用意する必要はありません。 もし何も記述しなければ、検索エンジンはあなたのプラットフォームのすべてのページをクロールします。
注意: inSidedプラットフォームはサイトマップ機能を内蔵していません。 サイトマップを使用したい場合は、独自のサイトマップを作成し、ホストする必要があります（XMLで）
Robots.txtファイルは、プラットフォームのみのためにカスタムメイドされます。