データの回収について

　ベストゲートではロボット（エージェント名：bgcbot）がWebサイトを自動的に巡回し、販売情報の回収を行なっています。Webマスター様はサイトのトップディレクトリに「robots.txt」という名前のファイルを設置して頂く事により、ロボットによるデータの回収をコントロールする事が可能です。

例１：データの回収をご希望されない場合の「robots.txt」の内容。

User-agent: *
Disallow: /

例２：ベストゲートのロボットのみデータの回収を許可する場合の「robots.txt」の内容。

User-Agent: bgcbot
Allow: /

User-agent: *
Disallow: /

さらに詳細な情報は、以下のページを参照してください。

データの回収について