fix(backend): robots.txtで返却する内容の調整

[kakkokari-gtyih]

What

• すべてのパスを許可していたが、設定やコントロールパネルなどの一部のルートを既定で除外するように
• さらに、ugcVisibilityForVisitorがnoneの場合は除外するルートを追加するように
  • ユーザーが個別にクローラー除外の設定を入れているのに関しては、既存の仕組み（X-Robots-Tag や meta robots タグ）でカバーされている
  • リモートのユーザーに関しては、既定でmeta robotsタグが入るようになっているのでそれでカバーされている

Why

#17143 で述べられている懸念事項は概ねこれで解決できる可能性がある

Additional info (optional)

Checklist

• Read the contribution guide
• Test working in a local environment
• (If needed) Add story of storybook
• (If needed) Update CHANGELOG.md
• (If possible) Add tests

[github-actions]

このPRによるapi.jsonの差分
差分はありません。
Get diff files from Workflow Page

[codecov]

Codecov Report

❌ Patch coverage is 0% with 28 lines in your changes missing coverage. Please review.
✅ Project coverage is 63.64%. Comparing base (a18c909) to head (96b7e0f).
⚠️ Report is 22 commits behind head on develop.

Files with missing lines	Patch %	Lines
...ages/backend/src/server/web/ClientServerService.ts	0.00%	28 Missing ⚠️

Additional details and impacted files

@@             Coverage Diff             @@
##           develop   #17165      +/-   ##
===========================================
- Coverage    63.65%   63.64%   -0.02%     
===========================================
  Files         1161     1162       +1     
  Lines       116313   116524     +211     
  Branches      8407     8457      +50     
===========================================
+ Hits         74042    74162     +120     
- Misses       40063    40157      +94     
+ Partials      2208     2205       -3     

☔ View full report in Codecov by Sentry.
📢 Have feedback on the report? Share it here.

🚀 New features to boost your workflow:

• ❄️ Test Analytics: Detect flaky tests, report on failures, and find test suite problems.
• 📦 JS Bundle Analysis: Save yourself from yourself by tracking and limiting bundle sizes in JS merges.

[github-actions]

Backend memory usage comparison

Before GC

Metric	base (MB)	head (MB)	Diff (MB)	Diff (%)
VmRSS	319.13 MB	317.08 MB	-2.05 MB	-0.64%
VmHWM	320.60 MB	317.08 MB	-3.51 MB	-1.09%
VmSize	23111.69 MB	23109.77 MB	-1.91 MB	0%
VmData	1382.85 MB	1380.69 MB	-2.16 MB	-0.15%

After GC

Metric	base (MB)	head (MB)	Diff (MB)	Diff (%)
VmRSS	319.14 MB	317.08 MB	-2.05 MB	-0.64%
VmHWM	320.60 MB	317.08 MB	-3.51 MB	-1.09%
VmSize	23111.69 MB	23109.85 MB	-1.83 MB	0%
VmData	1382.85 MB	1380.77 MB	-2.08 MB	-0.15%

After Request

Metric	base (MB)	head (MB)	Diff (MB)	Diff (%)
VmRSS	319.56 MB	317.48 MB	-2.08 MB	-0.65%
VmHWM	320.82 MB	317.49 MB	-3.32 MB	-1.03%
VmSize	23111.85 MB	23109.93 MB	-1.91 MB	0%
VmData	1383.02 MB	1380.86 MB	-2.16 MB	-0.15%

See workflow logs for details

[ghost]

対応ありがとうございます！こういう形で開発に貢献できるのはすごく嬉しいです☺️

[Akkiesoft]

/urlも除外すると良いみたいです。

BaiduのBotにDoSが如く/urlをクロールされた結果、URLプレビュー先のサーバーにご迷惑をおかけしてしまい、対応している最中にこのPRを見つけました（Baiduがrobots.txtを守ってくれるかどうかは別なので、他の方法でも対応中ですが……）。

[kakkokari-gtyih]

コンフリクト解消

[syuilo]

🙏