دیده‌شدن در هوش مصنوعی
زبانه‌ی «دیده‌شدن در هوش مصنوعی»: robots.txt برای ربات‌های هوش مصنوعی، نقشه‌ی سایت، llms.txt، ai.txt، داده‌ی ساخت‌یافته، IndexNow و انتقال robots.txt واقعی؛ همه با تنظیم، پیش‌فرض و اثر هرکدام.
این صفحه زبانه‌ی دیده‌شدن در هوش مصنوعی (admin.php?page=neveshtyar&tab=visibility) را شرح می‌دهد: فایل‌های عمومی که موتورهای هوش مصنوعی و ربات‌ها می‌خوانند و نوشتیار آن‌ها را می‌سازد یا کنترل می‌کند. همه‌چیز در این زبانه با پیش‌فرض خاموش شروع می‌شود و هیچ‌کدام از ارائه‌دهنده‌ی هوش مصنوعی استفاده نمی‌کند. همه‌ی تنظیمات با یک نوار «ذخیره همه تنظیمات» در پایین ذخیره می‌شوند (بدون بارگذاری مجدد صفحه) و هر بخش پیش‌نمایشی از خروجی دارد.
نکته: فقط محتوای عمومی در این فایل‌ها می‌آید: نه پیش‌نویس، نه نوشته‌ی خصوصی یا گذرواژه‌دار، نه محصول پنهان، نه سبد خرید/پرداخت/حساب کاربری، نه صفحه‌ای که افزونه‌ی سئو
noindexکرده، و هیچ نام نویسنده، ایمیل مدیر یا قیمت.
وضعیت و هشدارها
بالای زبانه چهار کارت وضعیت هست: «افزونه‌ی سئو» (نام افزونه‌ی سئوی فعال، یا «افزونه‌ی سئو ندارد»)، «فایل robots.txt واقعی» («فایل واقعی هست» یا «فایل واقعی نیست»)، «نقشه‌ی سایت» و «آخرین آزمون robots.txt». زیر آن‌ها ممکن است هشدارهایی ببینید:
- «اکنون افزونه‌ی دیگری از خانواده این فایل‌های عمومی را می‌نویسد، پس تنظیمات اینجا تا توقف آن اثری ندارد.» ← فقط یک افزونه‌ی خانواده (مثلاً سلیار) در هر لحظه این فایل‌ها را می‌نویسد؛ همین‌طور که آن متوقف شود، نوشتیار می‌نویسد.
- «این سایت از موتورهای جست‌وجو خواسته فهرستش نکنند (تنظیمات، خواندن)، پس robots.txt همه‌چیز را می‌بندد.»
- «وردپرس در یک زیرپوشه است؛ robots.txt فقط در ریشه‌ی دامنه خوانده می‌شود.»
- اگر دفعه‌ی اول داده‌های بخش دیده‌شدن را از افزونه‌ی قبلی خانواده آورده باشد، یادداشتی با دکمه‌ی «متوجه شدم، پنهانش کن» می‌آید (شرح).
robots.txt برای ربات‌های هوش مصنوعی
خروجی وردپرس و افزونه‌ی سئو دست‌نخورده می‌ماند؛ نوشتیار فقط یک بخش جدا، بین # BEGIN neveshtyar و # END neveshtyar به انتهای robots.txt می‌افزاید. موتورهای جست‌وجوی کلاسیک (Google، Bing و بقیه) و پیش‌نمایش پیوندها هیچ‌وقت از اینجا بسته نمی‌شوند. ربات بازگذاشته گروه جدا نمی‌گیرد؛ ربات بسته‌شده گروه خودش را با Disallow: / می‌گیرد و فایل هرگز Allow: / نمی‌نویسد.
نوشتیار robots.txt را مدیریت کند
کلید اصلی، پیش‌فرض خاموش. تا روشن نشود هیچ چیز به robots.txt اضافه نمی‌شود. اگر خاموشش کنید، فایل robots.txtی که نوشتیار جابه‌جا کرده بود خودبه‌خود برنمی‌گردد (پیام هشدار: «خاموش‌کردن مدیریت، فایل robots.txt قدیمی شما را بازنمی‌گرداند. فایلی که نوشتیار جابه‌جا کرد هنوز پشتیبان است؛ اگر می‌خواهید، از پایین بازگردانیدش.»).
فهرست ربات‌ها
ربات‌ها در سه گروه، هرکدام با یک کلید برای «بستن» آن ربات، نشان داده می‌شوند (همه در ابتدا باز). کنار هر ربات شرکت صاحبش هست.
| گروه | توضیح | ربات‌ها |
|---|---|---|
| آموزش مدل‌های هوش مصنوعی | محتوا را برای آموزش مدل جمع می‌کنند؛ بستنشان جایگاه شما در گوگل را عوض نمی‌کند. | GPTBot، ClaudeBot، anthropic-ai، Google-Extended، Applebot-Extended، CCBot، Bytespider، Meta-ExternalAgent، FacebookBot، cohere-training-data-crawler، AI2Bot، Diffbot، omgili، Webzio-Extended |
| جست‌وجوی هوش مصنوعی | سایت شما را برای پاسخ‌های جست‌وجوی هوش مصنوعی فهرست می‌کنند؛ بستنشان یعنی در آن پاسخ‌ها دیده نمی‌شوید. | OAI-SearchBot، Claude-SearchBot، PerplexityBot، YouBot، Amazonbot، DuckAssistBot |
| خواندن صفحه به درخواست یک نفر | وقتی کسی نشانی شما را به دستیار هوش مصنوعی می‌دهد صفحه را می‌خوانند؛ شاید از robots.txt پیروی نکنند، پس بستنشان تضمین نیست. | ChatGPT-User، Claude-User، Perplexity-User، Meta-ExternalFetcher، MistralAI-User |
زیر فهرست یادآوری می‌شود که موتورهای کلاسیک (مثل Googlebot، bingbot، Applebot، YandexBot، DuckDuckBot) و پیش‌نمایش پیوند (مثل facebookexternalhit) هرگز اینجا بسته نمی‌شوند. اگر ربات از پیش در فایل گروه جدا یا قاعده‌ی Allow داشته باشد، هشدار می‌دهد که نتیجه را در پیش‌نمایش ببینید.
بستن سبد خرید، پرداخت و حساب کاربری
کلید «سبد خرید، پرداخت و حساب کاربری از دید ربات‌ها بسته شود (فقط با ووکامرس)». پیش‌فرض روشن، ولی فقط وقتی ووکامرس هست اثر دارد (بدون ووکامرس کلید غیرفعال است). این صفحه‌ها (cart، checkout، حساب کاربری، افزودن به سبد) به گروه * افزوده می‌شوند، فقط اگر فایل پیش‌تر نگفته باشد.
بستن نشانی‌های جست‌وجو و مرتب‌سازی
کلید «نشانی‌های جست‌وجو و مرتب‌سازی (پارامتردار) بسته شود». پیش‌فرض خاموش. این الگوها را می‌بندد: /*?s=، /*&s=، /*?*orderby=، /*?*min_price=، /*?*max_price=، /*?*filter_.
خط‌های دلخواه شما
جعبه‌ی «خط‌های دلخواه شما (اختیاری؛ فقط ASCII؛ با User-agent شروع شود)» تا ۱۶٬۰۰۰ نویسه. فقط فیلدهای user-agent، allow، disallow، sitemap، crawl-delay و host پذیرفته می‌شوند. خط‌هایی که کل سایت را برای * یا موتورهای کلاسیک ببندد، با Allow: / بازش کند، یا نشانه‌های بلوک نوشتیار را بیاورد رد می‌شود و در «خط‌هایی که پذیرفته نشدند» فهرست می‌شود.
آزمودن robots.txt واقعی و پیش‌نمایش
دکمه‌ی «آزمودن robots.txt واقعی» فایل واقعی را از خود سایت می‌گیرد و می‌گوید: «robots.txt واقعی بخش نوشتیار را دارد.»، یا «robots.txt دریافت نشد.»، یا «یک فایل robots.txt واقعی پیش از وردپرس پاسخ می‌دهد…»، یا «بخش نوشتیار در robots.txtای که ربات‌ها می‌گیرند نیست. شاید افزونه‌ی دیگری یا یک حافظه‌ی نهان پاسخ می‌دهد.». «پیش‌نمایش robots.txt» همان چیزی است که ربات‌ها خواهند دید. این آزمون فقط نشانی‌های همین سایت را می‌خواند.
نقشه‌ی سایت
نشانی نقشه‌ی سایت فقط وقتی به robots.txt می‌رود که یکی از این سه باشد: خودتان داده باشید و دریافت و تأیید شده باشد که نقشه‌ی همین سایت است؛ یا افزونه‌ی سئو بنویسدش؛ یا نقشه‌ی خود وردپرس باشد. فقط یک خط Sitemap: و فقط وقتی دیگری نباشد.
نشانی نقشه‌ی سایت شما
«نشانی نقشه‌ی سایت شما (اختیاری، روی همین سایت)». پیش‌فرض خالی. دکمه‌ی «آزمودن نقشه‌ی فعلی» نقشه را می‌گیرد: «نقشه‌ی سایت پاسخ داد و واقعاً نقشه‌ی سایت است.» یا «آزمون نقشه‌ی سایت ناموفق بود.».
اصلاح نقشه‌ی سایت وردپرس
کلید «اصلاح نقشه‌ی سایت وردپرس (حذف صفحه‌های گذرواژه‌دار و پنهان، افزودن تاریخ آخرین تغییر، حذف فهرست کاربران). فقط بدون افزونه‌ی سئو». پیش‌فرض خاموش. اگر افزونه‌ی سئو فعال باشد «پس نقشه‌ی سایت را آن تنظیم می‌کند» و این کلید اثری ندارد.
llms.txt
فایلی ساده در /llms.txt به قالب llmstxt.org: عنوان، یک خط خلاصه، و بخش‌هایی از پیوندهای مهم با چند واژه توضیح. فقط محتوای عمومی می‌آید.
حالت
| حالت | رفتار |
|---|---|
| خاموش (پیش‌فرض) | نشانی مثل هر صفحه‌ی ناموجود پاسخ می‌دهد. |
| خودکار (از محتوای عمومی ساخته شود) | از صفحه‌ها، دسته‌ها، نوشته‌های تازه و (با ووکامرس) محصول‌ها و دسته‌ها ساخته می‌شود. سقف هر بخش: ۲۰ صفحه، ۲۰ دسته، ۲۰ مورد اضافه، ۳۰ نوشته، ۲۰ مورد اختیاری. خلاصه‌ی هر مورد فقط «چکیده‌ی دستی» است (حداکثر ۱۶۰ نویسه) و از متن اصلی خوانده نمی‌شود؛ صفحه‌ی سیاست حریم خصوصی و (با ووکامرس) قوانین و بازگشت کالا هم می‌آید. نتیجه یک ساعت در حافظه می‌ماند و با تغییر یک نوشته‌ی عمومی، دسته، منو، موجودی یا نام سایت تازه می‌شود. حجم کل زیر ۲۵۶ کیلوبایت است. |
| متن دلخواه من | متنی که خودتان می‌نویسید (متن ساده، بدون HTML؛ تا ۶۴ کیلوبایت. توجه کنید حجم بر پایه‌ی بایت است و هر حرف فارسی دو تا سه بایت است). |
زیر انتخاب، «پیش‌نمایش llms.txt» هست. هشدارها: «یک فایل llms.txt واقعی در پوشه‌ی سایت هست و به‌جای این پاسخ می‌دهد.» و «ممکن است افزونه‌ی سئوی دیگری با ماژول خودش به llms.txt پاسخ دهد؛ آن ماژول یا این یکی را خاموش کنید.». نسخه‌ی بلندتر llms-full.txt در نوشتیار Pro است.
ai.txt
بیانیه‌ی خودتان درباره‌ی استفاده از محتوا برای آموزش مدل‌ها، به شکل ساده‌ی ai.txt (یک خط User-Agent: * با Allow یا Disallow). متن ASCII است.
فایل ai.txt منتشر شود
کلید، پیش‌فرض خاموش. تا روشن نکنید نشانی /ai.txt مثل صفحه‌ی ناموجود پاسخ می‌دهد.
استفاده برای آموزش مدل‌ها
«مجاز نیست» (پیش‌فرض؛ یعنی Disallow) یا «مجاز است» (Allow).
راه تماس
«راه تماس (اختیاری؛ ایمیل یا نشانی وب)». پیش‌فرض خالی؛ تا ۱۲۰ نویسه. فقط ایمیل معتبر یا نشانی http و https پذیرفته می‌شود و هرگز از ایمیل مدیر سایت برداشته نمی‌شود.
«پیش‌نمایش ai.txt» خروجی را نشان می‌دهد؛ اگر یک فایل واقعی ai.txt در پوشه‌ی سایت باشد، آن به‌جای این پاسخ می‌دهد.
داده‌ی ساخت‌یافته (JSON-LD)
یک بلوک در سربرگ صفحه‌ها: وب‌سایت (با کادر جست‌وجو) و سازمان، و برای نوشته و برگه خود صفحه (BlogPosting یا WebPage) و مسیر نان‌ریزه (BreadcrumbList).
حالت
«خاموش» (پیش‌فرض) یا «خودکار». قاعده‌ها: اگر افزونه‌ی سئو فعال باشد، نوشتیار هیچ چیز نمی‌افزاید («پس داده‌ی ساخت‌یافته را آن می‌نویسد») تا دو نسخه‌ی متفاوت نباشد؛ صفحه‌ی غیرعمومی و سایتی که خواسته فهرست نشود هیچ بلوکی ندارد؛ محصول را خود ووکامرس توصیف می‌کند؛ نام نویسنده فقط وقتی نشان داده می‌شود که نام نمایشی، نام کاربری یا ایمیل نباشد؛ تاریخ‌ها از ستون GMT و با gmdate نوشته می‌شوند، پس منطقه‌ی زمانی یا تقویم جلالی اثری ندارد. «نمونه‌ی خروجی (صفحه‌ی اصلی)» را می‌بینید. در Pro داده‌ی پیشرفته به همین بلوک افزوده می‌شود (شرح).
IndexNow
وقتی صفحه‌ای عمومی منتشر، ویرایش یا حذف شود، فقط نشانی همان صفحه به api.indexnow.org فرستاده می‌شود تا موتورهای شرکت‌کننده در پروتکل (مثل Bing و Yandex) زودتر بفهمند. هیچ داده‌ای از بازدیدکننده یا مشتری نمی‌رود. تا خودتان با رضایت روشنش نکنید خاموش است.
روشن‌بودن و رضایت
کلید «IndexNow روشن باشد»، پیش‌فرض خاموش. کنارش جعبه‌ی تیک «می‌پذیرم که نشانی صفحه‌های عمومی این سایت به api.indexnow.org فرستاده شود (برای روشن‌کردن لازم است)» هست؛ بدون آن روشن‌کردن ممکن نیست («اول تیک پذیرش را بزنید؛ برای روشن‌کردن IndexNow لازم است.»). رضایت با نسخه‌ی متن و زمان ثبت می‌شود.
آزمودن ارسال
دکمه‌ی «آزمودن ارسال (نشانی صفحه‌ی اصلی)» نشانی صفحه‌ی اصلی را می‌فرستد و می‌گوید «سرویس نشانی را پذیرفت (کد N)» یا «سرویس آن را نپذیرفت (کد N)».
ساخت کلید تازه
دکمه‌ی «ساخت کلید تازه» پس از پرسش «کلید تازه ساخته شود؟ فایل کلید قدیمی دیگر پاسخ نمی‌دهد.» کلید می‌سازد. فایل تازه در /{کلید}.txt پاسخ می‌دهد و نشانی‌اش نشان داده می‌شود («فایل کلید تازه در این نشانی است»).
جزئیات رفتار:
- کلید ۳۲ نویسه‌ای تصادفی است و فقط در
/{کلید}.txtپاسخ داده می‌شود (پروتکل لازمش دارد)؛ هرگز در صفحه، سیاهه یا برون‌بری نمی‌آید. - فقط نشانی‌ای وارد صف می‌شود که عمومی است (یا لحظه‌ای پیش عمومی بود). نسخه‌ی پیشین و ذخیره‌ی خودکار هرگز؛ نشانی میزبان دیگر هرگز. صف حداکثر ۵۰۰ نشانی دارد.
- ارسال یک رویداد زمان‌بندی‌شده ۶۰ ثانیه پس از اولین نشانی است: هر بار حداکثر ۱۰۰ نشانی، و هر نشانی حداکثر هر ۱۰ دقیقه یک بار.
- فقط وقتی ارسال می‌شود که سایت بخواهد فهرست شود، محیط «production» باشد، میزبان محلی نباشد و میزبان همان باشد که کلید برایش ساخته شده؛ کپی پایگاه‌داده روی نشانی دیگر (مثل سایت آزمایشی) تا کلید را تازه نکنید چیزی نمی‌فرستد.
- پاسخ ۲۰۰ و ۲۰۲: دسته از صف می‌رود. ۴۰۰ و ۴۲۲: دسته دور ریخته می‌شود. ۴۰۳ (کلید رد شد): ارسال متوقف می‌شود تا کلید را بیازمایید یا تازه کنید («ارسال پس از ردشدن کلید متوقف شده است.»). ۴۲۹، ۵xx یا خطای شبکه: دسته می‌ماند و بعد از ۵ دقیقه، ۳۰ دقیقه، ۲ ساعت و ۱۲ ساعت دوباره تلاش می‌شود.
- وضعیت: «در صف ارسال: N» و «آخرین ارسال‌ها» (۲۰ نتیجه‌ی آخر با زمان، کد و تعداد؛ بی‌نشانی و بی‌کلید).
- برای محصول، تغییر قیمت عادی، قیمت حراج، وضعیت موجودی، تعداد موجودی یا مدیریت موجودی هم می‌تواند نشانی محصول را به صف ببرد.
- ارسال انبوه همه‌ی نشانی‌های سایت در نوشتیار Pro است.
انتقال فایل robots.txt واقعی
وقتی یک فایل واقعی robots.txt در پوشه‌ی سایت باشد، سرور پیش از وردپرس با همان پاسخ می‌دهد و بخش نوشتیار هرگز به ربات‌ها نمی‌رسد. این بخش فایل را به‌طور امن به خط‌های دلخواه شما منتقل می‌کند و پشتیبان نگه می‌دارد.
| دکمه | کار |
|---|---|
| پیش‌نمایش انتقال | می‌گوید «خط‌هایی که به خط‌های خودتان می‌پیوندند: N. خط‌های منتقل‌نشدنی: M.» و خط‌های منتقل‌نشدنی را فهرست می‌کند («این خط‌ها فقط در پشتیبان می‌مانند»). |
| انتقال و برداشتن فایل | بعد از پرسش تأیید، خط‌ها را منتقل و فایل واقعی را برمی‌دارد. لازم است کلید «می‌پذیرم که خط‌های فهرست‌شده‌ی منتقل‌نشدنی فقط در پشتیبان بمانند» روشن شده باشد. |
| بازگردانی پشتیبان | فایل را به جای قبلی‌اش برمی‌گرداند. |
| دور انداختن پشتیبان | پشتیبان را حذف می‌کند («این کار برگشت‌پذیر نیست»). |
انتقال انجام نمی‌شود اگر: فایل واقعی نیست؛ فایلی است که کل سایت را به روی خزنده‌ها می‌بندد؛ فایل یا پوشه‌اش قابل نوشتن نیست؛ یا مدیریت robots.txt هنوز روشن نشده. غیرفعال‌کردن افزونه، در صورتی که چیز دیگری جایش را نگرفته باشد، پشتیبان را خودبه‌خود برمی‌گرداند.
آوردن داده از افزونه‌ی قبلی خانواده
اگر پیش‌تر این تنظیمات را در سلیار داشتید، نوشتیار در اولین باری که فایل‌های عمومی را سرو می‌کند آن‌ها را یک بار و بی‌خطر می‌آورد: داده‌ی قبلی فقط خوانده می‌شود، مقداری که در نوشتیار از پیش ذخیره کرده باشید هرگز بازنویسی نمی‌شود (در یادداشت فقط نام موردهای ناسازگار می‌آید، نه مقدارشان)، و اجرای دوباره چیزی را عوض نمی‌کند. دکمه‌ی «متوجه شدم، پنهانش کن» یادداشت را می‌بندد.
بخش Pro در همین زبانه
انتهای زبانه یک کادر Pro هست. بدون Pro («امکانات بیشتر با نوشتیار Pro») می‌گوید Pro چه می‌افزاید و دکمه‌ی «دریافت نوشتیار Pro» هست. اگر Pro نصب باشد ولی لایسنس فعال نباشد: «نوشتیار Pro نصب است اما لایسنس آن فعال نیست…» با دکمه‌ی «فعال‌سازی لایسنس». اگر افزونه‌ی دیگری از خانواده فایل‌ها را بنویسد: «نوشتیار Pro منتظر است…». با Pro فعال، پنل Pro همین‌جا می‌آید (شرح). این کادر را می‌توان با «دیگر نشان نده» بست.