בודק תקינות robots.txt, קובץ llms.txt ומוכנות לסוכני AI

אתרים ישראליים רבים מפסידים ציטוטים במנועי תשובות לא בגלל איכות השירות שלהם, אלא בגלל שגיאות תחביר שקטות בקובץ robots.txt, קובץ llms.txt חלקי, כפילות כותרות H1 או מאפייני סכמה שגויים. הדביקו כאן את מקטעי הקוד שלכם וקבלו בתוך שנייה דו״ח בדיקה דטרמיניסטי עם ציון מוכנות ורשימת משימות מדויקת לפיתוח.

הרצת סריקת תחביר לקבצי הגישה והמטא של הדומיין

מנתח תחביר טכני בדפדפן ללא שליחת נתונים לשרת

האם קבצי התשתית באתר שלכם מאפשרים לסורקי AI לקרוא ולצטט אתכם?

הדביקו את תוכן קבצי robots.txt, llms.txt ומקטע head של האתר (או טענו אחת משלוש התבניות המוכנות) כדי לקבל אבחון שורה אחר שורה.

ציון תקינות תשתית AI

62 / 100

תשתית חלקית עם חסמי שליפה
  • גישת סורקי AI ב-robots.txtתקין
  • קובץ llms.txt ופרק When to Useחלקי
  • תקינות JSON-LD ומניעת שדות שגוייםלבדיקה

תיקונים מתועדפים להעברה לצוות הפיתוח

  1. הוסיפו פרק When to Use לקובץ llms.txt וקישורים לעמודי אודות, יצירת קשר ופרטיות.
מפרט סורקי הבינה המלאכותית המרכזיים וכללי הגישה ב-robots.txt
שם הסורק (User-Agent) מפעילי המנוע תפקיד בשליפה וציטוט המלצת מדיניות באתר עסקי
OAI-SearchBot OpenAI (ChatGPT Search) אינדוקס עמודים להצגת מקורות בתשובות חיפוש אישור מלא לכל עמודי השירות והמדריכים
GPTBot OpenAI סריקת אימון והבנת ישות מותג במודלים פתוח לאתרים שיווקיים; חסום רק אם יש מדיניות IP סגורה
PerplexityBot Perplexity AI שליפת מקורות ישירה ואימות טבלאות בזמן אמת אישור מלא ואימות מעבר נקי בחומת האש
Claude-SearchBot Anthropic (Claude) איתור מסמכים וקריאת HTML או Markdown נקי אישור מלא ותמיכת כותרת Vary: Accept
Google-Extended Google (Gemini / AI) בקרת שימוש בתוכן לשיפור מודלי Gemini אישור מלא להרחבת נוכחות במערכות גוגל

המנוע פועל באופן מקומי בדפדפן ואינו שומר או משדר את הטקסטים שהדבקתם. אפשר להריץ עליו הן קבצים שנלקחו ישירות מהאתר החי והן גרסאות טיוטה מסביבת פיתוח סגורה לפני עלייה לייצור.

חמש תקלות קוד נפוצות שחוסמות סורקי בינה מלאכותית באתרי וורדפרס

בבדיקות טכניות שאנו מריצים על אתרי וורדפרס ואלמנטור בישראל חוזרות חמש תקלות שמונעות ממנועים כמו ChatGPT Search, Perplexity ו-Claude לשלוף מידע אמין:

  1. חסימות סורקים סמויות או חוסר שורת Sitemap: הגדרות אבטחה ישנות חוסמות את OAI-SearchBot, PerplexityBot או ClaudeBot עוד ברמת robots.txt, או משמיטות קישור אל sitemap_index.xml הקנוני.
  2. קובץ llms.txt אוטומטי ודל של תוסף SEO: חלק מהתוספים מייצרים קובץ בסיסי עם שבעה קישורים אקראיים בלבד וללא פרק When to Use, בלי קישור לעמוד יצירת הקשר או למדיניות הפרטיות, מה שמחליש את אותות האמון בסריקות סוכנים.
  3. היעדר משא ומתן Markdown מבודד מטמון: כאשר סוכן שולח כותרת Accept: text/markdown ומקבל בחזרה 350 קילובייט של קוד HTML עמוס ב-DOM של בונה עמודים, איכות החילוץ יורדת וצריכת הטוקנים מתנפחת. הוספת חלופת Markdown נקייה המוגנת בכותרת Vary: Accept פותרת זאת בלי לפגוע בגולשים אנושיים.
  4. כפילות תגיות H1 בין דסקטופ למובייל: תבניות אלמנטור שמשכפלות אזור כותרת אחד למחשב ואחר לסלולר פולטות שתי תגיות H1 בקוד המקור, מבלבלות סורקים ופוגעות בהיררכיה הסמנטית. העמיקו בטכניקות ניקוי אלו במדריך שלנו על קידום אתרי וורדפרס וניקוי תבנית.
  5. שגיאות אימות ב-JSON-LD בכל עמודי האתר: שדה לא חוקי אחד בתוך תוסף סכמות גלובלי, למשל availableLanguage ישירות על Service או שידור דירוג כוכבים שלא אומת על Product, צובע את כל האתר באדום בכלי הבקרה של Schema.org ו-Ahrefs.

איך מפענחים את תוצאות הבדיקה ומעבירים משימה נקייה לפיתוח

כדי להוציא תוצאות אמינות תוך שתי דקות, פתחו בדפדפן את הכתובת /robots.txt ואת /llms.txt של האתר שלכם, העתיקו את הטקסט המלא לתיבות המתאימות, והוסיפו בתיבה השלישית את אזור ה-head יחד עם כותרת העמוד מתצוגת View Page Source. אל תדביקו קוד מ-Inspect Element בלבד, כי סורקי AI רבים קוראים את ה-HTML הגולמי שמגיע מהשרת לפני הרצת JavaScript.

כל שורה שקיבלה תגית אדומה (“נכשל” או “קריטי”) היא חסם שמונע שליפה ויש לתקן אותה ראשונה. שורות צהובות (“חלקי” או “אזהרה”) הן מכפילי כוח שדוחפים את הדומיין ממוכנות בינונית לציון מלא. לתמונה רחבה של שכבת האינדוקס והשרת קראו את הפירוט על תשתית SEO טכנית מתקדמת ואת ההסבר המעשי על עקרונות חשיפת דומיינים במנועי בינה מלאכותית.

סדר הפעולות המומלץ בין בדיקה טכנית לייצור קבצים ולליווי GEO

מצאתם חוסרים בקובץ llms.txt או שגיאה בסכמה? עברו ישירות אל מחולל קובצי llms.txt וגרף נתונים מובנים כדי לייצר קוד מאומת ותקני בתוך דקה ולהעתיק אותו לאתר. אם הארגון שלכם זקוק להטמעה מלאה של שרת Markdown, פתיחת חומת אש, חיזוק ישויות ומעקב נתח ציטוטים מול המתחרים, הכירו את מסלול שירותי GEO לחברות או פנו אל צוות ההנדסה שלנו לתיאום בדיקת עומק מלאה.

הבהרות הנדסיות לפני פתיחת סורקים ועדכון קבצי תשתית

מדוע הכלי מבקש הדבקת קוד במקום סריקת URL אוטומטית מהשרת?

הבדיקה רצה במלואה בדפדפן שלכם כך שאפשר לבחון גם סביבת Staging סגורה בסיסמה או טיוטות קובץ לפני העלאה לאוויר, בלי לשלוח שום קוד לשרתים חיצוניים ובלי להיחסם על ידי הגנות WAF.

מה קורה אם קובץ robots.txt מתיר גישה אבל השרת עדיין מחזיר שגיאת 403 לסורקים?

קובץ robots.txt הוא הצהרת מדיניות בלבד ואינו עוקף חסימה בחומת האש של השרת או ב-Cloudflare. לאחר שאימתתם שהקובץ תקין בבודק, מומלץ לבדוק בפקודת curl עם User-Agent של OAI-SearchBot ו-PerplexityBot שהתגובה אכן HTTP 200.

באיזו תדירות מומלץ לרענן קובץ llms.txt לאחר העלאתו?

עדכנו את הקובץ בכל פעם שעולה עמוד שירות מרכזי חדש, מחשבון משמעותי, מחקר שוק או שינוי בפרטי התקשרות רשמיים. בשגרה יציבה מספיקה ביקורת רבעונית לוודא שאף קישור אינו מפנה או שבור.

כיצד מזהים אם סכמת Service באתר כוללת מאפיינים שגורמים לשגיאות אימות?

תקלה רווחת במיוחד באתרים ישראליים היא הצמדת השדה availableLanguage ישירות לצומת Service במקום אל תוך ContactPoint. הדבקת מקטע ה-JSON-LD כאן מתריעה על כך מייד לפני שהשגיאה מתפשטת לכל עמודי האתר.

הצעד הראשון שלכם לקידום אורגני מתחיל כאן!