หลายท่านคงมีความสงสัย เกิดขึ้นในใจว่า แล้วเมื่อไร ตอนไหน ทำอย่างไร ที่จะทำให้ Robot หรือบางครั้งเรียกว่า Spider ของโปรแกรม เสิร์ชเอนจิ้น จะเข้ามาเก็บตรวจสอบ ขอมูลภายในเว็บไซต์ ของเรา
จากการศึกษา และทดสอบ ของผู้เขียนพบว่า ปัจจัยที่จะทำให้ Robot หรือบางครั้งเรียกว่า Spider เข้ามาตรวจสอบเว็บไซต์ ของเราบ่อยๆ มีข้อแนะนำดังต่อไปนี้
เสิร์จเอนจิ้นที่มีชื่อเสียงและ ได้รับความนิยมในปัจจุบัน เช่น Google, Yahoo! Search, MSN Search
ผลจากการสอบถาม เว็บมาสเตอร์ ในประเทศไทย ส่วนใหญ่ มักจะมีการ ออกแบบเว็บไซต์ ให้มีความสวยงาม และมีลูกเล่น ที่หลากหลาย ไม่ว่าจะเป็น การดีไซน์ ที่ใช้เทคนิค Flash, Frames หรือ JavaScript โดยที่ไม่ได้ เน้นความง่ายต่อการ มาเก็บข้อมูล ในเว็บไซต์ ของเสิร์ชเอนจิ้น แต่เน้นความสวยงาม ของเว็บไซต์อย่างเดียว หลักการออกแบบเว็บไซต์ ให้ถูกหลักของ เสิร์ชเอนจิ้น นั้น จะช่วยให้เว็บไซต์ ของเรา ได้รับการจัดเก็บข้อมูล (Index) จากเสิร์ชเอนจิ้น ได้อย่างรวดเร็ว ที่สำคัญ จะช่วยให้เว็บไซต์ ของเรา ได้รับการจัดอันดับที่ดี ในเสิร์ชเอนจิ้นได้