Robot internetowy to program lub zautomatyzowany skrypt (nazywany także botem) krążący w internecie i odwiedzający adresy URL. Roboty przechodzą pomiędzy kolejnymi adresami, korzystając z łączy hipertekstowych występujących na stronach odwiedzanych witryn. Roboty odnajdują strony internetowe, by następnie kopiować ich tekst i kod. Gromadzone w ten sposób dane są poddawane procesowi indeksowania.
Ten olbrzymi indeks jest więc bazą danych o wszystkich stronach na wszystkich witrynach, które udało się odwiedzić robotowi internetowemu danej wyszukiwarki. Na podstawie tych baz danych wyszukiwarki generują wyniki wyszukiwania.
Strony internetowe podlegają ciągłym zmianom, pojawiają się nowe witryny. Zadaniem robotów jest ciągłe przeszukiwanie i odwiedzanie kolejnych stron w celu budowy, rozbudowy, aktualizacji i odświeżania indeksów swojej wyszukiwarki.
Roboty koncentrują się przede wszystkim na słowach i wyrażeniach zawartych na odwiedzanych przez siebie stronach. Analizują tekst i łącza do innych stron. Kiedy użytkownik wpisuje interesujące go wyrażenie w polu wyszukiwarki, wyszukiwarka próbuje znaleźć dokładne dopasowanie, czyli strony zawierające wyrazy składające się dane zapytanie.
Roboty często natrafiają na utrudnienia, które uniemożliwiają im skuteczną analizę witryny, na przykład brak łączy lub błędów w stosowanej technologii lub kodzie. Optymalizacja witryny dla wyszukiwarek ma za zadanie ułatwienie robotom przeszukiwania danej witryny. Jeżeli strona zostanie ominięta przez robota prawdopodobnie nie zostanie odnaleziona za pośrednictwem wyszukiwarki przez użytkownika.