Jak działają wyszukiwarki?

Artykuł zaktualizowany przez Joela Lee w dniu 10.10.2017

Dla wielu Google jest internet. Jest to punkt wyjścia do znalezienia nowych stron i jest prawdopodobnie najważniejszym wynalazkiem od samego Internetu. Bez wyszukiwarek nowe treści internetowe byłyby niedostępne dla mas.

Ale czy wiesz, jak działają wyszukiwarki? Każda wyszukiwarka ma trzy główne funkcje: przeszukiwanie (w celu wykrycia zawartości), indeksowanie (w celu śledzenia i przechowywania treści) oraz pobieranie (w celu pobrania odpowiedniej treści, gdy użytkownicy wyszukują w wyszukiwarce).

Czołgać się

Indeksowanie to miejsce, od którego wszystko się zaczyna: pozyskiwanie danych o witrynie internetowej.

Obejmuje to skanowanie witryn i zbieranie szczegółów na temat każdej strony: tytułów, obrazów, słów kluczowych, innych powiązanych stron itp. Różni roboty mogą również wyszukiwać różne szczegóły, takie jak układ strony, gdzie umieszczane są reklamy, czy linki są zatłoczone itp..

Ale w jaki sposób strona jest indeksowana? Zautomatyzowany bot (zwany “pająk”) odwiedza stronę po stronie tak szybko, jak to możliwe, korzystając z linków do stron, aby dowiedzieć się, gdzie iść dalej. Nawet w najwcześniejszych dniach pająki Google mogły czytać kilkaset stron na sekundę. Obecnie jest ich tysiące.

Gdy robot indeksujący odwiedza stronę, zbiera każdy link na stronie i dodaje je do listy kolejnych stron do odwiedzenia. Przechodzi do następnej strony na liście, zbiera linki że strona i powtarza się. Przeszukiwacze przeglądają również raz na jakiś czas strony, aby sprawdzić, czy nastąpiły jakieś zmiany.

Oznacza to, że każda witryna połączona z witryny zindeksowanej zostanie w końcu zindeksowana. Niektóre witryny są indeksowane częściej, a inne na większą głębokość, ale czasami robot może się poddać, jeśli hierarchia stron witryny jest zbyt złożona.

Jednym ze sposobów zrozumienia działania przeszukiwacza jest zbudowanie go samodzielnie. Napisaliśmy samouczek na temat tworzenia podstawowego przeszukiwacza sieci w PHP, więc sprawdź to, jeśli masz jakieś doświadczenie w programowaniu.

Pamiętaj, że strony można oznaczyć jako “noindex,” co jest jak proszenie wyszukiwarek o pominięcie indeksowania. Nieindeksowane części Internetu są znane jako “głęboka sieć” Co to jest Deep Web? To ważniejsze niż myślisz, co to jest Deep Web? To ważniejsze niż myślisz Głęboka sieć i ciemna sieć brzmią przerażająco i nikczemnie, ale niebezpieczeństwa zostały przesadzone. Oto, co oni naprawdę i jak możesz uzyskać do nich dostęp sam! , a niektóre witryny, takie jak hostowane w sieci TOR, nie mogą być indeksowane przez wyszukiwarki. (Czym jest routing TOR i cebuli? Czym właściwie jest routing cebuli? [MakeUseOf wyjaśnia] Czym dokładnie jest routing cebuli? [MakeUseOf wyjaśnia] Prywatność w Internecie. Anonimowość była jedną z największych cech Internetu w młodości (lub jedną z jego najgorsze cechy, w zależności od tego, kogo zapytasz). Pomijając problemy, które się pojawiają…)

Indeksowanie

Indeksowanie ma miejsce, gdy dane z przeszukiwania są przetwarzane i umieszczane w bazie danych.

Wyobraź sobie listę wszystkich książek, które posiadasz, ich wydawców, ich autorów, ich gatunki, liczbę stron itp. Indeksowanie polega na przeczesywaniu każdej książki podczas indeksowania, gdy logujesz je na listę.

Teraz wyobraź sobie, że to nie tylko pokój pełen książek, ale każda biblioteka na świecie. To niewielka wersja tego, co robi Google, który przechowuje wszystkie te dane w rozległych centrach danych z tysiącami dysków o wartości petabajtów Objaśnienia rozmiarów pamięci: gigabajty, terabajty i petabajty w kontekście Wyjaśnione rozmiary pamięci: gigabajty, terabajty i petabajty w kontekście Łatwo zauważyć, że 500 GB to ponad 100 GB. Ale jak się różnią różne rozmiary? Co to jest gigabajt do terabajta? Gdzie mieści się petabajt? Wyjaśnijmy to! .

Oto rzut oka w jednym z centrów danych wyszukiwania Google:

Kredyt na zdjęcie: Google

Wyszukiwanie i ranking

Pobieranie ma miejsce, gdy wyszukiwarka przetwarza zapytanie i zwraca najbardziej odpowiednie strony, które pasują do zapytania.

Większość wyszukiwarek wyróżnia się metodami wyszukiwania: wykorzystują różne kryteria, aby wybrać strony, które najlepiej pasują do tego, co chcesz znaleźć. Właśnie dlatego wyniki wyszukiwania różnią się między Google a Bing i dlatego Wolfram Alpha jest tak wyjątkowo przydatny 10 fajnych zastosowań Wolfram Alpha, jeśli czytasz i piszesz w języku angielskim 10 fajnych zastosowań Wolfram Alpha, jeśli czytasz i piszesz w języku angielskim mam trochę czasu, by owinąć głowę wokół Wolfram Alpha i zapytań, których używa do wyrzucenia tych wyników. Musisz zanurzyć się głęboko w Wolfram Alpha, aby naprawdę wykorzystać go do… .

Algorytmy rankingowe sprawdzają Twoje zapytanie miliardy stron, aby określić ich znaczenie. Firmy chronią swoje algorytmy rankingowe jako opatentowane tajemnice branżowe ze względu na ich złożoność. Lepszy algorytm przekłada się na lepsze wyszukiwanie.

Nie chcą też, aby twórcy stron internetowych grali w system i nieuczciwie wspinali się na szczyt wyników wyszukiwania. Gdyby kiedykolwiek pojawiła się wewnętrzna metodologia wyszukiwarki, wszelkiego rodzaju ludzie z pewnością wykorzystaliby tę wiedzę ze szkodą dla wyszukiwarek takich jak ty i ja..

Kredyt na zdjęcie: fotowibracje za pośrednictwem Shutterstock

Wykorzystanie wyszukiwarek jest oczywiście możliwe, ale nie jest już takie łatwe.

Pierwotnie wyszukiwarki oceniały witryny według tego, jak często słowa kluczowe pojawiały się na stronie, co do nich prowadziło “upychanie słów kluczowych” - wypełnianie stron bzdurami zawierającymi słowa kluczowe.

Potem pojawiła się koncepcja znaczenia linków: wyszukiwarki doceniały witryny z dużą liczbą linków przychodzących, ponieważ interpretowały popularność witryn jako trafność. Doprowadziło to jednak do spamowania linków w całej sieci. W dzisiejszych czasach wyszukiwarki ważą linki w zależności od “autorytet” strony linkującej. Wyszukiwarki kładą większy nacisk na linki z agencji rządowej niż linki z katalogu linków.

Dzisiaj algorytmy rankingowe spowite są większą tajemnicą niż kiedykolwiek wcześniej “optymalizacja wyszukiwarki” Demystify SEO: 5 przewodników optymalizacji pod kątem wyszukiwarek, które pomogą Ci rozpocząć Demystify SEO: 5 przewodników optymalizacji pod kątem wyszukiwarek, które pomogą Ci rozpocząć Umiejętność korzystania z wyszukiwarek wymaga wiedzy, doświadczenia oraz wielu prób i błędów. Możesz zacząć uczyć się podstaw i łatwo unikać typowych błędów SEO za pomocą wielu poradników SEO dostępnych w Internecie. nie jest takie ważne. Dobre rankingi wyszukiwarek pochodzą teraz z wysokiej jakości treści i doskonałych wrażeń użytkowników.

Co dalej w przypadku wyszukiwarek?

Ach, teraz jest interesujące pytanie. Odpowiedź to “semantyka”: the znaczenie zawartości strony. W naszym przeglądzie znaczników semantycznych i ich przyszłym wpływie możesz dowiedzieć się, czym jest znacznik semantyczny i jak zmieni Internet na zawsze [technologia wyjaśniona] Czym jest znacznik semantyczny i jak zmieni internet na zawsze [technologia wyjaśniona] .

Ale oto sedno tego.

Teraz możesz wyszukać “bezglutenowe ciasteczka” ale wyniki mogą zwrócić przepisy na bezglutenowe ciasteczka. Zamiast tego możesz znaleźć regularne przepisy na ciasteczka, które mówią “Ten przepis nie jest bezglutenowy.” Ma właściwe słowa kluczowe, ale niewłaściwe znaczenie.

Za pomocą semantyki możesz wyszukiwać przepisy na ciasteczka, a następnie usuwać niektóre składniki: mąkę, orzechy itp. Możesz także zawęzić wyniki do tylko przepisów z czasem przygotowania krótszym niż 30 minut i ocenić wyniki 4/5 lub więcej. Że byłoby fajnie, prawda? Tam właśnie zmierzamy!

Nadal jesteś zdezorientowany, jak działają wyszukiwarki? Zobacz, jak Google wyjaśnia proces:

Jeśli uznasz to za interesujące, możesz także dowiedzieć się, jak to zrobić obraz działają wyszukiwarki.

Źródło obrazu: prykhodov / Depositphotos