Joseph Goodman
0 
2020
312
Co byś powiedział, gdybym ci powiedział, że masz do dyspozycji narzędzia do przełomowych badań, które wstrząsają Ziemią? Cóż, a ty pokażę ci, jak to zrobić.
Rządy, instytucje akademickie i organizacje badawcze non-profit publikują tabele pełne danych w domenie publicznej. Bez nikogo korzystającego z tych informacji ich prawdziwa wartość nigdy nie będzie znana. Niestety niewiele osób ma wgląd, umiejętności lub narzędzia do pobierania danych i tworzenia interesujących korelacji między pozornie niepowiązanymi informacjami.
tło
Wiele badań, które przeprowadzam dla własnego bloga, polega na przeszukiwaniu tak zwanej niewidzialnej sieci. 12 najlepszych wyszukiwarek do eksploracji niewidzialnej sieci 12 najlepszych wyszukiwarek do eksploracji niewidzialnej sieci Google lub Bing nie mogą wyszukiwać wszystkiego . Aby eksplorować niewidzialną sieć, musisz użyć tych specjalnych wyszukiwarek. , aby odkryć dane, które zostały udostępnione publicznie, ale ukryte przed wyszukiwarkami. 5 najbardziej zaawansowanych wyszukiwarek w Internecie. 5 najbardziej zaawansowanych wyszukiwarek w Internecie w internetowej bazie danych. To jest głęboka sieć TorSearch ma być Google dla Deep Web TorSearch ma być Google dla Deep Web Tor to ukryta usługa i część Deep Web. TorSearch to nowa anonimowa wyszukiwarka, którą chce założyć Chris MacNaughton “Google of Tor”. , i jest pełen cennych danych. Bardzo często spotykam strony internetowe wypełnione niektórymi z najcenniejszych danych na tematy poruszające całą gamę - od spisów powszechnych po badania epidemiologiczne dotyczące rzadkich chorób. Ciągle mam nowe pomysły na to, jak próbować skorelować te różne źródła danych przy użyciu różnych narzędzi - a jednym z najcenniejszych narzędzi, które znalazłem, jest Kwerenda internetowa w programie Microsoft Excel.
Znajdowanie interesujących korelacji danych
Pokażę wam dzisiaj przykład wykorzystania kwerendy sieci Web Excel do pobierania danych z różnych witryn i porównywania ich w celu wyszukiwania potencjalnych korelacji między danymi.
Sposób na rozpoczęcie takiego ćwiczenia polega na sformułowaniu ciekawej hipotezy. Na przykład - aby zachować tutaj ciekawość - zamierzam losowo postulować, że gwałtowny wzrost liczby autyzmów w Stanach Zjednoczonych jest spowodowany albo zaszczepieniem szczepionką, albo rosnącą obecnością pól elektromagnetycznych w dzieciach i wokół nich, takich jak telefony komórkowe. To szalona hipoteza, którą znajdziesz na większości stron z teorią spiskową, ale to sprawia, że jest to zabawne. Zacznijmy więc?
Najpierw otwórz program Excel, przejdź do elementu menu danych i znajdź “Z sieci” ikona na wstążce menu.
Tego właśnie używasz do importowania różnych tabel danych z wielu witryn, które je opublikowały.
Importowanie danych internetowych do Excela
Tak więc w dawnych czasach trzeba było próbować skopiować dane z tej tabeli na stronie internetowej, wkleić je do programu Excel, a następnie rozwiązać wszystkie szalone problemy związane z formatowaniem. Całkowity problem i często nie jest to warte bólu głowy. Cóż, dzięki Excel Web Queries te dni minęły. Oczywiście, zanim będzie można zaimportować dane, musisz znaleźć w sieci Google, aby znaleźć potrzebne dane w formacie tabeli. W moim przypadku znalazłem stronę internetową, na której opublikowano statystyki Departamentu Edukacji dotyczące liczby uczniów szkół publicznych w USA, którzy zostali zidentyfikowani jako chorzy na autyzm. Niezły stolik podał tam liczby od 1994 roku aż do 2006 roku.
Więc po prostu kliknij “Z sieci”, wklej adres URL strony w polu adresu zapytania, a następnie przewiń stronę w dół, aż zobaczysz żółtą strzałkę obok tabeli z danymi, które chcesz zaimportować.
Kliknij strzałkę, aby stała się zielonym znacznikiem wyboru.
Na koniec powiedz programowi Excel, do którego pola chcesz wkleić dane tabeli do nowego arkusza kalkulacyjnego.
Zatem - Voila! Dane automatycznie przepływają bezpośrednio do Twojego arkusza kalkulacyjnego.
Tak więc, biorąc pod uwagę trend autyzmu w szkołach publicznych w latach 1996-2006, nadszedł czas, aby poszukać trendów w zakresie szczepień i używania telefonów komórkowych.
Na szczęście szybko znalazłem trendy dla abonentów telefonów komórkowych w Stanach Zjednoczonych w latach 1985-2012. Doskonałe dane do tego konkretnego badania. Ponownie użyłem narzędzia Excel Web Query do zaimportowania tej tabeli.
Zaimportowałem ten stół do czystego, nowego arkusza. Następnie odkryłem trendy szczepień dla odsetka dzieci w wieku szkolnym zaszczepionych z powodu różnych chorób. Zaimportowałem tę tabelę za pomocą narzędzia Web Query do trzeciego arkusza. W końcu miałem trzy arkusze z trzema tabelami wypełnionymi pozornie niepowiązanymi danymi, które odkryłem w Internecie.
Następnym krokiem jest użycie Excela do analizy danych i próby zidentyfikowania korelacji. Właśnie wtedy wchodzi w grę jedno z moich ulubionych narzędzi do analizy danych - Tabela przestawna.
Analiza danych w programie Excel za pomocą tabeli przestawnej
Najlepiej jest utworzyć tabelę przestawną w zupełnie nowym, pustym arkuszu. Chcesz użyć kreatora do tego, co masz zamiar zrobić. Aby włączyć kreatora tabeli przestawnej w programie Excel, musisz nacisnąć klawisze Alt-D w tym samym czasie, aż pojawi się okno powiadomienia. Następnie puść te przyciski i naciśnij “P.” klawisz. Następnie zobaczysz wyskakującego kreatora.
W pierwszym oknie kreatora chcesz wybrać “Wiele zakresów konsolidacji”, co pozwala wybrać dane ze wszystkich zaimportowanych arkuszy. W ten sposób możesz skonsolidować wszystkie pozornie niepowiązane dane w jeden, potężny element przestawny. W niektórych przypadkach może być konieczne masowanie niektórych danych. Na przykład musiałem naprawić “Rok” pole w tabeli autyzmu, aby było widoczne “1994” zamiast “1994–95” - dzięki czemu lepiej dopasowuje się do tabel na innych arkuszach, które również miały pole roku podstawowego.
To wspólne pole między danymi jest tym, czego potrzebujesz, aby spróbować skorelować informacje, więc miej to na uwadze, gdy szukasz danych w sieci.
Po zakończeniu tabeli przestawnej i wyświetleniu wszystkich różnych wartości danych w jednej tabeli nadszedł czas na wizualną analizę, aby sprawdzić, czy istnieje oczywiste połączenie.
Wizualizacja danych jest kluczem
Posiadanie wielu liczb w tabeli jest świetne, jeśli jesteś ekonomistą, ale jest to najszybszy i najłatwiejszy sposób “Aha!” moment, w którym próbujesz znaleźć połączenia jak igła w stogu siana, odbywa się za pomocą wykresów i wykresów. Po ustawieniu wykresu przestawnego na wszystkich zebranych zestawach danych nadszedł czas na utworzenie wykresu. Zwykle wykres liniowy najlepiej sobie radzi, ale zależy to od danych. Czasami wykres słupkowy działa znacznie lepiej. Spróbuj zrozumieć, jakie dane przeglądasz i jakie porównania formularzy działają najlepiej.
W tym przypadku patrzę na dane w czasie, więc wykres liniowy jest naprawdę najlepszym sposobem, aby zobaczyć trendy na przestrzeni lat. Zestawiając wskaźniki autyzmu (zielony) w stosunku do zmniejszonych wskaźników szczepień (ciemnoniebieski), szczepionki przeciw ospie wietrznej (jasnoniebieski) i używania telefonu komórkowego (purpurowy), nagle pojawiła się dziwna korelacja w tym próbnym zbiorze danych, z którymi bawiłem się.
Co dziwne, trend używania telefonów komórkowych w latach 1994-2006 niemal idealnie pasował do wzrostu częstości autyzmu w tym samym okresie. Chociaż wzorzec był zupełnie nieoczekiwany, jest to doskonały przykład tego, w jaki sposób łączenie interesujących danych może ujawnić fascynujące informacje o potencjalnych klientach - zapewniając lepszy wgląd i motywację do kontynuowania działań i szukania większej liczby danych, które mogą wzmocnić twoją hipotezę.
Jedna taka korelacja powyżej niczego nie dowodzi. Z biegiem czasu powstaje wiele trendów - wzór może być zbiegiem okoliczności, ale może być również ważną wskazówką w twoich ciągłych poszukiwaniach większej ilości danych w Internecie. Na szczęście masz potężne narzędzie o nazwie Excel Web Queries, które sprawi, że to zadanie będzie trochę łatwiejsze.
Zdjęcie kredytowe: Kevin Dooley przez photopin cc