Jak importuję internetowe dane z obserwacji UFO do arkusza kalkulacyjnego Google

Jeśli chodzi o internetowe bazy danych i informacje, które można znaleźć wewnątrz tak zwanego “invisible web 12 najlepszych wyszukiwarek do eksploracji niewidzialnej sieci 12 najlepszych wyszukiwarek do eksploracji niewidzialnej sieci Google lub Bing nie mogą wyszukać wszystkiego. Aby eksplorować niewidzialną sieć, musisz użyć tych specjalnych wyszukiwarek. “, Nie jestem typowym użytkownikiem. Jasne, spędzam trochę za dużo czasu, przeszukując internetowe bazy danych w miejscach takich jak Archiwa Narodowe i czytelnia CIA FOIA, ale muszę powiedzieć, że nie jestem bardziej podekscytowany niż kiedy znajduję tabelę opartą na HTML wypełnioną tomami pozornie złożonych i niepowiązanych danych.

Faktem jest, że tabele danych są kopalnią ważnych prawd. Dane są często gromadzone przez armie pomruków gromadzących dane z butami na ziemi. Ludzie ze spisu powszechnego USA podróżują po całym kraju w celu uzyskania informacji na temat gospodarstwa domowego i rodziny. Grupy non-profit zajmujące się ochroną środowiska gromadzą różnego rodzaju interesujące informacje na temat środowiska, zanieczyszczenia, globalnego ocieplenia i innych kwestii. A jeśli interesujesz się zjawiskami paranormalnymi lub Ufologią, są też stale aktualizowane tabele informacji o obserwacjach dziwnych obiektów na niebie nad nami.

Jak na ironię, można by pomyśleć, że każdy rząd na świecie byłby zainteresowany, aby dowiedzieć się, jakie zagraniczne jednostki są zauważane na niebie w dowolnym kraju, ale najwyraźniej nie - przynajmniej w USA. W Ameryce zbiór niezwykłych obserwacji rzemiosła został przeniesiony do zespołów amatorskich hobbystów, którzy przybywają na nowe obserwacje UFO, takie jak ćmy do ognia. Moje zainteresowanie tymi obserwacjami w rzeczywistości nie wynika z fascynacji obcymi lub rzemiosłami z innych planet, ale z naukowej fascynacji wzorami - gdzie i dlaczego więcej ludzi widzi rzeczy na niebie i czy te obserwacje mogą odzwierciedlać coś bardzo rzeczywistego i wiele w rzeczywistości dzieje się więcej przyziemnych.

Aby zbadać ilość danych zebranych przez zespoły hobbystów UFO, faktycznie opracowałem sposób importowania dużych tabel danych HTML do arkusza kalkulacyjnego Google, a następnie manipulowania tymi danymi i analizowania ich w celu wyodrębnienia i odkrycia znaczących i ważnych informacji. W tym artykule zamierzam pokazać, jak to zrobić.

Ważne dane HTML w arkuszu kalkulacyjnym Google

W tym przykładzie pokażę, jak zaimportować dane do dowolnego arkusza w dowolnej witrynie internetowej w Internecie do arkusza kalkulacyjnego Google. Pomyśl o ogromnej ilości danych, które są dziś dostępne w Internecie w postaci tabel HTML. W samej Wikipedii są dane w tabelach dotyczące takich tematów, jak globalne ocieplenie, Biuro Spisu Powszechnego USA ma mnóstwo zbiorów danych o populacji, a odrobina Googlinga wyniesie cię znacznie więcej.

W moim przykładzie zaczynam od bazy danych w Narodowym Centrum Raportowania UFO, która faktycznie wygląda tak, jakby była to baza danych w głębokiej sieci w stylu zapytania, ale jeśli zaobserwujesz strukturę adresu URL, w rzeczywistości jest to częściowo złożona strona internetowa oparty na systemie raportowania składający się ze statycznych stron internetowych i statycznych tabel HTML - dokładnie tego, czego chcemy, gdy szukamy danych do zaimportowania.

NUForc.org jest jedną z tych organizacji, która służy jako jedno z największych centrów zgłaszania obserwacji UFO. Nie jest to jedyny, ale jest wystarczająco duży, aby znaleźć nowe zestawy danych z bieżącymi obserwacjami dla każdego miesiąca. Możesz przeglądać dane posortowane według kryteriów, takich jak Stan lub Data, a każde z nich jest dostarczane w postaci strony statycznej. Jeśli posortujesz według daty, a następnie klikniesz ostatnią datę, zobaczysz, że na liście znajduje się statyczna strona internetowa o nazwie zgodnej z formatem daty.

Mamy teraz wzorzec do regularnego wydobywania najnowszych informacji o obserwacjach z tej bazy danych opartej na HTML. Wszystko, co musisz zrobić, to zaimportować pierwszą tabelę, użyć najnowszego wpisu (najwyższego), aby zidentyfikować najnowszą aktualizację, a następnie użyć daty tego ogłoszenia, aby zbudować link URL, w którym znajduje się najnowsza tabela danych HTML. Aby to zrobić, wystarczy kilka instancji funkcji ImportHTML, a następnie kilka kreatywnych zastosowań funkcji manipulacji tekstem. Gdy skończysz, będziesz mieć jeden z najfajniejszych, samodzielnie aktualizujących się arkuszy kalkulacyjnych raportów. Zacznijmy.

Importowanie tabel i manipulowanie danymi

Pierwszym krokiem jest oczywiście utworzenie nowego arkusza kalkulacyjnego.

Jak importujesz tabele HTML? Wszystko czego potrzebujesz to adres URL, w którym przechowywana jest tabela, i numer tabeli na stronie - zwykle pierwsza na liście to 1, druga to 2 i tak dalej. Ponieważ znam adres URL tej pierwszej tabeli z listą dat i liczby obserwacji, można zaimportować, wpisując następującą funkcję do komórki A1.

= importhtml (“http://www.nuforc.org/webreports/ndxpost.html?”I H2,”stół”,1)

H2 pełni funkcję “= godzina (teraz ())“, więc tabela będzie aktualizowana co godzinę. Jest to prawdopodobnie skrajne w przypadku danych, które rzadko to aktualizują, więc prawdopodobnie mógłbym to zrobić codziennie. W każdym razie powyższa funkcja ImportHTML wyświetla tabelę, jak pokazano poniżej.

Będziesz musiał trochę manipulować danymi na tej stronie, zanim będziesz mógł poskładać URL drugiej tabeli ze wszystkimi obserwacjami UFO. Ale śmiało i utwórz drugi arkusz w skoroszycie.

Przed próbą zbudowania tego drugiego arkusza nadszedł czas na wyodrębnienie daty wpisu z tej pierwszej tabeli w celu zbudowania łącza do drugiej tabeli. Problem polega na tym, że data jest wprowadzana jako format daty, a nie ciąg. Najpierw musisz użyć funkcji TEKST, aby przekonwertować datę publikacji raportu na ciąg:

= tekst (A2,”mm / dd / rr”)

W następnej komórce po prawej musisz użyć funkcji SPLIT z “/” ogranicznik, aby podzielić datę na miesiąc, dzień i rok.

= podział (D2,”/”)

Wygląda dobrze! Jednak każda liczba musi być zmuszona do dwóch cyfr. Zrobisz to ponownie w komórkach pod nimi za pomocą polecenia TEKST.

= tekst (E2,”00 ”)

Format “00” (są to zera) wymusza dwie cyfry lub a “0” jako symbol zastępczy.

Teraz możesz przebudować cały adres URL do najnowszej tabeli HTML nowych obserwacji. Możesz to zrobić, korzystając z funkcji CONCATENATE i łącząc wszystkie fragmenty informacji, które właśnie wyodrębniłeś z pierwszej tabeli.

= konkatenat (“http://www.nuforc.org/webreports/ndxp”,G3, E3, F3,”.HTML”)

Teraz na nowym arkuszu, który utworzyłeś powyżej (pusty arkusz), zrobisz nowy “importhtml” funkcja, ale tym razem dla pierwszego parametru linku URL, więc przejdziesz z powrotem do pierwszego arkusza kalkulacyjnego i klikniesz komórkę z właśnie utworzonym linkiem URL.

Drugi parametr to “stół” i ostatni jest “1” (ponieważ tabela obserwacji jest pierwsza i tylko na stronie). Naciśnij Enter, a teraz właśnie zaimportowałeś całą liczbę obserwacji, które zostały opublikowane w danym dniu.

Prawdopodobnie myślisz, że to fajna nowość i wszystko - to znaczy, że to, co zrobiłeś, to wyodrębnienie istniejących informacji ze stołu w Internecie i przeniesienie go do innego stołu, chociaż prywatnego w twoim Konto Dokumentów Google. Tak to prawda. Jednak teraz, gdy znajduje się on na Twoim prywatnym koncie Dokumentów Google, masz pod ręką narzędzia i funkcje umożliwiające lepszą analizę tych danych i rozpoczęcie odkrywania niesamowitych połączeń.

Używanie raportów przestawnych do analizy importowanych danych

Niedawno napisałem artykuł o korzystaniu z raportów przestawnych w arkuszu kalkulacyjnym Google Zostań ekspertem w zakresie danych w ciągu dnia Korzystanie z narzędzi raportów w arkuszu kalkulacyjnym Google Zostań ekspertem w zakresie analizy danych w nocy za pomocą narzędzi do raportów w arkuszu kalkulacyjnym Google Czy wiesz, że jedno z najlepszych narzędzi do przeprowadzania danych analiza to tak naprawdę arkusz kalkulacyjny Google? Powodem tego jest nie tylko to, że może zrobić prawie wszystko, co możesz chcieć… aby wykonać wiele fajnych wyczynów analizy danych. Cóż, możesz wykonywać te same niesamowite akrobacje w analizie danych na danych, które zaimportowałeś z Internetu - dając ci możliwość odkrycia interesujących połączeń, których być może nikt przed tobą nie odkrył.

Na przykład z końcowej tabeli obserwacji mogę zdecydować się na skorzystanie z raportu przestawnego, aby spojrzeć na liczbę różnych unikalnych kształtów zgłoszonych w każdym stanie, w porównaniu do ogólnej liczby obserwacji w tym konkretnym stanie. Na koniec odfiltrowuję też wszystko, co wspomina “kosmici” w sekcji komentarzy, miejmy nadzieję, że wyeliminujemy niektóre z bardziej orzechowych wpisów.

To faktycznie ujawnia kilka całkiem interesujących rzeczy od samego początku, takich jak fakt, że Kalifornia wyraźnie ma najwyższą liczbę zgłoszonych obserwacji w jakimkolwiek innym stanie, a także rozróżnienie zgłaszania największej liczby kształtów jednostek w kraju. Pokazuje także, że Massachusetts, Floryda i Illinois są również wielkimi hitterami w dziale obserwacji UFO (przynajmniej w najnowszych danych).

Kolejną fajną rzeczą w Arkuszu kalkulacyjnym Google jest szeroki wachlarz dostępnych wykresów, w tym mapa geograficzna, która pozwala rozłożyć “gorące miejsca” danych w formacie graficznym, który naprawdę się wyróżnia i sprawia, że ​​połączenia w danych są dość oczywiste.

Jeśli się nad tym zastanowić, to tak naprawdę tylko wierzchołek góry lodowej. Jeśli możesz teraz importować dane z tabel danych na dowolnej stronie w Internecie, pomyśl o możliwościach. Uzyskaj najnowsze numery akcji lub najnowsze 10 najlepszych książek i autorów z listy bestsellerów New York Times lub najlepiej sprzedających się samochodów na świecie. Istnieją tabele HTML na prawie każdy temat, jaki możesz sobie wyobrazić, aw wielu przypadkach tabele te są często aktualizowane.

ImportHtml umożliwia podłączenie arkusza kalkulacyjnego Google do Internetu i przekazanie istniejących danych. Może stać się Twoim osobistym centrum informacji, które możesz wykorzystać do manipulowania i masowania do formatu, z którym faktycznie możesz pracować. Jeszcze jedna fajna rzecz do kochania w Arkuszu kalkulacyjnym Google.

Czy kiedykolwiek zaimportowałeś dane do swoich arkuszy kalkulacyjnych? Jakie ciekawe rzeczy odkryłeś w tych danych? Jak wykorzystałeś dane? Podziel się swoimi doświadczeniami i pomysłami w sekcji komentarzy poniżej!

Kredyty obrazkowe: Business Graph