Robi naukę danych w chmurze dzięki ScraperWiki

Jeśli masz umysłowe umiejętności, talent do programowania i opowiadania historii oraz oko do projektowania, możesz zrobić coś gorszego niż zająć się nauką danych. To nowa wielka rzecz w technologii; bardzo modne i dobrze płatne, a niektóre z największych firm na świecie poszukują naukowców zajmujących się danymi.

ScraperWiki to firma od dawna związana z dziedziną nauki o danych. Od kilku lat ten startup z Liverpoolu oferuje platformę dla programistów do pisania narzędzi, które pobierają dane, czyszczą je i analizują w chmurze.

Dzięki niedawnemu odświeżeniu i stale rosnącemu popytowi na naukowców zajmujących się danymi w przedsiębiorstwie warto przyjrzeć się ScraperWiki.

Pełne ujawnienie: Zeszłego lata byłem stażystą w ScraperWiki.

Co robi ScraperWiki?

ScraperWiki sprzedaje się jako miejsce do pozyskiwania, czyszczenia i analizowania danych, a także zapewnia każdą z tych wartości. W najprostszej formie pozwala użytkownikowi - użytkownikowi na miejsce, w którym można pisać kod, który pobiera dane ze źródła, narzędzia do konwertowania go do formatu łatwego do analizy i przechowywania, aby zachować go do późniejszej wizualizacji - który użytkownik może również obsługiwać za pomocą ScraperWiki.

Zawiera również szereg gotowych narzędzi, które automatyzują powtarzalne zadania, w tym pobieranie danych z plików PDF, których dekodowanie jest niezwykle trudne. Jest to dodatek do wyszukiwania na Twitterze. 5 fajnych sztuczek z wyszukiwarki Twittera, aby monitorować, co ludzie mówią o tobie 5 fajnych sztuczek z wyszukiwarki Twitter, aby monitorować, co ludzie mówią o tobie Jeśli jesteś właścicielem witryny lub po prostu próbujesz zarabiać pieniądze jako freelancer, zawsze dobrze jest wiedzieć, co ludzie mówią o tobie przez Internet. Ludzie mogą cytować ... i skrobać narzędzia. Nie potrzebujesz żadnego doświadczenia w programowaniu, aby z nich korzystać.

Koszt

Jak wcześniej wspomniano, ScraperWiki obejmuje model wyceny freemium i oferuje usługę, która ma wiele poziomów. Osoby dopiero rozpoczynające naukę danych lub posiadające ograniczone potrzeby mogą skorzystać z bezpłatnej usługi. To daje trzy zestawy danych - w których przechowujesz swoje dane i kod.

Ci, którzy planują napisać wiele skrobaków lub chcą przeprowadzić analizę danych, mogą wydać trochę gotówki na konto premium. Te zaczynają się od 9 USD miesięcznie i oferują 10 zestawów danych. Jeśli to nadal nie wystarczy, zawsze możesz przejść na najwyższy poziom, który zawiera 100 zestawów danych i kosztuje 29 USD miesięcznie.

Kodowanie

Programiści często są dość specyficzni, jeśli chodzi o sposób kodowania. Niektórzy wolą języki skryptowe niż języki skompilowane. Niektórzy wolą bardziej uproszczoną obsługę edytora tekstu niż zintegrowane środowisko programistyczne (IDE). ScraperWiki rozpoznaje to i daje użytkownikowi ogromny wybór, jeśli chodzi o sposób pisania kodu.

Jeśli masz na to ochotę, możesz napisać kod w przeglądarce. Jak można się spodziewać po profesjonalnym, opartym na sieci IDE 3 najlepszych IDE opartych na przeglądarce do kodowania w chmurze 3 najlepszych IDE opartych na przeglądarce do kodowania w chmurze, zawiera funkcje, które każdy programista powinien rozważyć być niezbędnym, takim jak podświetlanie składni.

Istnieje wiele języków w ofercie. Należą do nich Python 5 najlepszych stron internetowych do nauki programowania w języku Python 5 najlepszych stron internetowych do nauki programowania w języku Python Chcesz nauczyć się programowania w języku Python? Oto najlepsze sposoby nauki języka Python online, z których wiele jest całkowicie darmowych. , popularny język skryptowy używany przez Google i NASA; Ruby 3 Interaktywny, zabawny, darmowe sposoby na rozpoczęcie nauki języka programowania Ruby 3 Interaktywny, zabawny, darmowe sposoby na rozpoczęcie nauki języka programowania Ruby Ruby jest ekspresyjnym, bardzo wysokim poziomem skryptowym. Jest używany w sieci głównie jako część środowiska programistycznego Ruby on Rails, ale także jako samodzielny program. Jeśli jesteś ciekawy, co to jest Ruby (nie…, która napędza wiele popularnych stron internetowych, takich jak Living Social; oraz popularny język analizy statystycznej, R.

Ponadto możesz także pisać kod z wiersza poleceń, używając SSH, Git i dowolnego edytora tekstu, z którego lubisz korzystać. Tak, dobrze to przeczytałeś. SSH Czym jest SSH i czym różni się od FTP [technologia wyjaśniona] Czym jest SSH i czym różni się od FTP [technologia wyjaśniona] Każde używane urządzenie jest własnym kontem Linux i możesz się z nim połączyć tak jak z VPS lub dowolnym innym kontem powłoki. Dostępnych jest wiele edytorów tekstu, w tym Vim 7 najlepszych powodów, aby dać szansę edytorowi tekstów Vim 7 najlepszych powodów, aby dać szansę edytorowi tekstów Vim Przez lata próbowałem jednego edytora tekstu po drugim. Nazywasz to, próbowałem. Z każdego z tych redaktorów korzystałem przez ponad dwa miesiące jako mój główny codzienny edytor. Jakoś ja… które można rozszerzyć o wtyczki i edytując konfigurację. Osoby zastraszone przez Vima mogą korzystać z Nano, który jest lekkim edytorem tekstu wiersza poleceń.

Zainstalowane biblioteki powinny wystarczyć do pisania narzędzi do pobierania danych i ich przetwarzania. Jeśli potrzebujesz czegoś bardziej niejasnego, zawsze możesz utworzyć virtualenv z linii poleceń. Jak widać, programistom zapewnia się dużą elastyczność.

Wizualizacja danych

Masz swoje dane. Znormalizowałeś to. Oczyściłeś to. Przeanalizowałeś to. Czas zrobić wizualizację i pokazać światu, czego się nauczyłeś.

ScraperWiki pozwala programistom wyświetlać swoje dane za pomocą stron internetowych zbudowanych ze znanego trifecta HTML, CSS i JavaScript. Ponadto składniki Bootstrap są obsługiwane od razu po wyjęciu z pudełka.

Dostępnych jest wiele gotowych wizualizacji, w tym takich, które wykreślają twoje dane na mapie i znajdują trendy w twoich ustaleniach. Aby z nich skorzystać, należy upewnić się, że dane są przechowywane jako plik SQLite o nazwie „scraperwiki.sqlite”. Następnie dodajesz wizualizację, która Cię interesuje. Proste, jasne?

Wniosek

ScraperWiki oferuje wiele programistom, którzy chcą przeprowadzić analizę danych bez przeszkadzania środowisku programistycznemu, mając jednocześnie elastyczność zadowalającą nawet najbardziej wymagających użytkowników. Ale co myślisz? Daj mi znać w komentarzach pod spodem.
Zdjęcie kredytowe: Rocket Science (Dan Brown)