Jak zjistit počet sdílení (i konkurenčních) webových stránek na Facebooku pomocí Google Refine a Facebook API

Zajímalo by vás jaké jsou nejsdílenější stránky konkurečního webu na Facebooku? Nebo jaké články ze serveru TV NOVA lidé nejvíce mezi sebou na Facebooku sdílí? Zjistit to, je možná jednodušší, než si myslíte. Pomoci vám v tom může další nástroj do Googlu, který se jmenuje Google Refine.

Tento nástroj byl původně vyvíjen společností Freebase, kterou Google před časem koupil, a jeho hlavní úlohou bylo pomáhat čistit nekonzistetní datasety. Ostatně podívejte se určitě na instruktážní video, které Google nabízí na stránkách produktu, až si budete program stahovat. Narozdíl od většiny služeb od Googlu totiž Google Refine běží u vás na počítači, byť se do něj přihlašujete v prohlížeči na adrese http://127.0.0.1:3333/

Po nainstalování, spuštění a načtení stránky Google Refine ve vašem browseru si můžete vybrat jakým způsobem chcete naimportovat data. Program totiž podporuje celou řadu formátů (CSV, XLS, JSON, XML etc.) a to jak ze souborů uložených na disku, tak přímo z webu. V praxi to tak znamená, že do něj můžete například naimportovat libovolný XML dokument z internetu. Tady se už dostáváme k našemu úvodnímu slibu. Značná část webů totiž obsahuje volně přístupnou mapu stránek v XML formátu, pomoci které pomáhají vyhledávačům lépe indexovat celý web. Obvykle má soubor název sitemap.xml a pomocí Googlu se můžete přesvědčit, že jich lze najít všude dost. Já jsem náhodou našel mapu stránek Televizních novin TV Nova na adrese http://tn.nova.cz/sitemap.xml

V menu Google Refine zvolte volbu Create project a v něm položku Web Addresses (URLs). Po zadání URL souboru (pozor včetně http!) se dostanete stránku Configure Parsing Options, zde vyberete myší typ oblasti, která se bude parsrovat, potvrdite ji tlačítkem a uvidíte náhled výsledného importu.

Pokud je vše podle vašich představ, pokračujte a přes tlačítko Create project vpravo nahoře založte nový projekt. Data se stáhnou a vy se objevíte v prostředí podobném klasickému tabulkovému procesoru se sloupci obsahujícími data z importovaného XML.

Nyní máte k dispozici mapu stránek a bude třeba ji doplnit o údaje o počtu sdílení na Facebooku (nebo o řadu dalších, vaší fantazii se meze nekladou). K tomu využijeme volbu z menu pro sloupec s url. Vybreme nejdříve volbu Edit column a v ní Add column by fetching URL's která umožňuje použít data z buňky jako součást volání libovolné URL. V našem případě to bude jednoduché volání API Facebooku, konkrétně jeho služby, která vrací počet shares konkrétní URL. Služba se nachází na adrese http://graph.facebook.com/?id=http://www.klaboseni.cz a je celkem zřejmé, že za parametr ID je třeba doplnit požadované URL. Služba vrací JSON, který mj. obsahuje i položko shares s počtem sdílení stránky na Facebooku.

Po volbě Add column by fetching URL's se objeví jednoduché vyskakovací okonké. Nás v něm nyní budou zajímat jen tři položky. Prvním je New column name kde uvedeme, jak se nový sloupec bude jmenovat např. FB JSON. Druhým je Throttle delay, kde je uvedena doba mezi jednotlivými dotazy v milisekundách. V základním nastavení má 5 sekund a pokud nikam nespěcháte, doporučuji ho nechat nastavené pravě na tuto hodnotu. Některé služby vás totiž při příliš agresivním dotazování mohou dočasně zablokovat.

Nicméně zkuste s ní experimentovat, u Facebook API by mělo nastavení na 1 sekundu (1000 v milisekundách) být v pořádku. Konečne posledním políčkem je textarea se názvem Expression. V ní můžete specifikovat jaká url, a případně s jakými parametry, budou volána a to pomocí programovacího jazyka GREL (či dvou dalších, ale nechme je stranou). V našem případě stačí výraz

"http://graph.facebook.com/?id=" + value

a pak už jen klikněte na OK a můžete začít stahovat data z Facebooku.

Po dokončení operace uvidíte nový sloupec, který obsahuje v každé buňce patřičný JSON.

Teď je ještě třeba extrahovat z JSONu počet shares pro danou stránku. Pomůže nám k tomu opět scriptovací jazyk GREL. Na sloupci opět zvolíme možnost Edit Column, tentokrát ale s volbou Add column based on this column, pomoci které lze vytvořit nový sloupec skrzeva transformaci původního.

Tentokrát využijeme vestavěného parseru JSONu v GRELu a do Expression přidáme následujicí instrukci:

value.parseJson()["shares"]

Zbývá ještě pojmenovat nový sloupec kupříkladu jako FB Shares. Pak jen stačí kliknout opět na OK.

Za chvíli máte k dispozici nový sloupec s přehledem sdílení.

Nyní ho jen seřadíme pomocí funkce Sort a je to.

Vidíme, že v případě TV Nova byly těmi nejsdílenějšími zprávami posledních týdnů právě tyhle:

Asi sami tušíte, že v případě konkurenčních stránek mohou být výsledky zajímavější a že se nemusíte jenom omezit na volání API pro Facebook Shares, ale o tom zase někdy jindy.

Mapa followerů na Twitteru pomocí NodeXL a Google Fusion Tables

Analýza publika na sociálnících sítích by měla patřit k základům jakékoli systematické komunikaci s ním. Obzvlášť pokud se jedna o značku či osobu, která už může počítat své fanoušky na tisíce, může být analýza jejich profilů k nezaplacení. Jedním z typů analýzy je zmapování geografického rozmístění fanoušků. Jsou spíše z větších měst? Nebo jsou víceméně rozporstraněni po celé zemi? A jak na to vlastně přijít? A jaké fanoušky má moje konkurence?

Jednou z možností, jak prozkoumat odkud vaši fanoušci pocházejí, je využít údajů, které sami o sobě poskytují. V případě sociální sítě Twitter, které se budeme dále věnovat, je to i údaj Location, který mají fanoušci možnost vyplnit ve svém profilu. Právě z něj lze poměrně jednoduše vygenerovat mapu jejich umístění po světě s přijatelnou odchylkou od reality. Překvapivě nemusíte mít k tomu žádné speciální znalosti. Postačí k tomu obyčejný Microsoft Excel a Google Fusion Tables.

Získání základních údajů
Pokud nejste programátor, který si umí stáhnout seznam svých následovníků pomoci Twitter API, můžete k tomu využít open source tamplate pro Excel, který se jmenuje NodeXL a je určený především k social network analysis. Díky tomu obsahuje možnost importovat z Twitteru i seznam vašich (či konkurenčních i jiných) následovníků, včetně detailů o jejich profilu.

Pro rychlejší stažení doporučuji povolit pro NodeXL přístup k vašemu Twitter účtu, podstatně se tak zvýší limit na počet dotazů do Twitter API.

Po stažení potřebných údajů smažte přebytečné listy a ponechte jenom list Vertices a smažte přebytečné sloupce.

Soubor si můžete uložit jako XLS, ale pro lepší výsledky při konverzi doporučuji zvolit formát TSV neboli textový soubor oddělený tabulátory.S ním budeme pracovat v dalším kroku. Tím bude import dat do Google Fusion Tables.

Vytváříme mapu
V dalším kroku naimportujeme TSV se seznamem svých followerů do webové služby Google Fusion Tables, která je primárně určena pro práci a vizualizaci větší souborů dat. V Gogle Drive zvolíme možnost vytvořit nový soubor, vybereme možnost Table a nahrajem soubor s daty.

Po úspěšném importu bychom měli vidět tabulku podobnou jako je tato:

Zkontrolujte v menu položku Edit -> Modify Columns, že má u sloupce Description nastavený typ na Location, případně ho na něj nastavte. Tím, se Google Fusion Table dozvědí, že mají interpretovat data v tomto sloupci jako data určující geolokaci. Nyní už jen stačí zvolit tu spravnou vizualizaci. V našem případě tedy v menu zvolit položku Visualize a v ní vybrat Map. Fusion Tables spusti analýzu pomoci Google Maps API (aniž by vám ubírali ovšem z denního limitu):

a po chvíli se můžete těšit z podobného výsledku jako já:

(větší verze)

Pokud jste hračičkové, můžete si s ním samozřejmě dál pohrát. Kupříkladu upravit šablonu pro popup okénko s detaily a podobně. Pro začátek to ovšem stačí.

Někdy příště se podíváme na to, jak získat kromě mapy i seznam GPS pozic a hlavně jak normalizovat data ze sloupce Location do jednotné podoby. Pomůže nám v tom další produkt společnosti Google jmémen Google Refine. Ale o tom zase jindy.

Statistiky pro tlačítko +1

Server Search Engine Land přinesl informaci, že Google už mj. uvolnil statistiky pro tlačítko +1. Najdete je ve nástroji Google Webmaster Tools přinášejí vám základní přehled o pluskování vašeho webu: vliv na vyhledávání, aktivitu a informace o návštěvnících.

Já mám zatím implementováné plusko jen na www.klaboseni.cz, takže údajů k analyzování zatím moc není. Zřejmě však přišel čas k masivnímu nasazení. Uvidíme, jak se to celé dál bude vyvíjet.

Google testuje nový vzhled

Zdá se, že Google začal testovat nový nový vzhled. Osobně mi přijde docela pěkný a evidentně se sjednocuje s Google plus. To by odpovídalo snaze Googlu zrušit rozdíl mezi "search" a "social".

Fonty, láska, moucha aneb nejen Google + je novinka

Blogy po celém světě plní informace o spuštění sociální sítě Google + a není divu, protože se jedná o událost očekávánou již delší dobu. Trochu tak zanikly další dvě novinky, které také Google včera spustil. První z ních je uvolnění 180 fontů pro web zdarma v rámci projektu Google web fonts. Na první pohled řada z nich vypadá docela dobře a lze je využít pro vložení do webových stránek.

Druhou novinkou je projekt What do you love? Který slouží jako jakási přehlídka mnoha oblastí, kde vám Google umožňuje pracovat. Na jednom místě tak vidít jak Google Trends, tak Google Search, stejně jako Google Video Chat. Vypadá to pěkně, až na jednu mušku. No, v Čechách spíš mouchu. Pokud totiž máte rádi Čechy nebo něco s diakritikou, tak mate smůlu. Viz přiložený screenshot...

Obě nové služby patří sice do kategorie maličkosti, ale stejně tak do kategorie potěší. Tak užívejte.

Pokutované pumpy a Google Fusion Tables

Mezi moje oblíbené technologie Google patří služba Google Fusion Tables, která umožňuje pracovat s velkými objemy dat. Funguje to velice prostě. Do GFT naimportujete CSV, XLS nebo Google Spreadsheet (limit je 100MB) a můžete začít. Buď různě agregovat nebo dotazovat. Přes API totiž máte k dispozici i jednoduchý SQL-like jazyk. Ostatně na YouTube nalezenete třeba toto instruktážní video.

Zajímavostí GFT je implementace geoparsingu. V praxi tak do GFT můžete například naimportovat seznam pump pokutovaných Českou obchodní inspekcí a ten snadno sdílet nebo vizualizovat na mapě.

Oba příklady máte zde:
Pokutované pumpy - Google Fusion Tables
Interkativní mapa s pokutovanými pumpami

Nebo můžete mapu rovnou vložit do stránek:


Pěkné, co říkáte?

UPDATE: zdá se, že geoparsing má ještě drobné chybky, viz pumpa na Staromáku. Díky za upozornění.

Pražská velká koalice a social network analysis

V posledním blogpostu jsem se tu vyznával k lásce k relativně nové vědní disciplíně jménem social network analysis. Teď se k ní opět vracím, protože mne přivedla k zajímavým obrázkům, které se týkají pražského magistrátu v minulosti, přitomnosti a zřejmě i budoucnosti. Nejdříve ale trocha teorie. Andrew Odewahn vytvořil před časem pozoruhodný projekt. Vizualizoval výsledky hlasování senátorů v americkém senátu během řady volebních období. Spojnici grafu pak stanovil tak, že senátor měl vazbu k jinému tehdy, pokud měli alespoň 65 procent stejných hlasování. Výsledek byl ohromující a můžete se na něj podívat třeba zde.

I napadlo mě udělat obdobnou analýzu i pro náš pražský magistrát. Na webu magistrátu sice nejsou výsledky hlasování k dispozici v strojově zpracovatelném formátu, ale díky šikovnosti programátorů se je podařilo stáhnout. Ondřej Nekola pak data z XML agregoval do GraphML, tedy formátu, se kterým je možné dál pracovat v NodeXL. Na rozdíl od Odewahna jsem nebyl na naše pražské konšele tak přísný a zvolil jsem hranici 75 procent shody v hlasováních. Proč tak vysoké číslo? Šlo mi o to, že v matici jsou započtena i hlasování o procedurálních otázkách. A teď ty výsledky?

Nejdřív surové grafy pro jednotlivé vlády


volební období 1998 - 2002


volební období 2002 - 2006


volební období 2006 - 2010

Co je na všech krásně vidět, je faktická roztříštěnost opozice na pražské radnici posledních 12 letech. Další informace ovšem vynikne, pokud v grafu ponecháme jen ty, co mají alespoň tři shody s ostatními. Vyloupnou se nám tak tvrdá hlasovací jádra.


volební období 1998 - 2002


volební období 2002 - 2006


volební období 2006 - 2010

Co z nich můžeme vyčíst? Především to, že v letech 1998 - 2006 tu vládla velká koalice. To není až tak zajímavé. Zajímavější ale již je, že ve všech třech obdobích byl na blízku vždy nějaký zastupitel komunistů, který rád pomohl s hlasováním. Dokonce i v období 2006 - 2010, kdy si zavdal jen jeden sociální demokrat. Podotýkám, že ačkoli komunisté nejsou oficiálně na magistrátu u moci, jejich role v kontrolním výboru je značná. Tolik k minulosti a přítomnosti.

Teď ale malá poznámka k budoucnosti. Nová koalice má velmi křehkou většinu, vzhledem k minulosti ale víme, že se umí domluvit a hlavně, že pokud bude zapotřebí, tak má zřejmě dobré zkušenosti s tichou podporou KSČM.

Identifikace komunity kolem účtu na Twitteru

Jak je možná patrno z některých mých zmínek na Twitteru, poslední dobou se zabývám intenzivně oblastí Social Network Analysis. Vděčím za to Petru Lupačovi, upozornil mne totiž na blog Jana Schmida, který se právě SNA věnuje. V analýze sociálních sítí se fakticky potkává sociologie s teorií grafů a vytvářejí nádherná intelektuální dobrodružství, mající využití v celé řadě oblastí. Navíc díky pokročilým nástrojům může základní analýzu dnes dělat i člověk, neseznamený dopodrobna se zákoutími matematiky. Já jsem se po kratším zkoumání zatím zastavil u nástroje NodeXL, který funguje mimo jiné i jako šablona do Excelu a je šířen pod GPL licencí.

Z mnoha dosavadních experimentů mi zatím přišel nejnázornější příklad hledání komunit mezi lidmi propojenými kolem twitter uživatele Stonome. Účet patří mému domovskému akademickému pracovišti, má 96 následovníků a sám následuje 41 uživatelů. Při importu do NodeXL je třeba zvolit i natažení hran, propojující jednotlivé následovníky, a následované účty mezi sebou. Ostatně více se dočete v dokumentaci, která je ke stažení na stránkách projektu.

Výsledný graf pak vypadá například takto:

(klikni pro větší)

Na první pohled docela chaos, že? Nicméně pomocí SNA si lze v celé věc sjednat poněkud lepší pořádek. Nás v tomto případě zajímá, zda ve změti následovníků a následovaných existují nějaké relevatní komunity. To můžeme zjistit pomocí hledání klastrů v grafu. V našem případě jsem zvolil takzvaný Girvan–Newman algoritmus a výsledek vypadá o kousek lépe.

(klikni pro větší)

Barvy tu odlišují několik komunit, ale stále je to poněkud nepřehledné. Pro lepší výsledek tedy odstraníme z grafu samotný účet Stunome (jde nám o komunitu okolo něj, ne o něj samotný) a potlačíme všechny úzly, které mají tři a méně propojení s okolím. Výsledek teď vypadá o moc lépe:

(klikni pro větší)

Vcelku zřetelně se nám vydělila modrá skupina. Tu tvoří především studenti magisterského a doktorandského studia na SNM, potažmo UISKu. Vyjímky jsou případy členství v jiné komunitě, která se překrývá s komunitou SNM. Příkladem může být účet mého kolegy z práce aborym, propojený s účtem našich studentů adbara a zbiejczuka. Pěkně se také vydělila oranžová komunita lidí z "branže" jako je marek_baco a perlino. Zelené spojnice ukazují na dvě studentky prvního ročníku, které zatím do modré komunity vplouvají.

Jako finální perličku ještě můžeme náš graf obohatit o nějaké zvýraznění dominantnosti postavení ve skupině. NodeXL nabízí kupříklad eigenvector, který se snaží vyjádřit centrálnosti uzlů pro celek grafu. Tedy přibližně řečeno: kdo má nejvíce nejblíže ke všem ostatním. Výsledek aplikace vidíte na posledním grafu:

(klikni pro větší)

Krásné je, jak v modré komunitě dobře vidíme její husté propojení, zvlášť kolem studentů druhého ročníku, který v zásadě představuje hledané jádro studentů a učitelé SNM na Twitteru. Pokud se teď vrátíte k původnímu grafu musíte uznat, že pár tahy jsme se posunuli do velmi zajímavého místa, kdy jsme zcela formálním postupem rozklíčovali užitečnou informaci.

Jak hledat telefonní čísla na Facebooku

Často se hovoří o problému bezpečnosti osobních dat na síti Facebook. Méně často se ale mluví o tom, že zneužitelná data musíte nejdřívě sami na Facebook dát a jeden se diví, co všechno jsou ochotni uživatele na svou zeď napsat. Já například zkusil hleda předčíslí mobilního čísla 608. (přímý link). Nestačil jsem se divit, kolik lidí píše na své zdi čísla mobilů. V kombinaci s tím, že mají většinou veřejné profily, jsou idealním terčem pro telesales... A to v lepším případě.

100 milionů facebookových účtů a jak to bylo ve skutečnosti

Média zachvátila horečka. Z Facebooku prý unikly údaje o 100 milionech uživatelů. O tempora o mores!. Zlí hackeři v akci. Jaká je ale realita? Nejsem odborník na bezpečnost, ale relativně se vyznám v data (web, text) miningu. V Ataxu Interactive mám na starost nejen projekt www.klaboseni.cz, ale hlavně vývoj produktu Ataxo Social Insider, který se právě monitoringu komunikace na sociálních sítí věnuje a to včetně data miningu. A tak jsem sedl, hledal a našel...

Pravda je banální. Počítačový odborník jménem Ron Bowes napsal malý program, který automatizoval stáhování dat o uživatelích Facebooku. Program to byl poměrně old school viz dále a Bowes nevyužil Open Graph API (to je limitováno 100 dotazy za hodinu na jednu IP adresu, mrk, mrk pane Dočekale), ale šel cestou, které se říka scrapování stránek. Zachoval se vlastně jako běžný internetový vyhledávač, jen se soustředil na Facebook. Stažené údaje publikoval prostřednictvím sítě torrentové služby. Údaje jsou samy o sobě neškodné, jen propojují jméno uživatele a čísla na FB. Jak to kdosi komentoval na Twitteru: v telefoním seznamu je o vás víc informací.

Momentálně je originální blogpost nedostupný, stejně jako zdrojový kód, který bylo použit. Proto jeho hlavní část přetiskuji z cache Googlu pod článkem. (až bude opět dostupný, smažu ho). Stejně jako jsem umístil na Paste Code zdrojový kód programu, který použil. Když si ho projdete, zjistite jediné: ten člověk měl prostě dobrý nápad jak strojově vyškrabat veřejně přístupná data. Mimochodem pokud je na jeho činnosti něco nelegální, proč rovnou nekřičet na Google nebo Yahoo? Navíc Yahoo Boss Search API vám zajistí přístup ještě luxusnější.

Co z celé pseudokauzy plyne? V zásadě nic nového:

- drtivá většina novinářů nerozumí tomu o čem píše (zdravím novinky.cz)
- pokud už mají aspoň elementární znalost, neobtěžují se jít ke kořenů věcí (pooh.cz)
- a konečně Facebook je dnes stejně milován bulvárem jako velká hudební stár a tak podobných mediálních kravin můžeme čekat ještě víc

To je vše.

P.S. A ještě slibená podstatná část původního blogpostu Rona Bowese:

Return of the Facebook Snatchers

Background

Way back when I worked at Symantec, my friend Nick wrote a blog that caused a little bit of trouble for us: Attack of the Facebook Snatchers. I was blog editor at the time, and I went through the usual sign off process and, eventually, published it. Facebook was none too happy, but we fought for it and, in the end, we got to leave the blog up in its original form.

Why do I bring this up? Well last week @FSLabsAdvisor wrote an interesting Tweet: it turns out, by heading to https://www.facebook.com/directory, you can get a list of every searchable user on all of Facebook!

My first idea was simple: spider the lists, generate first-initial-last-name (and similar) lists, then hand them over to @Ithilgore to use in Nmap's awesome new bruteforce tool he's working on, Ncrack.

But as I thought more about it, and talked to other people, I realized that this is a scary privacy issue. I can find the name of pretty much every person on Facebook. Facebook helpfully informs you that "[a]nyone can opt out of appearing here by changing their Search privacy settings" -- but that doesn't help much anymore considering I already have them all (and you will too, when you download the torrent). Suckers!

Once I have the name and URL of a user, I can view, by default, their picture, friends, information about them, and some other details. If the user has set their privacy higher, at the very least I can view their name and picture. So, if any searchable user has friends that are non-searchable, those friends just opted into being searched, like it or not! Oops :)

The lists

Which brings me to the next topic: the list! I wrote a quick Ruby script (which has since become a more involved Nmap Script that I haven't used for harvesting yet) that I used to download the full directory. I should warn you that it isn't exactly the most user friendly interface -- I wrote it for myself, primarily, I'm only linking to it for reference. I don't really suggest you try to recreate my spidering. It's a waste of several hundred gigs of bandwidth.

The results were spectacular. 171 million names (100 million unique). My original plan was to use this list to generate a list of the top usernames (based on first initial last name):

129369 jsmith
79365 ssmith
77713 skhan
75561 msmith
74575 skumar
72467 csmith
71791 asmith
67786 jjohnson
66693 dsmith
66431 akhan

Or first name last initial:

100225 johns
97676 johnm
97310 michaelm
93386 michaels
88978 davids
85481 michaelb
84824 davidm
82677 davidb
81500 johnb
77800 michaelc

Or even the top usernames based on first name dot last name (sorry, I can't link this one due to bandwidth concerns; but it's included in the torrent):

17204 john.smith
7440 david.smith
7200 michael.smith
6784 chris.smith
6371 mike.smith
6149 arun.kumar
5980 james.smith
5939 amit.kumar
5926 imran.khan
5861 jason.smith

Or even the most common first or last names:

977014 michael
963693 john
924816 david
819879 chris
640957 mike
602088 james
584438 mark
515686 jason
503658 robert
484403 jessica

913465 smith
571819 johnson
512312 jones
503266 williams
471390 brown
386764 lee
360010 khan
355639 singh
343220 kumar
324972 miller

So, those are the top 10 lists. But I'll bet you want everything!

The Torrent

But it occurred to me that this is public information that Facebook puts out, I'm assuming for search engines or whatever, and that it wouldn't be right for me to keep it private. Why waste Facebook's bandwidth and make everybody scrape it, right?

So, I present you with: a torrent! If you haven't download it, download it now! And seed it for as long as you can.

This torrent contains:

* The URL of every searchable Facebook user's profile
* The name of every searchable Facebook user, both unique and by count (perfect for post-processing, datamining, etc)
* Processed lists, including first names with count, last names with count, potential usernames with count, etc
* The programs I used to generate everything

So, there you have it: lots of awesome data from Facebook. Now, I just have to find one more problem with Facebook so I can write "Revenge of the Facebook Snatchers" and complete the trilogy. Any suggestions? >:-)

Limitations

So far, I have only indexed the searchable users, not their friends. Getting their friends will be significantly more data to process, and I don't have those capabilities right now. I'd like to tackle that in the future, though, so if anybody has any bandwidth they'd like to donate, all I need is an ssh account and Nmap installed.

An additional limitation is that these are only users whose first characters are from the latin charset. I plan to add non-Latin names in future releases.

Výsledky crowdsourcingového výzkumu pro předpověď voleb do PSP

Konečně můžu uvolnit výsledky crowdsourcingového výzkumu, který jsme provedli se studenty Studia nových médií 18. května 2010. Cílem bylo jednak ověřit Surowieckého teorii o moudrosti davu a za druhé udělat kontrolní měření pro experimenty Adama Javůrka z projektu NextBig www.100chytrych.cz

Experiment SNM stál na 350 odpovědích náhodně získaných v ulicích Prahy. Otázka zněla: Které strany se podle Vás dostanou do parlamentu? A kolik získají procent. Po odfiltrování evidentních mašíblů zbylo 190 odpovědí. Pak už jsme jen spočítali výsledná čísla.

strana	náš výzkum	skutečný výsledek
ČSSD	27,3	22
ODS	24,6	20,2
TOP 09	12,7	16,7
KSČM	12,2	11,2
VV	8	10,8

Předběžně: podařilo se nám trefit pořadí, procenta však nikoli. Otázkou je proč. Jednou z možností je, že lidé nemuseli nic investovat do svých odpovědí (například sázku) a tak projikovali svá přáním. Zkusíme to ověřit při podzimních volbách. O dalších poznatcích budu určitě informovat.

The Mechanical Cinderella na GUGcampu

Před pár týdny jsme byl prezentovat Mechanickou Popelku na českém GUGcampu. Záznam prezentace je již dostupný na YouTubu a já ho zde jen vkládám.

Populární stránky podle Facebooku

Facebook spustil včera celou řadu nových funkcí, které narušují hranici mezi Facebookem a okolním webem. Pro mne osobně je velice zajímavá funkce Recommendations. Jedná se o jednoduchý widget, který má na vstupu URL webu a na výstupu seznam aktuálně nejvíc sdílených (a zřejmě i dobře hodnocených) stránek ze zadaného webu.

Zajímavé ale je, že nemusíte nutně vložit jen svoje URL, ale i cizí. Uvidíte tak seznam populárních podstránek webů, které vám nepatří. Vybírány jsou zřejmě buď podle vašich přátel v případě, že jste přihlášeni nebo z celého okruhu Facebooku. V praxi tak můžete například jednoduše testovat, které články ze zpravodajských serverů jsou momentálně nejvíce populární. Ve chvíli kdy píšu tenhle text, tak na Novinkách celkově kraluje článek Autorům South Parku hrozí smrt kvůli dílu s prorokem Mohamedem.

Pokud vás tedy zajímá, co zajímá dav, tak máte v ruce ideální nástroj. A Facebook zřejmě zase získal další střípek do mozaiky jménem personalizovaná reklama.

Google: Na rychlosti záleží

Včera potvrdil oficiální blog Googlu, že rychlost načítání vaší stránky je součástí jejího rankingu a tudíž je důležitá pro umístění stránek ve vyhledávači. Zároveň doporučil několik nástrojů pro měření rychlosti načítání a případné návrhy jak načítání urychlit. Mezi nástroji je i funkce z Labu Google Webmaster Tools, která automaticky vytváří přehled o rychlosti stránek a to včetně porovnání s rychlostí jiných stránek v internetu.

Zároveň ale Google v postu uvádí, že změna se týká hodnocení méně než 1 procenta stránek a že je v provozu již několik týdnu. Jak tedy říká Matt Cuts na svém blogu: pokud si toho moc lidí do teď nevšimlo, tak to zas tak převratná změna není. Nicméně z mého pohledu by to mohlo přivést tvůrce stránek, aby se více zabývali na jakých serverech běží jejich aplikace a vyvinuli tlak na hostingové firmy směrem k zlepšení.

Krize končí? Google si to nemyslí

Google Insight je služba, která dává uživatelům představu o tom, jak moc bylo klíčové slovo v minulosti hledáno na Googlu. Nabízí i komfortní zobrazení grafů a možnost filtrovat výsledky podle zemí a podobně. O užitečnosti této aplikace se můžete přesvědčit ve dvou studiích: americké Predicting the Present with Google Trends a německá Google Econometrics and Unemployment Forecasting.

V té první výzkumníci z Googlu ukazují, jak jsou si podobné křívky hledání z ekonomických oblastí a skutečné výsledky jednotlivých segmentů, ba co víc jak spolu vzájemně souvisí hospodářské výsledky firem a vyhledávání jejich výrobků. Podobnost jde tak daleko, že podle hledání jde předpovídat do jaké země budou lidé jezdit na dovolenou. Německá studie nás bude zajímat o něco více. Odborníci z Forschungsinstitut zur Zukunft der Arbeit v ní ukazují, jak hledání inzerátů práce dokáže přepovídat skutečný stav nezaměstnanosti v Německu. Jak to může fungovat? Poměrně jednoduše: co hledáme na internetu, hledáme z nějakých reálných důvodů. Pokud se poohlížeme po práci, zřejmě jí chcem změnit.

Mimochodem uvedené práce vznikaly před tím, než Google doplnil Insight o novou vlastnost, kterou je schopnost předpovídat jak se bude křivka hledání v budoucnu pohybovat v závislosti na svém minulém průběhu. Nechme stranou teorii, jak je to možné a zkusme se podívat na analytické možnosti, které tato volba nabízí v kontextu ekonomické krize. Dopředu říkám, že to nejsou data moc optimistická.

Začněme nejdříve bez předpovědí. Podle informací, které přinesl server Novinky, v roce 2009 překročil počet exekucí 1.000.000, v roce 2008 to bylo 550.000 a v roce 2007 428.000.

Pokud se podívate na křivku hledání slova "exekuce", tak zcela věrně kopíruje tento trend.

Leden 2010 má skoro dvojnásobek hledání oproti lednu 2009.

To ovšem není vše. Podívejme se, jak vypadá hledání klíčového slova "volná místa" i s předpovědí:

Vidíme, že předpověď ukazuje víceméně stejný průběh pro rok 2010, jako byl v roce 2009. Podobně stagnuje i trend pro klíčová slova "hledám práci"

Pro rok 2010 nás tedy podle Googlu žádné zlepšení nečeká. Začínáme skoro na deseti procentech nezaměstnaných a stejně tak s nimi i zřejmě skončíme. Mimochodem v tom se Google Insight shoduje i s předpověďmi ekonomů. Pokud chceme nepřímé potvrzení této teorie, tak můžeme zkusit vyhledávání slova "psycholog". Je obecně známo, že v době krize roste potřeba psychologické porady, takže pokud je zde zřejmá souvislost, měl by s ní souviset i počet hledání psychologů. Je to tak? Je!

Dobře: čeká nás rok nezaměstnanosti a šetření. Jak to bude vypadat? Kupříkladu lehce poklesne zájem o dovolené:






a v Egyptě se jich zřejmě bude konat o něco míň:

A opět: analytici si to myslí také,

Vyhlídka jsou to nevábné. Na faktu, že letošní rok nebude o nic lepší než minulý, ba zřejmě o něco horší nic nezmění ani volby. Možná o to pečlivěji bychom se měli rozhodovat.

Na závěr se ale sluší dodat nějakou tu pozitivní zprávu. Zkusím to: pokud skutečně fungují předpovědi a měření na základě našeho hledání ve vyhledávačích, dostáváme zajímavý a důležitý klíč ke kolektivnímu vědomí a to je fajn.

P.S. Data jsem sbíral 5.4. 2010 Google je může dál zpřesňovat a měnit.

Google přestal s cenzurou v Číně

Google přestal dnes cenzurovat výsledky hledání ve své čínské mutaci na adresa www.google.cn. Splnil tak své výhružky a navíc velice elegantně. Zájemce o hledání přesměruje na svou hongongskou verzi, která není cenzurovaná. Ve finále to tedy bude Čína, kdo zamezí hledání na Googlu, nikoli společnost sama. Elegantní. Další informace najdete na oficiálním blogu Googlu.

Filmy zdarma III. - Surrealismus

Dnešní filmový pátek věnujeme surrealismu a jeho hlavním protagonistům ve filmu. Luise Buňuel, Salvador Dalí, René Clair a Man Ray jsou naši dnešní hrdinové. Černým koněm vzadu pak Walt Disney, který inicioval společná projekt se Salvatorem Dalí v roce 1946 pod názvem Destino. Ten byl dokončen až v roce 2003 a režii se ujal Dominique Monfery.


Entr'acte (1924)
Režie: René Clair
http://video.google.com/videoplay?docid=-1790665857858342084
http://www.imdb.com/title/tt0014872/
IMDB: 7.7/10

L'Étoile de mer (1928)
Režie: Man Ray
http://www.youtube.com/watch?v=PODxAXZqfKU
http://www.youtube.com/watch?v=EClBiWiMIGo&feature=related
http://www.imdb.com/title/tt0146367/
IMDB: 7.5/10

Un chien andalou (1929)
Režie: Luis Buñuel a Salvador Dalí
http://video.google.com/videoplay?docid=3629815223183267424
http://www.imdb.com/title/tt0020530/
IMDB: 8.0/10

L'Âge d'or (1930)
Režie: Luis Buñuel a Salvador Dalí
http://video.google.com/videoplay?docid=7633509394552540790
http://www.imdb.com/title/tt0021577/
IMDB: 7.7/10

Destino (2003)
Režie: Dominique Monfery
http://www.youtube.com/watch?v=UzzZa5o1q5k
http://www.imdb.com/title/tt0377770/
IMDB: 8.1/10

Testuje Google nový design?

UPDATE: Tak z mého počítače se lze na nový design dostat přes tuto URL: http://www.google.com/webhp?hl=en&safe=off&aq=f&aqi=g10&oq=

Původní text: Před malou chvilkou se mi objevily výsledky hledání na Google v tomto designu:



Ale už je to zase pryč. Zdá se, že Google přikračuje k dalšímu redesignu. Uvidíme.

Google cenzuruje hledání hlasem

Minulý týden se objevila možnost posílat buzzy prostřednictvím Google Voice Search. Funguje to i na iPhone, pokud máte aplikaci nainstalovánou. Neodolal jsem a vyzkoušel to. Princip je prostý, stačí říct "post buzz" a pak svůj post. GVS rozpozná, že mu dáváte pokyn k buzzování a přepíše vaše slova. Jaké překvapení mne ale čekalo, když jsem zkusil postnout nespisovný výkřik: "You motherfucker!"




Vidíte? Google nahradil slovo "fucker". Po chvilce experimentování jsem zjistil, že se to netýká jen postování buzzů, ale také vyhledávání slova jako motherfucker, fuck off či piece of shit prostě tohle cestou nenajdete:

Filmy zdarma II. - Ruská avantgarda

Je tu pátek a s ním pokračování seriálu o filmech volně dostupných na serverech Googlu. Dnes jsem pro vás vyhledal porci ruské filmové avangardy a jejich hlavních akterů: Ejzenštejna, Pudovkina a Vertova. Doufám, že se vám budou líbit.

Броненосец Потёмкин / Battleship Potemkin (1925)
Režie: Sergej Ejzenštejn
http://video.google.com/videoplay?docid=-1630669376406423668&ei=wB-aS6D1MZnk2gLhyuD3DA&q=potemkin&view=3&dur=3#
http://www.imdb.com/title/tt0015648/
IMDB: 8.1/10

Октябрь / October (1928)
Režie: Sergej Ejzenštejn
http://video.google.com/videoplay?docid=1264898891656456473&ei=KyGaS8aNCJCM2ALb_JH8DA&q=eisenstein&view=3&dur=3#
http://www.imdb.com/title/tt0018217/
IMDB: 7.8/10


Стачка / Strike (1925)
Režie: Sergej Ejzenštejn
http://video.google.com/videoplay?docid=-5619972126280085254&ei=5yGaS9WeJJvu2AKxgcHeDA&q=eisenstein&view=3&dur=3#
http://www.imdb.com/title/tt0015361/
IMDB: 7.8/10

Мать / Mother (1926)
Režie: Vsovold Pudovkin
http://video.google.com/videoplay?docid=-7787303432302951458&ei=_R-aS-n9OY-M2ALUyeXuDA&q=Pudovkin&view=3&dur=3#
http://www.imdb.com/title/tt0017128/
IMDB: 7.8/10

Человек с Киноаппаратом / Man with A Movie Camera (1929)
Režie: Dziga Vertov
http://video.google.com/videoplay?docid=-2809965914189244913&ei=KiCaS7fNL5zw2ALkq7j-DA&q=Dziga+Vertov&view=3&dur=3#docid=-7991379281115932333
http://www.imdb.com/title/tt0019760/
IMBD: 8.3/10