Natural Language Text Classifier

This is a demonstration of a Natural Language Processing (NLP) algorithm to determine the natural language (English, French, etc) that a document is written in.

I leaned of this algorithm from Louis Monier, who said he originally used this in AltaVista. The algorithm seems to be ~90% accurate with 100 or more characters of text, and is no more accurate after ~2000 characters. It's currently limited to 11 common European languages, but could be trained to identify more.

To try the code, either enter a URL or the text of a document below and click 'Submit'.

Test Links for known languages: en nl fr de it pt es
Test Links for unknown languages: pl ru ja

Input

Wikipedia, wolna encyklopedia Strona główna Z Wikipedii, wolnej encyklopedii Skocz do: nawigacji, szukaj Witaj w Wikipedii – wolnej encyklopedii, którą każdy może redagować. W polskojęzycznej wersji mamy już 726 422 hasła. Jak wykorzystywać materiały z Wikipedii? • Jak włączyć się w jej redagowanie? Nauki ścisłe i przyrodnicze   Technika   Nauki społeczne i humanistyczne   Geografia   Historia   Sport Kultura   Społeczeństwo   Religie   Polska     Więcej portali • Indeks haseł • Przegląd kategorii Aktualności US Open • Mistrzostwa Świata w koszykówce mężczyzn  W Mołdawii odbyło się referendum konstytucyjne. (5 września 2010) Erupcja wulkanu Sinabung na Sumatrze spowodowała ewakuację ponad 19 tys. osób. (29 sierpnia 2010) W wieku 67 lat zmarł francuski reżyser Alain Corneau (na zdjęciu). (29 sierpnia 2010) Kenijczyk David Rudisha podczas mityngu Rieti IAAF Grand Prix, wynikiem 1:41,01, poprawił własny rekord świata w biegu na 800 metrów. (29 sierpnia 2010) Zaproponuj nową wiadomość Więcej wiadomości: w Wikipedii, w Wikinews Wybrane rocznice 8 września: imieniny obchodzą Maria, Serafina, Alan Kościół katolicki – święto Narodzenia Najświętszej Maryi Panny (Matki Bożej Siewnej) ONZ – Międzynarodowy Dzień Walki z Analfabetyzmem 1504 – Michał Anioł ukończył rzeźbę Dawida. 1514 – siły polsko-litewskie pokonały wojska moskiewskie w bitwie pod Orszą. 1780 – zmarł Tadeusz Rejtan, działacz patriotyczny i poseł na sejm. 1831 – powstanie listopadowe: kapitulacja Warszawy. 1944 – pierwsza niemiecka rakieta V2 uderzyła w Londyn. Inne rocznice: 7 września – 8 września – 9 września Archiwum • Kalendarium Ilustracja na medal Samorodek platyny Zobacz, czego brakuje, prześlij grafikę i → zilustruj artykuł Archiwum • Wszystkie medalowe • Zgłoś do medalu Czy wiesz... Z nowych artykułów w Wikipedii: ...kto...

Output

The natural language is not en, with margin of confidence 0.206. (Took 5.841 milliseconds.)
The natural language is pt, with confidence 0.011. (Took 19.119 milliseconds.)
Note: Natural languages known about are (it, fr, de, sv, fi, es, pt, el, da, nl, en) and confidence ranges from 0.0 to 1.0.