Natural Language Text Classifier

This is a demonstration of a Natural Language Processing (NLP) algorithm to determine the natural language (English, French, etc) that a document is written in.

I leaned of this algorithm from Louis Monier, who said he originally used this in AltaVista. The algorithm seems to be ~90% accurate with 100 or more characters of text, and is no more accurate after ~2000 characters. It's currently limited to 11 common European languages, but could be trained to identify more.

To try the code, either enter a URL or the text of a document below and click 'Submit'.

Test Links for known languages: en nl fr de it pt es
Test Links for unknown languages: pl ru ja

Input

Wikipedia, de vrije encyclopedie Hoofdpagina Uit Wikipedia, de vrije encyclopedie Ga naar: navigatie, zoeken Welkom op Wikipedia De vrije encyclopedie Overzicht van portalen De Nederlandstalige Wikipedia telt op dit moment 637.787 artikelen. Help ook mee door artikelen te starten, te verbeteren of uit te breiden.     Uitgelicht De Nachtwacht is de naam die het grote publiek geeft aan het bekendste schilderij van Rembrandt van Rijn. Rembrandt schilderde het van 1640 tot 1642. De officiële naam luidt: De compagnie van kapitein Frans Banning Cocq en luitenant Willem van Ruytenburgh maakt zich gereed om uit te marcheren. Door vervuiling en verkleuring van de vernislaag werd het schilderij in de loop van de 18e en 19e eeuw steeds donkerder. In werkelijkheid heeft Rembrandt een scène bij daglicht weergegeven. Het meesterwerk is eigendom van de gemeente Amsterdam en is in eeuwige bruikleen aan het Rijksmuseum aldaar. Het geheel wekt de indruk van een momentopname – zeer ongewoon voor die tijd. (Lees verder)     Actueel 6 september – CDA-politicus Ab Klink stapt op als lid van de Tweede Kamer, nadat hij in conflict is geraakt met zijn fractieleden tijdens de Nederlandse kabinetsformatie over de wenselijkheid tot samenwerking met de PVV. 5 september – In Moldavië wordt een referendum gehouden waarbij de bevolking wordt gevraagd of zij instemt met directe verkiezing van de president, maar omdat slechts 30% van de kiezers komt opdagen is de volksraadpleging ongeldig. Momenteel wordt in Moldavië de president door het parlement verkozen. 4 september – Een zware aardbeving treft het Nieuw-Zeelandse Zuidereiland en richt veel schade aan in de stad Christchurch. 2 september – In Washington D.C. beginnen nieuwe vredesbesprekingen tussen de Israëlische premier Netanyahu en de Palestijnse leider Abbas. 2 september – Onderzoekers van de Amerikaanse Columbia-universiteit verklaren dat de strenge winter van 2009-2010 veroorzaakt werd door de toevallige samenloop van twee weerkundige fenomenen: El N...

Output

The natural language is not en, with margin of confidence 0.095. (Took 109.535 milliseconds.)
The natural language is nl, with confidence 0.211. (Took 22.631 milliseconds.)
Note: Natural languages known about are (it, fr, de, sv, fi, es, pt, el, da, nl, en) and confidence ranges from 0.0 to 1.0.