Natural Language Text Classifier

This is a demonstration of a Natural Language Processing (NLP) algorithm to determine the natural language (English, French, etc) that a document is written in.

I leaned of this algorithm from Louis Monier, who said he originally used this in AltaVista. The algorithm seems to be ~90% accurate with 100 or more characters of text, and is no more accurate after ~2000 characters. It's currently limited to 11 common European languages, but could be trained to identify more.

To try the code, either enter a URL or the text of a document below and click 'Submit'.

Test Links for known languages: en nl fr de it pt es
Test Links for unknown languages: pl ru ja

Input

Wikipédia, a enciclopédia livre Página principal Origem: Wikipédia, a enciclopédia livre. Ir para: navegação, pesquisa Bem-vindo(a) à Wikipédia, a enciclopédia livre que todos podem editar. 16h45min (UTC); quarta-feira, 8 de setembro de 2010 610 505 artigos (40 bons e 282 destacados) em português. Portais · Índice geral · Ajuda Guia · Perguntas frequentes · Comunidade · Políticas da Wikipédia · Doações · WAP · Acessibilidade · Contato Artigo em destaque Lisa Gherardini (Florença, 15 de junho de 1479 - Florença, 1 de julho de 1542 ou 1551) também conhecida como Lisa del Giocondo, Lisa di Antonio Maria (ou Antonmaria) ou Mona Lisa era um membro da família Gherardini de Florença e da Toscana. Seu nome foi dado ao quadro Mona Lisa, trabalho encomendado por seu marido a Leonardo Da Vinci durante a Renascença italiana. Pouco se sabe de sua vida. Nascida em Florença, na Itália, casada ainda adolescente com um mercador de têxteis e de sedas, que viria a tornar-se uma autoridade local, era mãe de seis filhos e levava uma vida normal e comum da classe média da época, sendo bem mais jovem que seu marido. Séculos após sua morte, o quadro que a retrata, Mona Lisa, viria a ser a mais famosa pintura do mundo e com uma vida à parte de Lisa, a mulher. Especulações de estudiosos fizeram da obra de arte um ícone reconhecido mundialmente e um objeto de comercialização. Em 2005, Lisa foi definitivamente identificada como sendo a Mona Lisa. (leia mais...) Neste dia... 8 de Setembro: Dia da independência da Macedónia/Macedônia (da Jugoslávia/Iugoslávia, 1991). 1793 - Primeiro Círio de Nossa Senhora de Nazaré, em Belém do Pará. 1944 - Primeiro ataque das bombas voadoras alemãs V-2 (na imagem) contra Londres. 1974 - Richard Nixon é perdoado pelo presidente Gerald Ford. Nasceram neste dia... 1157 - Ricardo Coração de Leão, rei de Inglaterra (m. 1199). 1925 - Peter Sellers, ator britânico (m. 1980). 1971 - David Arquette, ator estadunid...

Output

The natural language is not en, with margin of confidence 0.146. (Took 6.790 milliseconds.)
The natural language is pt, with confidence 0.087. (Took 23.187 milliseconds.)
Note: Natural languages known about are (it, fr, de, sv, fi, es, pt, el, da, nl, en) and confidence ranges from 0.0 to 1.0.