Codificações de caracteres em HTML

Enquanto a linguagem de marcação de hipertexto (HTML) está em uso desde 1991, o HTML 4.0 de dezembro de 1997 foi a primeira versão padronizada em que os caracteres internacionais receberam um tratamento razoavelmente completo. Quando um documento HTML inclui caracteres especiais fora do intervalo de ASCII de sete bits, vale a pena considerar dois objetivos: a integridade da informação e a exibição universal do navegador.

Especificando a codificação de caracteres do documento

Existem duas maneiras gerais de especificar qual codificação de caracteres é usada no documento.

Primeiro, o servidor web pode incluir a codificação de caracteres ou "charset" no cabeçalho Content-Type do Hypertext Transfer Protocol (HTTP), que normalmente se pareceria com isto:

Content-Type: texto/html; charset=utf-8

Este método fornece ao servidor HTTP uma maneira conveniente de alterar a codificação do documento de acordo com a negociação de conteúdo; certo software de servidor HTTP pode fazê-lo, por exemplo Apache com o módulo mod_charset_lite.

Em segundo lugar, uma declaração pode ser incluída no próprio documento.

Para HTML é possível incluir esta informação dentro do elemento head próximo ao topo do documento:

<meta http-equiv= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = ="Conteúdo-Tipo" conteúdo= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = ="texto/html; charset=utf-8">

HTML5 também permite que a seguinte sintaxe signifique exatamente o mesmo:

<meta charset= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = ="utf-8">

Documentos XHTML possuem uma terceira opção: expressar a codificação de caracteres via declaração XML, como segue:

Com esta segunda abordagem, como a codificação de caracteres não pode ser conhecida até que a declaração seja analisada, há um problema em saber qual codificação de caractere é usada no documento até e incluindo a própria declaração. Se a codificação de caracteres for uma extensão ASCII, o conteúdo até e incluindo a própria declaração deve ser ASCII puro e isso funcionará corretamente. Para codificações de caracteres que não são extensões ASCII (ou seja, não um superconjunto de ASCII), como UTF-16BE e UTF-16LE, um processador de HTML, como um navegador da Web, deve ser capaz de analisar a declaração em alguns casos por meio do uso de heurísticas.

Algoritmo de detecção de codificação

A partir do HTML5, o conjunto de caracteres recomendado é UTF-8. Um "algoritmo de detecção de codificação" é definido na especificação para determinar a codificação de caracteres do documento com base em várias fontes de entrada, incluindo:

1. Instrução de usuário explícita
2. Uma meta tag explícita dentro dos primeiros 1024 bytes do documento
3. Uma marca de ordem byte (BOM) nos três primeiros bytes do documento
4. O conteúdo HTTP-Tipo ou outras informações da camada de transporte
5. Análise dos bytes do documento que procuram sequências ou intervalos específicos de valores byte, e outros mecanismos de detecção tentativa.

Caracteres fora do intervalo ASCII imprimível (32 a 126) geralmente aparecem incorretamente. Isso apresenta poucos problemas para usuários que falam inglês, mas outros idiomas regularmente - em alguns casos, sempre - exigem caracteres fora desse intervalo. Em ambientes de idioma chinês, japonês e coreano (CJK), onde há várias codificações multibyte diferentes em uso, a detecção automática também é frequentemente empregada. Finalmente, os navegadores geralmente permitem que o usuário substitua o rótulo do conjunto de caracteres incorreto manualmente também.

É cada vez mais comum que sites multilíngues e sites em idiomas não ocidentais usem UTF-8, que permite o uso da mesma codificação para todos os idiomas. UTF-16 ou UTF-32, que também podem ser usados para todos os idiomas, são menos usados porque podem ser mais difíceis de manusear em linguagens de programação que assumem uma codificação de superconjunto ASCII orientada a bytes e são menos eficientes para texto com uma alta frequência de caracteres ASCII, que geralmente é o caso de documentos HTML.

A visualização bem-sucedida de uma página não é necessariamente uma indicação de que sua codificação foi especificada corretamente. Se o criador e o leitor da página estiverem assumindo alguma codificação de caracteres específica da plataforma e o servidor não enviar nenhuma informação de identificação, o leitor verá a página como o criador pretendia, mas outros leitores em diferentes plataformas ou com diferentes idiomas nativos não verão a página como pretendido.

Codificações permitidas

O padrão de codificação WHATWG, referenciado por padrões HTML recentes (o atual WHATWG HTML Living Standard, bem como o W3C HTML 5.0 e 5.1 anteriormente concorrentes) especifica uma lista de codificações que os navegadores devem suportar. Os padrões HTML proíbem o suporte de outras codificações. O Padrão de Codificação estipula ainda que novos formatos, novos protocolos (mesmo quando formatos existentes são usados) e autores de novos documentos devem usar exclusivamente UTF-8.

Além do UTF-8, as seguintes codificações são explicitamente listadas no próprio padrão HTML, com referência ao Padrão de Codificação:

As seguintes codificações adicionais estão listadas no Padrão de Codificação e, portanto, o suporte para elas também é necessário:

As seguintes codificações são listadas como exemplos explícitos de codificações proibidas:

O padrão também define uma "substituição" decodificador, que mapeia todo o conteúdo rotulado como certas codificações para o caractere de substituição (�), recusando-se a processá-lo. O objetivo é evitar ataques (por exemplo, cross site scripting) que podem explorar uma diferença entre o cliente e o servidor em quais codificações são suportadas para mascarar o conteúdo malicioso. Embora a mesma preocupação de segurança se aplique a ISO-2022-JP e UTF-16, que também permitem que sequências de bytes ASCII sejam interpretadas de maneira diferente, essa abordagem não foi considerada viável para eles, pois são comparativamente mais usados em conteúdo implantado. As seguintes codificações recebem esse tratamento:

Referências de personagens

Além das codificações de caracteres nativos, os caracteres também podem ser codificados como referências de caracteres, que podem ser referências de caracteres numéricos (decimal ou hexadecimal) ou entidade de caractere referências. As referências de entidades de caracteres também são às vezes chamadas de entidades nomeadas ou entidades HTML para HTML. O uso de referências de caracteres do HTML deriva do SGML.

Referências de caracteres HTML

Uma referência de caractere numérico em HTML refere-se a um caractere por seu Conjunto de Caracteres Universal/Unicode ponto de código e usa o formato

&#nnnn;

ou

&#xhhhh;

onde nnnn é o ponto de código na forma decimal e hhhh é o ponto de código na forma hexadecimal. O x deve ser minúsculo em documentos XML. O nnnn ou hhhh pode ser qualquer número de dígitos e pode incluir zeros à esquerda. O hhhh pode misturar maiúsculas e minúsculas, embora maiúsculas seja o estilo usual.

Nem todos os navegadores da web ou clientes de e-mail usados por receptores de documentos HTML, ou editores de texto usados por autores de documentos HTML, serão capazes de renderizar todos os caracteres HTML. A maioria dos softwares modernos é capaz de exibir a maioria ou todos os caracteres do idioma do usuário e desenha uma caixa ou outro indicador claro para os caracteres que não podem ser renderizados.

Para códigos de 0 a 127, o conjunto padrão ASCII de 7 bits original, a maioria desses caracteres pode ser usada sem uma referência de caractere. Códigos de 160 a 255 podem ser todos criados usando nomes de entidades de caracteres. Apenas alguns códigos de numeração mais alta podem ser criados usando nomes de entidade, mas todos podem ser criados por referência de caractere de número decimal.

As referências de entidades de caracteres também podem ter o formato &name; onde name é uma string alfanumérica que diferencia maiúsculas de minúsculas. Por exemplo, "λ" também pode ser codificado como λ em um documento HTML. A entidade de caractere faz referência a <, >, " e & são predefinidos em HTML e SGML, porque <, >, " e & já são usados para delimitar a marcação. Isso notavelmente não incluía a entidade ' (') do XML antes do HTML5. Para obter uma lista de todas as referências de entidades de caracteres HTML nomeadas junto com as versões nas quais elas foram introduzidas, consulte Lista de referências de entidades de caracteres HTML e XML.

O uso desnecessário de referências de caracteres HTML pode reduzir significativamente a legibilidade do HTML. Se a codificação de caracteres para uma página da Web for escolhida apropriadamente, as referências de caracteres HTML geralmente são necessárias apenas para caracteres delimitadores de marcação, conforme mencionado acima, e para alguns caracteres especiais (ou nenhum, se uma codificação Unicode nativa como UTF-8 for usada). O escape incorreto de entidade HTML também pode abrir vulnerabilidades de segurança para ataques de injeção, como scripts entre sites. Se os atributos HTML forem deixados sem aspas, certos caracteres, principalmente espaços em branco, como espaço e tabulação, devem ser escapados usando entidades. Outras linguagens relacionadas ao HTML possuem seus próprios métodos de escape de caracteres.

Referências de caracteres XML

Ao contrário do HTML tradicional com sua grande variedade de referências de entidades de caracteres, em XML existem apenas cinco referências de entidades de caracteres predefinidas. Eles são usados para escapar de caracteres que são sensíveis à marcação em determinados contextos:

• & → & (amp; período;
• < → < (sem sinal, U+003C)
• > → > (maior que sinal, U+003E)
• " → " (marca de citações, U+0022)
• ' → ' (apostrofe, U+0027)

Todas as outras referências de entidades de caracteres devem ser definidas antes de serem usadas. Por exemplo, o uso de é (que dá é, E minúsculo latino com acento agudo, U+00E9 em Unicode) em um documento XML gerará um erro, a menos que a entidade já tenha sido definiram. O XML também requer que o x nas referências numéricas hexadecimais esteja em letras minúsculas: por exemplo, &#xA1b em vez de &#XA1b. XHTML, que é um aplicativo XML, suporta o conjunto de entidades HTML, juntamente com as entidades predefinidas de XML.