Teorema de Shannon-Hartley

En la teoría de la información, el teorema de Shannon-Hartley indica la velocidad máxima a la que se puede transmitir la información a través de un canal de comunicaciones de un ancho de banda específico en presencia de ruido. Es una aplicación del teorema de codificación de canales ruidosos al caso arquetípico de un canal de comunicaciones analógico de tiempo continuo sujeto a ruido gaussiano. El teorema establece la capacidad del canal de Shannon para dicho enlace de comunicación, un límite en la cantidad máxima de información sin errores por unidad de tiempo que se puede transmitir con un ancho de banda específico en presencia de interferencia de ruido, asumiendo que la señal la potencia está acotada y que el proceso de ruido gaussiano se caracteriza por una potencia conocida o una densidad espectral de potencia. La ley lleva el nombre de Claude Shannon y Ralph Hartley.

Enunciado del teorema

El teorema Shannon-Hartley declara la capacidad del canal C{displaystyle C}, que significa la parte superior más ajustada teórica sobre la tasa de información que se puede comunicar a una tasa de error arbitrariamente baja utilizando una potencia de señal recibida promedio S{displaystyle S. a través de un canal de comunicación analógico sujeto al ruido aditivo de Gaussian (GTEN) de poder N{displaystyle N}:

dónde

• C{displaystyle C} es la capacidad del canal en bits por segundo, una parte superior teórica ligada a la tasa neta de bits (tasa de información, a veces denotada I{displaystyle Yo...) excluyendo los códigos de corrección de errores;
• B{displaystyle B} es el ancho de banda del canal en hertz (passband ancho de banda en caso de una señal de bandpass);
• S{displaystyle S. es la potencia media de señal recibida sobre el ancho de banda (en caso de transmisión de bandas transmisibles modificadas por el transportista, a menudo denotadas C), medido en vatios (o voltios cuadrados);
• N{displaystyle N} es el poder promedio del ruido y la interferencia sobre el ancho de banda, medido en vatios (o voltios cuadrados); y
• S/N{displaystyle S/N} es la relación de señal a ruido (SNR) o la relación portadora a ruido (CNR) de la señal de comunicación al ruido y la interferencia en el receptor (expresada como una relación de potencia lineal, no como decibeles logarítmicos).

Desarrollo histórico

A fines de la década de 1920, Harry Nyquist y Ralph Hartley desarrollaron una serie de ideas fundamentales relacionadas con la transmisión de información, particularmente en el contexto del telégrafo como sistema de comunicaciones. En ese momento, estos conceptos fueron poderosos avances individualmente, pero no formaban parte de una teoría integral. En la década de 1940, Claude Shannon desarrolló el concepto de capacidad del canal, basándose en parte en las ideas de Nyquist y Hartley, y luego formuló una teoría completa de la información y su transmisión.

Tasa Nyquist

En 1927, Nyquist determinó que la cantidad de pulsos independientes que se podían pasar a través de un canal telegráfico por unidad de tiempo estaba limitada al doble del ancho de banda del canal. En notación simbólica,

fp≤ ≤ 2B{displaystyle f_{p}leq 2B}

Donde fp{displaystyle f_{p} es la frecuencia del pulso (en pulsos por segundo) y B{displaystyle B} es el ancho de banda (en hertz). La cantidad 2B{displaystyle 2B} más tarde vino a ser llamado Tasa de Nyquist, y transmisión a la velocidad de pulso límite 2B{displaystyle 2B} pulsos por segundo señalización a la tasa de Nyquist. Nyquist publicó sus resultados en 1928 como parte de su documento "Ciertos temas en Teoría de Transmisión Telegráfica".

Ley de Hartley

Durante 1928, Hartley formuló una forma de cuantificar la información y su tasa de línea (también conocida como tasa de señalización de datos R bits por segundo). Este método, más tarde conocido como la ley de Hartley, se convirtió en un importante precursor de la noción más sofisticada de capacidad del canal de Shannon.

Hartley argumentó que la cantidad máxima de niveles de pulso distinguibles que se pueden transmitir y recibir de manera confiable a través de un canal de comunicaciones está limitada por el rango dinámico de la amplitud de la señal y la precisión con la que el receptor puede distinguir los niveles de amplitud. Específicamente, si la amplitud de la señal transmitida está restringida al rango de [−A... +A] voltios, y la precisión del receptor es ±ΔV voltios, entonces el número máximo de pulsos distintos M viene dado por

M=1+AΔ Δ V{displaystyle M=1+{A over Delta V}.

Tomando la información por pulso en bit/pulso como el logaritmo en base 2 del número de mensajes distintos M que podrían enviarse, Hartley construyó una medida de la tasa de línea R como:

R=fplog2⁡ ⁡ ()M),{displaystyle R=f_{p}log _{2}(M),}

Donde fp{displaystyle f_{p} es la tasa de pulso, también conocida como la tasa de símbolo, en símbolos/segundo o baud.

Hartley luego combinó la cuantificación anterior con la observación de Nyquist de que el número de pulsos independientes que podrían ser puestos a través de un canal de ancho de banda B{displaystyle B} Hertz era 2B{displaystyle 2B} pulsos por segundo, para llegar a su medida cuantitativa para una tasa de línea alcanzable.

La ley de Hartley a veces se cita como una proporcionalidad entre el ancho de banda analógico, B{displaystyle B}, en Hertz y lo que hoy se llama el ancho de banda digital, R{displaystyle R., en bit/s. Otras veces se cita en esta forma más cuantitativa, como una tasa de línea alcanzable R{displaystyle R. bits por segundo:

R≤ ≤ 2Blog2⁡ ⁡ ()M).{displaystyle Rleq 2Blog _{2}(M). }

Hartley no funcionó exactamente cómo el número M debe depender de las estadísticas de ruido del canal, o de cómo la comunicación podría ser fiable incluso cuando los pulsos de símbolo individuales no podrían distinguirse fiablemente para M niveles; con estadísticas de ruido Gaussian, los diseñadores del sistema tuvieron que elegir un valor muy conservador M{displaystyle M} para lograr una baja tasa de error.

El concepto de una capacidad libre de errores esperaba a Claude Shannon, quien se basó en las observaciones de Hartley sobre una medida logarítmica de información y las observaciones de Nyquist sobre el efecto de las limitaciones de ancho de banda.

El resultado de Hartley puede ser visto como la capacidad de un error M- Canal diario 2B{displaystyle 2B} símbolos por segundo. Algunos autores se refieren a ella como una capacidad. Pero un canal sin errores es una idealización, y si M es elegido lo suficientemente pequeño para hacer el canal ruidoso casi sin errores, el resultado es necesariamente menos que la capacidad Shannon del canal ruidoso de ancho de banda B{displaystyle B}, que es el resultado de Hartley-Shannon que siguió más tarde.

Teorema y capacidad de codificación de canales ruidosos

El desarrollo de la teoría de la información de Claude Shannon durante la Segunda Guerra Mundial proporcionó el siguiente gran paso para comprender cuánta información se podía comunicar de forma fiable a través de canales ruidosos. Sobre la base de Hartley, el teorema de codificación de canales ruidosos de Shannon (1948) describe la máxima eficiencia posible de los métodos de corrección de errores frente a los niveles de interferencia de ruido y corrupción de datos. La prueba del teorema muestra que un código de corrección de errores construido al azar es esencialmente tan bueno como el mejor código posible; el teorema se demuestra a través de las estadísticas de dichos códigos aleatorios.

El teorema de Shannon muestra cómo calcular una capacidad de canal de una descripción estadística de un canal, y establece que dado un canal ruidoso con capacidad C{displaystyle C} y la información transmitida a un ritmo R{displaystyle R., entonces si

<math alttext="{displaystyle RR.C{displaystyle R:<img alt="{displaystyle R

existe una técnica de codificación que permite que la probabilidad de error en el receptor se haga arbitrariamente pequeña. Esto significa que teóricamente, es posible transmitir información casi sin errores hasta casi un límite C{displaystyle C} bits por segundo.

Lo contrario también es importante. Si

C}" xmlns="http://www.w3.org/1998/Math/MathML">R■C{displaystyle R confíaC}C}" aria-hidden="true" class="mwe-math-fallback-image-inline" src="https://wikimedia.org/api/rest_v1/media/math/render/svg/0aab42e935ae513be04d9f338a7b3c73a1420640" style="vertical-align: -0.338ex; width:6.629ex; height:2.176ex;"/>

la probabilidad de error en el receptor aumenta sin límite a medida que aumenta la tasa. Por lo tanto, no se puede transmitir información útil más allá de la capacidad del canal. El teorema no aborda la rara situación en la que la velocidad y la capacidad son iguales.

El teorema de Shannon-Hartley establece cuál es la capacidad del canal para un canal de tiempo continuo de ancho de banda finito sujeto a ruido gaussiano. Conecta el resultado de Hartley con el teorema de capacidad del canal de Shannon de una forma equivalente a especificar la M en la fórmula de tasa de línea de Hartley en términos de una señal a -relación de ruido, pero logrando confiabilidad a través de la codificación de corrección de errores en lugar de niveles de pulso distinguibles de manera confiable.

Si existiera un canal analógico sin ruido, se podrían transmitir cantidades ilimitadas de datos sin errores por unidad de tiempo (tenga en cuenta que un canal analógico de ancho de banda infinito no podría transmitir cantidades ilimitadas de datos con errores). -datos libres sin potencia de señal infinita). Sin embargo, los canales reales están sujetos a las limitaciones impuestas tanto por el ancho de banda finito como por el ruido distinto de cero.

El ancho de banda y el ruido afectan la velocidad a la que se puede transmitir la información a través de un canal analógico. Las limitaciones de ancho de banda por sí solas no imponen un tope a la tasa de información máxima porque aún es posible que la señal tome una cantidad indefinidamente grande de niveles de voltaje diferentes en cada pulso de símbolo, y a cada nivel ligeramente diferente se le asigna un significado o secuencia de bits diferente.. Sin embargo, teniendo en cuenta las limitaciones tanto del ruido como del ancho de banda, existe un límite en la cantidad de información que puede transferirse mediante una señal de potencia limitada, incluso cuando se utilizan técnicas sofisticadas de codificación multinivel.

En el canal considerado por el teorema de Shannon-Hartley, el ruido y la señal se combinan por adición. Es decir, el receptor mide una señal que es igual a la suma de la señal que codifica la información deseada y una variable aleatoria continua que representa el ruido. Esta adición crea incertidumbre en cuanto al valor de la señal original. Si el receptor tiene alguna información sobre el proceso aleatorio que genera el ruido, en principio se puede recuperar la información en la señal original considerando todos los estados posibles del proceso de ruido. En el caso del teorema de Shannon-Hartley, se supone que el ruido es generado por un proceso gaussiano con una varianza conocida. Dado que la varianza de un proceso gaussiano es equivalente a su potencia, es convencional llamar a esta varianza potencia de ruido.

Este canal se denomina canal de ruido gaussiano blanco aditivo, porque se agrega ruido gaussiano a la señal; "blanco" significa cantidades iguales de ruido en todas las frecuencias dentro del ancho de banda del canal. Dicho ruido puede surgir tanto de fuentes aleatorias de energía como de errores de codificación y medición en el emisor y el receptor, respectivamente. Dado que las sumas de variables aleatorias gaussianas independientes son en sí mismas variables aleatorias gaussianas, esto simplifica convenientemente el análisis, si se supone que dichas fuentes de error también son gaussianas e independientes.

Implicaciones del teorema

Comparación de la capacidad de Shannon con la ley de Hartley

Comparando la capacidad del canal con la tasa de información de la ley de Hartley, podemos encontrar el número efectivo de niveles distinguibles M:

2Blog2⁡ ⁡ ()M)=Blog2⁡ ⁡ ()1+SN){displaystyle 2Blog _{2}(M)=Blog _{2}left(1+{frac {S}right)}

M=1+SN.{displaystyle M={sqrt {1+{frac.

La raíz cuadrada convierte efectivamente la relación de potencia nuevamente en una relación de voltaje, por lo que la cantidad de niveles es aproximadamente proporcional a la relación entre la amplitud RMS de la señal y la desviación estándar del ruido.

Esta similitud entre la capacidad de Shannon y la ley de Hartley no debe ser interpretada para significar que M{displaystyle M} Los niveles de pulso se pueden enviar literalmente sin ninguna confusión. Se necesitan más niveles para permitir la codificación redundante y la corrección de errores, pero la tasa neta de datos que se puede acercar con codificación es equivalente a usarla M{displaystyle M} en la ley de Hartley.

Caso dependiente de la frecuencia (ruido coloreado)

En la versión simple anterior, la señal y el ruido están completamente incorrelacionados, en cuyo caso S+N{displaystyle S+N} es el poder total de la señal recibida y el ruido juntos. Una generalización de la ecuación anterior para el caso donde el ruido aditivo no es blanco (o que el S/N{displaystyle S/N} no es constante con la frecuencia sobre el ancho de banda) se obtiene por tratar el canal como muchos canales gais estrechos, independientes en paralelo:

C=∫ ∫ 0Blog2⁡ ⁡ ()1+S()f)N()f))df{displaystyle C=int ¿Por qué?

dónde

• C{displaystyle C} es la capacidad de canal en bits por segundo;
• B{displaystyle B} es el ancho de banda del canal en Hz;
• S()f){displaystyle S(f)} es el espectro de potencia de señal
• N()f){displaystyle N(f)} es el espectro de potencia de ruido
• f{displaystyle f} es frecuencia en Hz.

Nota: el teorema solo se aplica al ruido de proceso estacionario gaussiano. La forma en que esta fórmula introduce el ruido dependiente de la frecuencia no puede describir todos los procesos de ruido de tiempo continuo. Por ejemplo, considere un proceso de ruido que consiste en agregar una onda aleatoria cuya amplitud es 1 o −1 en cualquier momento, y un canal que agrega dicha onda a la señal fuente. Los componentes de frecuencia de dicha onda son altamente dependientes. Aunque dicho ruido puede tener una potencia alta, es bastante fácil transmitir una señal continua con mucha menos potencia de la que se necesitaría si el ruido subyacente fuera una suma de ruidos independientes en cada banda de frecuencia.

Aproximaciones

AWGN canal capacity with the power-limited regime and bandwidth-limited regime indicated. Aquí, SN0=1{displaystyle {frac}=1}}}; B y C se puede escalar proporcionalmente para otros valores.

Para relaciones señal-ruido grandes o pequeñas y constantes, la fórmula de capacidad se puede aproximar:

Caso de ancho de banda limitado

Cuando la SNR es grande (S/N ≫ 1), el logaritmo se aproxima mediante

log2⁡ ⁡ ()1+SN).. log2⁡ ⁡ SN=In⁡ ⁡ 10In⁡ ⁡ 2⋅ ⋅ log10⁡ ⁡ SN.. 3.32⋅ ⋅ log10⁡ ⁡ SN,{displaystyle log _{2}left(1+{frac {S}right)approx log ¿Qué? {fn}cdot log _{10}{ln 10}{ln 2}cdot log _{10}{frac {S}approx 3.32cdot log _{10}{frac {S}{N}}}}

en cuyo caso la capacidad es logarítmica en potencia y aproximadamente lineal en ancho de banda (no del todo lineal, ya que N aumenta con el ancho de banda, impartiendo un efecto logarítmico). Esto se denomina régimen de ancho de banda limitado.

C.. 0.332⋅ ⋅ B⋅ ⋅ SNR()indB){displaystyle Capprox 0.332cdot Bcdot mathrm {SNR (in dB)} }

dónde

SNR()indB)=10log10⁡ ⁡ SN.{displaystyle mathrm {SNR (in dB)} =10log _{10}{S over N}

Caso de potencia limitada

Del mismo modo, cuando el SNR es pequeño (si S/N≪ ≪ 1{displaystyle S/Nll 1}), aplicando la aproximación al logaritmo:

log2⁡ ⁡ ()1+SN)=1In⁡ ⁡ 2⋅ ⋅ In⁡ ⁡ ()1+SN).. 1In⁡ ⁡ 2⋅ ⋅ SN.. 1.44⋅ ⋅ SN;{displaystyle log _{2}left(1+{frac {S}{N}right)={frac {1}{ln 2}}cdot ln left(1+{frac} {fn0}}cdot ln ln left(1+{frac}{fn0} {S}{N}right)approx {frac {1}{ln 2}cdot {frac} {S}approx 1.44cdot {S over N}

entonces la capacidad es lineal en potencia. Esto se llama el régimen de poder limitado.

C.. 1.44⋅ ⋅ B⋅ ⋅ SN.{displaystyle Capprox 1.44cdot Bcdot {S over N}

En esta aproximación baja-SNR, la capacidad es independiente del ancho de banda si el ruido es blanco, de densidad espectral N0{displaystyle N_{0} watts per hertz, en cuyo caso el poder de ruido total es N=B⋅ ⋅ N0{displaystyle N=Bcdot N_{0}.

C.. 1.44⋅ ⋅ SN0{displaystyle Capprox 1.44cdot {S over N_{0}}

Ejemplos

1. En un SNR de 0 dB (poder de señal = potencia de ruido) la Capacidad en bits/s es igual al ancho de banda en hertz.
2. Si el SNR es de 20 dB, y el ancho de banda disponible es de 4 kHz, que es apropiado para comunicaciones telefónicas, entonces C = 4000 log₂(1 + 100) = 4000 log₂ (101) = 26.63 kbit/s. Tenga en cuenta que el valor de S/N = 100 es equivalente al SNR de 20 dB.
3. Si el requisito es transmitir a 50 kbit/s, y se utiliza un ancho de banda de 10 kHz, entonces el mínimo S/N requerido es dado por 50000 = 10000 log₂(1+S/N) so C/B = 5 then S/N = 2⁵ − 1 = 31, correspondiente a un SNR de 14.91 dB (10 x log₁₀(31)).
4. ¿Cuál es la capacidad de canal para una señal que tiene un ancho de banda de 1 MHz, recibido con un SNR de −30 dB ? Eso significa una señal profundamente enterrada en el ruido. −30 dB significa S/N = 10⁻³. Lleva a una tasa máxima de información de 10⁶ log₂ (1 + 10⁻³= 1443 bit/s. Estos valores son típicos de las señales de rango recibidas del GPS, donde el mensaje de navegación se envía a 50 bit/s (bajo la capacidad del canal para el S/N dado), y cuyo ancho de banda se extiende a alrededor de 1 MHz por una multiplicación pseudo-noise antes de la transmisión.
5. Como se indicó anteriormente, la capacidad del canal es proporcional al ancho de banda del canal y al logaritmo de SNR. Esto significa que la capacidad del canal puede aumentarse linealmente ya sea aumentando el ancho de banda del canal dado un requisito SNR fijo o, con ancho de banda fijo, utilizando modulaciones de orden superior que necesitan un SNR muy alto para operar. A medida que aumenta la tasa de modulación, la eficiencia espectral mejora, pero al costo del requisito SNR. Así, hay un aumento exponencial en el requisito SNR si uno adopta un 16QAM o 64QAM (ver: Modulación de amplitud de cuadratura); sin embargo, la eficiencia espectral mejora.