La teoría de la información también denominada teoría matemática de la comunicación, es un área de la matemática informática y la probabilidad matemática, que estudia el procesamiento de los datos al transmitir información mediante un mensaje, desde un emisor hasta un receptor a través de un determinado canal; en este sentido, estudia la capacidad que tienen los sistemas de comunicación para procesar e intercambiar información de manera sistemática, midiéndola y representándola. La teoría de la información fue propuesta en 1949 por Claude Shannon y Warren Weaver, con aportes previos de Markovi y Hartley y posteriores como el de Alan Turing; los estudios dedicados a este campo del conocimiento tienen el objetivo de mejorar los canales de comunicación para enviar mensajes sin afectar su calidad.
¿Quiénes son Shannon y Weaver?
Claude Elwood Shannon (30 de abril de 1916, Petoskey, Míchigan, EE.UU. 24 de febrero del 2001, Medford, Massachusetts). Fue un ingeniero eléctrico y matemático, denominado el "padre de la teoría de la información", realizó sus estudios de matemáticas y electrónica en la Universidad de Michigan, alcanzando grado de doctor en 1940 en el Instituto de Tecnología de Massachusetts. En 1948, publicó su artículo "A Mathematical Theory of Communication", en el que se consideraron las bases de la teoría de la información, llegando a entender cuánta información tiene el mensaje transmitido por un canal, también para resolver diferentes tipos de problemas en un sistema, como por ejemplo mejorar la fiabilidad de las comunicaciones.
En su obra, Shannon logra transformar la percepción de la información introduciendo métodos matemáticos para analizar su cuantificación en bits y estudiar la probabilidad de distorsión, redundancia y ruido en la comunicación. También establece el teorema del muestreo, dejando claro que todas las fuentes de información se pueden medir y que cada canal tiene una capacidad máxima para una determinada transmisión. Las aportaciones de Shannon también se extienden a la teoría de la criptografía, la computación y la inteligencia artificial.
Warren Weaver (Reedsburg, Wisconsin, EE.UU., 17 de julio de 1894 - New Milford, Connecticut, 24 de noviembre de 1978). Fue un científico estadounidense que trabajo en diversas disciplinas como matemáticas, física y biología así como en la traducción automática, estudió en la Universidad de Wisconsin-Madison y trabajó en la Fundación Rockefeller y en Instituto Sloan-Kettering para la Investigación del Cáncer. Warren Weaver es reconocido por su colaboración con Claude Shannon en la formulación de la teoría matemática de la comunicación, pues la amplió al pasar del lenguaje de las máquinas a la comunicación en general, juntos crearon el esquema lineal de la comunicación: fuente-codificador-canal-descodificador-destino. Este modelo permitió una mejor comprensión de la función de los medios y los filtros técnicos en la comunicación.
Principales objetivos de la Teoría de la Información
- Calcular la cantidad de información que podemos obtener de un conjunto de datos.
- Desarrollar métodos adecuados para almacenar, procesar y transmitir información.
- Estudiar la transmisión de la información a través de un canal de comunicación, teniendo en cuenta el ruido y otras perturbaciones.
- Lograr la máxima transferencia de información minimizando la redundancia.
- Desarrollar algoritmos y técnicas de compresión de datos para almacenar información compacta, conservando su validez.
- Asegurar la seguridad y confiabilidad de los sistemas de comunicación.
- Aplicar los principios de la teoría de la información en campos como la ingeniería de las comunicaciones, la criptografía, la compresión de datos, la inteligencia artificial, la biología, etc.
Elementos - Modelo de Shannon y Weaver
El modelo de Shannon-Weaver, conocido también como el modelo lineal de la comunicación principalmente consta de los siguientes elementos:
- Fuente: Es el origen de la información o del mensaje (p.e. una persona, un grupo de personas, una máquina, etc.)
- Transmisor (Codificador): Proceso por cual el mensaje se convierte o se codifica en un formato adecuado para su transmisión (p.e. incluye la compresión de datos o la codificación en algún formato en específico).
- Mensaje: Es la información que se transmite desde la fuente o emisor al destino o receptor a través de símbolos (p.e. palabras, imágenes, sonidos, etc.)
- Canal: Es el medio por el cual se transmite el mensaje desde la fuente hasta el destino, puede ser físico como el aire para el sonido u ondas electromagnéticas para la radio, o digital como cables de fibra óptica o conexiones de red.
- Receptor (Decodificador): Es un proceso inverso al transmisor o codificador, cuando el mensaje codificado se convierte nuevamente en su formato original para que el receptor lo entienda.
- Destino: Es el destinatario del mensaje que tiene la función de recibir, interpretar y comprender la información que fue transmitida por la fuente a través de un canal.
- Ruido: Se refiere a cualquier interferencia o perturbación que afecta la transmisión de la información mediante el canal (p.e interferencias electromagnéticas, estática en las líneas telefónicas, distorsión de señal, entre otros).
Principios fundamentales de la medición de la información
1. Entropía. Es una forma de medida del grado de incertidumbre o aleatoriedad que existe en un conjunto de datos, la entropía es mayor cuando más impredecible es el conjunto, matemáticamente la entropía se expresa como:
\(X\): es la variable aleatoria que representa el conjunto de datos,
\(p_i\): es la probabilidad del símbolo \(x_i\) en \(X\)
\(n\): es el número de símbolos distintos en \(X\).
2. Información. Es la reducción de la incertidumbre y se calcula como la negación de la entropía, es decir, que en un conjunto de datos, a menor entropía existe más información y se expresa como:
\(x_i\): es el evento específico
\(p(x_i)\): es la probabilidad del evento.
4. Codificación de fuente. Es la representación de los datos mediante códigos que reducen su longitud promedio, permitiendo que la información pueda ser transmitida o almacenada de manera más rápida y sin ocupar mucho espacio.
5. Redundancia. Es la repetición innecesaria de un conjunto de datos y puede ser eliminada con técnicas de compresión de datos y codificación por longitud variable. Los símbolos que más se repiten se representan por menos bits, eliminando así, la redundancia en la representación de los datos.
Aplicaciones
La teoría de la información tiene muchas áreas de aplicación, entre ellas:
- Telecomunicaciones (para diseñar sistemas de comunicación eficientes como redes telefónicas, internet, redes móviles, etc.).
- Sistemas de compresión de datos (para facilitar el almacenamiento y la transmisión de archivos con el menor tamaño posible, como JPEG para imágenes, MP3 para audio, etc.), .
- Criptografía (para cifrar, transmitir y almacenar información confidencial).
- Procesamiento de señales (para analizar y procesar señales de audio, video y radar).
- Inteligencia artificial (para diseñar algoritmos de aprendizaje automático y redes neuronales que modelizan y analizan datos complejos y extraen patrones y relaciones útiles).
- Medicina (permite el análisis y procesamiento de datos médicos como imágenes de resonancia magnética, electrocardiogramas, predicción de enfermedades, personalización de tratamientos, etc.).
- Finanzas (en el análisis de datos financieros para la predicción de tendencias de mercado y la gestión de riesgos financieros).
- Robótica (permite diseñar algoritmos para la percepción, planificación y control de robots en ámbitos como navegación autónoma, manipulación de objetos o interacción humano-robot).
- Lingüística computacional, (permite analizar el lenguaje natural en campos como la traducción automática, generación del lenguaje natural y análisis de sentimientos).
- Y en general otras áreas.
Referencias: (1), (2), (3), (4), (5), (6), (7).
Para tener una mejor visión sobre el tema, veamos un video encontrado en Youtube...
No hay comentarios:
Publicar un comentario