نظرية المعلومات

نظرية المعلومات Information theory أحد تخصصات و فروع الرياضيات التطبيقية الذي يتضمن تكمية Quantification (التحويل إلى كميات) البيانات بهدف تمكين نقل أو تخزين البيانات ضمن وسط ما أو نقلها عبر قناة اتصال ما بأكبر قدر ممكن . قياس المعلومات يعرف عادة بإنتروبية المعلومات و هو عبارة عن العدد الوسطي من البتات اللازم للتخزين أو الاتصال . مثلا ، إذا كان وصف الطقس اليومي له إنتروبية بمقدار 3 ، فذا يعني انه على مدى عدد كاف من الأيام يمكننا وصف الطقس اليومي يمعدل 3 بتات لليوم الواحد .

تطبيقات نظرية المعلومات الأساسية تتضمن : ضغط البيانات غير المنقوص lossless data compression : مثلا زيب (صيغة ملفات) ZIP ، ضغط البيانات المنقوص Lossy compression مثل إم.بي.ثري MP3 ، تشفير قنوات نقل البيانات و سعاتها channel capacity مثل خطوط دي.إس.إل DSL . يقع هذا الفرع عند حدود الرياضيات و الإحصاء ، و علوم الحاسب و الفيزياء و النيوروبيولوجيا و الهندسة الكهربائية . تطبيقاتها كانت أساسية ي نجاح مهمات فوياجير الفضائية ، و اختراع سي.دي CD ، و تطبيقات الهاتف المحمول ، و تطور الإنترنت. و حتى دراسة اللسانيات و الاستشعار الإنساني ، و أيضا فهم ظاهرة الثقوب السوداء و غيرها من الحقول و التطبيقات العلمية .

انظر أيضا

نظرية الاتصالات Communication theory

فلسفة المعلومات Philosophy of information

تطبيقات

علم التعمية Cryptography
تحليل تعموي Cryptanalysis
الإنتروبية في الترموديناميك ونظرية المعلومات Entropy in thermodynamics and information theory
ذكاء (تجميع معلومات) Intelligence (information gathering
مقامرة Gambling

التاريخ

تاريخ نظرية المعلومات
الخط الزمني لنظرية المعلومات
كلاود إيلوود سانون
رالف هارتلي
هوبرت يوكي

النظرية

نظرية التشفير Coding theory
تشفير مصدري Source coding
نظرية Detection theory
نظرية التقدير Estimation theory
معلومات فيشر Fisher information
تعقيد كولموغوروف Kolmogorov complexity
جبر المعلومات Information Algebra

هندسة المعلومات Information geometry
نظرية المعلومات و نظرية القياس Information theory and measure theory
منطق المعلومات Logic of information
تشفير الشبكة Network coding
معلوماتية كمومية Quantum information science
نظرية المعلومات السميوتيكية Semiotic information theory
فلسفة المعلومات Philosophy of Information

مصطلحات

مغلومة ذاتية Self-information
إنتروبية المعلومات Information entropy
إنتروبية المفصل Joint entropy
إنتروبية شرطية Conditional entropy
Redundancy
فناة (معلومات) Channel (communications
مصدر اتصال Communication source
متلقي (نظرية المعلومات) أو مستقبل Receiver (information theory
إنتروبية رينييه Rényi entropy

معلومات متبادلة Mutual information
Pointwise Mutual Information (PMI)
إنتروبية تفاضلية Differential entropy
تقارب كولباك-لايبر Kullback-Leibler divergence
سعة القناة Channel capacity
Unicity distance
ban (information)
Covert channel
مشفر Encoder
محلل الشفرة Decoder

وصلات خارجية

Gibbs, M., "Quantum Information Theory", Eprint
Schneider, T., "Information Theory Primer", Eprint
Srinivasa, S. "A Review on Multivariate Mutual Information" PDF.
Challis, J. Lateral Thinking in Information Retrieval
Journal of Chemical Education, Shuffled Cards, Messy Desks, and Disorderly Dorm Rooms - Examples of Entropy Increase? Nonsense!
IEEE Information Theory Society and the review articles.
On-line textbook: Information Theory, Inference, and Learning Algorithms, by David MacKay - gives an entertaining and thorough introduction to Shannon theory, including state-of-the-art methods from coding theory, such as arithmetic coding, low-density parity-check codes, and Turbo codes.

تحرير	الحقول الفرعية و العلماء البارزين في مجال السِبرانتية
مستوى أول	تعددية السياق Polycontexturality ، سبرانية الرتبة الثانية
مستوى ثان	نظرية الكوارث, الإتصالية, نظرية التحكم, نظرية القرار, نظرية المعلومات, سيميوتيك, سينيرجيتيك, نظرية الأنظمة
مستوى ثالث	سبرانية بيولوجية, سبرانية طبية حيوية, روبوتات حيوية, علوم عصبية حاسوبية, Homeostasis, سبرانية طبية, سبرانية عصبية, سبرانيات اجتماعية
علماء السبرانية	ويليام روس أشبي, كلاود بيرنارد, فالينتين برايتنبيرغ, لودفيغ فون بيردالاندفي, جورج كاندي, جوزيف ج. ديستيفانو الثالث, هاينز فون فورستر, تشارلز فرانسوا, جاي فوريستير, ارنست فون غلاسيرسفيرد, فراسيس هيليغين, إيريش فون هولست, Stuart Kauffman, نيكيلاس لومان, فارين مككولوش, Humberto Maturana, Horst Mittelstaedt, Talcott Parsons, Walter Pitts, Alfred Radcliffe-Brown, Robert Trappl, Valentin Turchin, Francisco Varela, Frederic Vester, John N. Warfield, Kevin Warwick, نوربيرت فينر

طرائق ضغط البيانات

ضغط البيانات غير المنقوص

النظرية

إنتروبية • // Complexity • // Redundancy

تشفير الإنتروبية

Huffman • // Adaptive Huffman • // Arithmetic (Shannon-Fano • // Range) • // Golomb • // Exp-Golomb • // Universal (Elias • // Fibonacci)

قواميس

LZ77/78 • // LZW • // LZO • // DEFLATE • // LZMA • // LZX

متنوعة

RLE • // BWT • // PPM • // DMC

ضغط الصوت

النظرية

Convolution • // Sampling • // Nyquist–Shannon theorem

Audio codecs parts

LPC (LAR • // LSP) • // WLPC • // CELP • // ACELP • // A-law • // μ-law • // MDCT • // Fourier transform • // Psychoacoustic model

أخرى

Dynamic range compression • // Speech compression • // Sub-band coding

ضغط الصور

مفاهيم

Color space • // بيكسل • // Chroma subsampling • // Compression artifact

طرائق

RLE • // Fractal • // Wavelet • // SPIHT • // DCT • // KLT

أخرى

Bit rate • // Test images • // PSNR quality measure • // Quantization

ضغط الفيديو

مفاهيم

Video Characteristics • // Frame • // Frame types • // Video quality

أجزاء المشفرات الفيديوية

Motion compensation • // DCT • // Quantization

أخرى

Video codecs • // Rate distortion theory (CBR • // ABR • // VBR)

الخط الزمني لنظرية المعلومات ، ضغط البيانات و شفرات تصحيح الأخطاء

(See Compression Formats and Standards for formats and Compression Software Implementations for codecs)

فروع المعلوماتية	الحقول الأساسية للمعلوماتية	تحرير
معلوماتية نظرية	تحسيب \| خوارزميات \| نظرية المعلومات \| نظرية الأتمتة \| نظرية المخططات \| نظرية التعقيد \| تعمية \| لغات شكلية \| استمثال \| بناء المترجمات البرمجية \| نظرية أنظمة التشغيل \| نظرية قواعد البيانات \| نظرية التعمية \| طريقة شكلية \| تحسيب طبيعي
معلوماتية عملية	أنظمة تشغيل \| حوسبة \| رسوميات الحاسب \| قواعد بيانات \| بنى بيانات \| برمجة
معلوماتية تقنية	تكنولوجيا المعلومات \| شبكات الحاسب \| عتاد الحاسب \| أمن الحاسب \| اختراق الحاسب
معلوماتية تطبيقية	أنظمة معلومات \| معلوماتية حيوية \| معلوماتية جيولوجية \| كيمياء حاسوبية \| فيزياء حاسوبية \| معلوماتية اقتصادية \| وسائط متعددة
ذكاء اصطناعي	تعلم آلي \| معلوماتية عصبونية \| طرق التصنيف \| لغويات حاسوبية
برمجيات	لغات البرمجة \| برمجيات حرة \| برمجيات تجارية
أنظمة التشغيل	دوس \| ويندوز \| يونكس \| لينكس \| ماك أو إس \| نتوير \| تاريخ أنظمة تشغيل الحاسوب
عتاد الحاسب	وحدة المعالجة المركزية \| ذاكرة الحاسب \| القرص الصلب \| اللوحة الأم