ഷാനൻ ബെൽ ലാബട്ടറീസിന്റെ ജേണലിൽ 'എ മാത്തമാറ്റിക്കൽ തിയറി ഓഫ് കമ്യൂണിക്കേഷൻ' (A Mathematical Theory of Communication) എന്ന ലേഖനം പ്രസിദ്ധീകരിച്ചതോടെയാണു് ഈ ശാഖ ഉണ്ടായതു്. ഇതിലൂടെ ഇദ്ദേഹമാണു്വിവരസിദ്ധാന്തത്തിന്റെ ഗുണപ്രകാരവും പരിമാണപ്രകാരവുമായ അടിസ്ഥാന തത്ത്വങ്ങൾ മുൻപോട്ടു വച്ചതു്. ഷാനനിന്റെ അഭിപ്രായപ്രകാരം വിവരസിദ്ധാന്തത്തിന്റെ അടിസ്ഥാന തത്ത്വം "ഒരു ബിന്ദുവിൽ നിർമ്മിക്കപ്പെടുന്ന വിവരം അതേ പോലെയോ ഭാഗികമായ മാറ്റങ്ങളോടെയോ മറ്റൊരു ബിന്ദുവിൽ പുനർജനിപ്പിക്കുക എന്നതാണു്".

ഇതിൽ നിന്നും

• വിവര എൻട്രോപി, റിഡന്റൻസി എന്നിവയും അവയ്ക്ക് സോഴ്സ് കോഡിങ്ങ് സിദ്ധാന്തവുമായുള്ള ബന്ധം
• ഒരു നോയിസി (കോലാഹലം നിറഞ്ഞ) ആയ വിനിമയപാതയുടെ മ്യൂച്ചൽ ഇൻഫൊർമേഷൻ, ചാനൽ കപാസിറ്റി, ഡാറ്റാനഷ്ടങ്ങളില്ലാതെയുള്ള വിനിമയപാതയുടെ സാദ്ധ്യതയെക്കുറിച്ചുള്ള നോയിസി-ചാനൽ കോഡിങ് സിദ്ധാന്തം
• ഒരു ഗോസിയൻ പാതയുടെ ചാനൽ ശേഷി കണ്ടെത്താനുള്ള ഷാനൻ-ഹാർട്‌ലി സിദ്ധാന്തം
• വിവരത്തിന്റെ അടിസ്ഥാന ഏകകമായ ബിറ്റ്

എന്നീ ആശയങ്ങൾ രൂപപ്പെട്ടു.

വിവരസിദ്ധാന്തം അനുസരിച്ച് വിവരം അളക്കുവാൻ സാധിക്കും. വിവരം എന്നാൽ അത് ടെക്‌സ്റ്റ്, ഓഡിയോ, വീഡിയോ, ചിത്രം അങ്ങനെ എന്തു രൂപത്തിലുമാകാം. ഒരു വിവരസ്രോതസ്സിൽ നിന്നും കിട്ടുന്ന ഡാറ്റയിൽ മിക്കപ്പോഴും അനാവശ്യമായ ആവർത്തനങ്ങൾ ഉണ്ടാകാം. അതായത് ആ ആവർത്തനങ്ങളെ ഒഴിവാക്കിയാലും ആ സ്രോതസ്സിൽ നിന്നും ലഭിക്കുന്ന വിവരം സംവേദനക്ഷമമായിരിക്കുമെന്ന് ലളിതമായി പറയാം. ഒഴിവാക്കാൻ ഇനി ആവർത്തനങ്ങൾ ഇല്ല എന്ന നിലയിൽ സ്രോതസ്സിൽ നിന്നുള്ള ഡാറ്റയെ ചുരുക്കുമ്പോൾ ലഭിക്കുന്നതെന്തോ അതാണ് ആ സ്രോതസ്സിൽ നിന്നും ഉള്ള വിവരത്തിന്റെ യഥാർത്ഥ അളവ് അഥവാ എൻട്രോപ്പി. ഇങ്ങനെ ചുരുക്കിയ ഡാറ്റയെ ബൈനറിയായി സൂക്ഷിക്കാൻ എത്ര ബിറ്റുകൾ വേണ്ടിവരുമെന്നുള്ളത് എൻട്രോപ്പിയുടെ ബിറ്റിലുള്ള അളവാണ്.

എൻട്രോപ്പി ഗണിതപരമായി അളക്കുന്നത് സംഭാവ്യതാശാസ്ത്രത്തിന്റേയും സാഖ്യികത്തിന്റേയും സഹായത്തോടെയാണ്. ഒരു വിവരസ്രോതസ്സിൽ നിന്നും ലഭിക്കുന്ന ഡാറ്റ പ്രവചനാതീതം(uncertain) ആണെങ്കിൽ അതിൽ നിന്നും ലഭിക്കുന്ന 'വിവരത്തിന്റെ അളവ്' അഥവാ എൻട്രോപ്പി കൂടുതലായിരിക്കുമെന്ന് പറയാം. മുൻകൂട്ടി കൃത്യമായി പ്രവചിക്കാവുന്ന ഡാറ്റയിൽ 'പുതിയ വിവരം' ഒന്നും അടങ്ങിയിട്ടില്ലല്ലോ. അതായത് ഒരു വിവരസ്രോതസ്സിന്റെ എൻട്രോപ്പി, അതിൽ നിന്നും ലഭിക്കുന്ന/ലഭിക്കാനിടയുള്ള ഡാറ്റയുടെ സംഭാവ്യതയുമായി ബന്ധപ്പെട്ടിരിക്കുന്നു.

മൂന്ന് അടിസ്ഥാന സിദ്ധാന്തങ്ങളാണ് ഈ ഗണിതശാസ്ത്രശാഖയ്ക്കുള്ളത്. സോഴ്സ്കോഡിങ്ങ് സിദ്ധാന്തം, ചാനൽ കോഡിങ്ങ് സിദ്ധാന്തം, ഇൻഫർമേഷൻ കപ്പാസിറ്റി സിദ്ധാന്തം എന്നിവയാണവ.

സോഴ്സ് കോഡിങ്ങ് സിദ്ധാന്തം തിരുത്തുക

ചാനൽ കോഡിങ്ങ് സിദ്ധാന്തം തിരുത്തുക

ഇൻഫർമേഷൻ കപ്പാസിറ്റി സിദ്ധാന്തം തിരുത്തുക

• Shannon, C.E. (1948), "A Mathematical Theory of Communication", Bell System Technical Journal, 27, pp. 379–423 & 623–656, July & October, 1948. PDF. Archived 1998-07-15 at the Wayback Machine.
  Notes and other formats. Archived 1998-01-31 at the Wayback Machine.