ਐਨਟ੍ਰੌਪੀ (ਇਨਫ੍ਰਮੇਸ਼ਨ ਥਿਊਰੀ) ਲਈ ਸਰੋਤ ਵੇਖੋ

{{refimprove|date=April 2012}}
''{{Use dmy dates|date=July 2013}}''

[[File:Entropy flip 2 coins.jpg|thumb|ਐਨਟ੍ਰੌਪੀ ਦੀਆਂ 2 ਲੰਬੀਆਂ ਨਦੀਆਂ: ਦੋ ਜਾਇਜ ਸਿੱਕੇ ਦੇ ਟੌਸਾਂ ਦੇ ਮਾਮਲੇ ਵਿੱਚ, ਇਨਫ੍ਰਮੇਸ਼ਨ ਐਨਟ੍ਰੌਪੀ ਨਿਕਲਣ ਵਾਲੇ ਸੰਭਵ ਨਤੀਜਿਆਂ ਦੀ ਸੰਖਿਆ ਦਾ ਲੌਗ-ਬੇਸ-2 ਹੁੰਦੀ ਹੈ; ਦੋ ਸਿੱਕਿਆੰ ਨਾਲ ਚਾਰ ਨਤੀਜੇ ਨਿਕਲਦੇ ਹਨ, ਅਤੇ ਐਨਟ੍ਰੌਪੀ 2 ਬਿੱਟ ਹੁੰਦੀ ਹੈ। ਆਮਤੌਰ ਤੇ, ਇਨਫ੍ਰਮੇਸ਼ਨ ਐਨਟ੍ਰੌਪੀ ਸਾਰੇ ਸੰਭਵ ਨਤੀਜਿਆਂ ਦੀ ਔਸਤ ਜਾਣਕਾਰੀ ਹੁੰਦੀ ਹੈ।]]

[[ਇਨਫ੍ਰਮੇਸ਼ਨ ਥਿਊਰੀ]] ਅੰਦਰ, ਸਿਸਟਮ ਇੱਕ ਟ੍ਰਾਂਸਮਿੱਟਰ, ਚੈਨਲ, ਅਤੇ ਰਿਸੀਵਰ ਰਾਹੀਂ ਮਾਡਲਬੱਧ ਕੀਤੇ ਜਾਂਦੇ ਹਨ। ਟ੍ਰਾਂਸਮਿੱਟਰ ਅਜਿਹੇ ਸੰਦੇਸ਼ ਪੈਦਾ ਕਰਦਾ ਹੈ ਜੋ ਚੈਨਲ ਰਾਹੀਂ ਗੁਜ਼ਾਰ ਕੇ ਭੇਜੇ ਜਾਂਦੇ ਹਨ। ਚੈਨਲ ਸੰਦੇਸ਼ ਨੂੰ ਕਿਸੇ ਤਰੀਕੇ ਸੋਧ ਦਿੰਦਾ ਹੈ। ਰਿਸੀਵਰ ਅਨੁਮਾਨ ਲਗਾਉਣ ਦਾ ਯਤਨ ਕਰਦਾ ਹੈ ਕਿ ਕਿਹੜਾ ਸੰਦੇਸ਼ ਭੇਜਿਆ ਗਿਆ ਸੀ। ਇਸ ਸੰਦ੍ਰਣ ਵਿੱਚ, [[ਐਨਟ੍ਰੌਪੀ]] (ਹੋਰ ਵਿਸ਼ੇਸ਼ਤੌਰ ਤੇ, '''[[wikt:Shannon entropy|ਸੈਨੋਨ ਐਨਟ੍ਰੌਪੀ]]''') ਹਰੇਕ ਸੰਦੇਸ਼ (ਮੈਸਜ) ਵਿੱਚ ਰੱਖੀ ਜਾਣਕਾਰੀ (ਇਨਫ੍ਰਮੇਸ਼ਨ) ਦਾ [[ਉਮੀਦ ਮੁੱਲ]] (ਔਸਤ) ਹੁੰਦੀ ਹੈ। ਜਾਣਕਾਰੀ ਦੇ ਕਿਸੇ ਵੀ ਪ੍ਰਵਾਹ ਰਾਹੀਂ ਸੰਦੇਸ਼ਾਂ ਦੇ ਮਾਡਲ ਬਣਾਏ ਜਾ ਸਕਦੇ ਹਨ।

ਇੱਕ ਹੋਰ ਜਿਆਦਾ ਤਕਨੀਕੀ ਸਮਝ ਵਿੱਚ, ਸੂਚਨਾ ਨੂੰ ਸੰਭਵ ਘਟਨਾਵਾਂ ਜਾਂ ਸੰਦੇਸ਼ਾਂ ਦੀ ਪ੍ਰੋਬੇਬਿਲਿਟੀ ਡਿਸਟ੍ਰੀਬਿਊਸ਼ਨ ਦੇ ਲੌਗਰਿਥਮ ਦੇ ਨੈਗਟਿਵ ਦੇ ਤੌਰ ਤੇ ਪਰਿਭਾਸ਼ਿਤ ਕਰਨ ਦੇ ਕਾਰਨ ਹਨ (ਜੋ ਥੱਲੇ ਲਿਖੇ ਗਏ ਹਨ)। ਹਰੇਕ ਘਟਨਾ ਦੀ ਸੂਚਨਾ ਦੀ ਮਾਤਰਾ ਇੱਕ ਮਨਚਾਹਿਆ ਵੇਰੀਏਬਲ ਰਚਦੀ ਹੈ ਜਿਸਦਾ ਉਮੀਦ ਮੁੱਲ, ਜਾਂ ਔਸਤ, ਸੈਨੌਨ ਐਨਟ੍ਰੌਪੀ ਹੁੰਦੀ ਹੈ। ਐਨਟ੍ਰੌਪੀ ਦੀਆਂ ਯੂਨਿਟਾਂ [[ਸ਼ੇਨੌਨ (ਇਕਾਈ)|ਸ਼ੇਨੌਨ]], [[ਨਾਟ (ਇਕਾਈ)|ਨਾਟ]], ਜਾਂ [[ਹ੍ਰਟਲੇ (ਇਕਾਈ)|ਹ੍ਰਟਲੇ]] ਹਨ, ਜੋ ਇਸਨੂੰ ਪਰਿਭਾਸ਼ਿਤ ਕਰਨ ਲਈ ਵਰਤੇ ਜਾਂਦੇ ਲੌਗਰਿਥਮ ਦੇ ਬੇਸ ਤੇ ਨਿਰਭਰ ਕਰਦੀਆਂ ਹਨ, ਭਾਵੇਂ ਸ਼ੇਨੌਨ ਨੂੰ ਸਾਂਝੇ ਤੌਰ ਤੇ ਇੱਕ ਬਿਟ ਕਿਹਾ ਜਾਂਦਾ ਹੈ।

ਪ੍ਰੋਬੇਬਿਲਿਟੀ ਡਿਸਟ੍ਰੀਬਿਊਸ਼ਨ ਦਾ ਲੌਗਰਿਥਮ ਐਨਟ੍ਰੌਪੀ ਦੇ ਇੱਕ ਨਾਪ ਦੇ ਤੌਰ ਤੇ ਫਾਇਦੇਮੰਦ ਰਹਿੰਦਾ ਹੈ ਕਿਉਂਕਿ ਇਹ ਸੁਤੰਤਰ ਸੋਮਿਆਂ ਵਾਸਤੇ ਜੋੜਾਤਮਿਕ ਹੁੰਦਾ ਹੈ। ਉਦਾਹਰਨ ਦੇ ਤੌਰ ਤੇ, ਕਿਸੇ ਸਿੱਕੇ ਦੇ ਉਛਾਲਨ ਤੇ ਐਨਟ੍ਰੌਪੀ 1 ਸੈਨੋਨ ਹੁੰਦੀ ਹੈ, ਜਿੱਥੇ ਕਿ {{math|''m''}} ਗਣਿਤ ਦੇ ਉਛਾਲਾਂ ਲਈ ਇਹ {{math|''m''}} ਸ਼ੈਨੋਨ ਹੁੰਦੀ ਹੈ। ਸਰਵ ਸਧਾਰਨ ਤੌਰ ਤੇ, ਕਿਸੇ ਵੇਰੀਏਬਲ ਨੂੰ ਪ੍ਰਸਤੁਤ ਕਰਨ ਲਈ ਤੁਹਾਨੂੰ {{math|log<sub>2</sub>(''n'')}} ਬਿਟਾਂ ਦੀ ਜਰੂਰਤ ਪੈਂਦੀ ਹੈ ਜੋ {{math|''n''}} ਮੁੱਲਾਂ ਵਿੱਚੋਂ ਇੱਕ ਮੁੱਲ ਲੈ ਸਕਦੇ ਹਨ ਜੇਕਰ {{math|''n''}}, 2 ਦੀ ਇੱਕ ਘਾਤ (ਪਾਵਰ) ਹੋਵੇ। ਜੇਕਰ ਇਹ ਮੁੱਲ ਇੱਕ-ਬਰਾਬਰ ਹੀ ਸੰਭਵ (ਪਰੋਬੇਬਲ) ਹੋਣ, ਤਾਂ ਐਨਟ੍ਰੌਪੀ (ਸ਼ੈਨੋਨਾਂ ਵਿੱਚ) ਬਿੱਟਾਂ ਦੀ ਸੰਖਿਆ ਬਰਾਬਰ ਹੁੰਦੀ ਹੈ। ਬਿੱਟਾਂ ਦੀ ਗਿਣਤੀ ਅਤੇ ਸ਼ੈਨੋਨਾਂ ਦਰਮਿਆਨ ਸਮਾਨਤਾ ਸਿਰਫ ਉਦੋਂ ਲਾਗੂ ਰਹਿੰਦੀ ਹੈ ਜਦੋਂ ਸਾਰੇ ਨਿਕਲਣ ਵਾਲੇ ਨਤੀਜੇ ਇੱਕ ਸਮਾਨ ਹੀ ਪਰੋਬੇਬਲ (ਖੋਜਣਯੋਗ) ਹੋਣ। ਜੇਕਰ ਕੋਈ ਇੱਕ ਘਟਨਾ ਬਾਕੀ ਘਟਨਾਵਾਂ ਨਾਲ਼ੋਂ ਜਿਆਦਾ ਪ੍ਰੋਬੇਬਲ ਹੋਵੇ, ਤਾਂ ਉਸ ਘਟਨਾ ਦਾ ਨਿਰੀਖਣ ਘੱਟ ਸੂਚਨਾਤਮਿਕ ਹੁੰਦਾ ਹੈ। ਇਸਦੇ ਉਲਟ ਵਿਰਲੀਆਂ ਘਟਨਾਵਾਂ ਨਿਰੀਖਣ ਹੋਣ ਤੇ ਜਿਆਦਾ ਸੂਚਨਾ ਮੁਹੱਈਆ ਕਰਵਾਉਂਦੀਆਂ ਹਨ। ਕਿਉਂਕਿ ਘੱਟ ਪਰੋਬੇਬਲ ਘਟਨਾਵਾਂ ਦਾ ਨਿਰੀਖਣ ਹੋਰ ਜਿਆਦਾ ਵਿਰਲਾ ਵਾਪਰਦਾ ਹੈ, ਇਸ ਕਾਰਨ ਸ਼ੁੱਧ ਅਸਰ ਇਹ ਪੈਂਦਾ ਹੈ ਕਿ ਗੈਰ-ਇੱਕਸਾਰ ਵੰਡੇ ਆੰਕੜੇ ਤੋਂ ਪ੍ਰਾਪਤ ਐਨਟ੍ਰੌਪੀ (ਜੋ ਔਸਤ ਸੂਚਨਾ ਦੇ ਤੌਰ ਤੇ ਮੰਨੀ ਜਾਂਦੀ ਹੈ), {{math|log<sub>2</sub>(''n'')}} ਤੋਂ ਘੱਟ ਹੁੰਦੀ ਹੈ। ਜਦੋਂ ਨਤੀਜਾ ਨਿਸ਼ਚਿਤ ਹੁੰਦਾ ਹੈ ਤਾਂ ਐਨਟ੍ਰੌਪੀ ਜ਼ੀਰੋ ਰਹਿੰਦੀ ਹੈ। ਸ਼ੈਨੋਨ ਐਨਟ੍ਰੌਪੀ ਇਹਨਾਂ ਸਾਰੀਆਂ ਵਿਚਾਰਾਂ ਨੂੰ ਇਨਬਿੰਨ ਕੁਆਂਟੀਫਾਈ ਕਰਦੀ ਹੈ ਜਦੋਂ ਸੋਨਮੇ ਦੀ ਪ੍ਰੋਬੇਬਿਲਿਟੀ ਡਿਸਟ੍ਰੀਬਿਊਸ਼ਨ ਗਿਆਤ (ਪਤਾ) ਹੁੰਦੀ ਹੈ। ਨਿਰੀਖਤ ਘਟਨਾਵਾਂ (ਸੰਦੇਸ਼ਾਂ) ਦਾ ਅਰਥ ਐਨਟ੍ਰੌਪੀ ਦੀ ਪਰਿਭਾਸ਼ਾ ਵਿੱਚ ਕੋਈ ਵਾਸਤਾ ਨਹੀਂ ਰੱਖਦਾ। ਐਨਟ੍ਰੌਪੀ ਸਿਰਫ ਕਿਸੇ ਵਿਸ਼ੇਸ਼ ਘਟਨਾ ਨੂੰ ਨਿਰੀਖਣ ਕਰਨ ਦੀ ਪ੍ਰੋਬੇਬਿਲਿਟੀ ਨੂੰ ਹੀ ਲੈਂਦੀ ਹੈ, ਇਸਲਈ ਇਸਦੇ ਦੁਆਰਾ ਸਾਂਭੀ ਗਈ ਸੂਚਨਾ ਪਿੱਛੇ ਛੁਪੀ ਪ੍ਰੋਬੇਬਿਲਿਟੀ ਡਿਸਟ੍ਰੀਬਿਊਸ਼ਨ ਬਾਬਤ ਸੂਚਨਾ ਹੁੰਦੀ ਹੈ, ਨਾ ਕਿ ਖੁਦ ਘਟਨਾਵਾਂ ਦਾ ਅਰਥ ਹੀ ਹੁੰਦੀ ਹੈ।

ਆਮਤੌਰ ਤੇ, [[ਐਨਟ੍ਰੌਪੀ]] ਅਵਿਵਸਥਾ ਜਾਂ ਅਨਿਸ਼ਚਿਤਿਤਾ ਵੱਲ ਇਸ਼ਾਰਾ ਕਰਦੀ ਹੈ। ਸ਼ੈਨੋਨ ਐਨਟ੍ਰੌਪੀ [[ਕਲਾਓਡੇ ਈ. ਸ਼ੈਨੋਨ]] ਵੱਲੋਂ 1948 ਵਿੱਚ ਆਪਣੇ ਪੇਪਰ "[[ਏ ਮੈਥੇਮੈਟੀਕਲ ਥਿਊਰੀ ਔਫ ਕਮਿਊਨੀਕੇਸ਼ਨ]]"<ref name=shannonPaper>{{cite journal |author=Shannon, Claude E. |authorlink=Claude Shannon |title=[[A Mathematical Theory of Communication]] |journal=Bell System Technical Journal |volume=27 |issue=3 |pages=379–423 |date=July–October 1948 |doi=10.1002/j.1538-7305.1948.tb01338.x}} ([http://web.archive.org/web/20120615000000*/http://www.alcatel-lucent.com/bstj/vol27-1948/articles/bstj27-3-379.pdf PDF], archived from [http://www.alcatel-lucent.com/bstj/vol27-1948/articles/bstj27-3-379.pdf here])</ref> ਵਿੱਚ ਪੇਸ਼ ਕੀਤੀ ਗਈ ਸੀ। ਸ਼ੈਨੋਨ ਐਨਟ੍ਰੌਪੀ ਕਿਸੇ ਸੂਚਨਾ ਸੋਮੇ ਦੀ [[ਹਾਨੀਹੀਣ]] [[ਐਨਕੋਡਿੰਗ]] (ਸੰਕਵੇ-ਬੱਧਤਾ) ਦੀ ਸਭ ਤੋਂ ਜਿਆਦਾ ਚੰਗੀ ਤਰਾਂ ਸੰਭਵ ਔਸਤ ਲੰਬਾਈ ਜਾਂ [[ਡੈਟਾ ਕੰਪ੍ਰੈਸ਼ਨ|ਕੰਪ੍ਰੈਸ਼ਨ]] ਉੱਤੇ ਇੱਕ ਸ਼ੁੱਧ ਹੱਦ ਮੁਹੱਈਆ ਕਰਵਾਉਂਦੀ ਹੈ। [[ਰੇਨਯੀ ਐਨਟ੍ਰੌਪੀ]] ਸ਼ੈਨੋਨ ਐਨਟ੍ਰੌਪੀ ਸਦਾ ਸਰਵ ਸਧਾਰਨ ਕਰਨ ਕਰਦੀ ਹੈ। ਵ
== ਜਾਣ-ਪਛਾਣ ==
[[ਐਨਟ੍ਰੌਪੀ]], [[ਅਵਸਥਾ]] ਦੀ ਅਨਿਸ਼ਚਿਤਿਤਾ ਦਾ ਇੱਕ ਨਾਪ ਹੁੰਦਾ ਹੈ, ਜਾਂ ਇਸਦੇ ਸਮਾਨ ਕਹੀਏ ਤਾਂ, ਅਵਸਥਾ ਦੀ ''ਔਸਤਨ ਸੂਚਨਾ ਸਮੱਗਰੀ'' ਹੁੰਦੀ ਹੈ। ਇਹਨਾਂ ਸ਼ਬਦਾਂ ਦੀ ਇੱਕ ਗਹਿਰੀ ਸਮਝ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ, ਕਿਸੇ ਰਾਜਨੀਤਕ ਵੋਟ ਦੀ ਉਦਾਹਰਨ ਲਓ। ਆਮਤੌਰ ਤੇ, ਅਜਿਹੀਆਂ ਵੋਟਾਂ ਵੋਟਾਂ ਦੇ ਨਤੀਜਿਆਂ ਦੇ ਪਹਿਲਾਂ ਨਾ ਪਤਾ ਹੋਣ ਕਾਰਨ ਹੁੰਦੀਆਂ ਹਨ। ਦੂਜੇ ਸ਼ਬਦਾਂ ਵਿੱਚ, ਵੋਟਾਂ ਦਾ ਨਤੀਜਾ ਸਾਪੇਖਿ ਤੌਰ ਤੇ ਅਨਿਸ਼ਚਿਤ ਹੁੰਦਾ ਹੈ, ਅਤੇ ਸੱਚਮੁੱਚ ਵੋਟਾਂ ਦਾ ਕਾਰਜ ਕਰਨਾ ਅਤੇ ਨਤੀਜਿਆਂ ਨੂੰ ਪੜਨਾ ਕੁੱਝ ਨਵੀਂ [[ਇਨਫਰਮੇਸ਼ਨ]] ਦਿੰਦਾ ਹੈ; ਇਹ ਸਿਰਫ ਇਹ ਕਹਿਣ ਦੇ ਵੱਖਰੇ ਤਰੀਕੇ ਹਨ ਕਿ ਵੋਟ ਨਤੀਜਿਆਂ ਦੀ ਇੱਕ ਪੂਰਵ ਐਨਟ੍ਰੌਪੀ ਜਿਆਦਾ ਹੁੰਦੀ ਹੈ। ਹੁਣ, ਓਸ ਮਾਮਲੇ ਤੇ ਵਿਚਾਰ ਕਰੋ ਕਿ ਪਹਿਲੀ ਚੋਣ ਤੋਂ ਕੁੱਝ ਦੇਰ ਬਾਦ ਫੇਰ ਤੋਂ ਓਹੀ ਵੋਟਾਂ ਪੁਆਈਆਂ ਜਾਂਦੀਆੰ ਹਨ। ਕਿਉਂਕਿ ਵੋਟਾਂ ਦਾ ਨਤੀਜਾ ਪਹਿਲਾਂ ਹੀ ਪਤਾ ਹੁੰਦਾ ਹੈ, ਇਸਲਈ ਦੂਜੀ ਵਾਰ ਦੀਆਂ ਚੋਣਾਂ ਦਾ ਨਤੀਜਾ ਚੰਗੀ ਤਰਾਂ ਅਨੁਮਾਨਿਤ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ ਅਤੇ ਨਤੀਜਾ ਜਿਆਦਾ ਨਵੀਨ ਜਾਣਕਾਰੀ ਨਹੀਂ ਰੱਖਦੇ ਹੋਣਗੇ; ਇਸ ਮਾਮਲੇ ਵਿੱਚ, ਦੂਜੀ ਚੋਣ ਨਤੀਜੇ ਦੀ ਪੂਰਵ-ਐਨਟ੍ਰੌਪੀ ਪਹਿਲੀ ਤੋਂ ਸਾਪੇਖਿਕ ਤੌਰ ਤੇ ਘੱਟ ਹੋਵੇਗੀ।

ਹੁਣ ਸਿੱਕੇ ਦੇ ਟੌਸ ਦੀ ਉਦਾਹਰਨ ਲਓ। ਮੰਨ ਲਓ ਹੈੱਡ ਤੇ ਟੇਲ ਆਉਣ ਦੀ ਪ੍ਰੋਬੇਬਿਲਿਟੀ ਇੱਕ ਬਰਾਬਰ ਹੀ ਹੋਵੇ, ਤਾਂ ਸਿੱਕੇ ਦੇ ਟੌਸ ਦੀ ਐਨਟ੍ਰੌਪੀ ਵੱਧ ਤੋਂ ਵੱਧ ਜਿਆਦਾ ਹੋ ਸਕਦੀ ਹੈ। ਅਜਿਹਾ ਇਸ ਕਾਰਨ ਹੁੰਦਾ ਹਰੈ ਕਿਉਂਕਿ ਵਕਤ ਤੋਂ ਅੱਗੇ ਸਿੱਕੇ ਦੇ ਟੌਸ ਦਾ ਨਤੀਜਾ ਅਨੁਮਾਨਿਤ ਕਰਨ ਦਾ ਕੋਈ ਤਰੀਕਾ ਨਹੀਂ ਹੁੰਦਾ: ਅਸੀਂ ਵੱਧ ਤੋਂ ਵੱਧ ਇਹ ਕਰ ਸਕਦੇ ਹਾਂ ਕਿ ਇਹ ਅਨੁਮਾਨ ਲਗਾ ਸਕਦੇ ਹਾਂ ਕਿ ਸਿੱਕਾ ਟੌਸ ਕਰਨ ਤੇ ਹੈੱਡ ਆਏਗਾ, ਅਤੇ ਸਾਡਾ ਅਨੁਮਾਨ ½ ਪ੍ਰੋਬੇਬਿਲਿਟੀ ਨਾਲ ਸਹੀ ਰਹਿੰਦਾ ਹੈ। ਅਜਿਹਾ ਕੋਈ ਸਿੱਕੇ ਦਾ ਟੌਸ ਐਨਟ੍ਰੌਪੀ ਦਾ ਇੱਕ ਸ਼ੈਨੌਨ ਰੱਖਦਾ ਹੈ ਕਿਉਂਕਿ ਦੋ ਸੰਭਵ ਨਤੀਜੇ ਹੁੰਦੇ ਹਨ ਜੋ ਬਰਾਬਰ ਪ੍ਰੋਬੇਬਿਲਿਟੀ ਨਾਲ ਹੁੰਦੇ ਹਨ, ਅਤੇ ਵਾਸਤਵਿਕ ਨਤੀਜੇ ਨੂੰ ਜਾਣਨਾ ਸੂਚਨਾ ਦਾ ਇੱਕ ਸ਼ੈਨੌਨ ਰੱਖਦਾ ਹੈ। ਇਸ ਦੇ ਵਿਰੁੱਧ ਤਰੀਕੇ ਵਿੱਚ, ਬਗੈਰ ਕਿਸੇ ਟੇਲ ਤੋਂ ਸਿਰਫ ਦੋਵੇਂ ਹੀ ਹੈੱਡਾਂ ਵਾਲੇ ਸਿੱਕੇ ਵਾਸਤੇ ਐਨਟ੍ਰੌਪੀ 0 ਹੁੰਦੀ ਹੈ ਕਿਉਂਕਿ ਹਮੇਸ਼ਾ ਹੀ ਸਿੱਕੇ ਦਾ ਪਾਸਾ ਹੈੱਡ ਹੀ ਦਿਖਾਏਗਾ, ਅਤੇ ਨਤੀਜਾ ਪੂਰੀ ਤਰਾਂ ਭਵਿੱਖ ਬਾਣੀ ਹੋ ਸਕਦਾ ਹੈ। ਇਸਦੇ ਤੁੱਲ, ਇੱਕ ਸਮਾਨ ਮੁੱਲਾਂ ਵਾਲੇ ਇੱਕ ਬਾਇਨਰੀ ਬਿੱਟ ਦੀ <math>\log_2 2=1</math> ਸ਼ੈਨੋਨ ਸ਼ੈਨੋਨ ਐਨਟ੍ਰੌਪੀ ਹੁੰਦੀ ਹੈ। ਇਸੇਤਰਾਂ, ਸਮਾਨ-ਪ੍ਰੋਬੇਬਿਲਿਟੀ ਵਾਲੇ ਇੱਕ [[ਟਰਨਰੀ ਨਿਊਮ੍ਰਲ ਸਿਸਟਮ|ਟ੍ਰਿਟ]] ਵਿੱਚ ਸੂਚਨਾ ਦੇ <math>\log_2 3</math> (ਲੱਗਪਗ 1.58496) ਸ਼ੈਨਨ ਹੁੰਦੇ ਹਨ ਕਿਉਂਕਿ ਇਹ ਤਿੰਨ ਮੁੱਲਾਂ ਵਿੱਚੋਂ ਇੱਕ ਮੁੱਲ ਰੱਖ ਸਕਦਾ ਹੈ।

== ਪਰਿਭਾਸ਼ਾ ==

[[H-ਥਿਊਰਮ|ਬੋਲਟਜ਼ਮਨ ਦੀ Η-ਥਿਊਰਮ]], ਤੋਂ ਬਾਦ ਸ਼ੈਨਨ ਨੇ ਐਨਟ੍ਰੌਪੀ {{math|&Eta;}} ([[ਅਨਿਰੰਤਰ ਮਨਚਾਹੇ ਅਸਥਿਰਾਂਕ]]ਾਂ {{math|''X''}} ਦਾ ਗਰੀਕ ਕੈਪੀਟਲ ਅੱਖਰ [[ਈਟਾ]]) ਜੋ ਸੰਭਵ ਮੁੱਲਾਂ {{math|{''x''<sub>1</sub>, ..., ''x''<sub>''n''</sub>}}} ਵਾਲਾ ਹੁੰਦਾ ਹੈ ਅਤੇ [[ਪ੍ਰੋਬੇਬਿਲਟੀ ਮਾਸ ਫੰਕਸ਼ਨ]] {{math|P(''X'')}} ਨੂੰ ਇਸ ਤਰ੍ਹਾਂ ਦਰਸਾਇਆ:

:<math>\Eta(X) = \mathrm{E}[\mathrm{I}(X)] = \mathrm{E}[-\ln(\mathrm{P}(X))].</math>

== ਉਦਾਹਰਨ ==
== ਦਲੀਲ ==
== ਪਹਿਲੂ ==
=== ਥਰਮੋਡਾਇਨਾਮਿਕ ਐਨਟ੍ਰੌਪੀ ਪ੍ਰਤਿ ਸਬੰਧ ===
=== ਸੂਚਨਾ ਸਮੱਗਰੀ ਦੇ ਤੌਰ ਤੇ ਐਨਟ੍ਰੌਪੀ ===
=== ਵਿਭਿੰਨਤਾ ਦੇ ਨਾਪ ਦੇ ਤੌਰ ਤੇ ਐਨਟ੍ਰੌਪੀ ===
=== ਡਾਟਾ ਕੰਪ੍ਰੈਸ਼ਨ ===
=== ਜਾਣਕਾਰੀ ਦੇ ਭੰਡਾਰੀਕਰਨ ਅਤੇ ਪ੍ਰਸਾਰ ਦੀ ਸੰਸਾਰ ਦੀ ਤਕਨੀਕੀ ਸਮਰਥਾ ===
=== ਸੂਚਨਾ ਸਮੱਗਰੀ ਦੇ ਤੌਰ ਤੇ ਐਨਟ੍ਰੌਪੀ ਦੀਆਂ ਕਮੀਆਂ ===
=== ਕ੍ਰਿਪਟੋਗ੍ਰਾਫੀ ਅੰਦਰ ਐਨਟ੍ਰੌਪੀ ਦੀਆਂ ਕਮੀਆਂ ===
=== ਇੱਕ ਮਾਰਕੋਵ ਪ੍ਰੋਸੈੱਸ ਦੇ ਤੌਰ ਤੇ ਡਾਟਾ ===
=== b-ਏਰੀ ਐਨਟ੍ਰੌਪੀ ===
== ਐਫੀਸ਼ੈਂਸੀ == 
== ਲੱਛਣਬੱਧਤਾ ==
=== ਨਿਰੰਤਰਤਾ ===
=== ਸਮਿੱਟਰੀ ===
=== ਉੱਚਤਮ ===
=== ਜੋੜ-ਬੱਧਤਾ ===
== ਹੋਰ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ==
== ਨਿਰੰਤਰ ਮਾਮਲੇ ਤੱਕ ਅਨਿਰੰਤਰ (ਡਿਸਕ੍ਰੀਟ) ਐਨਟ੍ਰੌਪੀ ਨੂੰ ਵਧਾਓਣਾ ==
=== ਡਿੱਫ੍ਰੈਂਸ਼ੀਅਲ ਐਨਟ੍ਰੌਪੀ ===
=== ਡਿਸਕ੍ਰੀਟ (ਅਨਿਰੰਤਰ) ਬਿੰਦੂਆਂ ਦੀ ਹੱਦਬੰਦੀ ਕਰਨ ਵਾਲੀ ਘਣਤਾ (ਡੈਂਸਟੀ) ===
=== ਸਾਪੇਖਿਕ (ਰਿਲੇਟਿਵ) ਐਨਟ੍ਰੌਪੀ ===
== ਸੰਯੋਜਕਾਤਮਿਕਤਾ ਅੰਦਰ ਵਰਤੋਂ ==
=== ਲੂਮਿਸ-ਵਿਟਨੇ ਅਸਮਾਨਤਾ ===
=== ਬਾਇਨੌਮੀਅਲ ਗੁਣਾਂਕ (ਕੋਐਫੀਸ਼ੈਂਟ) ਪ੍ਰਤਿ ਸੰਖੇਪ ਅਨੁਮਾਨ ===
== ਇਹ ਵੀ ਦੇਖੋ ==
== ਹਵਾਲੇ ==
== ਹੋਰ ਲਿਖਤਾਂ ==
=== ਇਨਫ੍ਰਮੇਸ਼ਨ ਥਿਊਰੀ ਉੱਤੇ ਟੈਕਸਟਬੁਕਾਂ ===
== ਬਾਹਰੀ ਲਿੰਕ ==
{{external cleanup|date=June 2015}}
{{Library resources box|onlinebooks=yes}}
* {{springer|title=Entropy|id=p/e035740}}
* [http://pespmc1.vub.ac.be/ENTRINFO.html Introduction to entropy and information] on [[Principia Cybernetica Web]]
* ''[http://www.mdpi.com/journal/entropy Entropy]'' an interdisciplinary journal on all aspect of the entropy concept. Open access.
* [http://www.rheingold.com/texts/tft/6.html Description of information entropy from "Tools for Thought" by Howard Rheingold] {{Webarchive|url=https://web.archive.org/web/20110515195708/http://www.rheingold.com/texts/tft/6.html |date=15 ਮਈ 2011 }}
* [http://math.ucsd.edu/~crypto/java/ENTROPY/ A java applet representing Shannon's Experiment to Calculate the Entropy of English]
* [http://www.autonlab.org/tutorials/infogain.html Slides on information gain and entropy] {{Webarchive|url=https://web.archive.org/web/20190207130355/https://www.autonlab.org/tutorials/infogain.html |date=7 ਫ਼ਰਵਰੀ 2019 }}
*[[Wikibooks:An Intuitive Guide to the Concept of Entropy Arising in Various Sectors of Science|''An Intuitive Guide to the Concept of Entropy Arising in Various Sectors of Science'']] – a wikibook on the interpretation of the concept of entropy.
* [http://arxiv.org/abs/1404.1998 A Light Discussion and Derivation of Entropy]
* [https://researchspace.auckland.ac.nz/handle/2292/3427 Network Event Detection With Entropy Measures], Dr. Raimund Eimann, University of Auckland, PDF; 5993&nbsp;kB – a PhD thesis demonstrating how entropy measures may be used in network anomaly detection.
* [http://rosettacode.org/wiki/Entropy [[Rosetta Code]] repository of implementations of Shannon entropy in different programming languages.]
* [http://tuvalu.santafe.edu/~simon/it.pdf "Information Theory for Intelligent People"] {{Webarchive|url=https://web.archive.org/web/20200613105841/http://tuvalu.santafe.edu/~simon/it.pdf |date=13 ਜੂਨ 2020 }}. Short introduction to the axioms of information theory, entropy, mutual information, Kullback–Liebler divergence, and Jensen–Shannon distance.

{{Compression Methods}}

{{Authority control}}

{{DEFAULTSORT:ਐਨਟ੍ਰੌਪੀ (ਇਨਫ੍ਰਮਰਮੇਸ਼ਨ ਥਿਊਰੀ)}}
[[ਸ਼੍ਰੇਣੀ:ਐਨਟ੍ਰੌਪੀ ਅਤੇ ਸੂਚਨਾ| ]]
[[ਸ਼੍ਰੇਣੀ:ਇਨਫ੍ਰਮੇਸ਼ਨ ਥਿਊਰੀ]]
[[ਸ਼੍ਰੇਣੀ:ਸਟੈਟਿਸਟੀਕਲ ਰੈਂਡੱਮਨੈੱਸ]]