पी.ए.क्यू.: Difference between revisions

From Vigyanwiki
No edit summary
No edit summary
Line 6: Line 6:
|access-date=2007-07-10
|access-date=2007-07-10
}}</ref>
}}</ref>
==एल्गोरिदम==
==एल्गोरिदम==
पी.ए.क्यू. संदर्भ मिश्रण एल्गोरिथ्म का उपयोग करता है। संदर्भ मिश्रण आंशिक मिलान (पीपीएम) द्वारा पूर्वानुमान से संबंधित है जिसमें कंप्रेसर को भविष्यवक्ता और अंकगणितीय कोडर में विभाजित किया गया है, किन्तु इसमें भिन्नता है कि अगले-प्रतीक पूर्वानुमान की गणना बड़ी संख्या में मॉडल से संभाव्यता अनुमानों के भारित संयोजन का उपयोग करके की जाती है। विभिन्न सन्दर्भों पर आधारित पीपीएम के विपरीत, किसी संदर्भ को सन्निहित होने की आवश्यकता नहीं है। अधिकांश पी.ए.क्यू. वर्जन निम्नलिखित संदर्भों के लिए अगले-प्रतीक आँकड़े एकत्र करते हैं:
पी.ए.क्यू. संदर्भ मिश्रण एल्गोरिथ्म का उपयोग करता है। संदर्भ मिश्रण आंशिक मिलान (पीपीएम) द्वारा पूर्वानुमान से संबंधित है जिसमें कंप्रेसर को भविष्यवक्ता और अंकगणितीय कोडर में विभाजित किया गया है, किन्तु इसमें भिन्नता है कि अगले-प्रतीक पूर्वानुमान की गणना बड़ी संख्या में मॉडल से संभाव्यता अनुमानों के भारित संयोजन का उपयोग करके की जाती है। विभिन्न सन्दर्भों पर आधारित पीपीएम के विपरीत, किसी संदर्भ को सन्निहित होने की आवश्यकता नहीं है। अधिकांश पी.ए.क्यू. वर्जन निम्नलिखित संदर्भों के लिए अगले-प्रतीक आँकड़े एकत्र करते हैं:
Line 45: Line 43:
** P(0) = ''S''<sub>0</sub> / ''S'',
** P(0) = ''S''<sub>0</sub> / ''S'',
** P(1) = ''S''<sub>1</sub> / ''S'',
** P(1) = ''S''<sub>1</sub> / ''S'',
जहां ''w<sub>i</sub>'' ''i''-वें मॉडल का वजन है। पी.ए.क्यू.3 के माध्यम से, वजन तय किया गया और तदर्थ विधियों से सेट किया गया। (ऑर्डर-''n'' संदर्भों का वजन n2 था।) पी.ए.क्यू.4 से प्रारंभ करते हुए, वजन को उस दिशा में अनुकूल रूप से समायोजित किया गया था जो समान संदर्भ सेट में भविष्य की त्रुटियों को कम करेगा। यदि कोड किया जाने वाला बिट y है, तो वजन समायोजन है:
जहां ''w<sub>i</sub>'' ''i''-वें मॉडल का भार है। पी.ए.क्यू.3 के माध्यम से, भार तय किया गया और तदर्थ विधियों से सेट किया गया। (ऑर्डर-''n'' संदर्भों का भार n2 था।) पी.ए.क्यू.4 से प्रारंभ करते हुए, भार को उस दिशा में अनुकूल रूप से समायोजित किया गया था जो समान संदर्भ सेट में भविष्य की त्रुटियों को कम करेगा। यदि कोड किया जाने वाला बिट y है, तो भार समायोजन है:
 
*''n<sub>i</sub>'' = ''n''<sub>0''i''</sub> + ''n''<sub>1''i''</sub>,
 
 
** ''n<sub>i</sub>'' = ''n''<sub>0''i''</sub> + ''n''<sub>1''i''</sub>,
** त्रुटि = ''y'' – P(1),
** त्रुटि = ''y'' – P(1),
** ''w<sub>i</sub>'' ← ''w<sub>i</sub>'' + [(''S'' ''n''<sub>1''i''</sub> − ''S''<sub>1</sub> ''n<sub>i</sub>'') / (''S''<sub>0</sub> ''S''<sub>1</sub>)] त्रुटि.
** ''w<sub>i</sub>'' ← ''w<sub>i</sub>'' + [(''S'' ''n''<sub>1''i''</sub> − ''S''<sub>1</sub> ''n<sub>i</sub>'') / (''S''<sub>0</sub> ''S''<sub>1</sub>)] त्रुटि.
Line 56: Line 51:


पी.ए.क्यू.7 से प्रारंभ होकर, प्रत्येक मॉडल पूर्वानुमान आउटपुट करता है (गिनती की जोड़ी के अतिरिक्त )। ये पूर्वानुमान लॉजिस्टिक डोमेन में औसत हैं:
पी.ए.क्यू.7 से प्रारंभ होकर, प्रत्येक मॉडल पूर्वानुमान आउटपुट करता है (गिनती की जोड़ी के अतिरिक्त )। ये पूर्वानुमान लॉजिस्टिक डोमेन में औसत हैं:
* ''x<sub>i</sub>'' = खिंचाव(P<sub>''i''</sub>(1)),
* ''x<sub>i</sub>'' = खिंचाव (P<sub>''i''</sub>(1)),
* P(1) = स्क्वैश(Σ<sub>''i''</sub> ''w<sub>i</sub>'' ''x<sub>i</sub>''),
* P(1) = स्क्वैश (Σ<sub>''i''</sub> ''w<sub>i</sub>'' ''x<sub>i</sub>''),
जहां P(1) संभावना है कि अगला बिट 1, P होगा<sub>''i''</sub>(1) i -वें मॉडल द्वारा अनुमानित संभावना है, और
जहां P(1) संभावना है कि अगला बिट 1, P होगा<sub>''i''</sub>(1) i -वें मॉडल द्वारा अनुमानित संभावना है, और
* खिंचाव(x) = ln(x / (1 − x)),
* खिंचाव(x) = ln(x / (1 − x)),
Line 64: Line 59:
**
**


प्रत्येक पूर्वानुमान के पश्चात् , कोडिंग कास्ट को कम करने के लिए वजन को समायोजित करके मॉडल को अपडेट किया जाता है:
प्रत्येक पूर्वानुमान के पश्चात् , कोडिंग कास्ट को कम करने के लिए भार को समायोजित करके मॉडल को अपडेट किया जाता है:
** ''w<sub>i</sub>'' ← ''w<sub>i</sub>'' + η ''x<sub>i</sub>'' (''y'' − P(1)),
** ''w<sub>i</sub>'' ← ''w<sub>i</sub>'' + η ''x<sub>i</sub>'' (''y'' − P(1)),
जहां η सीखने की दर है (समान्य रूप से 0.002 से 0.01), y अनुमानित बिट है, और (y − P(1)) पूर्वानुमान त्रुटि है। वेट अपडेट एल्गोरिदम बैकप्रॉपैगेशन से अलग है जिसमें P(1)P(0) शब्द हटा दिए जाते हैं। ऐसा इसलिए है क्योंकि न्यूरल नेटवर्क का लक्ष्य कोडिंग कास्ट को कम करना है, न कि मूल माध्य वर्ग त्रुटि है।
जहां η सीखने की दर है (समान्य रूप से 0.002 से 0.01), y अनुमानित बिट है, और (y − P(1)) पूर्वानुमान त्रुटि है। वेट अपडेट एल्गोरिदम बैकप्रॉपैगेशन से अलग है जिसमें P(1)P(0) शब्द हटा दिए जाते हैं। ऐसा इसलिए है क्योंकि न्यूरल नेटवर्क का लक्ष्य कोडिंग कास्ट को कम करना है, न कि मूल माध्य वर्ग त्रुटि है।


पीएक्यू के अधिकांश संस्करण न्यूरल नेटवर्क के लिए वजन के सेट के बीच चयन करने के लिए एक छोटे संदर्भ का उपयोग करते हैं। कुछ संस्करण एकाधिक नेटवर्क का उपयोग करते हैं जिनके आउटपुट एसएसई चरणों से पहले एक और नेटवर्क के साथ संयुक्त होते हैं। इसके अतिरिक्त , प्रत्येक इनपुट पूर्वानुमान के लिए कई इनपुट हो सकते हैं जो स्ट्रेच P<sub>''i''</sub>(1) के अतिरिक्त (P(1)) के गैर-रेखीय कार्य हैं।
पीएक्यू के अधिकांश वर्जन न्यूरल नेटवर्क के लिए भार के सेट के बीच चयन करने के लिए एक छोटे संदर्भ का उपयोग करते हैं। कुछ वर्जन एकाधिक नेटवर्क का उपयोग करते हैं जिनके आउटपुट एसएसई चरणों से पहले एक और नेटवर्क के साथ संयुक्त होते हैं। इसके अतिरिक्त , प्रत्येक इनपुट पूर्वानुमान के लिए कई इनपुट हो सकते हैं जो स्ट्रेच P<sub>''i''</sub>(1) के अतिरिक्त (P(1)) के गैर-रेखीय कार्य हैं।


===संदर्भ मॉडलिंग===
===संदर्भ मॉडलिंग===
Line 88: Line 80:
===टेक्स्ट प्रीप्रोसेसिंग===
===टेक्स्ट प्रीप्रोसेसिंग===


पी.ए.क्यू. के कुछ संस्करण, विशेष रूप से पीए क्यूडीए, पी.ए.क्यू.एआर (दोनों पी.ए.क्यू.6 डेरिवेटिव), और पी.ए.क्यू.8एच.पी1 से पी.ए.क्यू.8एच.पी8 (पी.ए.क्यू.8 डेरिवेटिव और [[हटर पुरस्कार]] प्राप्तकर्ता) बाहरी शब्दकोश में शब्दों को देखकर और उन्हें 1- से 3-बाइट कोड के साथ बदलकर टेक्स्ट फ़ाइलों को प्रीप्रोसेस करते हैं। . इसके अतिरिक्त, अपरकेस अक्षरों को विशेष वर्ण के साथ एन्कोड किया जाता है जिसके पश्चात् लोअरकेस अक्षर आते हैं। पी.ए.क्यू.8एच.पी श्रृंखला में, शब्दकोश को वाक्यात्मक और शब्दार्थ संबंधी शब्दों को साथ समूहित करके व्यवस्थित किया जाता है। यह मॉडलों को संदर्भ के रूप में शब्दकोश कोड के सबसे महत्वपूर्ण बिट्स का उपयोग करने की अनुमति देता है।
पी.ए.क्यू. के कुछ वर्जन, विशेष रूप से पीए क्यूडीए, पी.ए.क्यू.एआर (दोनों पी.ए.क्यू.6 डेरिवेटिव), और पी.ए.क्यू.8एच.पी1 से पी.ए.क्यू.8एच.पी8 (पी.ए.क्यू.8 डेरिवेटिव और [[हटर पुरस्कार]] प्राप्तकर्ता) बाहरी शब्दकोश में शब्दों को देखकर और उन्हें 1- से 3-बाइट कोड के साथ बदलकर टेक्स्ट फ़ाइलों को प्रीप्रोसेस करते हैं। . इसके अतिरिक्त, अपरकेस अक्षरों को विशेष वर्ण के साथ एन्कोड किया जाता है जिसके पश्चात् लोअरकेस अक्षर आते हैं। पी.ए.क्यू.8एच.पी श्रृंखला में, शब्दकोश को वाक्यात्मक और शब्दार्थ संबंधी शब्दों को साथ समूहित करके व्यवस्थित किया जाता है। यह मॉडलों को संदर्भ के रूप में शब्दकोश कोड के सबसे महत्वपूर्ण बिट्स का उपयोग करने की अनुमति देता है।


==तुलना==
==तुलना==
Line 131: Line 123:
निम्नलिखित पी.ए.क्यू. एल्गोरिथम के प्रमुख संवर्द्धनों को सूचीबद्ध करता है। इसके अतिरिक्त, बड़ी संख्या में वृद्धिशील सुधार हुए हैं, जिन्हें छोड़ दिया गया है।
निम्नलिखित पी.ए.क्यू. एल्गोरिथम के प्रमुख संवर्द्धनों को सूचीबद्ध करता है। इसके अतिरिक्त, बड़ी संख्या में वृद्धिशील सुधार हुए हैं, जिन्हें छोड़ दिया गया है।


* पी.ए.क्यू.1 को 6 जनवरी 2002 को मैट महोनी द्वारा जारी किया गया था। इसमें निश्चित वजन का उपयोग किया गया था और इसमें एनालॉग या विरल मॉडल सम्मिलित नहीं था।
* पी.ए.क्यू.1 को 6 जनवरी 2002 को मैट महोनी द्वारा जारी किया गया था। इसमें निश्चित भार का उपयोग किया गया था और इसमें एनालॉग या विरल मॉडल सम्मिलित नहीं था।
* पी.ए.क्यू.1एसएसई/पी.ए.क्यू.2 को 11 मई 2003 को सर्ज ओस्नाच द्वारा जारी किया गया था। इसने भविष्यवक्ता और एनकोडर के बीच माध्यमिक प्रतीक अनुमान (एसएसई) चरण जोड़कर कंप्रेशन में उल्लेखनीय सुधार किया। एसएसई संक्षिप्त संदर्भ और वर्तमान पूर्वानुमान इनपुट करता है और तालिका से नई पूर्वानुमान आउटपुट करता है। फिर वास्तविक बिट मान को प्रतिबिंबित करने के लिए तालिका प्रविष्टि को समायोजित किया जाता है।
* पी.ए.क्यू.1एसएसई/पी.ए.क्यू.2 को 11 मई 2003 को सर्ज ओस्नाच द्वारा जारी किया गया था। इसने भविष्यवक्ता और एनकोडर के बीच माध्यमिक प्रतीक अनुमान (एसएसई) चरण जोड़कर कंप्रेशन में उल्लेखनीय सुधार किया। एसएसई संक्षिप्त संदर्भ और वर्तमान पूर्वानुमान इनपुट करता है और तालिका से नई पूर्वानुमान आउटपुट करता है। फिर वास्तविक बिट मान को प्रतिबिंबित करने के लिए तालिका प्रविष्टि को समायोजित किया जाता है।
* 9 अक्टूबर 2003 को जारी पी.ए.क्यू.3एन ने विरल मॉडल जोड़ा।
* 9 अक्टूबर 2003 को जारी पी.ए.क्यू.3एन ने विरल मॉडल जोड़ा।
* मैट महोनी द्वारा 15 नवंबर 2003 को जारी पी.ए.क्यू.4 में अनुकूली भार का उपयोग किया गया। पी.ए.क्यू.5 (दिसंबर 18, 2003) और पी.ए.क्यू.6 (दिसंबर 30, 2003) नए एनालॉग मॉडल सहित सामान्य सुधार थे। इस बिंदु पर, पीएक्यू सर्वश्रेष्ठ पीपीएम कम्प्रेसर के साथ प्रतिस्पर्धी था और उसने डेटा कंप्रेशन समुदाय का ध्यान आकर्षित किया, जिसके परिणामस्वरूप अप्रैल 2004 तक बड़ी संख्या में वृद्धिशील सुधार हुए। बर्टो डेस्टासियो ने मॉडलों को ट्यून किया और बिट काउंट डिस्काउंटिंग शेड्यूल को समायोजित किया। जोहान डी बॉक ने यूजर इंटरफ़ेस में सुधार किया। डेविड ए. स्कॉट ने अंकगणित कोडर में सुधार किया। फैबियो बफोनी ने गति में सुधार किया गया था।
* मैट महोनी द्वारा 15 नवंबर 2003 को जारी पी.ए.क्यू.4 में अनुकूली भार का उपयोग किया गया। पी.ए.क्यू.5 (दिसंबर 18, 2003) और पी.ए.क्यू.6 (दिसंबर 30, 2003) नए एनालॉग मॉडल सहित सामान्य सुधार थे। इस बिंदु पर, पीएक्यू सर्वश्रेष्ठ पीपीएम कम्प्रेसर के साथ प्रतिस्पर्धी था और उसने डेटा कंप्रेशन समुदाय का ध्यान आकर्षित किया, जिसके परिणामस्वरूप अप्रैल 2004 तक बड़ी संख्या में वृद्धिशील सुधार हुए। बर्टो डेस्टासियो ने मॉडलों को ट्यून किया और बिट काउंट डिस्काउंटिंग शेड्यूल को समायोजित किया। जोहान डी बॉक ने यूजर इंटरफ़ेस में सुधार किया। डेविड ए. स्कॉट ने अंकगणित कोडर में सुधार किया। फैबियो बफोनी ने गति में सुधार किया गया था।
* 20 मई 2004 से 27 जुलाई 2004 की अवधि के समय , अलेक्जेंडर रतुश्न्याक ने पी.ए.क्यू.एआर के सात वर्जन जारी किए गए थे, जिसमें अनेक नए मॉडल, संदर्भ द्वारा चयनित वजन के साथ अनेक मिक्सर, प्रत्येक मिक्सर आउटपुट में एसएसई चरण जोड़कर महत्वपूर्ण कंप्रेशन सुधार किए गए। और इंटेल निष्पादन योग्य फ़ाइलों के कंप्रेशन को उत्तम बनाने के लिए प्रीप्रोसेसर जोड़ना। पी.ए.क्यू.एआर 2004 के अंत तक शीर्ष रैंक वाले कंप्रेसर के रूप में खड़ा था, किन्तु पिछले पी.ए.क्यू. वर्जनो की तुलना में अधिक धीमा था।
* 20 मई 2004 से 27 जुलाई 2004 की अवधि के समय , अलेक्जेंडर रतुश्न्याक ने पी.ए.क्यू.एआर के सात वर्जन जारी किए गए थे, जिसमें अनेक नए मॉडल, संदर्भ द्वारा चयनित भार के साथ अनेक मिक्सर, प्रत्येक मिक्सर आउटपुट में एसएसई चरण जोड़कर महत्वपूर्ण कंप्रेशन सुधार किए गए। और इंटेल निष्पादन योग्य फ़ाइलों के कंप्रेशन को उत्तम बनाने के लिए प्रीप्रोसेसर जोड़ना। पी.ए.क्यू.एआर 2004 के अंत तक शीर्ष रैंक वाले कंप्रेसर के रूप में खड़ा था, किन्तु पिछले पी.ए.क्यू. वर्जनो की तुलना में अधिक धीमा था।
* 18 जनवरी 2005 से 7 फरवरी 2005 की अवधि के समय , प्रेज़ेमिस्लाव स्किबिंस्की ने अंग्रेजी शब्दकोश प्रीप्रोसेसर के साथ पी.ए.क्यू.6 और पी.ए.क्यू.एआर पर आधारित पीएएसक्यूडीए के चार वर्जन जारी किए। इसने कैलगरी कॉर्पस पर शीर्ष रैंकिंग प्राप्त की किन्तु अधिकांश अन्य बेंचमार्क पर नहीं कि थी।
* 18 जनवरी 2005 से 7 फरवरी 2005 की अवधि के समय , प्रेज़ेमिस्लाव स्किबिंस्की ने अंग्रेजी शब्दकोश प्रीप्रोसेसर के साथ पी.ए.क्यू.6 और पी.ए.क्यू.एआर पर आधारित पीएएसक्यूडीए के चार वर्जन जारी किए। इसने कैलगरी कॉर्पस पर शीर्ष रैंकिंग प्राप्त की किन्तु अधिकांश अन्य बेंचमार्क पर नहीं कि थी।
* पी.ए.क्यू.6 के संशोधित वर्जन ने 10 जनवरी 2004 को मैट महोनी द्वारा कैलगरी चैलेंज जीता। अलेक्जेंडर रतुश्न्याक द्वारा पी.ए.क्यू.एआर के दस पश्चात् के वर्जनो द्वारा इसे उत्तम बनाया गया। सबसे आधुनिक 5 जून 2006 को प्रस्तुत किया गया था, जिसमें कुल 589,862 बाइट्स का कंप्रेस डेटा और प्रोग्राम स्रोत कोड सम्मिलित था।
* पी.ए.क्यू.6 के संशोधित वर्जन ने 10 जनवरी 2004 को मैट महोनी द्वारा कैलगरी चैलेंज जीता। अलेक्जेंडर रतुश्न्याक द्वारा पी.ए.क्यू.एआर के दस पश्चात् के वर्जनो द्वारा इसे उत्तम बनाया गया। सबसे आधुनिक 5 जून 2006 को प्रस्तुत किया गया था, जिसमें कुल 589,862 बाइट्स का कंप्रेस डेटा और प्रोग्राम स्रोत कोड सम्मिलित था।
* पी.ए.क्यू.7 को दिसंबर 2005 में मैट महोनी द्वारा रिलीज़ किया गया था। पी.ए.क्यू.7, पी.ए.क्यू.6 और वेरिएंट (पी.ए.क्यू.एआर , पी ए एस क्यूडीए) का पूर्ण पुनर्लेखन है। कंप्रेशन अनुपात पी.ए.क्यू.एआर के समान था किन्तु 3 गुना तेज़ था। चूँकि इसमें x86 और शब्दकोश का अभाव था, इसलिए यह विंडोज़ निष्पादनयोग्य और अंग्रेजी टेक्स्ट फ़ाइलों के साथ-साथ पी ए एस क्यूडीए को कंप्रेस नहीं करता था। इसमें रंगीन बीएमपी, टीआईएफएफ और जेपीईजी फाइलों के मॉडल सम्मिलित हैं, इसलिए ये फाइलें उत्तम विधियों से कंप्रेस होती हैं। पी.ए.क्यू.6 से प्राथमिक अंतर यह है कि यह ग्रेडिएंट डिसेंट मिक्सर के अतिरिक्त मॉडलों को संयोजित करने के लिए न्यूरल नेटवर्क का उपयोग करता है। अन्य विशेषता [[ प्रोग्राम फ़ाइल |प्रोग्राम फ़ाइल]]-, वर्ड- और पीडीएफ-फ़ाइलों में एम्बेडेड जेपीईजी और बिटमैप छवियों को कंप्रेस करने की पी.ए.क्यू.7 की क्षमता है।
* पी.ए.क्यू.7 को दिसंबर 2005 में मैट महोनी द्वारा रिलीज़ किया गया था। पी.ए.क्यू.7, पी.ए.क्यू.6 और वेरिएंट (पी.ए.क्यू.एआर , पी ए एस क्यूडीए) का पूर्ण पुनर्लेखन है। कंप्रेशन अनुपात पी.ए.क्यू.एआर के समान था किन्तु 3 गुना तेज़ था। चूँकि इसमें x86 और शब्दकोश का अभाव था, इसलिए यह विंडोज़ निष्पादनयोग्य और अंग्रेजी टेक्स्ट फ़ाइलों के साथ-साथ पी ए एस क्यूडीए को कंप्रेस नहीं करता था। इसमें रंगीन बीएमपी, टीआईएफएफ और जेपीईजी फाइलों के मॉडल सम्मिलित हैं, इसलिए ये फाइलें उत्तम विधियों से कंप्रेस होती हैं। पी.ए.क्यू.6 से प्राथमिक अंतर यह है कि यह ग्रेडिएंट डिसेंट मिक्सर के अतिरिक्त मॉडलों को संयोजित करने के लिए न्यूरल नेटवर्क का उपयोग करता है। अन्य विशेषता [[ प्रोग्राम फ़ाइल |प्रोग्राम फ़ाइल]]-, वर्ड- और पीडीएफ-फ़ाइलों में एम्बेडेड जेपीईजी और बिटमैप छवियों को कंप्रेस करने की पी.ए.क्यू.7 की क्षमता है।
* पी.ए.क्यू.8A को 27 जनवरी 2006 को, पी.ए.क्यू.8सी को 13 फरवरी 2006 को जारी किया गया था। ये प्रत्याशित पी.ए.क्यू.8 के प्रायोगिक प्री-रिलीज़ थे। इसने पी.ए.क्यू.7 (कुछ स्थितियों में [[खराब]] कंप्रेशन ) में अनेक समस्याओं को ठीक किया। पी.ए.क्यू.8ए में (x86) निष्पादनयोग्यों को कंप्रेस करने के लिए मॉडल भी सम्मिलित है।
* पी.ए.क्यू.8A को 27 जनवरी 2006 को, पी.ए.क्यू.8सी को 13 फरवरी 2006 को जारी किया गया था। ये प्रत्याशित पी.ए.क्यू.8 के प्रायोगिक प्री-रिलीज़ थे। इसने पी.ए.क्यू.7 (कुछ स्थितियों में [[खराब|वोर्स]] कंप्रेशन ) में अनेक समस्याओं को ठीक किया। पी.ए.क्यू.8ए में (x86) निष्पादनयोग्यों को कंप्रेस करने के लिए मॉडल भी सम्मिलित है।
* पी.ए.क्यू.8एफ को 28 फरवरी, 2006 को जारी किया गया था। पी.ए.क्यू.8एफ में पी.ए.क्यू.8ए की तुलना में 3 सुधार थे: अधिक मेमोरी कुशल संदर्भ मॉडल, कंप्रेशन में सुधार के लिए नया अप्रत्यक्ष संदर्भ मॉडल, और विंडोज़ में ड्रैग और ड्रॉप का समर्थन करने के लिए नया उपयोगकर्ता इंटरफ़ेस। यह पी.ए.क्यू.8बी/सी/डी/ई वेरिएंट की तरह अंग्रेजी शब्दकोश का उपयोग नहीं करता है।
* पी.ए.क्यू.8एफ को 28 फरवरी, 2006 को जारी किया गया था। पी.ए.क्यू.8एफ में पी.ए.क्यू.8ए की तुलना में 3 सुधार थे: अधिक मेमोरी कुशल संदर्भ मॉडल, कंप्रेशन में सुधार के लिए नया अप्रत्यक्ष संदर्भ मॉडल, और विंडोज़ में ड्रैग और ड्रॉप का समर्थन करने के लिए नया उपयोगकर्ता इंटरफ़ेस। यह पी.ए.क्यू.8बी/सी/डी/ई वेरिएंट की तरह अंग्रेजी शब्दकोश का उपयोग नहीं करता है।
* पी.ए.क्यू.8जी को प्रेज़ेमिस्लाव स्किबिंस्की द्वारा 3 मार्च 2006 को रिलीज़ किया गया था। पी.ए.क्यू.8जी पी.ए.क्यू.8एफ है जिसमें शब्दकोश जोड़े गए हैं और पुन: डिज़ाइन किए गए टेक्स्टफ़िल्टर के रूप में कुछ अन्य सुधार किए गए हैं (जो गैर-टेक्स्ट फ़ाइलों पर कंप्रेशन प्रदर्शन को कम नहीं करता है)
* पी.ए.क्यू.8जी को प्रेज़ेमिस्लाव स्किबिंस्की द्वारा 3 मार्च 2006 को रिलीज़ किया गया था। पी.ए.क्यू.8जी पी.ए.क्यू.8एफ है जिसमें शब्दकोश जोड़े गए हैं और पुन: डिज़ाइन किए गए टेक्स्टफ़िल्टर के रूप में कुछ अन्य सुधार किए गए हैं (जो गैर-टेक्स्ट फ़ाइलों पर कंप्रेशन प्रदर्शन को कम नहीं करता है)
Line 153: Line 145:
* पी.ए.क्यू.8पीएक्स को 25 अप्रैल 2009 को जन ओन्ड्रस द्वारा जारी किया गया था। इसमें उत्तम [[WAV|डब्ल्यूएवी]] कम्प्रेशन और ईएक्सई कम्प्रेशन जैसे विभिन्न सुधार सम्मिलित हैं।
* पी.ए.क्यू.8पीएक्स को 25 अप्रैल 2009 को जन ओन्ड्रस द्वारा जारी किया गया था। इसमें उत्तम [[WAV|डब्ल्यूएवी]] कम्प्रेशन और ईएक्सई कम्प्रेशन जैसे विभिन्न सुधार सम्मिलित हैं।
* पी.ए.क्यू.8केएक्स को 15 जुलाई 2009 को जन ओन्ड्रस द्वारा जारी किया गया था। यह पी.ए.क्यू.8के के साथ पी.ए.क्यू.8पीएक्स का संयोजन है।
* पी.ए.क्यू.8केएक्स को 15 जुलाई 2009 को जन ओन्ड्रस द्वारा जारी किया गया था। यह पी.ए.क्यू.8के के साथ पी.ए.क्यू.8पीएक्स का संयोजन है।
* पी.ए.क्यू.8पीएफ को लवपिंपल द्वारा 9 सितंबर 2009 को बिना सोर्स कोड (जिसके लिए [[GPL|जीपीएल]] लाइसेंस की आवश्यकता होती है) के बिना जारी किया गया था। यह 7% खराब कंप्रेस करता है, किन्तु पी.ए.क्यू.8पीएक्स वी 66 (1 एमबी अंग्रेजी टेक्स्ट से मापा गया) की तुलना में 7 गुना तेज है।
* पी.ए.क्यू.8पीएफ को लवपिंपल द्वारा 9 सितंबर 2009 को बिना सोर्स कोड (जिसके लिए [[GPL|जीपीएल]] लाइसेंस की आवश्यकता होती है) के बिना जारी किया गया था। यह 7% वोर्स कंप्रेस करता है, किन्तु पी.ए.क्यू.8पीएक्स वी 66 (1 एमबी अंग्रेजी टेक्स्ट से मापा गया) की तुलना में 7 गुना तेज है।
* पी.ए.क्यू.9ए को मैट महोनी द्वारा 31 दिसंबर 2007 को जारी किया गया था। नया प्रयोगात्मक संस्करण. इसमें विशिष्ट फ़ाइल प्रकारों के लिए मॉडल सम्मिलित नहीं हैं, इसमें एलजेडपी प्रीप्रोसेसर है और 2 जीबी से अधिक की फ़ाइलों का समर्थन करता है।
* पी.ए.क्यू.9ए को मैट महोनी द्वारा 31 दिसंबर 2007 को जारी किया गया था। नया प्रयोगात्मक वर्जन. इसमें विशिष्ट फ़ाइल प्रकारों के लिए मॉडल सम्मिलित नहीं हैं, इसमें एलजेडपी प्रीप्रोसेसर है और 2 जीबी से अधिक की फ़ाइलों का समर्थन करता है।
* [[ZPAQ|जेड]]पी.ए.क्यू. को 12 मार्च 2009 को मैट महोनी द्वारा जारी किया गया था। यह नए संग्रह प्रारूप का उपयोग करता है जिसे डिज़ाइन किया गया है जिससे वर्तमान जेडपी.ए.क्यू. प्रोग्राम भविष्य के जेडपी.ए.क्यू. वर्जनो द्वारा बनाए गए अभिलेखागार को डीकंप्रेस करने में सक्षम हो सके।<ref>{{Cite web|url=https://manpages.ubuntu.com/manpages/xenial/en/man1/zpaq.1.html|title=Ubuntu Manpage: zpaq - PAQ open standard maximum compressor|website=manpages.ubuntu.com}}</ref> (ऊपर सूचीबद्ध विभिन्न पीएक्यू वेरिएंट इस तरह से आगे संगत नहीं हैं)। यह बाइटकोड प्रोग्राम में डीकंप्रेसन एल्गोरिदम को निर्दिष्ट करके इसे प्राप्त करता है जो प्रत्येक निर्मित संग्रह फ़ाइल में संग्रहीत होता है।<ref>{{cite web|url=http://mattmahoney.net/dc/zpaq1.pdf |title=ZPAQ स्तर 1 विशिष्टता|format=PDF |access-date=2010-09-03}}</ref>
* [[ZPAQ|जेड]]पी.ए.क्यू. को 12 मार्च 2009 को मैट महोनी द्वारा जारी किया गया था। यह नए संग्रह प्रारूप का उपयोग करता है जिसे डिज़ाइन किया गया है जिससे वर्तमान जेडपी.ए.क्यू. प्रोग्राम भविष्य के जेडपी.ए.क्यू. वर्जनो द्वारा बनाए गए अभिलेखागार को डीकंप्रेस करने में सक्षम हो सके।<ref>{{Cite web|url=https://manpages.ubuntu.com/manpages/xenial/en/man1/zpaq.1.html|title=Ubuntu Manpage: zpaq - PAQ open standard maximum compressor|website=manpages.ubuntu.com}}</ref> (ऊपर सूचीबद्ध विभिन्न पीएक्यू वेरिएंट इस तरह से आगे संगत नहीं हैं)। यह बाइटकोड प्रोग्राम में डीकंप्रेसन एल्गोरिदम को निर्दिष्ट करके इसे प्राप्त करता है जो प्रत्येक निर्मित संग्रह फ़ाइल में संग्रहीत होता है।<ref>{{cite web|url=http://mattmahoney.net/dc/zpaq1.pdf |title=ZPAQ स्तर 1 विशिष्टता|format=PDF |access-date=2010-09-03}}</ref>


Line 183: Line 175:
* परफेक्ट कंप्रेस<ref>{{cite web|url=http://moises-studios.com/?q=PerfectCompress |title=परफेक्टकंप्रेस आधिकारिक वेबसाइट|publisher=Moises-studios.110mb.com |date=2010-04-03 |access-date=2010-05-19}}</ref> एक कंप्रेशन सॉफ्टवेयर है जिसमें यूसीए (अल्ट्रा कंप्रेस्ड आर्काइव) की सुविधा है। कंप्रेशन प्रारूप जिसमें पी.ए.क्यू.8पीएक्स वी 42 से वी 65 सम्मिलित है और जो अब डिफ़ॉल्ट यूसीए कंप्रेसर के रूप में पी.ए.क्यू.8पीएफ, पी.ए.क्यू.8केएक्स, या पी.ए.क्यू.8पीएक्सपीआरई का उपयोग कर सकता है। इसके अतिरिक्त , परफेक्टकंप्रेस फ़ाइलों को पी.ए.क्यू.8पीएक्स वी 42 से वी 67, और जेडपी.ए.क्यू. में कंप्रेस कर सकता है, और वर्जन 6.0 के अनुसार, फ़ाइलों को एलपी.ए.क्यू. और पी.ए.क्यू.8पीएफ बीटा 1 से बीटा 3 में कंप्रेस कर सकता है। परफेक्टकंप्रेस वी 6.10 ने वर्तमान ही में जारी पी.ए.क्यू.8पीएक्सपीआरई के लिए समर्थन कंप्रेशन प्रस्तुत किया है। परफेक्टकंप्रेस 6.12 पी.ए.क्यू.8केएक्स श्रृंखला के लिए समर्थन प्रस्तुत करता है।<ref>{{cite web|url=http://www.facebook.com/pages/PerfectCompress/224694115431 |title=परफेक्टकंप्रेस आधिकारिक फेसबुक पेज|publisher=Facebook.com |access-date=2010-05-19}}</ref>
* परफेक्ट कंप्रेस<ref>{{cite web|url=http://moises-studios.com/?q=PerfectCompress |title=परफेक्टकंप्रेस आधिकारिक वेबसाइट|publisher=Moises-studios.110mb.com |date=2010-04-03 |access-date=2010-05-19}}</ref> एक कंप्रेशन सॉफ्टवेयर है जिसमें यूसीए (अल्ट्रा कंप्रेस्ड आर्काइव) की सुविधा है। कंप्रेशन प्रारूप जिसमें पी.ए.क्यू.8पीएक्स वी 42 से वी 65 सम्मिलित है और जो अब डिफ़ॉल्ट यूसीए कंप्रेसर के रूप में पी.ए.क्यू.8पीएफ, पी.ए.क्यू.8केएक्स, या पी.ए.क्यू.8पीएक्सपीआरई का उपयोग कर सकता है। इसके अतिरिक्त , परफेक्टकंप्रेस फ़ाइलों को पी.ए.क्यू.8पीएक्स वी 42 से वी 67, और जेडपी.ए.क्यू. में कंप्रेस कर सकता है, और वर्जन 6.0 के अनुसार, फ़ाइलों को एलपी.ए.क्यू. और पी.ए.क्यू.8पीएफ बीटा 1 से बीटा 3 में कंप्रेस कर सकता है। परफेक्टकंप्रेस वी 6.10 ने वर्तमान ही में जारी पी.ए.क्यू.8पीएक्सपीआरई के लिए समर्थन कंप्रेशन प्रस्तुत किया है। परफेक्टकंप्रेस 6.12 पी.ए.क्यू.8केएक्स श्रृंखला के लिए समर्थन प्रस्तुत करता है।<ref>{{cite web|url=http://www.facebook.com/pages/PerfectCompress/224694115431 |title=परफेक्टकंप्रेस आधिकारिक फेसबुक पेज|publisher=Facebook.com |access-date=2010-05-19}}</ref>
* फ्रंटपीएक्यू, पीएक्यू के लिए छोटा गुई। नवीनतम वर्जन फ्रंटपी.ए.क्यू. वी 8 है जो पी.ए.क्यू.8पीएक्स, पी.ए.क्यू.8पीएफ और एफपी8 को समर्थन करता है। सॉफ़्टवेयर अब अपडेट नहीं किया गया है और उपयोगकर्ताओं को पी.ए.क्यू.कम्प्रेशन का उपयोग करने के लिए प्रोत्साहित किया जाता है, जो नवीनतम पी.ए.क्यू. रिलीज़ को प्रयुक्त करता है।<ref>{{Cite web|url=https://encode.su/threads/453-FrontPAQ-GUI-frontend-for-PAQ8PF-and-PAQ8PX?p=58940&viewfull=1#post58940|title=FrontPAQ - GUI frontend for PAQ8PF and PAQ8PX|website=encode.su|access-date=2019-07-26}}</ref>
* फ्रंटपीएक्यू, पीएक्यू के लिए छोटा गुई। नवीनतम वर्जन फ्रंटपी.ए.क्यू. वी 8 है जो पी.ए.क्यू.8पीएक्स, पी.ए.क्यू.8पीएफ और एफपी8 को समर्थन करता है। सॉफ़्टवेयर अब अपडेट नहीं किया गया है और उपयोगकर्ताओं को पी.ए.क्यू.कम्प्रेशन का उपयोग करने के लिए प्रोत्साहित किया जाता है, जो नवीनतम पी.ए.क्यू. रिलीज़ को प्रयुक्त करता है।<ref>{{Cite web|url=https://encode.su/threads/453-FrontPAQ-GUI-frontend-for-PAQ8PF-and-PAQ8PX?p=58940&viewfull=1#post58940|title=FrontPAQ - GUI frontend for PAQ8PF and PAQ8PX|website=encode.su|access-date=2019-07-26}}</ref>
==यह भी देखें==
==यह भी देखें==
{{Portal|Free and open-source software}}
{{Portal|Free and open-source software}}

Revision as of 12:30, 13 December 2023

For डीओएस के लिए असंबंधित PAQ.EXE कंप्रेसर, see क्वांटम कंप्रेशन.
File:Paq8o Sample Session.png
पी.ए.क्यू.8O का नमूना सत्र

पी.ए.क्यू. लॉसलेस डेटा कंप्रेशन अभिलेखों की श्रृंखला है जो सहयोगात्मक विकास के माध्यम से कंप्रेशन अनुपात को मापने वाले अनेक बेंचमार्क पर शीर्ष रैंकिंग तक पहुंच गई है (चूँकि गति और मेमोरी उपयोग की मूल्य पर)। पीएक्यू के विशिष्ट वर्जनो ने हटर पुरस्कार और कैलगरी चुनौती जीता है।[1] पीएक्यू जीएनयू जनरल पब्लिक लाइसेंस के अनुसार वितरित मुफ्त सॉफ्टवेयर है।[2]

एल्गोरिदम

पी.ए.क्यू. संदर्भ मिश्रण एल्गोरिथ्म का उपयोग करता है। संदर्भ मिश्रण आंशिक मिलान (पीपीएम) द्वारा पूर्वानुमान से संबंधित है जिसमें कंप्रेसर को भविष्यवक्ता और अंकगणितीय कोडर में विभाजित किया गया है, किन्तु इसमें भिन्नता है कि अगले-प्रतीक पूर्वानुमान की गणना बड़ी संख्या में मॉडल से संभाव्यता अनुमानों के भारित संयोजन का उपयोग करके की जाती है। विभिन्न सन्दर्भों पर आधारित पीपीएम के विपरीत, किसी संदर्भ को सन्निहित होने की आवश्यकता नहीं है। अधिकांश पी.ए.क्यू. वर्जन निम्नलिखित संदर्भों के लिए अगले-प्रतीक आँकड़े एकत्र करते हैं:

  • n -ग्राम ; संदर्भअनुमानित प्रतीक से पहले अंतिम n बाइट्स है (जैसा कि पीपीएम में है);
  • संपूर्ण-शब्द n-ग्राम, केस और गैर-वर्णमाला वर्णों को अनदेखा करना (टेक्स्ट फ़ाइलों में उपयोगी);
  • विरल संदर्भ, उदाहरण के लिए, अनुमानित प्रतीक से पहले के दूसरे और चौथे बाइट्स (कुछ बाइनरी प्रारूपों में उपयोगी);
  • एनालॉग संदर्भ, जिसमें पिछले 8- या 16-बिट शब्दों के उच्च-क्रम बिट्स सम्मिलित हैं (मल्टीमीडिया फ़ाइलों के लिए उपयोगी);
  • द्वि-आयामी संदर्भ (छवियों, तालिकाओं और स्प्रेडशीट के लिए उपयोगी); पंक्ति की लंबाई दोहराए जाने वाले बाइट पैटर्न की स्ट्राइड लंबाई ज्ञात करके निर्धारित की जाती है;
  • विशेष मॉडल, जैसे x86 निष्पादन योग्य, विंडोज़ बिटमैप , टीआईएफएफ, या जेपीईजी छवियां; ये मॉडल केवल तभी सक्रिय होते हैं जब विशेष फ़ाइल प्रकार का पता लगाया जाता है।

सभी पी.ए.क्यू. वर्जन समय में बिट की पूर्वानुमान करते हैं और कंप्रेस करते हैं, किन्तु मॉडल के विवरण और पूर्वानुमानो को संयुक्त और पोस्टप्रोसेस करने के विधियों में भिन्नता होती है। एक बार जब अगली-बिट संभावना निर्धारित हो जाती है, तो इसे अंकगणितीय कोडिंग द्वारा एन्कोड किया जाता है। वर्जन के आधार पर पूर्वानुमानो के संयोजन की तीन विधियाँ हैं:

  • पी.ए.क्यू.1 से पी.ए.क्यू.3 तक, प्रत्येक पूर्वानुमान को बिट गणना की एक जोड़ी के रूप में दर्शाया जाता है। इन गणनाओं को भारित योग द्वारा संयोजित किया जाता है, जिसमें लंबे संदर्भों को अधिक महत्व दिया जाता है।
  • पी.ए.क्यू.4 से पी.ए.क्यू.6 में, पूर्वानुमानों को पहले की तरह संयोजित किया जाता है, किन्तु प्रत्येक मॉडल को दिए गए भार को अधिक स्पष्ट मॉडल के पक्ष में समायोजित किया जाता है।
  • पी.ए.क्यू.7 और पश्चात् में, प्रत्येक मॉडल गिनती की जोड़ी के अतिरिक्त संभावना को आउटपुट करता है। संभावनाओं को आर्टिफिशल न्यूरल नेटवर्क का उपयोग करके संयोजित किया जाता है।

पी.ए.क्यू.1एसएसई और पश्चात् के वर्जन द्वितीयक प्रतीक अनुमान (एसएसई) का उपयोग करके पूर्वानुमान को पोस्टप्रोसेस करते हैं। किसी तालिका में नई पूर्वानुमान देखने के लिए संयुक्त पूर्वानुमान और छोटे संदर्भ का उपयोग किया जाता है। बिट एन्कोड होने के पश्चात् , पूर्वानुमान त्रुटि को कम करने के लिए तालिका प्रविष्टि को समायोजित किया जाता है। एसएसई चरणों को विभिन्न संदर्भों के साथ पाइपलाइन किया जा सकता है या औसत आउटपुट के साथ समानांतर में गणना की जा सकती है।

अंकगणित कोडिंग

एक स्ट्रिंग s को सबसे छोटी बाइट स्ट्रिंग में कंप्रेस किया जाता है जो [0, 1] रेंज में बेस-256 बिग-एंडियन नंबर x का प्रतिनिधित्व करता है जैसे कि P(r < s) ≤ x < P(r ≤ s), जहां P(r < s) संभावना है कि एक रैंडम स्ट्रिंग r जिसकी लंबाई s के समान है, शब्दकोष की दृष्टि से s से कम होगी। ऐसा x खोजना सदैव संभव है कि x की लंबाई शैनन सीमा, −log2P(r = s) बिट्स से अधिक से अधिक एक बाइट अधिक हो। एस की लंबाई संग्रह शीर्षलेख में संग्रहीत है।

पी.ए.क्यू. में अंकगणित कोडिंग प्रत्येक पूर्वानुमान के लिए x पर निचली और ऊपरी सीमा को बनाए रखते हुए कार्यान्वित की जाती है, प्रारंभ में [0, 1]। प्रत्येक पूर्वानुमान के पश्चात् , वर्तमान सीमा को P(0) और P(1) के अनुपात में दो भागों में विभाजित किया जाता है, संभावना है कि s का अगला बिट क्रमशः 0 या 1 होगा, s के पिछले बिट्स को देखते हुए। फिर अगली बिट को नई श्रेणी के लिए संबंधित उपश्रेणी का चयन करके एन्कोड किया जाता है।

संख्या x को बिट पूर्वानुमानो की समान श्रृंखला बनाकर वापस स्ट्रिंग s में विघटित किया जाता है (चूंकि s के पिछले बिट्स ज्ञात हैं)। कंप्रेशन के साथ सीमा को विभाजित किया गया है। जो कि x वाला भाग नई श्रेणी बन जाता है, और संबंधित बिट को s से जोड़ दिया जाता है।

पी.ए.क्यू. में, सीमा की निचली और ऊपरी सीमा को 3 भागों में दर्शाया गया है। सबसे महत्वपूर्ण आधार-256 अंक समान हैं, इसलिए उन्हें x के अग्रणी बाइट्स के रूप में लिखा जा सकता है। अगले 4 बाइट्स को मेमोरी में रखा जाता है, जिससे प्रमुख बाइट अलग हो। अनुगामी बिट्स को निचली सीमा के लिए सभी शून्य और ऊपरी सीमा के लिए सभी शून्य माना जाता है। निचली सीमा से और बाइट लिखकर कंप्रेशन समाप्त किया जाता है।

अनुकूली मॉडल भार

पी.ए.क्यू.6 के माध्यम से पी.ए.क्यू. वर्जनो में, प्रत्येक मॉडल गिनती की एक जोड़ी, , शून्य बिट्स की गिनती, और , 1 बिट्स की गिनती के लिए अलग-अलग संदर्भों का एक सेट मैप करता है। वर्तमान के इतिहास का पक्ष लेने के लिए, विपरीत बिट देखे जाने पर 2 से अधिक की आधी गिनती को छोड़ दिया जाता है। उदाहरण के लिए, यदि किसी संदर्भ से जुड़ी वर्तमान स्थिति है और 1 देखा जाता है, तो गिनती (7, 4) में अपडेट की जाती है।

एक बिट को अंकगणितीय रूप से उसकी संभाव्यता के आनुपातिक स्थान के साथ कोडित किया जाता है, या तो P(1) या P(0) = 1 - P(1)। संभावनाओं की गणना 0 और 1 की गणना के भारित योग द्वारा की जाती है:

    • S0 = Σi wi n0i,
    • S1 = Σi wi n1i,
    • S = S0 + S1,
    • P(0) = S0 / S,
    • P(1) = S1 / S,

जहां wi i-वें मॉडल का भार है। पी.ए.क्यू.3 के माध्यम से, भार तय किया गया और तदर्थ विधियों से सेट किया गया। (ऑर्डर-n संदर्भों का भार n2 था।) पी.ए.क्यू.4 से प्रारंभ करते हुए, भार को उस दिशा में अनुकूल रूप से समायोजित किया गया था जो समान संदर्भ सेट में भविष्य की त्रुटियों को कम करेगा। यदि कोड किया जाने वाला बिट y है, तो भार समायोजन है:

  • ni = n0i + n1i,
    • त्रुटि = y – P(1),
    • wi ← wi + [(S n1i − S1 ni) / (S0 S1)] त्रुटि.

न्यूरल-नेटवर्क मिश्रण

पी.ए.क्यू.7 से प्रारंभ