hadoop - generating bigram combinations from grouped data in pig -

-

मेरे इनपुट डेटा को userid, itemid प्रारूप में दिया गया है: 

  कच्चे: {userid: bytearray , मदरहित: बायटैरेई} कच्चा डंप; (ए, 1) (ए, 2) (ए, 4) (ए, 5) (बी, 2) (बी, 3) (बी, 5) (सी, 1) (सी, 5) जीआरपीडी = ग्रुप कच्चा BY यूज़र आईडी; डंप जीआरपीडी; (ए, (ए, 1), (ए, 2), (ए, 4), (ए, 5)}) (बी, {(बी 2), (बी, 3), (बी, 5) }) (सी, {(सी, 1), (सी, 5)})

मैं प्रत्येक समूह के अंदर सभी संयोजनों (ऑर्डर के लिए जरूरी नहीं) उत्पन्न करना चाहता हूं । मैं आखिरकार अपने समूह में आइटम्स पर जॅक कार्ड समानता प्रदर्शन करने का इरादा रखता हूं।

आदर्श रूप से मेरे बड़ेअम उत्पन्न होंगे और फिर मैं इस तरह दिखने के लिए आउटपुट को फ़्लैट करता हूं: 

  (ए, (1,2)) (ए, (1,3)) (ए, (1,4)) (ए, (2,3)) (ए, (2,4)) (ए, (3 , 4)) (बी, (1,2)) (बी, (2,3)) (बी, (3,5)) (सी, (1,5))

पत्र एबीसी, जो यूजरआड का प्रतिनिधित्व करते हैं, वास्तव में आउटपुट के लिए जरूरी नहीं हैं, मैं सिर्फ उन्हें स्पष्ट उद्देश्यों के लिए दिखा रहा हूँ वहां से, मैं जैककार्ड की गणना के लिए प्रत्येक बड़ेराम की घटनाओं की संख्या की गणना करता। मुझे यह जानना अच्छा लगेगा कि क्या किसी और को समान समानता कैलक्स (माफ करना!) के लिए सुअर का उपयोग कर रहा है और इससे पहले से ही इसका सामना करना पड़ा है।

मैंने देखा है कि एनजीराम जनरेटर जो सुअर ट्यूटोरियल के साथ दिया गया है लेकिन यह ' वास्तव में जो मैं पूरा करने की कोशिश कर रहा हूँ मैच वास्तव में। मैं सोच रहा हूं कि शायद यूडीएफ स्ट्रीमिंग वाला अजगर जाने का तरीका है।

आप निश्चित रूप से जा रहे हैं एक यूडीएफ (पायथन या जावा में, या तो ठीक होगा) लिखना होगा आप इसे एक बैग पर काम करना चाहते हैं, और फिर एक बैग का उत्पादन करते हैं (यदि आप टेउल्स के एक बैग को समतल करते हैं, तो आप आउटपुट पंक्तियाँ पायेंगे, जिससे आपको वह आउटपुट दिया जाएगा जो आप चाहते हैं)।

यूडीएफ अपने आप को बहुत मुश्किल नहीं होगा ... 

  पत्र, संख्या = ज़िप (* इनपुट_टौप्स) संख्या = सूची (जैसे (नंबर (संख्या) में मैं (0, लेन (संख्या)) के लिए सेट है : श्रेणी में जम्मू के लिए (i, लेन (संख्या)): res.append ((संख्या [i], संख्या [j]))

और फिर बस चीजों को डाली और उन्हें उचित रूप से वापस करें ।

यदि आपको एक सरल अजगर उदफ बनाने में कोई मदद की आवश्यकता है, तो यह बहुत बुरा नहीं है। यहां पर देखें:

और निश्चित रूप से यहां अधिक सहायता मांगने के लिए स्वतंत्र महसूस करें

/ div>

Comments

Post a Comment

Popular posts from this blog

wpf - Line breaks and indenting for the XAML of a saved FlowDocument? -

-
Is there a way to format XAM generated when a flow document is saved? Currently, all of this is run simultaneously in one line, and I want to break it into my elements, with line break and indenting it makes it a little easier to read. Here is the code I'm using to save a FlowDocument in a WPF RichTextBox as a XAML file: // entire document around TextRange textRange Create a TextRange side = new TextRange (myRichTextBox.Document.ContentStart, myRichTextBox.Document .contentEnd); // save the file using the file (file stream fs = file. Create (filename)) {textRange.Save (fs, DataFormats.Xaml); } Savings work fine, but as I mentioned, JPAM has been generated, all this goes together, no indentation or line breaks for its various elements Is: & lt; Section xmlns = "http://schemas.microsoft.com/winfx/2006/xaml/presentation" xml: space = "preserve" Tekstelinement = "left" Lainhait = "auto" Hashipineshn = enabled = "false...
Read more

gtk - Python Window Resize -

-
Using Python + PyGTK Is there a signal / event way to change the window size? If so, then what is the easiest way to implement and use this signal. There is also one, so it answers the signal. Here's the minimum sample code: import gtk def (window): print 'I have resized'. W = gtk.Window () w.connect ('check-size', has been changed) w.show () gtk.main ()
Read more

c# - read full xml file data over tcp -

-
I'm developing an application that either the incoming data on the PC and then when I'm trying does it decodes the data to use the software with any sniffing have been stored in the dB and I can read it myself ... but my code .... this came in a format like 1651589240214931398151442251437622947132917620011138147205162160411201699123179148781675713921035101183865895219106213196222741589715384652061681391901278671232822552717812424975221242 11517622131122113236255230254211206911242051832545515823012124925217318223920523316923122925514321122343602492471242 ........ I have tried to use this System.Text.Encoding.ASCII.GetString (tcpHeader.Data) and it is working fine. But when I run it and wait for data (this is in XML format) I have found in many packages that it is difficult to read it again ... What should I do? Do I have to collect data from every packet, then add all to get the whole message? Or there is a library to do that in .net
Read more