[text] 4044

Viewer

  1. Big
  2. cat hive test.txt
  3. cp hivetest..txt pigtest.txt
  4. hdfs dfs -mkdir pigpractice
  5. hdfs dos -put pigtest.txt pigpractice
  6. —
  7. hdfs dfs -ls pigpractice 
  8. —
  9. pig
  10. grunt> student = LOAD ‘pigpractice/pigtest.txt’ USING PigStorage(‘,’)
  11. as (sid:int,sname:chararray,marks:int,course:chararray);
  12. ————-
  13. // displaying the data from a table. 
  14.  
  15. dump student;
  16. ————
  17. // copying the data from pig table to text file into HDFS. 
  18. STORE student INTO ‘pigpractoc/test’
  19. >> USING PigStorage(‘#’)
  20. —
  21. or
  22. > STORE student INFO ‘pigpractice/test2’ USING PigStorage(‘\t’);
  23. ——————
  24. // display the resulted files in HDFS. 
  25. oracle: hdfs dfs -ls pigpractice/test
  26. or
  27. cloudera
  28. hdfs dfs -cat pigpractice/test2/part*
  29. —————
  30. // copy the text file from hdfs to linux 
  31. hdfs dfs -get pigpractice/test/part-m-00000
  32. cat part-m-0000
  33. ————
  34. //display the student data by grouping on course and store into the groupcourse bag 
  35. grunt> coursegroup = GROUP student BY course;
  36. grunt> dump coursedata;
  37. ——————
  38. //Display student name and marks with the alias column studentmarks from student bag and store into aliascoursedata bag. 
  39. grunt>coursedata = FOREACH student GENERATE sname AS studentname,marks AS aliascoursedata; 
  40. ——————
  41. grunt>coursedata = FOREACH student GENERATE sname AS studentname,marks AS aliascoursedata; 
  42.  
  43. grunt> studmarks = FILTER student BY marks > 90; 
  44. grunt> dump student;
  45. —————
  46. //Display student name and marks from student bag, who got more than 85 and store the result rows into bag studentmarks. 
  47.  
  48. studentmarks = FILTER (FOREACH student GENERATE sname,marks) BY marks > 85; 
  49.  
  50. ———-
  51. grunt>student5 = LIMIT student 5; 
  52. grunt>dump student5; 
  53. ————
  54. //display the student name, course and marks from student bag by grouping on course and store into the groupstud bag. 
  55.  
  56. grunt> groupstud = GROUP (FOREACH student GENERATE sname,course,marks) BY course; 
  57. grunt>dump groupstud
  58.  
  59. ———
  60. //Display all the students with the descending order on marks and store into bag studorder.
  61. grunt> studorder = ORDER student BY marks desc; 
  62. grunt> dump studorder;
  63.  
  64. ———
  65. display the student name, course and marks from student bag with the ascending order on marks and store into the studordernew bag. 
  66.  
  67. grunt> studordernew = ORDER (FOREACH student GENERATE sname,marks) BY marks ; 
  68. grunt> dump studordernew;
  69.  
  70. ————
  71. //Display all the students by grouping on course by using column index and store into bag temp. 
  72.  
  73. grunt> describe student;
  74. student:{sid: int,sname: chararray,marks: int,course: chararry}
  75. grunt> temp = GROUP student by $3;
  76. grunt> dump temp;
  77. ——————
  78. //Display all the course names and their corresponding highest marks for each course and store into bag temp1. 
  79.  
  80. grunt>describe temp;
  81. temp: {group: chararray,student: {(sid: int,sname: chararray,marks: int,course: chararay)}}
  82. grunt> temp1 = foreach temp generate group as grp, MAX(student.marks);
  83. Grunt>dump temp1;
  84. ——————
  85. //Using all aggregation functions store the result into bag groupresult 
  86. grunt> groupresult = foreach temp generate group,MAX(student.marks) as maxmarks,
  87. MIN(student.marks) as minmarks, SUM(student.marks) as totmarks,
  88. AVG(student.marks) as avgmarks, COUNT(student) as totalstudents;
  89.  
  90. grunt>describe groupresult;
  91. groupresult: {group: chararry,maxmarks: int,minmarks: int,totmarks: long,avgmarks: double,totals}
  92. grunt>dump group;
  93. ———
  94. //cogroup : Grouping the data from two tables with a common column. 
  95. nano
  96. sudo nano teacher.txt
  97. Hdfs dfs -put teacher.txt pigpractice

Editor

You can edit this paste and save as new:


File Description
  • 4044
  • Paste Code
  • 05 May-2024
  • 3.56 Kb
You can Share it: