본문 바로가기

Big Data/Hive

Big Data/Hive 2022. 10. 26. Execution Error 직접 빌드한 Hadoop위에서 Hive를 실행할 때 자주 아래와 같은 에러가 발생하였다. 이는 메모리 부족으로 인한 에러라고 한다. 해당 에러를 해결하는 방법은 아래의 코드를 입력해주는 것이다. hive> set hive.exec.mode.local.auto=true; 코드 자체는 hive를 로컬모드로 실행하겠다는 것을 의미하며, 이것이 메모리 부족과 무슨 상관인지는 추후에 자세하게 알아보자. 로컬 모드로 변경한 이후, 문제없이 코드가 실행되는 것을 확인할 수 있었다. 추가로, hive 명령어가 MapReduce 과정을 거쳐 결과물이 생성되는 것을 확인할 수 있다.
Big Data/Hive 2022. 10. 26. Alter Table Change Columns ALTER TABLE tablename CHANGE COLUMN oldname newname coltype [COMMENT 'comment'] [FIRST | AFTER colname]; Add/Replace Columns ALTER TABLE tablename ADD | REPLACE COLUMNS (colname1 coltype1 [COMMENT 'comment1'], colname2 coltype2 [COMMENT 'comment2']; New Location ALTER TABLE tablename [PARTITION spec] SET LOCATION 'new_loc';
Big Data/Hive 2022. 10. 25. Partition (2) Partition Hive에는 Internal table, External Table 두 종류가 있으며 테이블내 데이터를 partiton 단위로 insert가 가능하다. Internal Table에 partiton 데이터를 Insert 하는 방법은 아래와 같다. INSERT INTO TABLE logs PARTITION (year=2022, month=10, day=25) SELECT * FROM staged_logs WHERE year=2022 AND month=10 AND day=25; 데이터를 overwrite 할 때는 아래와 같이 데이터를 insert하면 된다. INSERT OVERWRITE TABLE logs PARTITION (year=20122, month=10, day=25) SELECT ..
Big Data/Hive 2022. 10. 25. partition (1) Partition 실습 시작 전, 테이블을 생성하고 Partition을 추가헤보자. Partition을 추가하기 전에는 show partitions [table명]; 에서 아무것도 출력되지 않는다. Partiton을 추가할 때, 주소가 정확하지 않으면 데이터 조회가 불가하다. Partition 데이터가 있는 주소를 정확하게 명시하여 추가해주는 것이 중요하다. 정확한 주소의 데이터를 가져오니, partition 기준의 데이터가 정상적으로 조회되는 것을 확인. Create table (managed) 하려니 용량 오류 발생 > set hive.exec.mode.local.auto=true; 명령어를 통해

티스토리툴바