본문 바로가기

전체 글

Database/SQL 2025. 2. 4. [Clickhouse] user password Exception Clickhouse User 생성 및 Password 오류 분석. [1] user 생성 및 password 설정하기CREATE USER OR REPLACE '{username}' ON CLUSTER {cluster_nm} IDENTIFIED BY '{password}' HOST IP '{ip}', '{local_host_ip}';  [1-1] password 설정 오류Code: 36. DB::Exception: Invalid password. The password should: contain at least 1 lowercase character, contain at least 1 uppercase character. (BAD_ARGUMENTS) password 제약 조건 설정에 따라 위와 같은 오류가..
[SQLP] 데이터베이스 저장 구조
Database/SQLP 2024. 2. 28. [SQLP] 데이터베이스 저장 구조 1. 데이터베이스 저장구조 테이블스페이스 > 세그먼트 > 익스텐트 > 블록 순으로 데이터베이스를 구성하고 있다. 테이블 스페이스 Table Space 세그먼트를 담는 콘테이너, 여러 개의 데이터 파일로 구성. * 데이터 파일 - 디스크 상의 물리적인 OS 파일 세그먼트 Segment 테이블, 인덱스처럼 데이터 저장공간이 필요한 오브젝트 테이블 또는 인덱스가 파티션 구조라면, 각 파티션이 하나의 세그먼트이다. LOB 컬럼은 그 자체로 하나의 세그먼트를 구성하며, 자신이 속한 테이블과 다른 별도 공간에 값을 저장한다. 익스텐트 Extent 공간을 확장하는 단위, 연속된 블록 집합 세그먼트(테이블, 인덱스)의 공간 부족해지면, 테이블스페이스로부터 익스텐트를 추가로 할당받는다. 한 익스텐트는 하나의 테이블이 독..
Database/SQLP 2024. 2. 14. [SQLP] SQL 파싱과 최적화 참고 교재 - 친절한 SQL 튜닝 1. 옵티마이저 - 시스템 및 오브젝트 통계정보를 바탕으로 다양한 실행경로를 생성해서 비교한 후 가장 효율적인 실행 계획을 선택하는 DBMS 내부 엔진 - SQL 최적화를 수행하며, 각 실행계획의 비용(I/O 횟수나 예상 소요시간)을 비교한다. 2. 옵티마이저 힌트 사용법 - 주석 기호(/* */) 에 '+' 를 붙이면 된다. # Example SELECT /*+ INDEX(A 고객_PK) */ 고객명, 연락처, 주소, 가입일시 FROM 고객 A WHERE 고객ID = '00000' - 주의 사항 (1) 힌트 나열 시, 콤마(,) 사용 불가 (2) 테이블 명시할 떄, 스키마명 제외 (3) From절에서 테이블 별칭(Alias) 명시했을 경우, 별칭을 사용해줘야한다. # ..
Database/SQLP 2024. 2. 14. [SQLP] 자주 사용하는 SQL 힌트 목록 참고 교재 - 친절한 SQL 튜닝 분류 힌트 설명 최적화 목표 ALL_ROWS 전체 처리속도 최적화 FIRST_ROWS(n) 최초 n건 응답속도 최적화 액세스 방식 FULL Table Full Scan 유도 INDEX Index Scan 유도 INDEX_DESC Index 역순으로 스캔 유도 INDEX_FFS Index Fast Full Scan 유도 INDEX_SS Index Skip Scan 유도 조인 순서 ORDERED FROM 절에 나열된 순서대로 조인 LEADING LEADING 힌트 괄호에 기술한 순서대로 조인 ex) LEADING(T1 T2) - T1, T2 순서대로 조인 SWAP_JOIN_INPUTS 해지 조인시, BUILD INPUT을 명시적으로 선택 ex) SWAP_JOIN_INPUTS..
Issue 2023. 3. 20. [AI] Chat GPT 체험 요즘 Chat GPT가 이슈인 것과 동시에 개발자 사이에서도 많이 활용되고 있다하여 체험해보았다. SQL 문을 최적화해볼 일이 있어 Chat GPT를 활용해보기로 하였다. 우선 아래 링크에 들어가 Try ChatGPT를 클릭해줬더니 실행화면이 바로 떴다. https://openai.com/blog/chatgpt Introducing ChatGPT We’ve trained a model called ChatGPT which interacts in a conversational way. The dialogue format makes it possible for ChatGPT to answer followup questions, admit its mistakes, challenge incorrect premi..
Database/SQL 2023. 1. 12. [presto] insert partition table Hive에서는 기존 partition 테이블에 data를 삽입하려면, partition 컬럼을 지명해주어야한다. INSERT INTO TABLE [db].[table] PARTITION ([col]) SELECT * FROM default ; 반면, Presto에서는 따로 지명해주지 않아도 된다. INSERT INTO [db].[table] SELECT * FROM default ;
Big Data/Airflow 2022. 12. 1. [Airflow] docker-compose 에러 Data Pipelines with Apache Airflow 실습 중(chapter08) # cd chapter08 # docker-compose up -- chapter08디렉토리 내 docker-compse.yml 실행 docker-compose를 실행한 결과 ERROR: for webserver Cannot start service webserver: driver failed programming exter nal connectivity on endpoint chapter08_webserver_1 (e3e1a13b2239564ecd221ab99a4f1ef34 885a214c6c0d5e84abf9a6e79a78a16): Bind for 0.0.0.0:8080 failed: port is alread..
Big Data/Airflow 2022. 11. 23. [Airflow] AWS 계정 연동 오류 활성화된 이후, AWS 계정 연동과정에서 config 파일 parsing이 안되는 오류가 있었다. -- 추가 시도 (airflow)[root@ ~] # mkdir ~/.aws (airflow)[root@ ~] # vi ~/.aws/credentials AWSAccessKeyID= {본인 AWS Access Key} AWSSecretKEy= {본인 AWS Secret Key} (airflow)[root@ ~] # vi ~/.aws/config [default] region=us-east-1 -- ap-northeast-2 output=json region 확인은 Amazon Elastic Cloud Compute(Amazon EC2) 콘솔 에서 확인 가능하다. 본인 region을 입력해주면 되는 것 같다...
Big Data/Airflow 2022. 11. 18. centos python pip 설치 aws 명령어를 수행하기 위해 aws를 설치해보려했더니 pip 설치가 안되어 있었다. pip 설치 (오류나면서 실패) # python get-pip.py ERROR: This script does not work on Python 2.7 The minimum supported Python version is 3.7. Please use https://bootstrap.pypa.io/pip/2.7/get-pip.py instead. 버전이 다르므로 특정 사이트를 통해 다운로드 받으라고 에러문구가 떴다. 설치 방법. # curl https://bootstrap.pypa.io/pip/2.7/get-pip.py -o get-pip.py # python get-pip.py get-pip.py 파일을 가져온 후, ..
Airflow - Postgresql 설치 및 연동
Big Data/Airflow 2022. 11. 4. Airflow - Postgresql 설치 및 연동 Docker 에 Postgres Image Pull한 뒤, Container를 생성해주자. PS C:\Users\ktnexr> docker pull postgres PS C:\Users\ktnexr> docker run -d -p 5432:5432 --name postgres -e LC_ALL=C.UTF-8 -e POSTGRES_PASSWORD=0000 postgres 생성한 Container로 접속하여 DB,User 생성 및 권한을 설정해준다. PS C:\Users\ktnexr> docker exec -it postgres bash root@e7a6cd6247f9:/# psql -U postgres postgres=# create database airflow; postgres=# create user..
Big Data/Hive 2022. 10. 26. Execution Error 직접 빌드한 Hadoop위에서 Hive를 실행할 때 자주 아래와 같은 에러가 발생하였다. 이는 메모리 부족으로 인한 에러라고 한다. 해당 에러를 해결하는 방법은 아래의 코드를 입력해주는 것이다. hive> set hive.exec.mode.local.auto=true; 코드 자체는 hive를 로컬모드로 실행하겠다는 것을 의미하며, 이것이 메모리 부족과 무슨 상관인지는 추후에 자세하게 알아보자. 로컬 모드로 변경한 이후, 문제없이 코드가 실행되는 것을 확인할 수 있었다. 추가로, hive 명령어가 MapReduce 과정을 거쳐 결과물이 생성되는 것을 확인할 수 있다.
Big Data/Hive 2022. 10. 26. Alter Table Change Columns ALTER TABLE tablename CHANGE COLUMN oldname newname coltype [COMMENT 'comment'] [FIRST | AFTER colname]; Add/Replace Columns ALTER TABLE tablename ADD | REPLACE COLUMNS (colname1 coltype1 [COMMENT 'comment1'], colname2 coltype2 [COMMENT 'comment2']; New Location ALTER TABLE tablename [PARTITION spec] SET LOCATION 'new_loc';

티스토리툴바