티스토리

우연한 발견

검색하기

블로그 홈

우연한 발견

serendipity-37.tistory.com/m

chmono 님의 블로그입니다.

구독자: 0

방명록 방문하기

주요 글 목록

[Clickhouse] user password Exception Clickhouse User 생성 및 Password 오류 분석. [1] user 생성 및 password 설정하기CREATE USER OR REPLACE '{username}' ON CLUSTER {cluster_nm} IDENTIFIED BY '{password}' HOST IP '{ip}', '{local_host_ip}'; [1-1] password 설정 오류Code: 36. DB::Exception: Invalid password. The password should: contain at least 1 lowercase character, contain at least 1 uppercase character. (BAD_ARGUMENTS) password 제약 조건 설정에 따라 위와 같은 오류가.. 공감수 0 댓글수 0 2025. 2. 4.
[SQLP] 데이터베이스 저장 구조 1. 데이터베이스 저장구조 테이블스페이스 > 세그먼트 > 익스텐트 > 블록 순으로 데이터베이스를 구성하고 있다. 테이블 스페이스 Table Space 세그먼트를 담는 콘테이너, 여러 개의 데이터 파일로 구성. * 데이터 파일 - 디스크 상의 물리적인 OS 파일 세그먼트 Segment 테이블, 인덱스처럼 데이터 저장공간이 필요한 오브젝트 테이블 또는 인덱스가 파티션 구조라면, 각 파티션이 하나의 세그먼트이다. LOB 컬럼은 그 자체로 하나의 세그먼트를 구성하며, 자신이 속한 테이블과 다른 별도 공간에 값을 저장한다. 익스텐트 Extent 공간을 확장하는 단위, 연속된 블록 집합 세그먼트(테이블, 인덱스)의 공간 부족해지면, 테이블스페이스로부터 익스텐트를 추가로 할당받는다. 한 익스텐트는 하나의 테이블이 독.. 공감수 0 댓글수 0 2024. 2. 28.
[SQLP] SQL 파싱과 최적화 참고 교재 - 친절한 SQL 튜닝 1. 옵티마이저 - 시스템 및 오브젝트 통계정보를 바탕으로 다양한 실행경로를 생성해서 비교한 후 가장 효율적인 실행 계획을 선택하는 DBMS 내부 엔진 - SQL 최적화를 수행하며, 각 실행계획의 비용(I/O 횟수나 예상 소요시간)을 비교한다. 2. 옵티마이저 힌트 사용법 - 주석 기호(/* */) 에 '+' 를 붙이면 된다. # Example SELECT /*+ INDEX(A 고객_PK) */ 고객명, 연락처, 주소, 가입일시 FROM 고객 A WHERE 고객ID = '00000' - 주의 사항 (1) 힌트 나열 시, 콤마(,) 사용 불가 (2) 테이블 명시할 떄, 스키마명 제외 (3) From절에서 테이블 별칭(Alias) 명시했을 경우, 별칭을 사용해줘야한다. # .. 공감수 0 댓글수 0 2024. 2. 14.
[SQLP] 자주 사용하는 SQL 힌트 목록 참고 교재 - 친절한 SQL 튜닝 분류 힌트 설명 최적화 목표 ALL_ROWS 전체 처리속도 최적화 FIRST_ROWS(n) 최초 n건 응답속도 최적화 액세스 방식 FULL Table Full Scan 유도 INDEX Index Scan 유도 INDEX_DESC Index 역순으로 스캔 유도 INDEX_FFS Index Fast Full Scan 유도 INDEX_SS Index Skip Scan 유도 조인 순서 ORDERED FROM 절에 나열된 순서대로 조인 LEADING LEADING 힌트 괄호에 기술한 순서대로 조인 ex) LEADING(T1 T2) - T1, T2 순서대로 조인 SWAP_JOIN_INPUTS 해지 조인시, BUILD INPUT을 명시적으로 선택 ex) SWAP_JOIN_INPUTS.. 공감수 0 댓글수 0 2024. 2. 14.
[AI] Chat GPT 체험 요즘 Chat GPT가 이슈인 것과 동시에 개발자 사이에서도 많이 활용되고 있다하여 체험해보았다. SQL 문을 최적화해볼 일이 있어 Chat GPT를 활용해보기로 하였다. 우선 아래 링크에 들어가 Try ChatGPT를 클릭해줬더니 실행화면이 바로 떴다. https://openai.com/blog/chatgpt Introducing ChatGPT We’ve trained a model called ChatGPT which interacts in a conversational way. The dialogue format makes it possible for ChatGPT to answer followup questions, admit its mistakes, challenge incorrect premi.. 공감수 0 댓글수 0 2023. 3. 20.
[presto] insert partition table Hive에서는 기존 partition 테이블에 data를 삽입하려면, partition 컬럼을 지명해주어야한다. INSERT INTO TABLE [db].[table] PARTITION ([col]) SELECT * FROM default ; 반면, Presto에서는 따로 지명해주지 않아도 된다. INSERT INTO [db].[table] SELECT * FROM default ; 공감수 0 댓글수 0 2023. 1. 12.
[Airflow] docker-compose 에러 Data Pipelines with Apache Airflow 실습 중(chapter08) # cd chapter08 # docker-compose up -- chapter08디렉토리 내 docker-compse.yml 실행 docker-compose를 실행한 결과 ERROR: for webserver Cannot start service webserver: driver failed programming exter nal connectivity on endpoint chapter08_webserver_1 (e3e1a13b2239564ecd221ab99a4f1ef34 885a214c6c0d5e84abf9a6e79a78a16): Bind for 0.0.0.0:8080 failed: port is alread.. 공감수 0 댓글수 0 2022. 12. 1.
[Airflow] AWS 계정 연동 오류 활성화된 이후, AWS 계정 연동과정에서 config 파일 parsing이 안되는 오류가 있었다. -- 추가 시도 (airflow)[root@ ~] # mkdir ~/.aws (airflow)[root@ ~] # vi ~/.aws/credentials AWSAccessKeyID= {본인 AWS Access Key} AWSSecretKEy= {본인 AWS Secret Key} (airflow)[root@ ~] # vi ~/.aws/config [default] region=us-east-1 -- ap-northeast-2 output=json region 확인은 Amazon Elastic Cloud Compute(Amazon EC2) 콘솔 에서 확인 가능하다. 본인 region을 입력해주면 되는 것 같다... 공감수 0 댓글수 0 2022. 11. 23.
centos python pip 설치 aws 명령어를 수행하기 위해 aws를 설치해보려했더니 pip 설치가 안되어 있었다. pip 설치 (오류나면서 실패) # python get-pip.py ERROR: This script does not work on Python 2.7 The minimum supported Python version is 3.7. Please use https://bootstrap.pypa.io/pip/2.7/get-pip.py instead. 버전이 다르므로 특정 사이트를 통해 다운로드 받으라고 에러문구가 떴다. 설치 방법. # curl https://bootstrap.pypa.io/pip/2.7/get-pip.py -o get-pip.py # python get-pip.py get-pip.py 파일을 가져온 후, .. 공감수 0 댓글수 0 2022. 11. 18.
Airflow - Postgresql 설치 및 연동 Docker 에 Postgres Image Pull한 뒤, Container를 생성해주자. PS C:\Users\ktnexr> docker pull postgres PS C:\Users\ktnexr> docker run -d -p 5432:5432 --name postgres -e LC_ALL=C.UTF-8 -e POSTGRES_PASSWORD=0000 postgres 생성한 Container로 접속하여 DB,User 생성 및 권한을 설정해준다. PS C:\Users\ktnexr> docker exec -it postgres bash root@e7a6cd6247f9:/# psql -U postgres postgres=# create database airflow; postgres=# create user.. 공감수 0 댓글수 0 2022. 11. 4.
Execution Error 직접 빌드한 Hadoop위에서 Hive를 실행할 때 자주 아래와 같은 에러가 발생하였다. 이는 메모리 부족으로 인한 에러라고 한다. 해당 에러를 해결하는 방법은 아래의 코드를 입력해주는 것이다. hive> set hive.exec.mode.local.auto=true; 코드 자체는 hive를 로컬모드로 실행하겠다는 것을 의미하며, 이것이 메모리 부족과 무슨 상관인지는 추후에 자세하게 알아보자. 로컬 모드로 변경한 이후, 문제없이 코드가 실행되는 것을 확인할 수 있었다. 추가로, hive 명령어가 MapReduce 과정을 거쳐 결과물이 생성되는 것을 확인할 수 있다. 공감수 0 댓글수 0 2022. 10. 26.
Alter Table Change Columns ALTER TABLE tablename CHANGE COLUMN oldname newname coltype [COMMENT 'comment'] [FIRST | AFTER colname]; Add/Replace Columns ALTER TABLE tablename ADD | REPLACE COLUMNS (colname1 coltype1 [COMMENT 'comment1'], colname2 coltype2 [COMMENT 'comment2']; New Location ALTER TABLE tablename [PARTITION spec] SET LOCATION 'new_loc'; 공감수 0 댓글수 0 2022. 10. 26.
Partition (2) Partition Hive에는 Internal table, External Table 두 종류가 있으며 테이블내 데이터를 partiton 단위로 insert가 가능하다. Internal Table에 partiton 데이터를 Insert 하는 방법은 아래와 같다. INSERT INTO TABLE logs PARTITION (year=2022, month=10, day=25) SELECT * FROM staged_logs WHERE year=2022 AND month=10 AND day=25; 데이터를 overwrite 할 때는 아래와 같이 데이터를 insert하면 된다. INSERT OVERWRITE TABLE logs PARTITION (year=20122, month=10, day=25) SELECT .. 공감수 0 댓글수 0 2022. 10. 25.
partition (1) Partition 실습 시작 전, 테이블을 생성하고 Partition을 추가헤보자. Partition을 추가하기 전에는 show partitions [table명]; 에서 아무것도 출력되지 않는다. Partiton을 추가할 때, 주소가 정확하지 않으면 데이터 조회가 불가하다. Partition 데이터가 있는 주소를 정확하게 명시하여 추가해주는 것이 중요하다. 정확한 주소의 데이터를 가져오니, partition 기준의 데이터가 정상적으로 조회되는 것을 확인. Create table (managed) 하려니 용량 오류 발생 > set hive.exec.mode.local.auto=true; 명령어를 통해 공감수 0 댓글수 0 2022. 10. 25.
Docker 설치하기 airflow를 설치할 Docker 환경을 구축해볼 것이다. 1. Hyper-V 기능 활성화 [검색] - [window 기능 켜기/끄기] 에서 [Hyper-V] 체크 후, 확인 설치 진행 후 재부팅 2. Docker installer 다운로드 개인 OS에 맞는 installer 다운로드하기 확인(OK) 버튼 계속 눌러서 설치 진행 https://docs.docker.com/desktop/install/windows-install/ Install Docker Desktop on Windows docs.docker.com 3. Docker 설정 내PC (C:) 파일에 /Docker 파일 생성하기 Docker 서버와 C:/Docker 파일 연동하기 [Resources] - [File sharing]에서 (+).. 공감수 0 댓글수 0 2022. 10. 17.
5. 데이터 분석과 시각화 개요 1. Rserve Clustrering - R 2. Taddy Sentiment Analysis - Python 1. Rserve Clustrering R 연결해서 데이터 클러스터링하기 2. Tabby Sentiment Analysis Python 연결해서 화이자 백신 트윗 감성 분석 시각화하기 공감수 0 댓글수 0 2022. 6. 30.
5. 공모전 수상 개요 1. 공모전 수상 꿀팁 2. 공모전 수상작 따라해보기 3. 동영상 그래프 만들기 1. 공모전 수상 꿀팁 1) 주최 측 니즈 파악하기 공모전을 주최하는 근본적인 목적 고민해보기 why(왜?) > Purpose(목적) > Direction(방향성) 주최 단체가 원하는 결과물을 만들 방향성을 초반에 설정하기 2) 주제 선정 문제 의식을 해결하기 위한 시의성 있는 주제 선정 Problem (문제) > Solution (해결방안) 3) 조사하기 설정한 주제에 대한 사전 조사 변수 선정 근거, 분석 방법론 선정, 새로운 지표 제안 시 타당성 확보 4) 프레임에 맞춰 기획서 쓰기 Why(왜) > What(무엇) > How(어떻게) > IF(결과) 5) 활용할 데이터 수집하기 기본적으로는 공모전 주최 측에서 제공.. 공감수 0 댓글수 0 2022. 6. 30.
5. 비즈니스 시나리오 (4) 개요 1. Weekly KPI Dashboard 2. Sales Analytics Dashboard 3. Interactive Dashboard 4. Human Resource Dashboard 5. App Retention Analysis Dashboard 6. Marketing Segmentation (RFM) Dashboard 4. Human Resource Dashboard 조직 내부 인력, 퇴사 인력, 근속 연수, 고용 트렌드 부서별 모니터링 유저 인사팀이 직접 분석할 수 있도록 인터랙티브 기능 활용 결과형 인터랙티브 대시보드 > 핵심 지표와 트렌드 파악 가능 기능 비즈니스 목표 직원 생산성 촉진을 위한 부서별 인력 및 채용 관리 요구사항 1. 현재 근무자 수 / 퇴사자 수 / 근속연수 / 평균.. 공감수 0 댓글수 0 2022. 6. 30.
3. 로그 시뮬레이터 설치 및 실행 2.6 빅데이터 로그 시뮬레이터 - 설치 및 실행 버츄얼 박스에서 가상 서버 실행시켜주고, PuTTY 에서 실행창 열어준 후 FileZila를 통해 로그 시뮬레이터 프로그램 서버에 업로드해주기! Stop 해주지 않으면 계속 실시간 데이터 생성함 하루치 10M 정도의 로그 데이터만 생성 PuTTY 에서 halt 명령어로 가상 서버를 종료시켜준다. 반면 service cloudera-scm-server status 명령어를 통해 Cloudera Manager가 정상적으로 작동 중인지 확인할 수 있다. 공감수 0 댓글수 0 2022. 6. 26.
4. 비즈니스 시나리오 (2) 개요 1. Weekly KPI Dashboard 2. Sales Analytics Dashboard 3. Interactive Dashboard 4. Human Resource Dashboard 5. App Retention Analysis Dashboard 6. Marketing Segmentation (RFM) Dashboard 2. Sales Analytics Dashboard Sales / Profit / Customer 전월 대비 분석 대시보드 문제 정의 매출 및 수익 감소 > 서브카테고리 수준 세부 분석 기존 충성 고객 경험 향상 필요 목적 매출, 수익 전월 대비 성장률(+전년 동월 대비)의 서브카테고리 수준 분석 및 Top N 고객 현황 파악 유저 경영진 / 실무진에게 월간 KPI 와 세부 .. 공감수 0 댓글수 0 2022. 6. 22.
3. 비즈니스 시나리오 (1) 개요 1. Weekly KPI Dashboard 2. Sales Analytics Dashboard 3. Interactive Dashboard 4. Human Resource Dashboard 5. App Retention Analysis Dashboard 6. Marketing Segmentation (RFM) Dashboard 1. Weekly KPI Dashboard 지역별 매출 분석을 위한 대시보드 문제 정의 전주 대비 성장률 및 타겟 달성률 위클리 모니터링 및 관리의 어려움 목적 지역별 매장의 위클리 KPI와 타겟 달성 여부를 직관적으로 확인 유저 경영진에게 주간 KPI와 타겟 달성 여부 전달하기 결과형 대시보드 (PDF로 캡쳐본 출력할 수 있도록 기능 비즈니스 목표 : 매출 신장 / 수익 향.. 공감수 0 댓글수 0 2022. 6. 20.
3. 비즈니스 문제 해결 - 계산식 만들기 개요 1. 계산된 필드 2. 테이블 계산 3. LOD 표현식으로 고급 분석 수행하기 3.1 계산된 필드 데이터 원본에 대한 행 수준 계산 또는 집계 계산 계산된 필드로 할 수 있는 것 : Create, Save, Use Create : 데이터 소스에서 새로운 컬럼 생성 Save : 새롭게 추가된 컬럼을 저장 Use : 새롭게 추가된 컬럼을 분석에 사용 계산된 필드 사용 이유 - 새로운 데이터를 만들어 분석하기 위해 1. 데이터 분류 2. 데이터 유형 변경 3. 데이터 집계 4. 데이터 필터링 기본 계산의 방식 행 수준 계산 - 데이터 원본의 행 수준에서 계산 (ex. SPLIT) 집계 계산 - 데이터를 집계하여 계산 (ex. COUNT) 1. 숫자 함수 - 필드의 데이터 값에 대한 계산 수행 가능 - 숫.. 공감수 0 댓글수 0 2022. 6. 20.
2. 대시보드 만들기 (4) 실전 시각화를 위한 데이터 준비하기 데이터 탐색 / 전처리 / 결합으로 시각화 준비하기 데이터 준비하기 ▶ 태블로에 올리기 위한 데이터 Shape 만들기 (피벗) ▶ 본격적으로 분석하기 전, 데이터를 탐색하는 방법 ▶ 데이터 전처리 기본 ▶ 데이터 유니온 ▶ 데이터 관계 ▶ Order of Operations (쿼리 파이프라인) 1. 태블로를 위한 데이터 Shaping wide Form 데이터를 Long Form 데이터로 만드는 방법 데이터 해석기 - 데이터 전처리를 위해 쓰임 - 제목, 빈 셀 인식 후 태블로에 적합한 데이터로 바꿔줌 - 엑셀, 구글 시트, 텍스트 파일, PDF 에 적용 가능 데이터 해석기의 기능 1.병합된 셀 해결 2.제목 해결 3.데이터 해석 결과 확인 가능 데이터 해석기 사용 시 .. 공감수 0 댓글수 0 2022. 6. 20.
2. 대시보드 만들기 (3) 사용자를 위한 대시보드 디자인 테크닉 대시보드 UX 디자인과 대시보드 오브젝트 활용 방법 개요 1. 대시보드 UX 설계 2. 대시보드 레이아웃과 캔버스 크기 3. 가로 세로 컨테이너 활용법 4. 여백 활용 디자인 User Experience Design 사용자가 제품과 상호작용하면서 만족스러운 경험을 할 수 있도록 설계된 디자인 1. 대시보드 UX 설계하기 유저에 따른 디자인 / 대시보드 기능 설계 / 디자인 요소 고려 Exploratory Analysis 탐색적으로 분석하면서, 패턴과 인사이트를 찾아나가는 과정 Explanatory Analysis 중요한 메트릭을 강조하면서, 특정한 인사이트를 설명하는 대시보드(사용자 고려) 1.1 이해관계자 유형에 따른 전략 C-Level : 핵심 KPI 와 인사이트.. 공감수 0 댓글수 0 2022. 6. 17.
2. 대시보드 만들기 (2) 4. Go to Sheet 사용자가 빠르게 관련된 대시보드, 워크시트, 스토리로 이동할 수 있다. (1) 버튼을 이용해서 한 대시보드에서 다른 대시보드로 이동하기 [탐색] 을 대시보드 시트에 드래그해서 추가해준 뒤, 오른쪽과 같이 설정해준다. (2) 워크시트에서 대시보드로 이동하기 Map 대시보드에 동작 추가해주면, Customer List 워크시트에 자동으로 [필터] - '동작'이 추가된다. 워크시트에서 대시보드 링크 추가는, 상단 바에서 [워크시트] - [동작] - [시트로 이동 동작 편집] 에서 [대상 시트] 를 Map 대시보드로 설정해준다. 5. Parameter 매개변수 사용자가 직접 입력하는 값으로 대시보드 컨트롤을 사용자가 할 수 있게 만들어주는 기능이다. 데이터셋에 속한 값이 아니라 유동적.. 공감수 0 댓글수 0 2022. 6. 17.
2. 빅데이터 파일럿 프로젝트 - 환경 구성 (2) 2.5 빅데이터 클러스터 구성 (이어서) 2.5.1 Putty를 활용한 서버 환경 접속 Putty 다운로드 http://www.putty.org Download PuTTY - a free SSH and telnet client for Windows Is Bitvise affiliated with PuTTY? Bitvise is not affiliated with PuTTY. We develop our SSH Server for Windows, which is compatible with PuTTY. Many PuTTY users are therefore our users as well. From time to time, they need to find the PuTTY download link. W ww.. 공감수 0 댓글수 0 2022. 6. 12.
2. 대시보드 만들기 (1) 인터랙티브 대시보드 제작 유저가 직접 대시보드와 상호작용할 수 있는 대시보드 액션 데이터, 워크시트, 대시보드 개체, 웹 사이의 대화형 관계를 성절하는 방법 인터랙티브 대시보드 중요한 이유 - 유저의 Interaction을 높여 대시보드 참여를 높일 수 있다. - 더 다양한 인사이트를 얻을 수 있다. Actions - 컨텍스트와 상호작용 추가 - 사용자가 마우스 오버 or 클릭 or 메뉴를 통해 상호작용 가능하다 - 사용자의 액션에 따라 대시보드가 반응한다. Actions 종류 - Filter - Hightlight - URL - Go to sheet - Set - Parameter 상단 바 [대시보드] - [동작] 에서 액션 추가 가능 1. Filter Action 한 워크시트에서 선택된 데이터가 다른.. 공감수 0 댓글수 0 2022. 6. 10.
2. 빅데이터 파일럿 프로젝트 - 환경 구성 (1) 빅데이터 파일럿 프로젝트 진행 단계 1. 파일럿 프로젝트 도메인의 이해 2. 빅데이터 파일럿 아키텍처 이해 3. 빅데이터 파일럿 프로젝트용 PC 환경 구성 4. 빅데이터 파일럿 프로젝트용 PC 서버 구성 5. CM(Cloudera Manager) 설치 6. 스마트카 로그 시뮬레이터 설치 7. 파일럿 환경 관리 2.1 파일럿 프로젝트 도메인 이해 최첨단 전자장치와 무선통신을 결합한 스마트카 서비스 스마트카 안에는 수백개의 IoT 센서들이 장착되어 있다. 요구사항 파악 (1) 차량의 다양한 장치로부터 발생하는 로그 파일을 수집해서 기능별 상태를 점검한다. (2) 운전자의 운행 정보가 담긴 로그를 실시간으로 수집해서 주행 패턴을 분석한다. 스마트 카 100대에서 발생하는 데이터 수집(로그 시뮬레이터를 통해 생.. 공감수 0 댓글수 0 2022. 6. 10.
1. 데이터 시각화 (3) 개요 데이터 시각화 유형별 실습 1. 시간에 따른 시각화 2. 속성별 비교를 위한 시각화 3. 분포 파악을 위한 시각화 4. 구성 비율을 보기 위한 시각화 1. 시간에 따른 시각화 이중축 라인 차트 / 100% 누적 영역 차트 / 슬로프 차트 / 스파크라인 / 캘린더 차트 / 간트 차트 1.1 이중축 라인 차트 통화 $ 설정 방법 Sales 필드 마우스 오른쪽 클릭 - [기본 속성] - [숫자 형식] - [통화(사용자 지정)] - 접두사 $ 변경 Profit ratio 레이블 설정하기 1. Ctrl + Profit ratio를 Drag한 다음 마크선반[레이블]에 Drop 2. 레이블 값 겹치는 거 [레이블] 클릭 후, 맞춤에서 세부 조정 가능 3. 필드에 따라 헷갈리지 않게 레이블 색상도 맞춰준다. 1... 공감수 0 댓글수 0 2022. 6. 8.
1. 데이터 시각화 (2) 개요 Mark Card. 데이터 컨텍스트 추가하기 - 효율적으로 정보 전달 Detail & VLOD. 분석의 세부 수준 조정하기 Formatting. 직관적인 디자인을 위한 서식 VLOD; 뷰의 세부 수준, 세부 정보 카드를 사용해서 분석의 세부 수준을 조정하는 방법 1. Mark Card 색상, 크기, 텍스트, 세부 정보, 도구 설명으로 데이터에 컨텍스트 추가하기 마크 타입 라인 - 라인 그래프는 시간에 다른 흐름을 나타낼 때 쓰여야 한다.(ex. 꺾은 선 그래프) Cognitive Load (인지 부하) 보는 사람이 시각화를 빠르게 이해하려면 여러가지 색상을 쓰지 않는 게 좋다. 단, 한 대시보드에서 속성별로 같은 색상을 사용하는 차트 여러개를 비교하는 경우에는 예외 각 필드를 마크 카드에 Drag .. 공감수 0 댓글수 0 2022. 6. 8.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.