본문 바로가기

Big Data/Airflow

Big Data/Airflow 2022. 12. 1. [Airflow] docker-compose 에러 Data Pipelines with Apache Airflow 실습 중(chapter08) # cd chapter08 # docker-compose up -- chapter08디렉토리 내 docker-compse.yml 실행 docker-compose를 실행한 결과 ERROR: for webserver Cannot start service webserver: driver failed programming exter nal connectivity on endpoint chapter08_webserver_1 (e3e1a13b2239564ecd221ab99a4f1ef34 885a214c6c0d5e84abf9a6e79a78a16): Bind for 0.0.0.0:8080 failed: port is alread..
Big Data/Airflow 2022. 11. 23. [Airflow] AWS 계정 연동 오류 활성화된 이후, AWS 계정 연동과정에서 config 파일 parsing이 안되는 오류가 있었다. -- 추가 시도 (airflow)[root@ ~] # mkdir ~/.aws (airflow)[root@ ~] # vi ~/.aws/credentials AWSAccessKeyID= {본인 AWS Access Key} AWSSecretKEy= {본인 AWS Secret Key} (airflow)[root@ ~] # vi ~/.aws/config [default] region=us-east-1 -- ap-northeast-2 output=json region 확인은 Amazon Elastic Cloud Compute(Amazon EC2) 콘솔 에서 확인 가능하다. 본인 region을 입력해주면 되는 것 같다...
Big Data/Airflow 2022. 11. 18. centos python pip 설치 aws 명령어를 수행하기 위해 aws를 설치해보려했더니 pip 설치가 안되어 있었다. pip 설치 (오류나면서 실패) # python get-pip.py ERROR: This script does not work on Python 2.7 The minimum supported Python version is 3.7. Please use https://bootstrap.pypa.io/pip/2.7/get-pip.py instead. 버전이 다르므로 특정 사이트를 통해 다운로드 받으라고 에러문구가 떴다. 설치 방법. # curl https://bootstrap.pypa.io/pip/2.7/get-pip.py -o get-pip.py # python get-pip.py get-pip.py 파일을 가져온 후, ..
Airflow - Postgresql 설치 및 연동
Big Data/Airflow 2022. 11. 4. Airflow - Postgresql 설치 및 연동 Docker 에 Postgres Image Pull한 뒤, Container를 생성해주자. PS C:\Users\ktnexr> docker pull postgres PS C:\Users\ktnexr> docker run -d -p 5432:5432 --name postgres -e LC_ALL=C.UTF-8 -e POSTGRES_PASSWORD=0000 postgres 생성한 Container로 접속하여 DB,User 생성 및 권한을 설정해준다. PS C:\Users\ktnexr> docker exec -it postgres bash root@e7a6cd6247f9:/# psql -U postgres postgres=# create database airflow; postgres=# create user..

티스토리툴바