전체 글
-
airflow-DAG하나씩 쌓아보자 2022. 5. 26. 11:27
DAG는 airflow 작업들 사이에 관계와 순서 표현 구조입니다. 각 노드는 작업을 방향성을 갖는 전후/병렬 관계의 링크순서대로 실행합니다. 방향성 비순환 그래프의 요점은 작업 시퀀스를 두어 무한히 반복되는걸 허용하지 않는 것입니다. 예를 들어 아래와 같은 DAG를 구성하면 ingest부터 마지막 report까지 순차적으로 실행합니다. DAG 3가지 방식으로 선언합니다. 1. context안에서 생성과 동시에 실행을 하는 방식 with DAG( "my_dag_name", start_date=pendulum.datetime(2021, 1, 1, tz="UTC"), schedule_interval="@daily", catchup=False ) as dag: op = EmptyOperator(task_id=..
-
Redis 레디스하나씩 쌓아보자 2022. 5. 24. 21:39
1. 개요 Redis? REmote DIctionary Server Redis는 캐시서버입니다. key-value 구조의 비정형 데이터를 저장하고 관리하기 위한 오픈 소스 기반 비관계형 데이터 베이스(NoSQL) 관리 시스템입니다. in-memory 기반의 데이터 처리는 속도가 빠르지만 서버가 꺼지면 데이터가 사라진다는 단점을 가지고 있습니다. - 일반적으로 저장장치에 DB를 조회하려면 저장장치로의 i/o가 발생하기 때문에 시간이 걸립니다. - redis의 사용은 서비스 속도가 문제를 일으키는 상황에 활용 되는 방법중 하나입니다. -> redis를 통해 캐시를 이용하여 in-memory 방식을 활용하여 데이터를 임시로 저장해두기 때문에 저장장치의 동작보다 빠르게 불러올 수 있습니다. -자주 사용하는 데이..
-
Terraform -1 기본 설명 및 설치/ 단일 서버 배포하나씩 쌓아보자 2022. 5. 23. 18:24
1. 테라폼 테라폼은 인프라를 안전하고 효율적으로 구축,변경, 관리하기 위한 도구입니다. 테라폼은 terraform core와 terraform plugin 두 가지 주요 부분으로 나뉩니다. 코드형 클라우드 인프라 환경 배포 툴이라고 불리며 코드형 인프라 중에서 서버자체를 구성하기 위해 사용되는 서버 프로비전 도구에 해당됩니다. tf파일에 인프라 정보를 코드로 정의하여 사용합니다. 1-1) aws, gcp, azure(애저) 같은 클라우드 서비스들을 프로바이더 방식으로 제공합니다. 1-2) 멀티 클라우드 리소스를 선언하고 코드로 관리하는 것도 가능합니다. 테라폼은 코드형인프라(Infrastructure as Code, IaC) 의 종류로 코드로 인프라를 생성, 배포, 수정 할 수 있습니다. 코드형 인프라..
-
리눅스 기초다지기_파일권한 변경 / linux permission definitionlinux리눅스 2022. 3. 16. 20:10
리눅스에서 기초가 되는 파일, 폴더의 권한을 변경하는 방법에 대한 포스팅입니다. 리눅스에서는 chmod라는 명령어를 사용하여 파일, 폴더에 대한 접근권한을 설정합니다. 권한 변경은 슈퍼 유저나 파일 소유자만 가능합니다. 문자열에 의한 권한 변경, 숫자열 권한 변경 순서대로 진행해보겠습니다. 파일, 폴더의 접근 권한 변경 chmod 명령어를 사용합니다. chmod 접근권한 문자열 설정 구분 기호 설명 접근권한 permission r 읽기 w 쓰기 x 실행 수행할 연산 + 권한 추가 - 권한 제거 = 권한 부여 사용자 줄임말 u user의 약자, 소유자 g group의 약자, 그룹 o other의 약자, 일반 사용자 a all의 약자, 모든 사용자 문자가 없으면 'a' 와 동일하게 적용 옵션 -R 디렉토리 ..
-
Git 정리하깃_게시글 하나로 실전 투입하기!GIT정리하깃 2022. 2. 11. 09:55
개인적으로 정리한 글이지만 누구나 쉽게 이해할 수 있게 작성하였습니다. Git(깃) 소스코드를 효과적으로 관리하기 위해 개발된 분산형 버전 관리 시스템. 누군가 편집한 내용과 충돌이나 덮어버리는 실수를 저지르지 않기 위해서 제작되었습니다. ex) 보고서_최종.txt 보고서_최종1.txt 보고서_진짜최종.txt 보고서_찐막최종.txt 넘처나는 백업용 파일과 복사본 파일을 방지하고자 개발된 시스템 입니다. VCS Version Control System 깃 공식 문서에 의하면 깃은 작은 규모, 큰 규모의 어떠한 프로젝트에도 쉽고 빠르게 편리하게 관리할 수 있는 시스템으로 소개합니다. 깃을 사용해야 하는 이유 1. 가장 많은 사용자를 보유하고 있습니다 2. 무료입니다 3. 오픈소스입니다 4. 모든 동작이 빠릅..
-
파이썬_Unit29_함수제작python파2썬 2021. 9. 12. 21:26
코딩도장_unit29_함수제작 #Unit29 #함수제작. def hello(): print('hello, world!') hello() #페스 함수 def pa(): pass pa() #덧셈함수, 매개변수를 지정, 독스트링 입력과 출력 def add(a,b): """ 이함수는 a와 b를 더해줍니다.""" print(a+b) add(10,200) help(add)#독스트링 출력 명령어 #함수의 반환값을 지정 def readd(x,y): return x+y c = readd(10,20) print(c) #return값 여러개 반환하기 def sup(n,m): return n+m, n-m q,w = sup(20,20) print(q) print(w) 연습문제29.3 #연습문제 29.3 x = 10 y = 3 ..
-
파이썬_Unit27_파이썬으로 파일만들기python파2썬 2021. 9. 6. 20:35
코딩도장_Unit27_파이썬으로 파일만들기(텍스트파일)_연습문제 27.5_심사문제 27.6 파이썬으로 텍스트 파일을 만들어보는 예제를 연습했습니다. 그리고 연습문제와 심사문제를 해결해 보도록 하겠습니다. #Unit27 파일 사용하기 #파일에 문자열 쓰기,읽기 #문법 #파일객체 = open(파일이름, 파일모드) #파일객체.write('문자열') #파일객체.close() file = open('hello.txt', 'w') #hello.txt 파일을 쓰기 모드로 열기. 파일객체 반환 file.write('Hello, world!') #해당파일 위치에 워드파일 생성됨. file.close() #파일 문자열 읽기 file = open('hello.txt', 'r') s = file.read() #파일 문자열 읽..
-
파이썬_Unit26_파이썬 세트 사용python파2썬 2021. 9. 3. 15:33
파이썬_Unit26_파이썬 세트 사용 코딩도장_심사문제26.8 세트(set{}) 파이썬의 리스트, 튜플, 딕셔너리 이외에 또다른 자료형 종류입니다. {}(중괄호)안에 값을 저장하고 ,(콤마)로 구분해줍니다. #세트사용하기 #새로운 자료형인 세트(set) , 세트에 저장되는 요소는 순서가 없습니다. #세트는 {}(중괄호)안에 값을 저장하고 ,(콤마)로 구분해줍니다. fruits = {'strawberry', 'grape', 'orange', 'pineapple', 'cherry'} #세트는 리스트 튜플, 딕셔너리와 달리 [](대괄호)로 특정 요소만 출력할 수 없습니다. #print(fruits[0]) -> error #세트에 특정 값이 있는지 확인 print('orange' in fruits) print(..