BigQuery Jobs By Folder/Project/Org
SUM(jbo.total_slot_ms) / (1000 * 60 * 60 * 24) AS average_daily_slot_usage #(ms * sec * min * hour)
Category
GCP
Airflow Task Fail Cancel Query
Airflow retry_delay 정리
BigQuery Total Storage
목적/배경 현재 프로젝트에서 사용하고 있는 빅쿼리 저장소 크기를 파악하기 위함
Data Mart Research
Data Mart Research 내가 생각하는 Data Mart: Data Warehouse 및 외부데이터를 일정의 로직으로 정규화 & 규칙적으로 생성하여 보다 효율적이고 빠른 비즈니스 인사이트를 도출하는데 도움을 줄 수 있는 데이터 ...
INFORMATION_SCHEMA
BigQuery INFORMATION_SCHEMA 소개
Cloud Logging Search
Cloud Logging에서 빠르게 로그찾기 link
Cloud Function with Composer
배경 Flask로 web application을 구현하여 Input값을 Cloud Function으로 전송 Cloud Function으로 전송된 값을 처리하여 해당 파라미터로 Composer에 있는 Airflow 실행
BigQuery Json Data
Using function to clean json data
BigQuery Sharded Tables
Using Array
BigQuery Struct 구조 정리하기
Array 빅쿼리로 Array 만들기
OpenAI
ChatGPT with your own Data
RAG Azure/azure-openai-samples Quick Start Fundamentals Use Cases Sample Solutions Serverless SQL GPT opena...
OpenAI - Prompt Engineering (ChatBot)
OpenAI 잘사용하는 방법
OpenAI - Prompt Engineering (Expanding)
OpenAI 잘사용하는 방법
OpenAI - Prompt Engineering (Transforming)
OpenAI 잘사용하는 방법
OpenAI - Prompt Engineering (Inferring)
OpenAI 잘사용하는 방법
OpenAI - Prompt Engineering (Instructions for Prompts)
OpenAI 잘사용하는 방법
IDE
PyCharm using Docker Compose as Interpreter
Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running? Problem: Airflow 라이브러리를 사용하고 싶어서 PyCharm Inte...
VSCode Extension Marp
Check out marp and its code: RESULT
Snippet / Live Templates
VScode: Snippet 참고자료1 참고자료2
Vim 내용 정리
Vim 내용 정리 (for mac)
Airflow
Airflow start_date 정리 (ver.2)
Airflow start_date 정리
Airflow Task Fail Cancel Query
Airflow retry_delay 정리
Data Mart Research
Data Mart Research 내가 생각하는 Data Mart: Data Warehouse 및 외부데이터를 일정의 로직으로 정규화 & 규칙적으로 생성하여 보다 효율적이고 빠른 비즈니스 인사이트를 도출하는데 도움을 줄 수 있는 데이터 ...
Airflow Config
Airflow Dag python file [참고]
GitHub
AI Services / git hub pages
AI Services Stable Doodle Doodle -> Image
Jekyll 블로그 레퍼런스 모음집
블로그 설정 폭풍 구글링을 하다가.. 진짜 도움을 많이 받은 블로그 리스트 정리.. 폰트사이즈 변경 (page.scss & assets/css/main.css) page 영역 넓히기 (variables.scss) tag & category 버튼 색 바꾸기...
AI
AI Services / git hub pages
AI Services Stable Doodle Doodle -> Image
Azure OpenAI
리서치 내용 정리 Azure OpenAI Service 사용자가 OpenAI 모델을 사용하여 엔터프라이즈급 솔루션을 빌드 할 수 있다 텍스트를 요약하고, 코드를 제안 받고, 웹사이트에 대한 이미지를 생성하는 등 작업이 가능하다 주요 기...
Vim
Vim 내용 정리
Vim 내용 정리 (for mac)
OpenSource
LICENSE
It’s FOSS
LICENSE
LICENSE
It’s FOSS
Anaconda3
Anaconda Environment
conda env
Codes
DATE Type 뽀개기
Python datetime & timezone 뽀개기 설명