Goal
<aside>
💡 전 광고주 리포트 자동화 공통 구조 설계 및 구축 in Databricks
</aside>
Structure
| 구분 |
내용 |
특이사항 |
| 디자인 패턴 |
전략 패턴 |
광고주 M * 매체 N |
| {계층별}Utils Class 생성 |
PtbwaUtils > AutoReportUtils > {Channel}Utils |
Channel = 매체 |
- e.g. Meta, Google |
| Logging | Spark Custom Logging | |
| Custom Decorator | Arguments Validation 목적 | API 통신 전 체크
- Required
- Optional |
| API Response Validator | API 통신 직후 Response 체크 목적 | - e.g. Status, Errors |
| Main Process | API 통신
- Get Raw Data
- PostProcessing
- Deletion & Save | REST APIs, Query-Based, ETC. |
Descriptions
1️⃣ AWS MWAA (Airflow)
- Setup
- TroubleShooting
- Further
2️⃣ API Connection with Channels