Build Data Systems from Scratch #01 (Phần 3): Xây Data Pipeline để kéo dữ liệu từ ActiveCampaign về Big Query
Sau khi đã set up xong môi trường và cài Airbyte, việc tiếp theo là build data pipeline để kéo data về.
Không biết các DE khác làm thế nào, nhưng xuất thân là một người background business, mình muốn mọi thứ mình làm phải support cho end outcome mà mình mong muốn - đó là hoàn thiện được chiếc dashboard Email Marketing, nên mình sẽ không nhảy thẳng luôn vào việc kéo dữ liệu từ ActiveCampain về, mà trước hết mình sẽ xem mình cần kéo các chỉ số nào trước, sau đó mới bắt đầu check xem có thể kéo được các chỉ số đó về với Airbyte hay không.
Define rõ ràng outcome + Các chỉ số cần lấy
Mình bắt đầu với việc tham khảo các chiếc Dashboard Email MKT khác trên mạng xem người ta thường design thế nào, và cần những chỉ số nào + kết hợp một chút với nhu cầu của bản thân, xem team mình sẽ cần tracking những gì. Sau một hồi mình draf ra được một bản thế này:
Để hoàn thiện được phần này, có các nhóm chỉ số sau mà mình sẽ cần lấy:
1. Subscribers & Contacts (contact-level)
Total contacts
New contacts (trong kỳ)
Active contacts (active rate %)
Unsubscribed contacts (số & rate)
Subscribers change (net change)
Contacts by source
Contacts by tags
Contacts by segments (% chia theo segment)
2. Campaign Performance & Engagement (campaign-level)
Campaign metadata: name, type, list name, subject line (và length)
Volume: emails sent, emails delivered, delivery rate %
Engagement: opens (total & unique), open rate %, clicks (total & unique), click rate %, click-to-open rate %, unsubscribes, bounces (soft/hard), spam reports
Những chỉ số này mình có check qua trong Active Campain thì thấy có đủ cả. Các chỉ số liên quan đến Revenue & Conversion sẽ cần phải lấy từ các phần mềm khác nên tạm thời sẽ bỏ qua.
Sau khi đã clear những chỉ số cần lấy, mình bắt tay vào build pipline trên Airbyte.
