Build Data Systems from Scratch #01 (Phần 4): Tự build Airbyte connector để kéo đúng data mình cần
Sau mấy ngày ngồi test API, debug response và hỏi Claude liên tục, mình cũng đã kéo được đúng các data mình cần từ ActiveCampaign về BigQuery.
Ở bài trước, mình đã dùng connector có sẵn trên Airbyte để kéo data từ ActiveCampaign về BigQuery. Tuy nhiên nó chưa có đủ hết các thông tin mình cần. Do đã từng ngồi code Python sơ sơ để kéo data cần về rồi. Mình biết là có một đống data ẩn trong cột links mà connector hiện tại không expose ra sẵn ra.
Ví dụ như: subject line, body của email, từng link trong email, số click, tệp mà email gửi đến,…
Thế là mình quyết định thử build custom connector trên Airbyte. Lúc đầu mình nghĩ phần này khó. Nhưng khi bắt đầu đọc docs và thử làm thật thì mình nhận ra nó dễ hơn mình tưởng khá nhiều, đặc biệt khi đã hiểu flow API và data structure trước đó.
Bài này sẽ share lại chi tiết những gì mình làm để buidl được build custom connector trên Airbyte.
Bài viết này dành riêng cho Paid Membership
Do Substack hiện chưa hỗ trợ thanh toán tại Việt Nam nên bạn có thể đăng ký membership qua link này để đọc full bài nha 😄 Cảm ơn bạn đã ủng hộ
