Data Engineer Data Engineer

Kami sedang mencari seorang data engineer yang cerdas untuk bergabung dengan tim data hero kami. Anda akan bertanggung jawab untuk merancang dan membangun pipeline arsitektur big data untuk data lakehouse di cloud, serta mengoptimalkan dan memproduksikan model machine learning dan predictive models. Kandidat ideal adalah seorang software engineer dan data wrangler berpengalaman yang senang membangun platform kompleks dari dasar, menggunakan teknologi terbaru di cloud. Anda akan bekerja sama dengan data architect dan data scientist dalam proyek data besar untuk merek internasional terbesar, serta membangun kerangka kerja platform internal untuk memastikan pengiriman yang konsisten dan optimal. Anda harus menjadi seseorang yang mandiri, siap memulai, dan ingin mengembangkan arsitektur data generasi berikutnya, nyaman mendukung berbagai teknologi/tim/solusi/klien, dan juga seorang pemain tim yang baik dalam bekerja di tim internasional kami dengan sikap positif dan berjiwa startup.

Tanggung Jawab:

• Merancang dan mengimplementasikan pengambilan dan pemrosesan data dari berbagai sumber data menggunakan teknologi big data di cloud publik (MS Azure, AWS, GCP), seperti Databricks, AWS Glue, Azure DataFactory, Redshift, Kafka, Azure Event Hubs, AWS Step Functions, AWS Lambda, Azure Functions, dan lainnya.
• Bekerja sama dengan konsultan Business Intelligence untuk merakit data set besar dan kompleks yang memenuhi persyaratan bisnis fungsional/non-fungsional untuk data lakehouse.
• Mendukung tim data scientist/analyst dalam penerapan dan optimasi model AI/Machine Learning dan algoritma data lainnya di layanan seperti AWS SageMaker atau Azure ML.
• Mengembangkan data pipeline untuk memberikan wawasan yang dapat ditindaklanjuti dalam area bisnis utama seperti automasi pemasaran, akuisisi pelanggan, dan area lainnya.
• Mengembangkan automasi DevOps untuk proses pengembangan/tes/penerapan berkelanjutan.
• Mendokumentasikan data pipeline dan logika yang diimplementasikan dengan cara yang terstruktur menggunakan Confluence, serta merencanakan aktivitas Anda dengan menggunakan metodologi Agile di Jira.
• Bekerja dengan pemangku kepentingan untuk membantu dengan masalah teknis terkait data dan mendukung kebutuhan infrastruktur data mereka, seperti mengoptimalkan pengiriman data yang ada atau merancang ulang infrastruktur untuk skalabilitas yang lebih besar.
• Mendukung pra-penjualan dengan mengusulkan solusi teknis dan estimasi upaya yang akurat.

• Pengalaman dalam membangun dan memproduksikan arsitektur big data, pipeline, dan data set.
• Memahami konsep dan pola data big data, data lake, arsitektur lambda, pemrosesan stream, DWH, BI & pelaporan.
• Minimal 2+ tahun pengalaman dalam peran Data Engineer, yang telah menggunakan perangkat lunak/alat berikut:
  • Pengalaman dengan alat big data seperti Hadoop, Spark, Kafka, dll.
  • Pengalaman dengan bahasa pemrograman berorientasi objek/fungsional/scripting seperti Python, Scala, Java, R, C++, Bash, PowerShell, dll.
  • Pengalaman dengan layanan cloud MS Azure (Databricks, Data Factory, Data Lake, Azure SQL, Event Hub, dll.) atau AWS (Glue, EC2, EMR, RDS, Redshift, SageMaker, dll.).
  • Implementasi pipeline/workflow data/orientasi event skala besar menggunakan alat ETL.
  • Pengalaman luas dengan database relasional (MS SQL, Oracle, Postgres, Snowflake, dll.) dan database NoSQL (Cassandra, MongoDB, Elasticsearch, Redis, dll.).

Keterampilan Lain:

• Keterampilan analitik yang kuat terkait dengan bekerja dengan dataset terstruktur dan tidak terstruktur.
• Membangun proses yang mendukung transformasi data, struktur data, metadata, manajemen dependensi, dan manajemen beban kerja.
• Pengalaman dalam pengaturan dan penggunaan alat otomatisasi CI/CD seperti Azure DevOps, AWS CodePipeline, dll.
• Seseorang yang teliti, terorganisir dengan baik, memiliki keterampilan komunikasi yang baik, dapat beradaptasi dengan perubahan keadaan, dan tidak takut bertanggung jawab atas pekerjaannya akan sukses dalam peran ini.
• Pengalaman pengembangan langsung dalam lingkungan MS Azure atau AWS.
• Pengalaman dalam pengiriman proyek business intelligence, menggunakan alat seperti Power BI, Tableau, Qlik Sense, Keboola, dll.
• Pengetahuan tentang message queuing, stream processing, dan pemrosesan data waktu nyata yang sangat skalabel menggunakan teknologi seperti Storm, Spark-Streaming, dll.
• Pengalaman dengan alat manajemen pipeline/workflow seperti AWS Glue, Azure Data Factory, Airflow, AWS Step Functions, NiFi, dll.

• Perangkat laptop akan disediakan oleh Perusahaan