Cloud Data Engineer Contract Term: 12 months, renewable Work Location: Montreal, QC; Hybrid, 3 days onsite per week (some flexibility), the other days remote Our client, aglobal leading consulting firm, is looking for a Cloud Data Engineer. Key skills: data engineer, SQL, Data warehouse, Python, PySpark, Databricks Nice to have: Snowflake This position is for a Cloud Data engineer with a background in Python, Pyspark, SQL and data warehousing for enterprise level systems. The position calls for someone that is comfortable working with business users along with business analyst expertise. The Role:
- Build and optimize data pipelines for efficient data ingestion, transformation and loading from various sources while ensuring data quality and integrity.
- Design, develop, and deploy Spark program in databricks environment to process and analyze large volumes of data.
- Experience of Data Lake, DWH, Data Integration, Cloud, Design and Data Modelling.
- Proficient in developing programs in Python and SQL
- Experience with Data warehouse Dimensional data modeling.
- Working with event based/streaming technologies to ingest and process data.
- Working with structured, semi structured and unstructured data.
- Optimize Databricks jobs for performance and scalability to handle big data workloads.
- Monitor and troubleshoot Databricks jobs, identify and resolve issues or bottlenecks.
- Implement best practices for data management, security, and governance within the Databricks environment. Experience designing and developing Enterprise Data Warehouse solutions.
- Proficient writing SQL queries and programming including stored procedures and reverse engineering existing process.
- Perform code reviews to ensure fit to requirements, optimal execution patterns and adherence to established standards.
Requirements:
- 5+ years Python coding experience.
- 5+ years - SQL Server based development of large datasets
- 5+ years with Experience with developing and deploying ETL pipelines using Databricks Pyspark.
- Experience in any cloud data warehouse like Synapse, Big Query, Redshift, Snowflake.
- Experience in Data warehousing - OLTP, OLAP, Dimensions, Facts, and Data modeling.
- Previous experience leading an enterprise-wide Cloud Data Platform migration with strong architectural and design skills.
- Experience with Cloud based data architectures, messaging, and analytics.
- Cloud certification(s).
- Any experience with Airflow is a Plus.
Ingnieur de donnes cloud Dure du contrat: 12 mois, renouvelable Lieu de travail: Montral, QC; hybride, 3 jours sur place par semaine, les autres jours distance Notre client, un cabinet de conseil de premier plan l'chelle mondiale, recherche un ingnieur de donnes cloud. Comptences cls: ingnieur de donnes, SQL, entrept de donnes, Python, PySpark, Databricks Atouts: Snowflake Ce poste est destin un ingnieur de donnes cloud ayant une exprience en Python, Pyspark, SQL et en entrept de donnes pour les systmes d'entreprise. Le poste requiert une personne l'aise avec les utilisateurs professionnels et possdant une expertise en analyse commerciale. Franais:Le rle : •Crer et optimiser des pipelines de donnes pour une ingestion, une transformation et un chargement efficaces des donnes partir de diverses sources tout en garantissant la qualit et l'intgrit des donnes. •Concevoir, dvelopper et dployer un programme Spark dans un environnement Databricks pour traiter et analyser de gros volumes de donnes. •Exprience de Data Lake, DWH, Data Integration, Cloud, Design et Data Modelling. •Matrise du dveloppement de programmes en Python et SQL •Exprience de la modlisation de donnes dimensionnelles d'entrept de donnes. •Travailler avec des technologies bases sur des vnements/streaming pour ingrer et traiter des donnes. •Travailler avec des donnes structures, semi-structures et non structures. •Optimiser les tches Databricks pour les performances et l'volutivit afin de grer les charges de travail de Big Data. •Surveiller et dpanner les tches Databricks, identifier et rsoudre les problmes ou les goulots d'tranglement. •Mettre en uvre les meilleures pratiques en matire de gestion, de scurit et de gouvernance des donnes au sein de l'environnement Databricks. Exprience de la conception et du dveloppement de solutions d'entrept de donnes d'entreprise. •Matrise de la rdaction de requtes SQL et de la programmation, y compris des procdures stockes et de la rtro-ingnierie des processus existants. •Effectuer des revues de code pour garantir l'adquation aux exigences, les modles d'excution optimaux et le respect des normes tablies. Exigences: •5ans et plus d'exprience en codage Python. •5ans et plus - Dveloppement de grands ensembles de donnes bas sur SQL Server •5ans et plus d'exprience dans le dveloppement et le dploiement de pipelines ETL l'aide de Databricks Pyspark. •Exprience dans n'importe quel entrept de donnes cloud comme Synapse, Big Query, Redshift, Snowflake. •Exprience dans l'entreposage de donnes - OLTP, OLAP, Dimensions, Facts et modlisation de donnes. •Exprience antrieure dans la conduite d'une migration de plateforme de donnes cloud l'chelle de l'entreprise avec de solides comptences en architecture et en conception. •Exprience des architectures de donnes, de la messagerie et de l'analyse bases sur le cloud. •Certification(s) cloud. •Toute exprience avec Airflow est un plus. Contact Information: Lam Guan