Job Requisition ID #25WD9001025WD90010, Data Engineer, Data for AI/ML French translation to follow!/Traduction française à suivre! Position OverviewAutodesk seeks a strong principal engineer and technical leader within the Data Acquisition team, designated with designing new robust and resilient data pipelines for analytical abstracts, enrichment, and metadata about design content. These datasets form the basis for data selection and understanding for various AI/ML projects at Autodesk.This role collaborates with Product Managers, Program/Project managers, Analysts, Platform Architecture, and the Engineering Team to ensure data pipelines and delivery uses modern, scalable, reliable methods. Communication skills are critical, and you must be comfortable distilling complex technical information to a non-technical audience as a technical leader.We work with a group of highly collaborative individuals who are excited to solve challenges, and implement cloud based, resilient, available, reliable solutions. We are comfortable with several languages and paradigms and aim to choose the technology which is most appropriate for the task. We endeavor to automate our tests and deployments end to end. We seek to mitigate existing issues and balance tech debt with the delivery of value to Autodesk. If you can identify with these traits, we are looking forward to working with you.ResponsibilitiesDesigning, architecting, solutioning, and implementing data pipelines for enterprise consumptionMapping and automating data flows, from multiple sourcesDevelop workflows to run Apache Spark applications using Airflow and AWS EMR; may also work on Snowflake applications using Airflow and dbtDeploy solutions via automated CI/CD processes to execute data pipelines running in batchDeveloping, executing, and documenting software solutions to address complex data collection, processing, transformation, and reporting issuesInterpreting and translating business needs into technical requirementsTroubleshooting code level problems quickly and efficiently as neededParticipating in code and document reviewsMinimum QualificationsStrong experience in several of the following:Python / PySparkSpark / Spark SQLApache Iceberg/Airflow (Astronomer is a plus)Amazon EMR, Lambda, S3Snowflake / Snowflake SQLdbtFivetranHiveHadoopExtensive experience with a strong focus across layers of data engineering and pipelinesStrong experience in distributed and cloud architecture patternsAbility to provide detailed architecture artifacts (L1 / L2 diagrams, sequence diagrams, etc.)Firm understanding of programming paradigms, their usage, as well as data structuresEffective communication and collaboration skills, understanding how to tailor your message to your audienceAbility to fully develop a feature across all data and/or application layers from inceptionExperience building and deploying data applications with AWSExperience implementing CI/CD and familiarity TDD/BDD. Preferably concrete examples of eachStrong experience designing and using data lakes and data warehousesPowerful sense of ownership with a bias for action when challenges ariseAbility to work independently and collaboratively across an organization.Desire to create, investigate and follow best practicesFamiliarity with AI/Machine Learning workflows and technologies is a plusEagerness to learn and share knowledge with a good attitude______________________________________________________________________________________________________________25WD90010 Ingénieur données, données pour l'IA/MLAperçu du posteAutodesk recherche un ingénieur principal et un responsable technique chevronné au sein de l'équipe Acquisition de données, chargé de concevoir de nouveaux pipelines de données robustes et résilients pour les résumés analytiques, l'enrichissement et les métadonnées relatives au contenu de conception. Ces ensembles de données constituent la base de la sélection et de la compréhension des données pour divers projets d'IA/ML chez Autodesk.Le titulaire de ce poste collabore avec les chefs de produit, les chefs de programme/projet, les analystes, l'équipe d'architecture de la plateforme et l'équipe d'ingénierie afin de garantir que les pipelines de données et la livraison utilisent des méthodes modernes, évolutives et fiables. Les compétences en communication sont essentielles et vous devez être à l'aise pour synthétiser des informations techniques complexes à l'intention d'un public non technique en tant que responsable technique.Nous travaillons avec un groupe de personnes très collaboratives qui sont enthousiastes à l'idée de relever des défis et de mettre en œuvre des solutions basées sur le cloud, résilientes, disponibles et fiables. Nous maîtrisons plusieurs langages et paradigmes et nous nous efforçons de choisir la technologie la plus appropriée à la tâche à accomplir. Nous nous efforçons d'automatiser nos tests et nos déploiements de bout en bout. Nous cherchons à atténuer les problèmes existants et à équilibrer la dette technologique avec la valeur apportée à Autodesk. Si vous vous reconnaissez dans ces caractéristiques, nous serions ravis de travailler avec vous.ResponsabilitésConception, architecture, résolution et mise en œuvre de pipelines de données pour une utilisation en entrepriseCartographier et automatiser les flux de données provenant de plusieurs sourcesDévelopper des workflows pour exécuter des applications Apache Spark à l'aide d'Airflow et d'AWS EMR ; peut également travailler sur des applications Snowflake à l'aide d'Airflow et de dbtDéployer des solutions via des processus CI/CD automatisés pour exécuter des pipelines de données fonctionnant par lotsDévelopper, exécuter et documenter des solutions logicielles pour répondre à des problèmes complexes de collecte, de traitement, de transformation et de reporting de donnéesInterpréter et traduire les besoins commerciaux en exigences techniquesDépannage rapide et efficace des problèmes au niveau du code, selon les besoinsParticipation à la révision du code et des documentsQualifications minimalesSolide expérience dans plusieurs des domaines suivants :Python / PySparkSpark / Spark SQLApache Iceberg/Airflow (Astronomer est un plus)Amazon EMR, Lambda, S3Snowflake / Snowflake SQLdbtFivetranHiveHadoopVaste expérience avec une forte concentration sur les différentes couches de l'ingénierie des données et des pipelinesSolide expérience des modèles d'architecture distribuée et cloudCapacité à fournir des artefacts d'architecture détaillés (diagrammes L1 / L2, diagrammes de séquence, etc.)Compréhension approfondie des paradigmes de programmation, de leur utilisation et des structures de donnéesCompétences en communication et en collaboration efficaces, compréhension de la manière d'adapter votre message à votre publicCapacité à développer entièrement une fonctionnalité sur toutes les couches de données et/ou d'applications, depuis sa conceptionExpérience dans la création et le déploiement d'applications de données avec AWSExpérience dans la mise en œuvre de CI/CD et bonne connaissance de TDD/BDD. De préférence, exemples concrets de chacunSolide expérience dans la conception et l'utilisation de lacs de données et d'entrepôts de donnéesFort sens des responsabilités et goût pour l'action face aux défisCapacité à travailler de manière autonome et collaborative au sein d'une organisation.Envie de créer, d'étudier et de suivre les meilleures pratiquesLa connaissance des workflows et des technologies d'IA/Machine Learning est un plusEnvie d'apprendre et de partager ses connaissances avec une bonne attitudeLearn More / Plus d'informationAbout Autodesk / À propos d’AutodeskWelcome to Autodesk! Amazing things are created every day with our software – from the greenest buildings and cleanest cars to the smartest factories and biggest hit movies. We help innovators turn their ideas into reality, transforming not only how things are made, but what can be made.We take great pride in our culture here at Autodesk – it’s at the core of everything we do. Our culture guides the way we work and treat each other, informs how we connect with customers and partners, and defines how we show up in the world.When you’re an Autodesker, you can do meaningful work that helps build a better world designed and made for all. Ready to shape the world and your future? Join us!Bienvenue chez Autodesk ! Nos logiciels créent chaque jour des choses extraordinaires : des bâtiments les plus écologiques aux voitures les plus propres, en passant par les usines les plus intelligentes et les films à succès. Nous aidons les innovateurs à concrétiser leurs idées, transformant non seulement la façon dont les choses sont fabriquées, mais aussi ce qui peut l’être. Nous sommes très fiers de notre culture chez Autodesk ; elle est au cœur de tout ce que nous faisons. Notre culture guide notre façon de travailler et de nous comporter les uns envers les autres, influence nos interactions avec nos clients et nos partenaires, et définit notre image au monde. En tant qu’Autodeskien, vous pouvez accomplir un travail significatif qui contribue à bâtir un monde meilleur, conçu et réalisé pour tous. Prêt à façonner le monde et votre avenir ? Rejoignez-nous !Salary transparency / Transparence salarialeSalary is one part of Autodesk’s competitive compensation package. Offers are based on the candidate’s experience and geographic location. In addition to base salaries, our compensation package may include annual cash bonuses, commissions for sales roles, stock grants, and a comprehensive benefits package.Le salaire est l'un des éléments du programme de rémunération concurrentiel d'Autodesk. Pour les postes basés au Canada (Colombie-Britannique), nous proposons un salaire de base compris entre X et X dollars. Les offres sont basées sur l'expérience et la situation géographique du candidat et peuvent dépasser cette fourchette. En plus du salaire de base, notre programme de rémunération peut inclure des primes annuelles en espèces, des commissions pour les postes commerciaux, des attributions d'actions et un ensemble complet d'avantages sociaux.Diversity & Belonging / Diversité et appurtenanceWe take pride in cultivating a culture of belonging where everyone can thrive. Learn more here: https://www.autodesk.com/company/diversity-and-belongingNous sommes fiers de cultiver une culture d’appartenance où chacun peut s’épanouir. Pour en savoir plus, cliquez ici : https://www.autodesk.com/company/diversity-and-belongingAre you an existing contractor or consultant with Autodesk? Êtes-vous un sous-traitant ou un consultant existant d’Autodesk ?Please search for open jobs and apply internally (not on this external site).Veuillez rechercher des emplois vacants et postuler à l’interne (pas sur ce site externe).
View Original Job Posting