πData Engineer Π² ΠΊΠΎΠΌΠ°Π½Π΄Ρ Π‘Π±Π΅ΡΠΠ±ΡΠ°Π·ΠΎΠ²Π°Π½ΠΈΡ
Π‘Π±Π΅ΡΠΠ±ΡΠ°Π·ΠΎΠ²Π°Π½ΠΈΠ΅ β ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΡ ΡΠΊΠΎΡΠΈΡΡΠ΅ΠΌΡ Π‘Π±Π΅ΡΠ°.
ΠΡ β Π½ΠΎΠ²Π°Ρ ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΡ (ΠΎΠ±ΡΠ°Π·ΠΎΠ²Π°Π½Π° Π²Π΅ΡΠ½ΠΎΠΉ 2021 Π³ΠΎΠ΄Π°) ΠΈ Π½Π°ΡΠ° ΠΊΠΎΠΌΠ°Π½Π΄Π° Π½Π°Ρ ΠΎΠ΄ΠΈΡΡΡ Π² ΡΡΠ°Π΄ΠΈΠΈ Π°ΠΊΡΠΈΠ²Π½ΠΎΠ³ΠΎ ΡΠΎΡΠΌΠΈΡΠΎΠ²Π°Π½ΠΈΡ.
Π‘Π΅ΠΉΡΠ°Ρ ΠΌΡ ΠΈΡΠ΅ΠΌ ΠΎΠΏΡΡΠ½ΠΎΠ³ΠΎ Data Engineer Π² ΠΊΠΎΠΌΠ°Π½Π΄Ρ Π‘Π±Π΅ΡΠΠ±ΡΠ°Π·ΠΎΠ²Π°Π½ΠΈΡ.
ΠΡ ΠΈΡΠ΅ΠΌ ΠΊΠΎΠ»Π»Π΅Π³Ρ, ΠΊΠΎΡΠΎΡΡΠΉ ΠΏΠΎΠΌΠΎΠΆΠ΅Ρ ΠΎΡΡΠ»Π΅ΠΆΠΈΠ²Π°ΡΡ Π²ΡΠ΅ ΠΊΠ»ΡΡΠ΅Π²ΡΠ΅ Π΄Π΅ΠΉΡΡΠ²ΠΈΡ ΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΠ΅Π»Π΅ΠΉ Π΄Π»Ρ ΠΏΠΎΡΡΡΠΎΠ΅Π½ΠΈΡ Π³Π»ΡΠ±ΠΎΠΊΠΎΠΉ ΠΏΡΠΎΠ΄ΡΠΊΡΠΎΠ²ΠΎΠΉ, ΠΌΠ°ΡΠΊΠ΅ΡΠΈΠ½Π³ΠΎΠ²ΠΎΠΉ ΠΈ ΡΡΠ΅Π±Π½ΠΎΠΉ Π°Π½Π°Π»ΠΈΡΠΈΠΊΠΈ ΠΈ ΠΏΡΠ΅Π΄ΠΈΠΊΡΠΈΠ²Π½ΡΡ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ.
Π ΠΠΠΠΠ§ΠΠ₯:
- ΠΡΠ³Π°Π½ΠΈΠ·ΠΎΠ²Π°ΡΡ ΠΊΠΎΠ½ΡΡΠΎΠ»Ρ ΠΊΠ°ΡΠ΅ΡΡΠ²Π° Π΄Π°Π½Π½ΡΡ : ΡΠΏΡΠΎΠ΅ΠΊΡΠΈΡΠΎΠ²Π°ΡΡ ΠΈ Π½Π°ΡΡΡΠΎΠΈΡΡ ΠΌΠΎΠ½ΠΈΡΠΎΡΠΈΠ½Π³ΠΈ, ΡΠ΅Π³Π»Π°ΠΌΠ΅Π½ΡΡ;
- ΠΡΠΎΠ΅ΠΊΡΠΈΡΠΎΠ²Π°ΡΡ ΠΌΠΎΠ΄Π΅Π»ΠΈ Π΄Π°Π½Π½ΡΡ ΠΈ Π°ΡΡ ΠΈΡΠ΅ΠΊΡΡΡΡ ΠΠ;
- Π Π΅Π°Π»ΠΈΠ·ΠΎΠ²ΡΠ²Π°ΡΡ ΠΊΠΎΠ½Π²Π΅ΠΉΠ΅ΡΡ ΠΎΠ±ΡΠ°Π±ΠΎΡΠΊΠΈ ΠΏΠΎΡΠΎΠΊΠΎΠ²ΡΡ Π΄Π°Π½Π½ΡΡ Π² ΠΎΠ½Π»Π°ΠΉΠ½Π΅;
- Π‘ΠΏΠ»Π°Π½ΠΈΡΠΎΠ²Π°ΡΡ Π²ΠΌΠ΅ΡΡΠ΅ Ρ ΠΊΠΎΠΌΠ°Π½Π΄ΠΎΠΉ ΡΡΡΠ°ΡΠ΅Π³ΠΈΡ ΡΠ°Π·Π²ΠΈΡΠΈΡ Π°Π½Π°Π»ΠΈΡΠΈΡΠ΅ΡΠΊΠΎΠΉ ΠΈΠ½ΡΡΠ°ΡΡΡΡΠΊΡΡΡΡ Ρ ΡΡΠ΅ΡΠΎΠΌ ΠΏΠΎΡΡΠ΅Π±Π½ΠΎΡΡΠ΅ΠΉ Π±ΠΈΠ·Π½Π΅ΡΠ° β Π²ΡΠ±ΠΎΡ ΡΠ΅Ρ Π½ΠΎΠ»ΠΎΠ³ΠΈΠΉ ΠΈ ΠΏΡΠΎΠ΅ΠΊΡΠΈΡΠΎΠ²Π°Π½ΠΈΠ΅ Π°ΡΡ ΠΈΡΠ΅ΠΊΡΡΡΡ;
- Π‘ΡΠΎΡΠΌΡΠ»ΠΈΡΠΎΠ²Π°ΡΡ ETL-ΠΏΡΠΎΡΠ΅ΡΡΡ ΠΈ ΠΎΠΏΡΠΈΠΌΠΈΠ·ΠΈΡΠΎΠ²Π°ΡΡ ΠΈΡ Ρ ΡΡΠ΅ΡΠΎΠΌ Π²ΠΎΠ·ΡΠ°ΡΡΠ°ΡΡΠ΅ΠΉ Π½Π°Π³ΡΡΠ·ΠΊΠΈ;
- ΠΠ°Π»Π°Π΄ΠΈΡΡ ΡΠ΅Π³ΡΠ»ΡΡΠ½ΡΠ΅ ΠΏΡΠΎΡΠ΅ΡΡΡ ΠΏΠΎΠ΄Π³ΠΎΡΠΎΠ²ΠΊΠΈ ΠΈ ΠΏΠΎΡΡΠ°Π²ΠΊΠΈ Π΄Π°Π½Π½ΡΡ Π΄Π»Ρ ΠΏΡΠΎΠ΄ΡΠΊΡΠΎΠ²ΡΡ ΠΊΠΎΠΌΠ°Π½Π΄ ΠΈ Π°Π½Π°Π»ΠΈΡΠΈΠΊΠΎΠ²;
- ΠΠΎΠ΄Π΄Π΅ΡΠΆΠΈΠ²Π°ΡΡ ΠΏΡΠΎΡΠ΅ΡΡΡ Π²Π·Π°ΠΈΠΌΠΎΠ΄Π΅ΠΉΡΡΠ²ΠΈΡ Ρ ΠΊΠΎΠΌΠ°Π½Π΄Π°ΠΌΠΈ ΡΠ°Π·ΡΠ°Π±ΠΎΡΠΊΠΈ, Π°Π½Π°Π»ΠΈΡΠΈΠΊΠΈ ΠΈ ΠΏΡΠΎΠ΄ΡΠΊΡΠ°.
Π ΠΊΠΎΠΌΠ°Π½Π΄Π΅:
ΠΡ ΡΠΎΠ»ΡΠΊΠΎ Π½Π°ΡΠ°Π»ΠΈ ΡΠΎΡΠΌΠΈΡΠΎΠ²Π°ΡΡ ΠΊΠΎΠΌΠ°Π½Π΄Ρ DS ΠΈ ΠΏΠ°ΡΠ°Π»Π»Π΅Π»ΡΠ½ΠΎ ΠΈΡΠ΅ΠΌ ΡΠ°ΠΊΠΆΠ΅ Data Scientist
ΠΡ Ρ ΠΎΡΠΈΠΌ, ΡΡΠΎΠ±Ρ Π½Π°Ρ Π±ΡΠ΄ΡΡΠΈΠΉ ΠΊΠΎΠ»Π»Π΅Π³Π°:
- ΠΠΌΠ΅Π» Π½Π°Π²ΡΠΊΠΈ ΠΏΡΠΎΠ΅ΠΊΡΠΈΡΠΎΠ²Π°Π½ΠΈΡ Ρ ΡΠ°Π½ΠΈΠ»ΠΈΡΠ°, Π½Π°ΡΡΡΠΎΠΉΠΊΠΈ ΡΠ±ΠΎΡΠ° Π΄Π°Π½Π½ΡΡ ΠΈ Π΄Π°ΡΠ°-ΠΏΠ°ΠΉΠΏΠ»Π°ΠΉΠ½ΠΎΠ²:
- Π£ΠΆΠ΅ ΡΠ°Π±ΠΎΡΠ°Π» Π½Π° ΠΏΠΎΠ·ΠΈΡΠΈΠΈ Π΄Π°ΡΠ°-ΠΈΠ½ΠΆΠ΅Π½Π΅ΡΠ° ΠΈΠ»ΠΈ Π»ΠΈΠ΄Π΅ΡΠ° ΠΊΠΎΠΌΠ°Π½Π΄Ρ
- ΠΠΌΠ΅Π» ΠΎΠΏΡΡ ΡΠ°Π·Π²ΠΈΡΠΈΡ Π°Π½Π°Π»ΠΈΡΠΈΡΠ΅ΡΠΊΠΎΠΉ ΠΈΠ½ΡΡΠ°ΡΡΡΡΠΊΡΡΡΡ Π² ΠΏΡΠΎΠ΄ΡΠΊΡΠ΅;
- ΠΡΠ» Π·Π½Π°ΠΊΠΎΠΌ Ρ Python
- Π Π°Π±ΠΎΡΠ°Π» Ρ PostgreSQL, SQL Π½Π° ΡΡΠΎΠ²Π½Π΅ ΡΠ»ΠΎΠΆΠ½ΡΡ Π·Π°ΠΏΡΠΎΡΠΎΠ²;
- ΠΠΌΠ΅Π» ΠΎΠΏΡΡ ΡΠ°Π±ΠΎΡΡ Ρ Π°Π½Π°Π»ΠΈΡΠΈΡΠ΅ΡΠΊΠΈΠΌΠΈ Π±Π°Π·Π°ΠΌΠΈ Π΄Π°Π½Π½ΡΡ , Π½Π°ΠΏΡΠΈΠΌΠ΅Ρ, Ρ ClickHouse;
- ΠΠΌΠ΅Π» ΠΎΠΏΡΡ ΠΏΠΎΡΡΡΠΎΠ΅Π½ΠΈΡ ETL-ΠΏΡΠΎΡΠ΅ΡΡΠΎΠ²;
- ΠΡΠ» Π·Π½Π°ΠΊΠΎΠΌ Ρ Π±Π°Π·ΠΎΠ²ΡΠΌΠΈ ΠΏΡΠΈΠ½ΡΠΈΠΏΠ°ΠΌΠΈ ΡΠ°Π±ΠΎΡΡ ΠΏΡΠΎΠ΄ΡΠΊΡΠ° ΠΈ ΠΏΡΠΎΠ΄ΡΠΊΡΠΎΠ²ΠΎΠΉ Π°Π½Π°Π»ΠΈΡΠΈΠΊΠΈ;
- ΠΠ±Π»Π°Π΄Π°Π» ΠΎΠΏΡΡΠΎΠΌ ΡΠ΅ΡΠ΅Π½ΠΈΡ Π½ΠΎΠ²ΡΡ Π·Π°Π΄Π°Ρ: ΠΎΡ Π΄Π΅ΠΊΠΎΠΌΠΏΠΎΠ·ΠΈΡΠΈΠΈ ΠΈ ΠΎΠΏΡΠ΅Π΄Π΅Π»Π΅Π½ΠΈΡ Π°ΡΡ ΠΈΡΠ΅ΠΊΡΡΡΡ Π΄ΠΎ ΡΠ΅Π°Π»ΠΈΠ·Π°ΡΠΈΠΈ.
ΠΡΠ΄Π΅Ρ ΠΏΠ»ΡΡΠΎΠΌ, Π΅ΡΠ»ΠΈ Π²Ρ:
- ΠΠΌΠ΅Π΅ΡΠ΅ ΠΎΠΏΡΡ ΡΠ°Π±ΠΎΡΡ ΡΠΎ Spark, Airflow, MLFlow / Neptune ML, DVC, TPOT ΠΈΠ»ΠΈ Π°Π½Π°Π»ΠΎΠ³ΠΈΡΠ½ΡΠΌΠΈ ΠΈΠ½ΡΡΡΡΠΌΠ΅Π½ΡΠ°ΠΌΠΈ;
- Π‘ΡΠ°Π»ΠΊΠΈΠ²Π°Π»ΠΈΡΡ Ρ Docker, Kubernetes;
ΠΠ± ΡΡΠ»ΠΎΠ²ΠΈΡΡ :
Π ΡΠ°ΠΌΠΊΠ°Ρ ΡΡΠΎΠΉ ΠΏΠΎΠ·ΠΈΡΠΈΠΈ ΠΌΡ ΠΏΡΠ΅Π΄Π»Π°Π³Π°Π΅ΠΌ:
- ΠΡΡΠΎΠΊΡΡ ΠΈ ΠΏΠΎΠ»Π½ΠΎΡΡΡΡ Π±Π΅Π»ΡΡ Π·Π°ΡΠ°Π±ΠΎΡΠ½ΡΡ ΠΏΠ»Π°ΡΡ (ΡΠ΅ΠΉΡΠ°Ρ ΠΌΡ Π³ΠΎΡΠΎΠ²Ρ Π±ΡΡΡ Π³ΠΈΠ±ΠΊΠΈΠΌΠΈ ΠΈ ΠΎΡΠΈΠ΅Π½ΡΠΈΡΡΠ΅ΠΌΡΡ Π½Π° Π²Π°ΡΠΈ ΠΎΠΆΠΈΠ΄Π°Π½ΠΈΡ ΠΏΠΎ ΠΠ);
- ΠΠΠ‘ ΡΠΎ ΡΡΠΎΠΌΠ°ΡΠΎΠ»ΠΎΠ³ΠΈΠ΅ΠΉ Ρ ΠΏΠ΅ΡΠ²ΠΎΠΉ Π½Π΅Π΄Π΅Π»ΠΈ ΡΠ°Π±ΠΎΡΡ;
- ΠΡΠΎΡΠ΅ΡΡΠΈΠΎΠ½Π°Π»ΡΠ½ΠΎΠ΅ ΠΎΠ±ΡΡΠ΅Π½ΠΈΠ΅ Π·Π° ΡΡΠ΅Ρ ΡΠ°Π±ΠΎΡΠΎΠ΄Π°ΡΠ΅Π»Ρ;
- ΠΠΈΠ±ΡΠΈΠ΄Π½ΡΠΉ ΡΠΎΡΠΌΠ°Ρ ΡΠ°Π±ΠΎΡΡ Ρ Π³ΠΈΠ±ΠΊΠΈΠΌ Π½Π°ΡΠ°Π»ΠΎΠΌ ΡΠ°Π±ΠΎΡΠ΅Π³ΠΎ Π΄Π½Ρ;
- ΠΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡΡ Π΄Π»ΠΈΡΠ΅Π»ΡΠ½ΠΎΠΉ ΡΠ΄Π°Π»Π΅Π½Π½ΠΎΠΉ ΡΠ°Π±ΠΎΡΡ;
- ΠΠΎΠΏΠΎΠ»Π½ΠΈΡΠ΅Π»ΡΠ½ΠΎΠ΅ ΠΏΡΠ΅ΠΌΠΈΡΠΎΠ²Π°Π½ΠΈΠ΅ ΡΠΎΠ³Π»Π°ΡΠ½ΠΎ Π²Π½ΡΡΡΠ΅Π½Π½ΠΈΠΌ ΠΏΠΎΠ»ΠΎΠΆΠ΅Π½ΠΈΡΠΌ ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΠΈ;
- ΠΡΡΠ³ΠΈΠ΅ Π±Π΅Π½Π΅ΡΠΈΡΡ, ΠΊΠΎΡΠΎΡΡΠ΅ ΠΌΡ ΠΏΡΠ΅Π΄Π»ΠΎΠΆΠΈΠΌ Π½Π° ΠΎΡΠ½ΠΎΠ²Π΅ Π²Π°ΡΠ΅Π³ΠΎ Π²ΡΠ±ΠΎΡΠ° (ΠΈΠ·ΡΡΠ΅Π½ΠΈΠ΅ Π°Π½Π³Π»ΠΈΠΉΡΠΊΠΎΠ³ΠΎ ΡΠ·ΡΠΊΠ°, ΡΠΏΠΎΡΡ ΠΈ ΠΏΡ.), ΠΏΠ°ΠΊΠ΅Ρ ΡΠΎΡΠΌΠΈΡΡΠ΅ΡΡΡ.
ΠΡΠ»ΠΈ Π²Ρ ΡΠ·Π½Π°Π»ΠΈ ΡΠ΅Π±Ρ Π² ΠΎΠΏΠΈΡΠ°Π½ΠΈΠΈ β ΡΠΌΠ΅Π»ΠΎ ΠΏΠΈΡΠΈΡΠ΅ ΠΌΠ½Π΅ Π² Telegram @amevdokimova