如何通过 Transformers 库在 sagemaker 中训练模型？

Question

基于此处的示例，https://aws.amazon.com/blogs/machine-learning/fine-tune-and-host-hugging-face-bert-models-on-amazon-sagemaker/， 为了训练，使用了 HuggingFace 估计器，我假设，一旦发出开始训练的命令（见下文），拥抱面部库就会下载模型，在本例中为 distilbert-base-cased。并运行 train.py 文件。我可以只使用 Transformers 库在 sagemaker 中设置训练，而不是使用拥抱脸吗？

huggingface_estimator = HuggingFace(entry_point='train.py',
                            source_dir='./scripts',
                            instance_type='ml.p3.2xlarge',
                            instance_count=1,
                            role=role,
                            transformers_version='4.6.1',
                            pytorch_version='1.7.1',
                            py_version='py36',
                            hyperparameters = hyperparameters)

开始训练命令

/opt/conda/bin/python train.py --epochs 10 --model_name distilbert-base-cased --token_name distilbert-base-cased--train_batch_size 1024

我已经运行了链接中提供的示例。但这使用了拥抱脸库，如何在不使用拥抱脸库的情况下设置训练。

Answer 1

您还可以使用 Pytorch Estimator 运行训练，并可以完全控制要使用的库。请参考下面的示例来使用 pytorch 估算器并使用requirements.txt安装任何其他库

https://github.com/aws/amazon-sagemaker-examples/blob/main/training/smart_sifting/Text_Classification_BERT/Train_text_classification.ipynb