最近负责一个图像识别项目,其中模型训练的算力需求把我折磨得够呛。项目里有个中等规模的图像识别模型,用公司现有的设备跑训练,代码如下:
python
运行
importtensorflowastf
fromtensorflow.keras.preprocessing.imageimportImageDataGenerator
#数据预处理
train_datagen=ImageDataGenerator(rescale=1./255)
train_generator=train_datagen.flow_from_directory(
'train_data_directory',
target_size=(224,224),
batch_size=32,
class_mode='categorical'
)
#构建简单模型
model=tf.keras.Sequential([
tf.keras.layers.Conv2D(32,(3,3),activation='relu',input_shape=(224,224,3)),
tf.keras.layers.MaxPooling2D((2,2)),
tf.keras.layers.Conv2D(64,(3,3),activation='relu'),
tf.keras.layers.MaxPooling2D((2,2)),
tf.keras.layers.Flatten(),
tf.keras.layers.Dense(64,activation='relu'),
tf.keras.layers.Dense(10,activation='softmax')
])
model.compile(optimizer='adam',
loss='categorical_crossentropy',
metrics=['accuracy'])
#模型训练
history=model.fit(
train_generator,
steps_per_epoch=train_generator.samples//train_generator.batch_size,
epochs=10
)
这段代码在公司设备上运行,每次训练至少要七八个小时,项目估计还要两三个月,成本有点大,而且时不时还因为设备性能问题报错中断,又得重新开始,项目进度严重滞后。

为了解决算力问题,我网上搜资料、看测评、加群、发帖求助,可推荐平台不是贵得用不起,就是免费的有套路、无法正常使用。


就在我快炸的时候,在一个技术交流群里看到有人分享了一个平台,说完成企业认证就能免费获得50小时4090算力。

我按照群友分享的网址(https://tiangangaitp.com/)打开天罡智算的官网。登录之后,可以点击头像处的“实名认证”,或者直接点击首页的“立即认证”按钮。按照要求填好企业相关资料提交认证,然后就开始等消息。需要一个“图片”认证,大家可以去网上搜,还可以用朋友的手机号,多注册得算力。

拿到算力后,同样的模型训练,居然三个多小时就跑完了,而且结果完全正确,效率提升太明显了。


不过用下来也发现一些小问题。比如,它的任务调度系统有时候会有点延迟,提交任务后不能马上开始计算,得等个几分钟;还有,虽然50小时免费算力听起来不少,但对于一些大型项目来说,可能很快就用完了。但考虑到这是免费薅的羊毛,这些小缺点也能接受。
这50小时的算力虽然不能彻底解决项目长期的算力需求,但至少让项目在关键阶段能继续推进,给我们争取到时间去规划后续的算力方案。
真心推荐有算力需求的朋友去试试,说不定能解你的燃眉之急。要是大家还有其他薅算力羊毛的经验或者好用的平台,欢迎在评论区分享交流!
python
运行
importtensorflowastf
fromtensorflow.keras.preprocessing.imageimportImageDataGenerator
#数据预处理
train_datagen=ImageDataGenerator(rescale=1./255)
train_generator=train_datagen.flow_from_directory(
'train_data_directory',
target_size=(224,224),
batch_size=32,
class_mode='categorical'
)
#构建简单模型
model=tf.keras.Sequential([
tf.keras.layers.Conv2D(32,(3,3),activation='relu',input_shape=(224,224,3)),
tf.keras.layers.MaxPooling2D((2,2)),
tf.keras.layers.Conv2D(64,(3,3),activation='relu'),
tf.keras.layers.MaxPooling2D((2,2)),
tf.keras.layers.Flatten(),
tf.keras.layers.Dense(64,activation='relu'),
tf.keras.layers.Dense(10,activation='softmax')
])
model.compile(optimizer='adam',
loss='categorical_crossentropy',
metrics=['accuracy'])
#模型训练
history=model.fit(
train_generator,
steps_per_epoch=train_generator.samples//train_generator.batch_size,
epochs=10
)
这段代码在公司设备上运行,每次训练至少要七八个小时,项目估计还要两三个月,成本有点大,而且时不时还因为设备性能问题报错中断,又得重新开始,项目进度严重滞后。

为了解决算力问题,我网上搜资料、看测评、加群、发帖求助,可推荐平台不是贵得用不起,就是免费的有套路、无法正常使用。


就在我快炸的时候,在一个技术交流群里看到有人分享了一个平台,说完成企业认证就能免费获得50小时4090算力。

我按照群友分享的网址(https://tiangangaitp.com/)打开天罡智算的官网。登录之后,可以点击头像处的“实名认证”,或者直接点击首页的“立即认证”按钮。按照要求填好企业相关资料提交认证,然后就开始等消息。需要一个“图片”认证,大家可以去网上搜,还可以用朋友的手机号,多注册得算力。

拿到算力后,同样的模型训练,居然三个多小时就跑完了,而且结果完全正确,效率提升太明显了。


不过用下来也发现一些小问题。比如,它的任务调度系统有时候会有点延迟,提交任务后不能马上开始计算,得等个几分钟;还有,虽然50小时免费算力听起来不少,但对于一些大型项目来说,可能很快就用完了。但考虑到这是免费薅的羊毛,这些小缺点也能接受。
这50小时的算力虽然不能彻底解决项目长期的算力需求,但至少让项目在关键阶段能继续推进,给我们争取到时间去规划后续的算力方案。
真心推荐有算力需求的朋友去试试,说不定能解你的燃眉之急。要是大家还有其他薅算力羊毛的经验或者好用的平台,欢迎在评论区分享交流!