问题描述
我在 GPU 和 cpu 上运行一次 catboost 回归。 GPU 快得多，但收敛速度极慢。在 cpu 上迭代 1000 次后，我从 124 MAE 下降到 90。在 GPU 上，我从 124 下降到 123。 我尝试手动将学习率设置为更高的速率 - 还将边界计数更改为 254。但都没有任何意义。
GPU 参数：
{'nan_mode': 'Min','gpu_ram_part': 0.95,'eval_metric': 'MAE','combinations_ctr': ['Borders:CtrBorderCount=15:CtrBorderType=Uniform:TargetBorderCount=1:TargetBorderType=minentropy:Prior=0/1:Prior=0.5/1:Prior=1/1','FeatureFreq:CtrBorderCount=15:CtrBorderType=Median:Prior=0/1'],'iterations': 1000,'fold_permutation_block': 64,'leaf_estimation_method': 'Gradient','observations_to_bootstrap': 'TestOnly','counter_calc_method': 'SkipTest','grow_policy': 'SymmetricTree','boosting_type': 'Plain','ctr_history_unit': 'Sample','feature_border_type': 'GreedyLogSum','bayesian_matrix_reg': 0.10000000149011612,'one_hot_max_size': 2,'devices': '-1','pinned_memory_bytes': '104857600','l2_leaf_reg': 3,'random_strength': 1,'rsm': 1,'boost_from_average': True,'gpu_cat_features_storage': 'GpuRam','fold_size_loss_normalization': False,'max_ctr_complexity': 4,'model_size_reg': 0.5,'simple_ctr': ['Borders:CtrBorderCount=15:CtrBorderType=Uniform:TargetBorderCount=1:TargetBorderType=minentropy:Prior=0/1:Prior=0.5/1:Prior=1/1','FeatureFreq:CtrBorderCount=15:CtrBorderType=minentropy:Prior=0/1'],'subsample': 0.800000011920929,'use_best_model': True,'random_seed': 0,'depth': 6,'ctr_target_border_count': 1,'has_time': False,'border_count': 254,'min_fold_size': 100,'data_partition': 'FeatureParallel','classes_count': 0,'auto_class_weights': 'None','leaf_estimation_backtracking': 'AnyImprovement','best_model_min_trees': 1,'min_data_in_leaf': 1,'add_ridge_penalty_to_loss_function': False,'loss_function': 'MAE','learning_rate': 0.029999999329447743,'score_function': 'Cosine','task_type': 'GPU','leaf_estimation_iterations': 1,'bootstrap_type': 'MVS','max_leaves': 64,'permutation_count': 4}
cpu 参数：
{'nan_mode': 'Min','Counter:CtrBorderCount=15:CtrBorderType=Uniform:Prior=0/1'],'iterations': 2000,'sampling_frequency': 'PerTree','fold_permutation_block': 0,'leaf_estimation_method': 'Exact','penalties_coefficient': 1,'model_shrink_mode': 'Constant','ctr_leaf_count_limit': 18446744073709551615,'posterior_sampling': False,'store_all_simple_ctr': False,'sparse_features_conflict_fraction': 0,'model_shrink_rate': 0,'task_type': 'cpu','permutation_count': 4}
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）