Added models, outputs, data and tensorflow runs
This commit is contained in:
186
outputs/eval_summary_mtl_mtl_original.json
Normal file
186
outputs/eval_summary_mtl_mtl_original.json
Normal file
@@ -0,0 +1,186 @@
|
||||
{
|
||||
"mode": "mtl",
|
||||
"dataset": "original",
|
||||
"task": "all",
|
||||
"model_path": "outputs/best_model_mtl_original.pt",
|
||||
"results": {
|
||||
"bug_report": {
|
||||
"macro_f1": 0.7833333333333333,
|
||||
"macro_precision": 0.7684555303602922,
|
||||
"macro_recall": 0.8027848820687695,
|
||||
"confidence": {
|
||||
"overall": 0.9568860530853271,
|
||||
"correct": 0.97133868932724,
|
||||
"incorrect": 0.8671128153800964
|
||||
},
|
||||
"per_class": {
|
||||
"No": {
|
||||
"precision": 0.9319727891156463,
|
||||
"recall": 0.8954248366013072,
|
||||
"f1-score": 0.9133333333333333,
|
||||
"support": 612.0
|
||||
},
|
||||
"Yes": {
|
||||
"precision": 0.6049382716049383,
|
||||
"recall": 0.7101449275362319,
|
||||
"f1-score": 0.6533333333333333,
|
||||
"support": 138.0
|
||||
},
|
||||
"accuracy": 0.8613333333333333,
|
||||
"macro avg": {
|
||||
"precision": 0.7684555303602922,
|
||||
"recall": 0.8027848820687695,
|
||||
"f1-score": 0.7833333333333333,
|
||||
"support": 750.0
|
||||
},
|
||||
"weighted avg": {
|
||||
"precision": 0.8717984378936761,
|
||||
"recall": 0.8613333333333333,
|
||||
"f1-score": 0.8654933333333333,
|
||||
"support": 750.0
|
||||
}
|
||||
}
|
||||
},
|
||||
"feature_request": {
|
||||
"macro_f1": 0.7632819746470164,
|
||||
"macro_precision": 0.7523338553934565,
|
||||
"macro_recall": 0.7762790132458379,
|
||||
"confidence": {
|
||||
"overall": 0.9604225158691406,
|
||||
"correct": 0.971001923084259,
|
||||
"incorrect": 0.890037477016449
|
||||
},
|
||||
"per_class": {
|
||||
"No": {
|
||||
"precision": 0.9321486268174475,
|
||||
"recall": 0.9115323854660348,
|
||||
"f1-score": 0.9217252396166135,
|
||||
"support": 633.0
|
||||
},
|
||||
"Yes": {
|
||||
"precision": 0.5725190839694656,
|
||||
"recall": 0.6410256410256411,
|
||||
"f1-score": 0.6048387096774194,
|
||||
"support": 117.0
|
||||
},
|
||||
"accuracy": 0.8693333333333333,
|
||||
"macro avg": {
|
||||
"precision": 0.7523338553934565,
|
||||
"recall": 0.7762790132458379,
|
||||
"f1-score": 0.7632819746470164,
|
||||
"support": 750.0
|
||||
},
|
||||
"weighted avg": {
|
||||
"precision": 0.8760464181331623,
|
||||
"recall": 0.8693333333333333,
|
||||
"f1-score": 0.8722909409460992,
|
||||
"support": 750.0
|
||||
}
|
||||
}
|
||||
},
|
||||
"aspect": {
|
||||
"macro_f1": 0.717046709402451,
|
||||
"macro_precision": 0.7186594789555653,
|
||||
"macro_recall": 0.7175741849634064,
|
||||
"confidence": {
|
||||
"overall": 0.8980301022529602,
|
||||
"correct": 0.9270597100257874,
|
||||
"incorrect": 0.81709885597229
|
||||
},
|
||||
"per_class": {
|
||||
"App": {
|
||||
"precision": 0.7875,
|
||||
"recall": 0.84,
|
||||
"f1-score": 0.8129032258064516,
|
||||
"support": 225.0
|
||||
},
|
||||
"Driver": {
|
||||
"precision": 0.7862595419847328,
|
||||
"recall": 0.7803030303030303,
|
||||
"f1-score": 0.7832699619771863,
|
||||
"support": 132.0
|
||||
},
|
||||
"General": {
|
||||
"precision": 0.8037383177570093,
|
||||
"recall": 0.688,
|
||||
"f1-score": 0.7413793103448276,
|
||||
"support": 125.0
|
||||
},
|
||||
"Payment": {
|
||||
"precision": 0.6176470588235294,
|
||||
"recall": 0.6363636363636364,
|
||||
"f1-score": 0.6268656716417911,
|
||||
"support": 33.0
|
||||
},
|
||||
"Pricing": {
|
||||
"precision": 0.6986301369863014,
|
||||
"recall": 0.75,
|
||||
"f1-score": 0.723404255319149,
|
||||
"support": 68.0
|
||||
},
|
||||
"Service": {
|
||||
"precision": 0.6181818181818182,
|
||||
"recall": 0.6107784431137725,
|
||||
"f1-score": 0.6144578313253012,
|
||||
"support": 167.0
|
||||
},
|
||||
"accuracy": 0.736,
|
||||
"macro avg": {
|
||||
"precision": 0.7186594789555653,
|
||||
"recall": 0.7175741849634064,
|
||||
"f1-score": 0.717046709402451,
|
||||
"support": 750.0
|
||||
},
|
||||
"weighted avg": {
|
||||
"precision": 0.7367554868722928,
|
||||
"recall": 0.736,
|
||||
"f1-score": 0.7352797185836668,
|
||||
"support": 750.0
|
||||
}
|
||||
}
|
||||
},
|
||||
"aspect_sentiment": {
|
||||
"macro_f1": 0.7574652640875613,
|
||||
"macro_precision": 0.7713119380138362,
|
||||
"macro_recall": 0.7471910012842655,
|
||||
"confidence": {
|
||||
"overall": 0.9650789499282837,
|
||||
"correct": 0.9762944579124451,
|
||||
"incorrect": 0.8488451242446899
|
||||
},
|
||||
"per_class": {
|
||||
"Positive": {
|
||||
"precision": 0.9387755102040817,
|
||||
"recall": 0.9533678756476683,
|
||||
"f1-score": 0.9460154241645244,
|
||||
"support": 386.0
|
||||
},
|
||||
"Neutral": {
|
||||
"precision": 0.45161290322580644,
|
||||
"recall": 0.358974358974359,
|
||||
"f1-score": 0.4,
|
||||
"support": 39.0
|
||||
},
|
||||
"Negative": {
|
||||
"precision": 0.9235474006116208,
|
||||
"recall": 0.9292307692307692,
|
||||
"f1-score": 0.9263803680981595,
|
||||
"support": 325.0
|
||||
},
|
||||
"accuracy": 0.912,
|
||||
"macro avg": {
|
||||
"precision": 0.7713119380138362,
|
||||
"recall": 0.7471910012842655,
|
||||
"f1-score": 0.7574652640875613,
|
||||
"support": 750.0
|
||||
},
|
||||
"weighted avg": {
|
||||
"precision": 0.9068442071511451,
|
||||
"recall": 0.912,
|
||||
"f1-score": 0.9091140978125444,
|
||||
"support": 750.0
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
Reference in New Issue
Block a user