Hugging Face's logo

nwdxlgzs
/
XL-AiLuaDec-1.7B-FFT-checkpoint-40000

Safetensors
qwen3
lua
dec
luac
Model card Files
xet
 Community
nwdxlgzs commited on
Commit
5d26d74
·
verified ·
1 Parent(s): c910d35

Upload 15 files

Browse files
Files changed (16) hide show
  1. .gitattributes +1 -0
  2. added_tokens.json +28 -0
  3. chat_template.jinja +144 -0
  4. config.json +32 -0
  5. generation_config.json +14 -0
  6. merges.txt +0 -0
  7. model.safetensors +3 -0
  8. optimizer.pt +3 -0
  9. rng_state.pth +3 -0
  10. scheduler.pt +3 -0
  11. special_tokens_map.json +31 -0
  12. tokenizer.json +3 -0
  13. tokenizer_config.json +240 -0
  14. trainer_state.json +2834 -0
  15. training_args.bin +3 -0
  16. vocab.json +0 -0
.gitattributes CHANGED
@@ -33,3 +33,4 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
33
  *.zip filter=lfs diff=lfs merge=lfs -text
34
  *.zst filter=lfs diff=lfs merge=lfs -text
35
  *tfevents* filter=lfs diff=lfs merge=lfs -text
 
 
33
  *.zip filter=lfs diff=lfs merge=lfs -text
34
  *.zst filter=lfs diff=lfs merge=lfs -text
35
  *tfevents* filter=lfs diff=lfs merge=lfs -text
36
+ tokenizer.json filter=lfs diff=lfs merge=lfs -text
added_tokens.json ADDED
@@ -0,0 +1,28 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "</think>": 151668,
3
+ "</tool_call>": 151658,
4
+ "</tool_response>": 151666,
5
+ "<think>": 151667,
6
+ "<tool_call>": 151657,
7
+ "<tool_response>": 151665,
8
+ "<|box_end|>": 151649,
9
+ "<|box_start|>": 151648,
10
+ "<|endoftext|>": 151643,
11
+ "<|file_sep|>": 151664,
12
+ "<|fim_middle|>": 151660,
13
+ "<|fim_pad|>": 151662,
14
+ "<|fim_prefix|>": 151659,
15
+ "<|fim_suffix|>": 151661,
16
+ "<|im_end|>": 151645,
17
+ "<|im_start|>": 151644,
18
+ "<|image_pad|>": 151655,
19
+ "<|object_ref_end|>": 151647,
20
+ "<|object_ref_start|>": 151646,
21
+ "<|quad_end|>": 151651,
22
+ "<|quad_start|>": 151650,
23
+ "<|repo_name|>": 151663,
24
+ "<|video_pad|>": 151656,
25
+ "<|vision_end|>": 151653,
26
+ "<|vision_pad|>": 151654,
27
+ "<|vision_start|>": 151652
28
+ }
chat_template.jinja ADDED
@@ -0,0 +1,144 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+
2
+ {%- if tools %}
3
+ {{- '<|im_start|>system
4
+ ' }}
5
+ {%- if messages[0].role == 'system' %}
6
+ {{- messages[0].content + '
7
+
8
+ ' }}
9
+ {%- endif %}
10
+ {{- "# Tools
11
+
12
+ You may call one or more functions to assist with the user query.
13
+
14
+ You are provided with function signatures within <tools></tools> XML tags:
15
+ <tools>" }}
16
+ {%- for tool in tools %}
17
+ {{- "
18
+ " }}
19
+ {{- tool | tojson }}
20
+ {%- endfor %}
21
+ {{- "
22
+ </tools>
23
+
24
+ For each function call, return a json object with function name and arguments within <tool_call></tool_call> XML tags:
25
+ <tool_call>
26
+ {\"name\": <function-name>, \"arguments\": <args-json-object>}
27
+ </tool_call><|im_end|>
28
+ " }}
29
+ {%- else %}
30
+ {%- if messages[0].role == 'system' %}
31
+ {{- '<|im_start|>system
32
+ ' + messages[0].content + '<|im_end|>
33
+ ' }}
34
+ {%- endif %}
35
+ {%- endif %}
36
+ {%- set ns = namespace(multi_step_tool=true, last_query_index=messages|length - 1) %}
37
+ {%- for forward_message in messages %}
38
+ {%- set index = (messages|length - 1) - loop.index0 %}
39
+ {%- set message = messages[index] %}
40
+ {%- set current_content = message.content if message.content is not none else '' %}
41
+ {%- set tool_start = '<tool_response>' %}
42
+ {%- set tool_start_length = tool_start|length %}
43
+ {%- set start_of_message = current_content[:tool_start_length] %}
44
+ {%- set tool_end = '</tool_response>' %}
45
+ {%- set tool_end_length = tool_end|length %}
46
+ {%- set start_pos = (current_content|length) - tool_end_length %}
47
+ {%- if start_pos < 0 %}
48
+ {%- set start_pos = 0 %}
49
+ {%- endif %}
50
+ {%- set end_of_message = current_content[start_pos:] %}
51
+ {%- if ns.multi_step_tool and message.role == "user" and not(start_of_message == tool_start and end_of_message == tool_end) %}
52
+ {%- set ns.multi_step_tool = false %}
53
+ {%- set ns.last_query_index = index %}
54
+ {%- endif %}
55
+ {%- endfor %}
56
+ {%- for message in messages %}
57
+ {%- if (message.role == "user") or (message.role == "system" and not loop.first) %}
58
+ {{- '<|im_start|>' + message.role + '
59
+ ' + message.content + '<|im_end|>' + '
60
+ ' }}
61
+ {%- elif message.role == "assistant" %}
62
+ {%- set content = message.content %}
63
+ {%- set reasoning_content = '' %}
64
+ {%- if message.reasoning_content is defined and message.reasoning_content is not none %}
65
+ {%- set reasoning_content = message.reasoning_content %}
66
+ {%- else %}
67
+ {%- if '</think>' in message.content %}
68
+ {%- set content = (message.content.split('</think>')|last).lstrip('
69
+ ') %}
70
+ {%- set reasoning_content = (message.content.split('</think>')|first).rstrip('
71
+ ') %}
72
+ {%- set reasoning_content = (reasoning_content.split('<think>')|last).lstrip('
73
+ ') %}
74
+ {%- endif %}
75
+ {%- endif %}
76
+ {%- if loop.index0 > ns.last_query_index %}
77
+ {%- if loop.last or (not loop.last and reasoning_content) %}
78
+ {{- '<|im_start|>' + message.role + '
79
+ <think>
80
+ ' + reasoning_content.strip('
81
+ ') + '
82
+ </think>
83
+
84
+ ' + content.lstrip('
85
+ ') }}
86
+ {%- else %}
87
+ {{- '<|im_start|>' + message.role + '
88
+ ' + content }}
89
+ {%- endif %}
90
+ {%- else %}
91
+ {{- '<|im_start|>' + message.role + '
92
+ ' + content }}
93
+ {%- endif %}
94
+ {%- if message.tool_calls %}
95
+ {%- for tool_call in message.tool_calls %}
96
+ {%- if (loop.first and content) or (not loop.first) %}
97
+ {{- '
98
+ ' }}
99
+ {%- endif %}
100
+ {%- if tool_call.function %}
101
+ {%- set tool_call = tool_call.function %}
102
+ {%- endif %}
103
+ {{- '<tool_call>
104
+ {"name": "' }}
105
+ {{- tool_call.name }}
106
+ {{- '", "arguments": ' }}
107
+ {%- if tool_call.arguments is string %}
108
+ {{- tool_call.arguments }}
109
+ {%- else %}
110
+ {{- tool_call.arguments | tojson }}
111
+ {%- endif %}
112
+ {{- '}
113
+ </tool_call>' }}
114
+ {%- endfor %}
115
+ {%- endif %}
116
+ {{- '<|im_end|>
117
+ ' }}
118
+ {%- elif message.role == "tool" %}
119
+ {%- if loop.first or (messages[loop.index0 - 1].role != "tool") %}
120
+ {{- '<|im_start|>user' }}
121
+ {%- endif %}
122
+ {{- '
123
+ <tool_response>
124
+ ' }}
125
+ {{- message.content }}
126
+ {{- '
127
+ </tool_response>' }}
128
+ {%- if loop.last or (messages[loop.index0 + 1].role != "tool") %}
129
+ {{- '<|im_end|>
130
+ ' }}
131
+ {%- endif %}
132
+ {%- endif %}
133
+ {%- endfor %}
134
+ {%- if add_generation_prompt %}
135
+ {{- '<|im_start|>assistant
136
+ ' }}
137
+ {%- if enable_thinking is defined and enable_thinking is false %}
138
+ {{- '<think>
139
+
140
+ </think>
141
+
142
+ ' }}
143
+ {%- endif %}
144
+ {%- endif %}
config.json ADDED
@@ -0,0 +1,32 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "architectures": [
3
+ "Qwen3ForCausalLM"
4
+ ],
5
+ "attention_bias": false,
6
+ "attention_dropout": 0.0,
7
+ "eos_token_id": 151645,
8
+ "head_dim": 128,
9
+ "hidden_act": "silu",
10
+ "hidden_size": 2048,
11
+ "initializer_range": 0.02,
12
+ "intermediate_size": 6144,
13
+ "max_position_embeddings": 40960,
14
+ "max_window_layers": 28,
15
+ "model_type": "qwen3",
16
+ "num_attention_heads": 16,
17
+ "num_hidden_layers": 28,
18
+ "num_key_value_heads": 8,
19
+ "pad_token_id": 151654,
20
+ "rms_norm_eps": 1e-06,
21
+ "rope_scaling": null,
22
+ "rope_theta": 1000000,
23
+ "sliding_window": null,
24
+ "tie_word_embeddings": true,
25
+ "torch_dtype": "bfloat16",
26
+ "transformers_version": "4.52.4",
27
+ "unsloth_fixed": true,
28
+ "unsloth_version": "2025.6.2",
29
+ "use_cache": true,
30
+ "use_sliding_window": false,
31
+ "vocab_size": 151936
32
+ }
generation_config.json ADDED
@@ -0,0 +1,14 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "bos_token_id": 151643,
3
+ "do_sample": true,
4
+ "eos_token_id": [
5
+ 151645,
6
+ 151643
7
+ ],
8
+ "max_length": 40960,
9
+ "pad_token_id": 151654,
10
+ "temperature": 0.6,
11
+ "top_k": 20,
12
+ "top_p": 0.95,
13
+ "transformers_version": "4.52.4"
14
+ }
merges.txt ADDED
The diff for this file is too large to render. See raw diff
 
model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:616b61c44dc0a6223fb50673f282272f678e47465ebf7a64d745d7e639e346e4
3
+ size 3441185608
optimizer.pt ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:c57d1ad79987acc8f8409c2ba8de5dd1c8d6974fe5315ae15c882485aa933441
3
+ size 5353227225
rng_state.pth ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:487079425ba507eecc422a3532879e13dd5e62c7c284220439886e7f31508af1
3
+ size 14645
scheduler.pt ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:58f177fef873467bf883e9a324cc94596d9736571dfa7197b5c5d16edb30dca0
3
+ size 1465
special_tokens_map.json ADDED
@@ -0,0 +1,31 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "additional_special_tokens": [
3
+ "<|im_start|>",
4
+ "<|im_end|>",
5
+ "<|object_ref_start|>",
6
+ "<|object_ref_end|>",
7
+ "<|box_start|>",
8
+ "<|box_end|>",
9
+ "<|quad_start|>",
10
+ "<|quad_end|>",
11
+ "<|vision_start|>",
12
+ "<|vision_end|>",
13
+ "<|vision_pad|>",
14
+ "<|image_pad|>",
15
+ "<|video_pad|>"
16
+ ],
17
+ "eos_token": {
18
+ "content": "<|im_end|>",
19
+ "lstrip": false,
20
+ "normalized": false,
21
+ "rstrip": false,
22
+ "single_word": false
23
+ },
24
+ "pad_token": {
25
+ "content": "<|vision_pad|>",
26
+ "lstrip": false,
27
+ "normalized": false,
28
+ "rstrip": false,
29
+ "single_word": false
30
+ }
31
+ }
tokenizer.json ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:ae1a036a9837df9caeebb840d09d80e8feef0f6d2bae982970d1ad34f5946aff
3
+ size 11422753
tokenizer_config.json ADDED
@@ -0,0 +1,240 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "add_bos_token": false,
3
+ "add_prefix_space": false,
4
+ "added_tokens_decoder": {
5
+ "151643": {
6
+ "content": "<|endoftext|>",
7
+ "lstrip": false,
8
+ "normalized": false,
9
+ "rstrip": false,
10
+ "single_word": false,
11
+ "special": true
12
+ },
13
+ "151644": {
14
+ "content": "<|im_start|>",
15
+ "lstrip": false,
16
+ "normalized": false,
17
+ "rstrip": false,
18
+ "single_word": false,
19
+ "special": true
20
+ },
21
+ "151645": {
22
+ "content": "<|im_end|>",
23
+ "lstrip": false,
24
+ "normalized": false,
25
+ "rstrip": false,
26
+ "single_word": false,
27
+ "special": true
28
+ },
29
+ "151646": {
30
+ "content": "<|object_ref_start|>",
31
+ "lstrip": false,
32
+ "normalized": false,
33
+ "rstrip": false,
34
+ "single_word": false,
35
+ "special": true
36
+ },
37
+ "151647": {
38
+ "content": "<|object_ref_end|>",
39
+ "lstrip": false,
40
+ "normalized": false,
41
+ "rstrip": false,
42
+ "single_word": false,
43
+ "special": true
44
+ },
45
+ "151648": {
46
+ "content": "<|box_start|>",
47
+ "lstrip": false,
48
+ "normalized": false,
49
+ "rstrip": false,
50
+ "single_word": false,
51
+ "special": true
52
+ },
53
+ "151649": {
54
+ "content": "<|box_end|>",
55
+ "lstrip": false,
56
+ "normalized": false,
57
+ "rstrip": false,
58
+ "single_word": false,
59
+ "special": true
60
+ },
61
+ "151650": {
62
+ "content": "<|quad_start|>",
63
+ "lstrip": false,
64
+ "normalized": false,
65
+ "rstrip": false,
66
+ "single_word": false,
67
+ "special": true
68
+ },
69
+ "151651": {
70
+ "content": "<|quad_end|>",
71
+ "lstrip": false,
72
+ "normalized": false,
73
+ "rstrip": false,
74
+ "single_word": false,
75
+ "special": true
76
+ },
77
+ "151652": {
78
+ "content": "<|vision_start|>",
79
+ "lstrip": false,
80
+ "normalized": false,
81
+ "rstrip": false,
82
+ "single_word": false,
83
+ "special": true
84
+ },
85
+ "151653": {
86
+ "content": "<|vision_end|>",
87
+ "lstrip": false,
88
+ "normalized": false,
89
+ "rstrip": false,
90
+ "single_word": false,
91
+ "special": true
92
+ },
93
+ "151654": {
94
+ "content": "<|vision_pad|>",
95
+ "lstrip": false,
96
+ "normalized": false,
97
+ "rstrip": false,
98
+ "single_word": false,
99
+ "special": true
100
+ },
101
+ "151655": {
102
+ "content": "<|image_pad|>",
103
+ "lstrip": false,
104
+ "normalized": false,
105
+ "rstrip": false,
106
+ "single_word": false,
107
+ "special": true
108
+ },
109
+ "151656": {
110
+ "content": "<|video_pad|>",
111
+ "lstrip": false,
112
+ "normalized": false,
113
+ "rstrip": false,
114
+ "single_word": false,
115
+ "special": true
116
+ },
117
+ "151657": {
118
+ "content": "<tool_call>",
119
+ "lstrip": false,
120
+ "normalized": false,
121
+ "rstrip": false,
122
+ "single_word": false,
123
+ "special": false
124
+ },
125
+ "151658": {
126
+ "content": "</tool_call>",
127
+ "lstrip": false,
128
+ "normalized": false,
129
+ "rstrip": false,
130
+ "single_word": false,
131
+ "special": false
132
+ },
133
+ "151659": {
134
+ "content": "<|fim_prefix|>",
135
+ "lstrip": false,
136
+ "normalized": false,
137
+ "rstrip": false,
138
+ "single_word": false,
139
+ "special": false
140
+ },
141
+ "151660": {
142
+ "content": "<|fim_middle|>",
143
+ "lstrip": false,
144
+ "normalized": false,
145
+ "rstrip": false,
146
+ "single_word": false,
147
+ "special": false
148
+ },
149
+ "151661": {
150
+ "content": "<|fim_suffix|>",
151
+ "lstrip": false,
152
+ "normalized": false,
153
+ "rstrip": false,
154
+ "single_word": false,
155
+ "special": false
156
+ },
157
+ "151662": {
158
+ "content": "<|fim_pad|>",
159
+ "lstrip": false,
160
+ "normalized": false,
161
+ "rstrip": false,
162
+ "single_word": false,
163
+ "special": false
164
+ },
165
+ "151663": {
166
+ "content": "<|repo_name|>",
167
+ "lstrip": false,
168
+ "normalized": false,
169
+ "rstrip": false,
170
+ "single_word": false,
171
+ "special": false
172
+ },
173
+ "151664": {
174
+ "content": "<|file_sep|>",
175
+ "lstrip": false,
176
+ "normalized": false,
177
+ "rstrip": false,
178
+ "single_word": false,
179
+ "special": false
180
+ },
181
+ "151665": {
182
+ "content": "<tool_response>",
183
+ "lstrip": false,
184
+ "normalized": false,
185
+ "rstrip": false,
186
+ "single_word": false,
187
+ "special": false
188
+ },
189
+ "151666": {
190
+ "content": "</tool_response>",
191
+ "lstrip": false,
192
+ "normalized": false,
193
+ "rstrip": false,
194
+ "single_word": false,
195
+ "special": false
196
+ },
197
+ "151667": {
198
+ "content": "<think>",
199
+ "lstrip": false,
200
+ "normalized": false,
201
+ "rstrip": false,
202
+ "single_word": false,
203
+ "special": false
204
+ },
205
+ "151668": {
206
+ "content": "</think>",
207
+ "lstrip": false,
208
+ "normalized": false,
209
+ "rstrip": false,
210
+ "single_word": false,
211
+ "special": false
212
+ }
213
+ },
214
+ "additional_special_tokens": [
215
+ "<|im_start|>",
216
+ "<|im_end|>",
217
+ "<|object_ref_start|>",
218
+ "<|object_ref_end|>",
219
+ "<|box_start|>",
220
+ "<|box_end|>",
221
+ "<|quad_start|>",
222
+ "<|quad_end|>",
223
+ "<|vision_start|>",
224
+ "<|vision_end|>",
225
+ "<|vision_pad|>",
226
+ "<|image_pad|>",
227
+ "<|video_pad|>"
228
+ ],
229
+ "bos_token": null,
230
+ "clean_up_tokenization_spaces": false,
231
+ "eos_token": "<|im_end|>",
232
+ "errors": "replace",
233
+ "extra_special_tokens": {},
234
+ "model_max_length": 40960,
235
+ "pad_token": "<|vision_pad|>",
236
+ "padding_side": "right",
237
+ "split_special_tokens": false,
238
+ "tokenizer_class": "Qwen2Tokenizer",
239
+ "unk_token": null
240
+ }
trainer_state.json ADDED
@@ -0,0 +1,2834 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "best_global_step": null,
3
+ "best_metric": null,
4
+ "best_model_checkpoint": null,
5
+ "epoch": 0.8264975101762506,
6
+ "eval_steps": 500,
7
+ "global_step": 40000,
8
+ "is_hyper_param_search": false,
9
+ "is_local_process_zero": true,
10
+ "is_world_process_zero": true,
11
+ "log_history": [
12
+ {
13
+ "epoch": 0.0020662437754406264,
14
+ "grad_norm": 1.6640625,
15
+ "learning_rate": 1.9800000000000004e-05,
16
+ "loss": 0.7375,
17
+ "step": 100
18
+ },
19
+ {
20
+ "epoch": 0.004132487550881253,
21
+ "grad_norm": 1.28125,
22
+ "learning_rate": 3.9800000000000005e-05,
23
+ "loss": 0.3387,
24
+ "step": 200
25
+ },
26
+ {
27
+ "epoch": 0.006198731326321879,
28
+ "grad_norm": 0.84765625,
29
+ "learning_rate": 5.9800000000000003e-05,
30
+ "loss": 0.3035,
31
+ "step": 300
32
+ },
33
+ {
34
+ "epoch": 0.008264975101762505,
35
+ "grad_norm": 0.8671875,
36
+ "learning_rate": 7.98e-05,
37
+ "loss": 0.2934,
38
+ "step": 400
39
+ },
40
+ {
41
+ "epoch": 0.010331218877203133,
42
+ "grad_norm": 0.68359375,
43
+ "learning_rate": 9.98e-05,
44
+ "loss": 0.2669,
45
+ "step": 500
46
+ },
47
+ {
48
+ "epoch": 0.012397462652643758,
49
+ "grad_norm": 0.6171875,
50
+ "learning_rate": 0.0001198,
51
+ "loss": 0.2677,
52
+ "step": 600
53
+ },
54
+ {
55
+ "epoch": 0.014463706428084385,
56
+ "grad_norm": 0.62890625,
57
+ "learning_rate": 0.0001398,
58
+ "loss": 0.2643,
59
+ "step": 700
60
+ },
61
+ {
62
+ "epoch": 0.01652995020352501,
63
+ "grad_norm": 0.5703125,
64
+ "learning_rate": 0.0001598,
65
+ "loss": 0.2687,
66
+ "step": 800
67
+ },
68
+ {
69
+ "epoch": 0.018596193978965638,
70
+ "grad_norm": 0.60546875,
71
+ "learning_rate": 0.0001798,
72
+ "loss": 0.274,
73
+ "step": 900
74
+ },
75
+ {
76
+ "epoch": 0.020662437754406265,
77
+ "grad_norm": 0.46875,
78
+ "learning_rate": 0.0001998,
79
+ "loss": 0.2662,
80
+ "step": 1000
81
+ },
82
+ {
83
+ "epoch": 0.022728681529846893,
84
+ "grad_norm": 0.423828125,
85
+ "learning_rate": 0.00019959591836734693,
86
+ "loss": 0.2672,
87
+ "step": 1100
88
+ },
89
+ {
90
+ "epoch": 0.024794925305287516,
91
+ "grad_norm": 0.65625,
92
+ "learning_rate": 0.00019918775510204082,
93
+ "loss": 0.2652,
94
+ "step": 1200
95
+ },
96
+ {
97
+ "epoch": 0.026861169080728144,
98
+ "grad_norm": 0.447265625,
99
+ "learning_rate": 0.0001987795918367347,
100
+ "loss": 0.2823,
101
+ "step": 1300
102
+ },
103
+ {
104
+ "epoch": 0.02892741285616877,
105
+ "grad_norm": 0.46875,
106
+ "learning_rate": 0.0001983714285714286,
107
+ "loss": 0.2589,
108
+ "step": 1400
109
+ },
110
+ {
111
+ "epoch": 0.030993656631609398,
112
+ "grad_norm": 0.5,
113
+ "learning_rate": 0.00019796326530612245,
114
+ "loss": 0.2632,
115
+ "step": 1500
116
+ },
117
+ {
118
+ "epoch": 0.03305990040705002,
119
+ "grad_norm": 0.4140625,
120
+ "learning_rate": 0.00019755510204081634,
121
+ "loss": 0.2565,
122
+ "step": 1600
123
+ },
124
+ {
125
+ "epoch": 0.03512614418249065,
126
+ "grad_norm": 5.78125,
127
+ "learning_rate": 0.0001971469387755102,
128
+ "loss": 0.2507,
129
+ "step": 1700
130
+ },
131
+ {
132
+ "epoch": 0.037192387957931276,
133
+ "grad_norm": 0.90625,
134
+ "learning_rate": 0.0001967387755102041,
135
+ "loss": 0.252,
136
+ "step": 1800
137
+ },
138
+ {
139
+ "epoch": 0.0392586317333719,
140
+ "grad_norm": 0.310546875,
141
+ "learning_rate": 0.00019633061224489797,
142
+ "loss": 0.2434,
143
+ "step": 1900
144
+ },
145
+ {
146
+ "epoch": 0.04132487550881253,
147
+ "grad_norm": 0.3359375,
148
+ "learning_rate": 0.00019592244897959185,
149
+ "loss": 0.2421,
150
+ "step": 2000
151
+ },
152
+ {
153
+ "epoch": 0.043391119284253155,
154
+ "grad_norm": 0.3125,
155
+ "learning_rate": 0.0001955142857142857,
156
+ "loss": 0.2345,
157
+ "step": 2100
158
+ },
159
+ {
160
+ "epoch": 0.045457363059693785,
161
+ "grad_norm": 0.376953125,
162
+ "learning_rate": 0.00019510612244897962,
163
+ "loss": 0.2565,
164
+ "step": 2200
165
+ },
166
+ {
167
+ "epoch": 0.04752360683513441,
168
+ "grad_norm": 0.41015625,
169
+ "learning_rate": 0.00019469795918367348,
170
+ "loss": 0.2559,
171
+ "step": 2300
172
+ },
173
+ {
174
+ "epoch": 0.04958985061057503,
175
+ "grad_norm": 0.357421875,
176
+ "learning_rate": 0.00019428979591836737,
177
+ "loss": 0.2501,
178
+ "step": 2400
179
+ },
180
+ {
181
+ "epoch": 0.051656094386015663,
182
+ "grad_norm": 0.60546875,
183
+ "learning_rate": 0.00019388163265306123,
184
+ "loss": 0.2591,
185
+ "step": 2500
186
+ },
187
+ {
188
+ "epoch": 0.05372233816145629,
189
+ "grad_norm": 0.296875,
190
+ "learning_rate": 0.00019347346938775511,
191
+ "loss": 0.236,
192
+ "step": 2600
193
+ },
194
+ {
195
+ "epoch": 0.05578858193689692,
196
+ "grad_norm": 0.298828125,
197
+ "learning_rate": 0.000193065306122449,
198
+ "loss": 0.2375,
199
+ "step": 2700
200
+ },
201
+ {
202
+ "epoch": 0.05785482571233754,
203
+ "grad_norm": 0.337890625,
204
+ "learning_rate": 0.00019265714285714286,
205
+ "loss": 0.2335,
206
+ "step": 2800
207
+ },
208
+ {
209
+ "epoch": 0.059921069487778165,
210
+ "grad_norm": 0.5078125,
211
+ "learning_rate": 0.00019224897959183674,
212
+ "loss": 0.2308,
213
+ "step": 2900
214
+ },
215
+ {
216
+ "epoch": 0.061987313263218796,
217
+ "grad_norm": 0.40234375,
218
+ "learning_rate": 0.0001918408163265306,
219
+ "loss": 0.2378,
220
+ "step": 3000
221
+ },
222
+ {
223
+ "epoch": 0.06405355703865942,
224
+ "grad_norm": 0.294921875,
225
+ "learning_rate": 0.00019143265306122452,
226
+ "loss": 0.2338,
227
+ "step": 3100
228
+ },
229
+ {
230
+ "epoch": 0.06611980081410004,
231
+ "grad_norm": 0.330078125,
232
+ "learning_rate": 0.00019102448979591838,
233
+ "loss": 0.2323,
234
+ "step": 3200
235
+ },
236
+ {
237
+ "epoch": 0.06818604458954067,
238
+ "grad_norm": 0.68359375,
239
+ "learning_rate": 0.00019061632653061226,
240
+ "loss": 0.2366,
241
+ "step": 3300
242
+ },
243
+ {
244
+ "epoch": 0.0702522883649813,
245
+ "grad_norm": 0.443359375,
246
+ "learning_rate": 0.00019020816326530612,
247
+ "loss": 0.2436,
248
+ "step": 3400
249
+ },
250
+ {
251
+ "epoch": 0.07231853214042193,
252
+ "grad_norm": 0.365234375,
253
+ "learning_rate": 0.0001898,
254
+ "loss": 0.236,
255
+ "step": 3500
256
+ },
257
+ {
258
+ "epoch": 0.07438477591586255,
259
+ "grad_norm": 0.37109375,
260
+ "learning_rate": 0.0001893918367346939,
261
+ "loss": 0.2318,
262
+ "step": 3600
263
+ },
264
+ {
265
+ "epoch": 0.07645101969130318,
266
+ "grad_norm": 0.376953125,
267
+ "learning_rate": 0.00018898367346938778,
268
+ "loss": 0.2207,
269
+ "step": 3700
270
+ },
271
+ {
272
+ "epoch": 0.0785172634667438,
273
+ "grad_norm": 0.416015625,
274
+ "learning_rate": 0.00018857551020408164,
275
+ "loss": 0.2344,
276
+ "step": 3800
277
+ },
278
+ {
279
+ "epoch": 0.08058350724218444,
280
+ "grad_norm": 0.296875,
281
+ "learning_rate": 0.00018816734693877552,
282
+ "loss": 0.2327,
283
+ "step": 3900
284
+ },
285
+ {
286
+ "epoch": 0.08264975101762506,
287
+ "grad_norm": 0.28515625,
288
+ "learning_rate": 0.0001877591836734694,
289
+ "loss": 0.2265,
290
+ "step": 4000
291
+ },
292
+ {
293
+ "epoch": 0.08471599479306569,
294
+ "grad_norm": 0.271484375,
295
+ "learning_rate": 0.0001873510204081633,
296
+ "loss": 0.2272,
297
+ "step": 4100
298
+ },
299
+ {
300
+ "epoch": 0.08678223856850631,
301
+ "grad_norm": 0.2392578125,
302
+ "learning_rate": 0.00018694285714285715,
303
+ "loss": 0.2281,
304
+ "step": 4200
305
+ },
306
+ {
307
+ "epoch": 0.08884848234394693,
308
+ "grad_norm": 0.43359375,
309
+ "learning_rate": 0.00018653469387755104,
310
+ "loss": 0.2386,
311
+ "step": 4300
312
+ },
313
+ {
314
+ "epoch": 0.09091472611938757,
315
+ "grad_norm": 0.41015625,
316
+ "learning_rate": 0.0001861265306122449,
317
+ "loss": 0.2298,
318
+ "step": 4400
319
+ },
320
+ {
321
+ "epoch": 0.0929809698948282,
322
+ "grad_norm": 0.32421875,
323
+ "learning_rate": 0.00018571836734693878,
324
+ "loss": 0.2255,
325
+ "step": 4500
326
+ },
327
+ {
328
+ "epoch": 0.09504721367026882,
329
+ "grad_norm": 0.328125,
330
+ "learning_rate": 0.00018531020408163267,
331
+ "loss": 0.2208,
332
+ "step": 4600
333
+ },
334
+ {
335
+ "epoch": 0.09711345744570944,
336
+ "grad_norm": 0.294921875,
337
+ "learning_rate": 0.00018490204081632653,
338
+ "loss": 0.219,
339
+ "step": 4700
340
+ },
341
+ {
342
+ "epoch": 0.09917970122115007,
343
+ "grad_norm": 0.296875,
344
+ "learning_rate": 0.00018449387755102041,
345
+ "loss": 0.2243,
346
+ "step": 4800
347
+ },
348
+ {
349
+ "epoch": 0.1012459449965907,
350
+ "grad_norm": 0.3125,
351
+ "learning_rate": 0.00018408571428571427,
352
+ "loss": 0.2228,
353
+ "step": 4900
354
+ },
355
+ {
356
+ "epoch": 0.10331218877203133,
357
+ "grad_norm": 0.2734375,
358
+ "learning_rate": 0.00018367755102040819,
359
+ "loss": 0.2212,
360
+ "step": 5000
361
+ },
362
+ {
363
+ "epoch": 0.10537843254747195,
364
+ "grad_norm": 0.2314453125,
365
+ "learning_rate": 0.00018326938775510204,
366
+ "loss": 0.223,
367
+ "step": 5100
368
+ },
369
+ {
370
+ "epoch": 0.10744467632291257,
371
+ "grad_norm": 0.419921875,
372
+ "learning_rate": 0.00018286122448979593,
373
+ "loss": 0.2295,
374
+ "step": 5200
375
+ },
376
+ {
377
+ "epoch": 0.1095109200983532,
378
+ "grad_norm": 0.265625,
379
+ "learning_rate": 0.0001824530612244898,
380
+ "loss": 0.2215,
381
+ "step": 5300
382
+ },
383
+ {
384
+ "epoch": 0.11157716387379384,
385
+ "grad_norm": 0.26953125,
386
+ "learning_rate": 0.0001820448979591837,
387
+ "loss": 0.2184,
388
+ "step": 5400
389
+ },
390
+ {
391
+ "epoch": 0.11364340764923446,
392
+ "grad_norm": 0.2412109375,
393
+ "learning_rate": 0.00018163673469387756,
394
+ "loss": 0.2163,
395
+ "step": 5500
396
+ },
397
+ {
398
+ "epoch": 0.11570965142467508,
399
+ "grad_norm": 0.376953125,
400
+ "learning_rate": 0.00018122857142857145,
401
+ "loss": 0.2202,
402
+ "step": 5600
403
+ },
404
+ {
405
+ "epoch": 0.11777589520011571,
406
+ "grad_norm": 0.306640625,
407
+ "learning_rate": 0.0001808204081632653,
408
+ "loss": 0.2253,
409
+ "step": 5700
410
+ },
411
+ {
412
+ "epoch": 0.11984213897555633,
413
+ "grad_norm": 0.251953125,
414
+ "learning_rate": 0.0001804122448979592,
415
+ "loss": 0.2095,
416
+ "step": 5800
417
+ },
418
+ {
419
+ "epoch": 0.12190838275099697,
420
+ "grad_norm": 0.310546875,
421
+ "learning_rate": 0.00018000408163265308,
422
+ "loss": 0.2238,
423
+ "step": 5900
424
+ },
425
+ {
426
+ "epoch": 0.12397462652643759,
427
+ "grad_norm": 0.228515625,
428
+ "learning_rate": 0.00017959591836734694,
429
+ "loss": 0.2135,
430
+ "step": 6000
431
+ },
432
+ {
433
+ "epoch": 0.12604087030187822,
434
+ "grad_norm": 0.232421875,
435
+ "learning_rate": 0.00017918775510204082,
436
+ "loss": 0.2182,
437
+ "step": 6100
438
+ },
439
+ {
440
+ "epoch": 0.12810711407731884,
441
+ "grad_norm": 0.470703125,
442
+ "learning_rate": 0.0001787795918367347,
443
+ "loss": 0.2167,
444
+ "step": 6200
445
+ },
446
+ {
447
+ "epoch": 0.13017335785275946,
448
+ "grad_norm": 0.267578125,
449
+ "learning_rate": 0.0001783714285714286,
450
+ "loss": 0.2148,
451
+ "step": 6300
452
+ },
453
+ {
454
+ "epoch": 0.1322396016282001,
455
+ "grad_norm": 0.20703125,
456
+ "learning_rate": 0.00017796326530612245,
457
+ "loss": 0.2047,
458
+ "step": 6400
459
+ },
460
+ {
461
+ "epoch": 0.1343058454036407,
462
+ "grad_norm": 0.255859375,
463
+ "learning_rate": 0.00017755510204081634,
464
+ "loss": 0.2082,
465
+ "step": 6500
466
+ },
467
+ {
468
+ "epoch": 0.13637208917908133,
469
+ "grad_norm": 0.2470703125,
470
+ "learning_rate": 0.0001771469387755102,
471
+ "loss": 0.2128,
472
+ "step": 6600
473
+ },
474
+ {
475
+ "epoch": 0.138438332954522,
476
+ "grad_norm": 0.3671875,
477
+ "learning_rate": 0.00017673877551020408,
478
+ "loss": 0.2091,
479
+ "step": 6700
480
+ },
481
+ {
482
+ "epoch": 0.1405045767299626,
483
+ "grad_norm": 0.279296875,
484
+ "learning_rate": 0.00017633061224489797,
485
+ "loss": 0.2078,
486
+ "step": 6800
487
+ },
488
+ {
489
+ "epoch": 0.14257082050540323,
490
+ "grad_norm": 0.34375,
491
+ "learning_rate": 0.00017592244897959185,
492
+ "loss": 0.2025,
493
+ "step": 6900
494
+ },
495
+ {
496
+ "epoch": 0.14463706428084386,
497
+ "grad_norm": 0.38671875,
498
+ "learning_rate": 0.0001755142857142857,
499
+ "loss": 0.2061,
500
+ "step": 7000
501
+ },
502
+ {
503
+ "epoch": 0.14670330805628448,
504
+ "grad_norm": 0.3203125,
505
+ "learning_rate": 0.0001751061224489796,
506
+ "loss": 0.2174,
507
+ "step": 7100
508
+ },
509
+ {
510
+ "epoch": 0.1487695518317251,
511
+ "grad_norm": 0.9375,
512
+ "learning_rate": 0.00017469795918367349,
513
+ "loss": 0.2098,
514
+ "step": 7200
515
+ },
516
+ {
517
+ "epoch": 0.15083579560716573,
518
+ "grad_norm": 0.3125,
519
+ "learning_rate": 0.00017428979591836737,
520
+ "loss": 0.2056,
521
+ "step": 7300
522
+ },
523
+ {
524
+ "epoch": 0.15290203938260635,
525
+ "grad_norm": 0.369140625,
526
+ "learning_rate": 0.00017388163265306123,
527
+ "loss": 0.2049,
528
+ "step": 7400
529
+ },
530
+ {
531
+ "epoch": 0.15496828315804698,
532
+ "grad_norm": 0.265625,
533
+ "learning_rate": 0.00017347346938775512,
534
+ "loss": 0.2034,
535
+ "step": 7500
536
+ },
537
+ {
538
+ "epoch": 0.1570345269334876,
539
+ "grad_norm": 0.298828125,
540
+ "learning_rate": 0.00017306530612244897,
541
+ "loss": 0.1922,
542
+ "step": 7600
543
+ },
544
+ {
545
+ "epoch": 0.15910077070892825,
546
+ "grad_norm": 0.34375,
547
+ "learning_rate": 0.00017265714285714286,
548
+ "loss": 0.2059,
549
+ "step": 7700
550
+ },
551
+ {
552
+ "epoch": 0.16116701448436888,
553
+ "grad_norm": 0.326171875,
554
+ "learning_rate": 0.00017224897959183675,
555
+ "loss": 0.2052,
556
+ "step": 7800
557
+ },
558
+ {
559
+ "epoch": 0.1632332582598095,
560
+ "grad_norm": 0.2451171875,
561
+ "learning_rate": 0.0001718408163265306,
562
+ "loss": 0.2077,
563
+ "step": 7900
564
+ },
565
+ {
566
+ "epoch": 0.16529950203525012,
567
+ "grad_norm": 0.203125,
568
+ "learning_rate": 0.0001714326530612245,
569
+ "loss": 0.2116,
570
+ "step": 8000
571
+ },
572
+ {
573
+ "epoch": 0.16736574581069075,
574
+ "grad_norm": 0.2109375,
575
+ "learning_rate": 0.00017102448979591838,
576
+ "loss": 0.2154,
577
+ "step": 8100
578
+ },
579
+ {
580
+ "epoch": 0.16943198958613137,
581
+ "grad_norm": 0.28125,
582
+ "learning_rate": 0.00017061632653061226,
583
+ "loss": 0.2118,
584
+ "step": 8200
585
+ },
586
+ {
587
+ "epoch": 0.171498233361572,
588
+ "grad_norm": 0.23046875,
589
+ "learning_rate": 0.00017020816326530612,
590
+ "loss": 0.2001,
591
+ "step": 8300
592
+ },
593
+ {
594
+ "epoch": 0.17356447713701262,
595
+ "grad_norm": 0.306640625,
596
+ "learning_rate": 0.0001698,
597
+ "loss": 0.2024,
598
+ "step": 8400
599
+ },
600
+ {
601
+ "epoch": 0.17563072091245324,
602
+ "grad_norm": 0.23828125,
603
+ "learning_rate": 0.00016939183673469387,
604
+ "loss": 0.1997,
605
+ "step": 8500
606
+ },
607
+ {
608
+ "epoch": 0.17769696468789387,
609
+ "grad_norm": 0.2392578125,
610
+ "learning_rate": 0.00016898367346938778,
611
+ "loss": 0.1978,
612
+ "step": 8600
613
+ },
614
+ {
615
+ "epoch": 0.17976320846333452,
616
+ "grad_norm": 0.2421875,
617
+ "learning_rate": 0.00016857551020408164,
618
+ "loss": 0.1981,
619
+ "step": 8700
620
+ },
621
+ {
622
+ "epoch": 0.18182945223877514,
623
+ "grad_norm": 0.2275390625,
624
+ "learning_rate": 0.00016816734693877552,
625
+ "loss": 0.1898,
626
+ "step": 8800
627
+ },
628
+ {
629
+ "epoch": 0.18389569601421576,
630
+ "grad_norm": 0.32421875,
631
+ "learning_rate": 0.00016775918367346938,
632
+ "loss": 0.196,
633
+ "step": 8900
634
+ },
635
+ {
636
+ "epoch": 0.1859619397896564,
637
+ "grad_norm": 0.365234375,
638
+ "learning_rate": 0.0001673510204081633,
639
+ "loss": 0.2105,
640
+ "step": 9000
641
+ },
642
+ {
643
+ "epoch": 0.188028183565097,
644
+ "grad_norm": 0.267578125,
645
+ "learning_rate": 0.00016694285714285715,
646
+ "loss": 0.1967,
647
+ "step": 9100
648
+ },
649
+ {
650
+ "epoch": 0.19009442734053764,
651
+ "grad_norm": 0.28125,
652
+ "learning_rate": 0.00016653469387755104,
653
+ "loss": 0.1903,
654
+ "step": 9200
655
+ },
656
+ {
657
+ "epoch": 0.19216067111597826,
658
+ "grad_norm": 0.279296875,
659
+ "learning_rate": 0.0001661265306122449,
660
+ "loss": 0.1994,
661
+ "step": 9300
662
+ },
663
+ {
664
+ "epoch": 0.19422691489141888,
665
+ "grad_norm": 1.40625,
666
+ "learning_rate": 0.00016571836734693878,
667
+ "loss": 0.2028,
668
+ "step": 9400
669
+ },
670
+ {
671
+ "epoch": 0.1962931586668595,
672
+ "grad_norm": 0.453125,
673
+ "learning_rate": 0.00016531020408163267,
674
+ "loss": 0.1988,
675
+ "step": 9500
676
+ },
677
+ {
678
+ "epoch": 0.19835940244230013,
679
+ "grad_norm": 0.18359375,
680
+ "learning_rate": 0.00016490204081632653,
681
+ "loss": 0.201,
682
+ "step": 9600
683
+ },
684
+ {
685
+ "epoch": 0.20042564621774078,
686
+ "grad_norm": 0.2392578125,
687
+ "learning_rate": 0.00016449387755102042,
688
+ "loss": 0.1877,
689
+ "step": 9700
690
+ },
691
+ {
692
+ "epoch": 0.2024918899931814,
693
+ "grad_norm": 0.2197265625,
694
+ "learning_rate": 0.00016408571428571427,
695
+ "loss": 0.1969,
696
+ "step": 9800
697
+ },
698
+ {
699
+ "epoch": 0.20455813376862203,
700
+ "grad_norm": 0.23046875,
701
+ "learning_rate": 0.0001636775510204082,
702
+ "loss": 0.1921,
703
+ "step": 9900
704
+ },
705
+ {
706
+ "epoch": 0.20662437754406265,
707
+ "grad_norm": 0.302734375,
708
+ "learning_rate": 0.00016326938775510205,
709
+ "loss": 0.1911,
710
+ "step": 10000
711
+ },
712
+ {
713
+ "epoch": 0.20869062131950328,
714
+ "grad_norm": 0.275390625,
715
+ "learning_rate": 0.00016286122448979593,
716
+ "loss": 0.201,
717
+ "step": 10100
718
+ },
719
+ {
720
+ "epoch": 0.2107568650949439,
721
+ "grad_norm": 0.275390625,
722
+ "learning_rate": 0.0001624530612244898,
723
+ "loss": 0.1937,
724
+ "step": 10200
725
+ },
726
+ {
727
+ "epoch": 0.21282310887038453,
728
+ "grad_norm": 0.232421875,
729
+ "learning_rate": 0.00016204489795918368,
730
+ "loss": 0.1922,
731
+ "step": 10300
732
+ },
733
+ {
734
+ "epoch": 0.21488935264582515,
735
+ "grad_norm": 0.244140625,
736
+ "learning_rate": 0.00016163673469387756,
737
+ "loss": 0.1969,
738
+ "step": 10400
739
+ },
740
+ {
741
+ "epoch": 0.21695559642126577,
742
+ "grad_norm": 0.232421875,
743
+ "learning_rate": 0.00016122857142857145,
744
+ "loss": 0.1902,
745
+ "step": 10500
746
+ },
747
+ {
748
+ "epoch": 0.2190218401967064,
749
+ "grad_norm": 0.208984375,
750
+ "learning_rate": 0.0001608204081632653,
751
+ "loss": 0.1927,
752
+ "step": 10600
753
+ },
754
+ {
755
+ "epoch": 0.22108808397214702,
756
+ "grad_norm": 0.1845703125,
757
+ "learning_rate": 0.0001604122448979592,
758
+ "loss": 0.2002,
759
+ "step": 10700
760
+ },
761
+ {
762
+ "epoch": 0.22315432774758767,
763
+ "grad_norm": 0.28125,
764
+ "learning_rate": 0.00016000408163265305,
765
+ "loss": 0.191,
766
+ "step": 10800
767
+ },
768
+ {
769
+ "epoch": 0.2252205715230283,
770
+ "grad_norm": 0.240234375,
771
+ "learning_rate": 0.00015959591836734696,
772
+ "loss": 0.1843,
773
+ "step": 10900
774
+ },
775
+ {
776
+ "epoch": 0.22728681529846892,
777
+ "grad_norm": 0.318359375,
778
+ "learning_rate": 0.00015918775510204082,
779
+ "loss": 0.1945,
780
+ "step": 11000
781
+ },
782
+ {
783
+ "epoch": 0.22935305907390954,
784
+ "grad_norm": 0.2041015625,
785
+ "learning_rate": 0.0001587795918367347,
786
+ "loss": 0.195,
787
+ "step": 11100
788
+ },
789
+ {
790
+ "epoch": 0.23141930284935017,
791
+ "grad_norm": 0.41015625,
792
+ "learning_rate": 0.00015837142857142857,
793
+ "loss": 0.1884,
794
+ "step": 11200
795
+ },
796
+ {
797
+ "epoch": 0.2334855466247908,
798
+ "grad_norm": 0.275390625,
799
+ "learning_rate": 0.00015796326530612245,
800
+ "loss": 0.1934,
801
+ "step": 11300
802
+ },
803
+ {
804
+ "epoch": 0.23555179040023141,
805
+ "grad_norm": 0.361328125,
806
+ "learning_rate": 0.00015755510204081634,
807
+ "loss": 0.1911,
808
+ "step": 11400
809
+ },
810
+ {
811
+ "epoch": 0.23761803417567204,
812
+ "grad_norm": 0.359375,
813
+ "learning_rate": 0.0001571469387755102,
814
+ "loss": 0.184,
815
+ "step": 11500
816
+ },
817
+ {
818
+ "epoch": 0.23968427795111266,
819
+ "grad_norm": 0.2119140625,
820
+ "learning_rate": 0.00015673877551020408,
821
+ "loss": 0.179,
822
+ "step": 11600
823
+ },
824
+ {
825
+ "epoch": 0.24175052172655329,
826
+ "grad_norm": 0.2412109375,
827
+ "learning_rate": 0.00015633061224489794,
828
+ "loss": 0.1809,
829
+ "step": 11700
830
+ },
831
+ {
832
+ "epoch": 0.24381676550199394,
833
+ "grad_norm": 0.228515625,
834
+ "learning_rate": 0.00015592244897959186,
835
+ "loss": 0.1844,
836
+ "step": 11800
837
+ },
838
+ {
839
+ "epoch": 0.24588300927743456,
840
+ "grad_norm": 0.30859375,
841
+ "learning_rate": 0.00015551428571428572,
842
+ "loss": 0.1849,
843
+ "step": 11900
844
+ },
845
+ {
846
+ "epoch": 0.24794925305287518,
847
+ "grad_norm": 0.2431640625,
848
+ "learning_rate": 0.0001551061224489796,
849
+ "loss": 0.1782,
850
+ "step": 12000
851
+ },
852
+ {
853
+ "epoch": 0.2500154968283158,
854
+ "grad_norm": 0.291015625,
855
+ "learning_rate": 0.00015469795918367346,
856
+ "loss": 0.1905,
857
+ "step": 12100
858
+ },
859
+ {
860
+ "epoch": 0.25208174060375643,
861
+ "grad_norm": 0.2080078125,
862
+ "learning_rate": 0.00015428979591836737,
863
+ "loss": 0.1841,
864
+ "step": 12200
865
+ },
866
+ {
867
+ "epoch": 0.25414798437919706,
868
+ "grad_norm": 0.28515625,
869
+ "learning_rate": 0.00015388163265306123,
870
+ "loss": 0.179,
871
+ "step": 12300
872
+ },
873
+ {
874
+ "epoch": 0.2562142281546377,
875
+ "grad_norm": 0.298828125,
876
+ "learning_rate": 0.00015347346938775512,
877
+ "loss": 0.1825,
878
+ "step": 12400
879
+ },
880
+ {
881
+ "epoch": 0.2582804719300783,
882
+ "grad_norm": 0.298828125,
883
+ "learning_rate": 0.00015306530612244898,
884
+ "loss": 0.1764,
885
+ "step": 12500
886
+ },
887
+ {
888
+ "epoch": 0.2603467157055189,
889
+ "grad_norm": 0.2412109375,
890
+ "learning_rate": 0.00015265714285714286,
891
+ "loss": 0.1769,
892
+ "step": 12600
893
+ },
894
+ {
895
+ "epoch": 0.26241295948095955,
896
+ "grad_norm": 0.1826171875,
897
+ "learning_rate": 0.00015224897959183675,
898
+ "loss": 0.1812,
899
+ "step": 12700
900
+ },
901
+ {
902
+ "epoch": 0.2644792032564002,
903
+ "grad_norm": 0.248046875,
904
+ "learning_rate": 0.00015184081632653063,
905
+ "loss": 0.179,
906
+ "step": 12800
907
+ },
908
+ {
909
+ "epoch": 0.2665454470318408,
910
+ "grad_norm": 0.255859375,
911
+ "learning_rate": 0.0001514326530612245,
912
+ "loss": 0.1777,
913
+ "step": 12900
914
+ },
915
+ {
916
+ "epoch": 0.2686116908072814,
917
+ "grad_norm": 0.271484375,
918
+ "learning_rate": 0.00015102448979591838,
919
+ "loss": 0.181,
920
+ "step": 13000
921
+ },
922
+ {
923
+ "epoch": 0.27067793458272205,
924
+ "grad_norm": 0.24609375,
925
+ "learning_rate": 0.00015061632653061226,
926
+ "loss": 0.177,
927
+ "step": 13100
928
+ },
929
+ {
930
+ "epoch": 0.27274417835816267,
931
+ "grad_norm": 0.20703125,
932
+ "learning_rate": 0.00015020816326530612,
933
+ "loss": 0.1774,
934
+ "step": 13200
935
+ },
936
+ {
937
+ "epoch": 0.27481042213360335,
938
+ "grad_norm": 0.369140625,
939
+ "learning_rate": 0.0001498,
940
+ "loss": 0.1754,
941
+ "step": 13300
942
+ },
943
+ {
944
+ "epoch": 0.276876665909044,
945
+ "grad_norm": 0.2236328125,
946
+ "learning_rate": 0.00014939183673469387,
947
+ "loss": 0.171,
948
+ "step": 13400
949
+ },
950
+ {
951
+ "epoch": 0.2789429096844846,
952
+ "grad_norm": 0.2353515625,
953
+ "learning_rate": 0.00014898367346938775,
954
+ "loss": 0.1751,
955
+ "step": 13500
956
+ },
957
+ {
958
+ "epoch": 0.2810091534599252,
959
+ "grad_norm": 0.419921875,
960
+ "learning_rate": 0.00014857551020408164,
961
+ "loss": 0.1783,
962
+ "step": 13600
963
+ },
964
+ {
965
+ "epoch": 0.28307539723536584,
966
+ "grad_norm": 0.22265625,
967
+ "learning_rate": 0.00014816734693877553,
968
+ "loss": 0.1704,
969
+ "step": 13700
970
+ },
971
+ {
972
+ "epoch": 0.28514164101080647,
973
+ "grad_norm": 0.51953125,
974
+ "learning_rate": 0.00014775918367346938,
975
+ "loss": 0.1829,
976
+ "step": 13800
977
+ },
978
+ {
979
+ "epoch": 0.2872078847862471,
980
+ "grad_norm": 0.224609375,
981
+ "learning_rate": 0.00014735102040816327,
982
+ "loss": 0.1762,
983
+ "step": 13900
984
+ },
985
+ {
986
+ "epoch": 0.2892741285616877,
987
+ "grad_norm": 0.314453125,
988
+ "learning_rate": 0.00014694285714285716,
989
+ "loss": 0.1724,
990
+ "step": 14000
991
+ },
992
+ {
993
+ "epoch": 0.29134037233712834,
994
+ "grad_norm": 0.271484375,
995
+ "learning_rate": 0.00014653469387755104,
996
+ "loss": 0.1747,
997
+ "step": 14100
998
+ },
999
+ {
1000
+ "epoch": 0.29340661611256896,
1001
+ "grad_norm": 0.2275390625,
1002
+ "learning_rate": 0.0001461265306122449,
1003
+ "loss": 0.1769,
1004
+ "step": 14200
1005
+ },
1006
+ {
1007
+ "epoch": 0.2954728598880096,
1008
+ "grad_norm": 0.228515625,
1009
+ "learning_rate": 0.0001457183673469388,
1010
+ "loss": 0.1655,
1011
+ "step": 14300
1012
+ },
1013
+ {
1014
+ "epoch": 0.2975391036634502,
1015
+ "grad_norm": 0.2353515625,
1016
+ "learning_rate": 0.00014531020408163265,
1017
+ "loss": 0.1698,
1018
+ "step": 14400
1019
+ },
1020
+ {
1021
+ "epoch": 0.29960534743889083,
1022
+ "grad_norm": 0.24609375,
1023
+ "learning_rate": 0.00014490204081632656,
1024
+ "loss": 0.1691,
1025
+ "step": 14500
1026
+ },
1027
+ {
1028
+ "epoch": 0.30167159121433146,
1029
+ "grad_norm": 0.212890625,
1030
+ "learning_rate": 0.00014449387755102042,
1031
+ "loss": 0.1739,
1032
+ "step": 14600
1033
+ },
1034
+ {
1035
+ "epoch": 0.3037378349897721,
1036
+ "grad_norm": 0.17578125,
1037
+ "learning_rate": 0.0001440857142857143,
1038
+ "loss": 0.1657,
1039
+ "step": 14700
1040
+ },
1041
+ {
1042
+ "epoch": 0.3058040787652127,
1043
+ "grad_norm": 0.8203125,
1044
+ "learning_rate": 0.00014367755102040816,
1045
+ "loss": 0.1789,
1046
+ "step": 14800
1047
+ },
1048
+ {
1049
+ "epoch": 0.30787032254065333,
1050
+ "grad_norm": 0.201171875,
1051
+ "learning_rate": 0.00014326938775510205,
1052
+ "loss": 0.1717,
1053
+ "step": 14900
1054
+ },
1055
+ {
1056
+ "epoch": 0.30993656631609395,
1057
+ "grad_norm": 0.279296875,
1058
+ "learning_rate": 0.00014286122448979593,
1059
+ "loss": 0.1713,
1060
+ "step": 15000
1061
+ },
1062
+ {
1063
+ "epoch": 0.3120028100915346,
1064
+ "grad_norm": 0.251953125,
1065
+ "learning_rate": 0.0001424530612244898,
1066
+ "loss": 0.1672,
1067
+ "step": 15100
1068
+ },
1069
+ {
1070
+ "epoch": 0.3140690538669752,
1071
+ "grad_norm": 0.212890625,
1072
+ "learning_rate": 0.00014204489795918368,
1073
+ "loss": 0.1715,
1074
+ "step": 15200
1075
+ },
1076
+ {
1077
+ "epoch": 0.3161352976424158,
1078
+ "grad_norm": 0.2490234375,
1079
+ "learning_rate": 0.00014163673469387754,
1080
+ "loss": 0.1661,
1081
+ "step": 15300
1082
+ },
1083
+ {
1084
+ "epoch": 0.3182015414178565,
1085
+ "grad_norm": 0.27734375,
1086
+ "learning_rate": 0.00014122857142857145,
1087
+ "loss": 0.1642,
1088
+ "step": 15400
1089
+ },
1090
+ {
1091
+ "epoch": 0.3202677851932971,
1092
+ "grad_norm": 0.1875,
1093
+ "learning_rate": 0.0001408204081632653,
1094
+ "loss": 0.1675,
1095
+ "step": 15500
1096
+ },
1097
+ {
1098
+ "epoch": 0.32233402896873775,
1099
+ "grad_norm": 0.330078125,
1100
+ "learning_rate": 0.0001404122448979592,
1101
+ "loss": 0.1707,
1102
+ "step": 15600
1103
+ },
1104
+ {
1105
+ "epoch": 0.3244002727441784,
1106
+ "grad_norm": 0.236328125,
1107
+ "learning_rate": 0.00014000408163265305,
1108
+ "loss": 0.1835,
1109
+ "step": 15700
1110
+ },
1111
+ {
1112
+ "epoch": 0.326466516519619,
1113
+ "grad_norm": 0.244140625,
1114
+ "learning_rate": 0.00013959591836734697,
1115
+ "loss": 0.1744,
1116
+ "step": 15800
1117
+ },
1118
+ {
1119
+ "epoch": 0.3285327602950596,
1120
+ "grad_norm": 0.2060546875,
1121
+ "learning_rate": 0.00013918775510204083,
1122
+ "loss": 0.1692,
1123
+ "step": 15900
1124
+ },
1125
+ {
1126
+ "epoch": 0.33059900407050025,
1127
+ "grad_norm": 0.21875,
1128
+ "learning_rate": 0.0001387795918367347,
1129
+ "loss": 0.1706,
1130
+ "step": 16000
1131
+ },
1132
+ {
1133
+ "epoch": 0.33266524784594087,
1134
+ "grad_norm": 0.248046875,
1135
+ "learning_rate": 0.00013837142857142857,
1136
+ "loss": 0.1679,
1137
+ "step": 16100
1138
+ },
1139
+ {
1140
+ "epoch": 0.3347314916213815,
1141
+ "grad_norm": 0.310546875,
1142
+ "learning_rate": 0.00013796326530612246,
1143
+ "loss": 0.1605,
1144
+ "step": 16200
1145
+ },
1146
+ {
1147
+ "epoch": 0.3367977353968221,
1148
+ "grad_norm": 0.25390625,
1149
+ "learning_rate": 0.00013755510204081634,
1150
+ "loss": 0.1656,
1151
+ "step": 16300
1152
+ },
1153
+ {
1154
+ "epoch": 0.33886397917226274,
1155
+ "grad_norm": 0.234375,
1156
+ "learning_rate": 0.00013714693877551023,
1157
+ "loss": 0.162,
1158
+ "step": 16400
1159
+ },
1160
+ {
1161
+ "epoch": 0.34093022294770337,
1162
+ "grad_norm": 0.2490234375,
1163
+ "learning_rate": 0.00013673877551020409,
1164
+ "loss": 0.1628,
1165
+ "step": 16500
1166
+ },
1167
+ {
1168
+ "epoch": 0.342996466723144,
1169
+ "grad_norm": 0.2412109375,
1170
+ "learning_rate": 0.00013633061224489797,
1171
+ "loss": 0.1646,
1172
+ "step": 16600
1173
+ },
1174
+ {
1175
+ "epoch": 0.3450627104985846,
1176
+ "grad_norm": 0.2041015625,
1177
+ "learning_rate": 0.00013592244897959186,
1178
+ "loss": 0.1616,
1179
+ "step": 16700
1180
+ },
1181
+ {
1182
+ "epoch": 0.34712895427402524,
1183
+ "grad_norm": 0.3046875,
1184
+ "learning_rate": 0.00013551428571428572,
1185
+ "loss": 0.1694,
1186
+ "step": 16800
1187
+ },
1188
+ {
1189
+ "epoch": 0.34919519804946586,
1190
+ "grad_norm": 0.2294921875,
1191
+ "learning_rate": 0.0001351061224489796,
1192
+ "loss": 0.1607,
1193
+ "step": 16900
1194
+ },
1195
+ {
1196
+ "epoch": 0.3512614418249065,
1197
+ "grad_norm": 0.2392578125,
1198
+ "learning_rate": 0.00013469795918367346,
1199
+ "loss": 0.1593,
1200
+ "step": 17000
1201
+ },
1202
+ {
1203
+ "epoch": 0.3533276856003471,
1204
+ "grad_norm": 0.24609375,
1205
+ "learning_rate": 0.00013428979591836735,
1206
+ "loss": 0.1624,
1207
+ "step": 17100
1208
+ },
1209
+ {
1210
+ "epoch": 0.35539392937578773,
1211
+ "grad_norm": 0.322265625,
1212
+ "learning_rate": 0.00013388163265306123,
1213
+ "loss": 0.1619,
1214
+ "step": 17200
1215
+ },
1216
+ {
1217
+ "epoch": 0.35746017315122836,
1218
+ "grad_norm": 0.24609375,
1219
+ "learning_rate": 0.00013347346938775512,
1220
+ "loss": 0.159,
1221
+ "step": 17300
1222
+ },
1223
+ {
1224
+ "epoch": 0.35952641692666903,
1225
+ "grad_norm": 0.41796875,
1226
+ "learning_rate": 0.00013306530612244898,
1227
+ "loss": 0.1618,
1228
+ "step": 17400
1229
+ },
1230
+ {
1231
+ "epoch": 0.36159266070210966,
1232
+ "grad_norm": 0.208984375,
1233
+ "learning_rate": 0.00013265714285714286,
1234
+ "loss": 0.162,
1235
+ "step": 17500
1236
+ },
1237
+ {
1238
+ "epoch": 0.3636589044775503,
1239
+ "grad_norm": 0.337890625,
1240
+ "learning_rate": 0.00013224897959183672,
1241
+ "loss": 0.1634,
1242
+ "step": 17600
1243
+ },
1244
+ {
1245
+ "epoch": 0.3657251482529909,
1246
+ "grad_norm": 0.37109375,
1247
+ "learning_rate": 0.00013184081632653064,
1248
+ "loss": 0.1625,
1249
+ "step": 17700
1250
+ },
1251
+ {
1252
+ "epoch": 0.36779139202843153,
1253
+ "grad_norm": 0.23046875,
1254
+ "learning_rate": 0.0001314326530612245,
1255
+ "loss": 0.1608,
1256
+ "step": 17800
1257
+ },
1258
+ {
1259
+ "epoch": 0.36985763580387215,
1260
+ "grad_norm": 0.451171875,
1261
+ "learning_rate": 0.00013102448979591838,
1262
+ "loss": 0.1507,
1263
+ "step": 17900
1264
+ },
1265
+ {
1266
+ "epoch": 0.3719238795793128,
1267
+ "grad_norm": 0.318359375,
1268
+ "learning_rate": 0.00013061632653061224,
1269
+ "loss": 0.1596,
1270
+ "step": 18000
1271
+ },
1272
+ {
1273
+ "epoch": 0.3739901233547534,
1274
+ "grad_norm": 0.2255859375,
1275
+ "learning_rate": 0.00013020816326530612,
1276
+ "loss": 0.1584,
1277
+ "step": 18100
1278
+ },
1279
+ {
1280
+ "epoch": 0.376056367130194,
1281
+ "grad_norm": 0.291015625,
1282
+ "learning_rate": 0.0001298,
1283
+ "loss": 0.1634,
1284
+ "step": 18200
1285
+ },
1286
+ {
1287
+ "epoch": 0.37812261090563465,
1288
+ "grad_norm": 0.1904296875,
1289
+ "learning_rate": 0.00012939183673469387,
1290
+ "loss": 0.1551,
1291
+ "step": 18300
1292
+ },
1293
+ {
1294
+ "epoch": 0.3801888546810753,
1295
+ "grad_norm": 0.2353515625,
1296
+ "learning_rate": 0.00012898367346938776,
1297
+ "loss": 0.1577,
1298
+ "step": 18400
1299
+ },
1300
+ {
1301
+ "epoch": 0.3822550984565159,
1302
+ "grad_norm": 0.2294921875,
1303
+ "learning_rate": 0.00012857551020408164,
1304
+ "loss": 0.1512,
1305
+ "step": 18500
1306
+ },
1307
+ {
1308
+ "epoch": 0.3843213422319565,
1309
+ "grad_norm": 0.2197265625,
1310
+ "learning_rate": 0.00012816734693877553,
1311
+ "loss": 0.1541,
1312
+ "step": 18600
1313
+ },
1314
+ {
1315
+ "epoch": 0.38638758600739714,
1316
+ "grad_norm": 0.255859375,
1317
+ "learning_rate": 0.00012775918367346939,
1318
+ "loss": 0.1602,
1319
+ "step": 18700
1320
+ },
1321
+ {
1322
+ "epoch": 0.38845382978283777,
1323
+ "grad_norm": 0.224609375,
1324
+ "learning_rate": 0.00012735102040816327,
1325
+ "loss": 0.1593,
1326
+ "step": 18800
1327
+ },
1328
+ {
1329
+ "epoch": 0.3905200735582784,
1330
+ "grad_norm": 0.341796875,
1331
+ "learning_rate": 0.00012694285714285713,
1332
+ "loss": 0.1603,
1333
+ "step": 18900
1334
+ },
1335
+ {
1336
+ "epoch": 0.392586317333719,
1337
+ "grad_norm": 0.1962890625,
1338
+ "learning_rate": 0.00012653469387755104,
1339
+ "loss": 0.1568,
1340
+ "step": 19000
1341
+ },
1342
+ {
1343
+ "epoch": 0.39465256110915964,
1344
+ "grad_norm": 0.27734375,
1345
+ "learning_rate": 0.0001261265306122449,
1346
+ "loss": 0.1594,
1347
+ "step": 19100
1348
+ },
1349
+ {
1350
+ "epoch": 0.39671880488460026,
1351
+ "grad_norm": 0.1875,
1352
+ "learning_rate": 0.0001257183673469388,
1353
+ "loss": 0.1478,
1354
+ "step": 19200
1355
+ },
1356
+ {
1357
+ "epoch": 0.3987850486600409,
1358
+ "grad_norm": 0.220703125,
1359
+ "learning_rate": 0.00012531020408163265,
1360
+ "loss": 0.1618,
1361
+ "step": 19300
1362
+ },
1363
+ {
1364
+ "epoch": 0.40085129243548157,
1365
+ "grad_norm": 0.18359375,
1366
+ "learning_rate": 0.00012490204081632653,
1367
+ "loss": 0.1522,
1368
+ "step": 19400
1369
+ },
1370
+ {
1371
+ "epoch": 0.4029175362109222,
1372
+ "grad_norm": 0.267578125,
1373
+ "learning_rate": 0.00012449387755102042,
1374
+ "loss": 0.1539,
1375
+ "step": 19500
1376
+ },
1377
+ {
1378
+ "epoch": 0.4049837799863628,
1379
+ "grad_norm": 0.212890625,
1380
+ "learning_rate": 0.0001240857142857143,
1381
+ "loss": 0.1542,
1382
+ "step": 19600
1383
+ },
1384
+ {
1385
+ "epoch": 0.40705002376180344,
1386
+ "grad_norm": 0.19140625,
1387
+ "learning_rate": 0.00012367755102040816,
1388
+ "loss": 0.1532,
1389
+ "step": 19700
1390
+ },
1391
+ {
1392
+ "epoch": 0.40911626753724406,
1393
+ "grad_norm": 0.30078125,
1394
+ "learning_rate": 0.00012326938775510205,
1395
+ "loss": 0.1547,
1396
+ "step": 19800
1397
+ },
1398
+ {
1399
+ "epoch": 0.4111825113126847,
1400
+ "grad_norm": 0.263671875,
1401
+ "learning_rate": 0.00012286122448979594,
1402
+ "loss": 0.1534,
1403
+ "step": 19900
1404
+ },
1405
+ {
1406
+ "epoch": 0.4132487550881253,
1407
+ "grad_norm": 0.2333984375,
1408
+ "learning_rate": 0.0001224530612244898,
1409
+ "loss": 0.1529,
1410
+ "step": 20000
1411
+ },
1412
+ {
1413
+ "epoch": 0.41531499886356593,
1414
+ "grad_norm": 0.267578125,
1415
+ "learning_rate": 0.00012204489795918368,
1416
+ "loss": 0.1551,
1417
+ "step": 20100
1418
+ },
1419
+ {
1420
+ "epoch": 0.41738124263900656,
1421
+ "grad_norm": 0.333984375,
1422
+ "learning_rate": 0.00012163673469387755,
1423
+ "loss": 0.1507,
1424
+ "step": 20200
1425
+ },
1426
+ {
1427
+ "epoch": 0.4194474864144472,
1428
+ "grad_norm": 0.240234375,
1429
+ "learning_rate": 0.00012122857142857142,
1430
+ "loss": 0.1483,
1431
+ "step": 20300
1432
+ },
1433
+ {
1434
+ "epoch": 0.4215137301898878,
1435
+ "grad_norm": 0.2060546875,
1436
+ "learning_rate": 0.00012082040816326532,
1437
+ "loss": 0.1531,
1438
+ "step": 20400
1439
+ },
1440
+ {
1441
+ "epoch": 0.4235799739653284,
1442
+ "grad_norm": 0.22265625,
1443
+ "learning_rate": 0.0001204122448979592,
1444
+ "loss": 0.1442,
1445
+ "step": 20500
1446
+ },
1447
+ {
1448
+ "epoch": 0.42564621774076905,
1449
+ "grad_norm": 0.30078125,
1450
+ "learning_rate": 0.00012000408163265307,
1451
+ "loss": 0.1509,
1452
+ "step": 20600
1453
+ },
1454
+ {
1455
+ "epoch": 0.4277124615162097,
1456
+ "grad_norm": 0.2451171875,
1457
+ "learning_rate": 0.00011959591836734694,
1458
+ "loss": 0.1462,
1459
+ "step": 20700
1460
+ },
1461
+ {
1462
+ "epoch": 0.4297787052916503,
1463
+ "grad_norm": 0.2294921875,
1464
+ "learning_rate": 0.00011918775510204083,
1465
+ "loss": 0.1482,
1466
+ "step": 20800
1467
+ },
1468
+ {
1469
+ "epoch": 0.4318449490670909,
1470
+ "grad_norm": 0.265625,
1471
+ "learning_rate": 0.0001187795918367347,
1472
+ "loss": 0.1491,
1473
+ "step": 20900
1474
+ },
1475
+ {
1476
+ "epoch": 0.43391119284253155,
1477
+ "grad_norm": 0.232421875,
1478
+ "learning_rate": 0.00011837142857142857,
1479
+ "loss": 0.1465,
1480
+ "step": 21000
1481
+ },
1482
+ {
1483
+ "epoch": 0.43597743661797217,
1484
+ "grad_norm": 0.236328125,
1485
+ "learning_rate": 0.00011796326530612244,
1486
+ "loss": 0.1499,
1487
+ "step": 21100
1488
+ },
1489
+ {
1490
+ "epoch": 0.4380436803934128,
1491
+ "grad_norm": 0.240234375,
1492
+ "learning_rate": 0.00011755510204081632,
1493
+ "loss": 0.1484,
1494
+ "step": 21200
1495
+ },
1496
+ {
1497
+ "epoch": 0.4401099241688534,
1498
+ "grad_norm": 0.2333984375,
1499
+ "learning_rate": 0.00011714693877551022,
1500
+ "loss": 0.1508,
1501
+ "step": 21300
1502
+ },
1503
+ {
1504
+ "epoch": 0.44217616794429404,
1505
+ "grad_norm": 0.43359375,
1506
+ "learning_rate": 0.00011673877551020409,
1507
+ "loss": 0.1456,
1508
+ "step": 21400
1509
+ },
1510
+ {
1511
+ "epoch": 0.4442424117197347,
1512
+ "grad_norm": 0.2333984375,
1513
+ "learning_rate": 0.00011633061224489796,
1514
+ "loss": 0.1467,
1515
+ "step": 21500
1516
+ },
1517
+ {
1518
+ "epoch": 0.44630865549517534,
1519
+ "grad_norm": 0.27734375,
1520
+ "learning_rate": 0.00011592244897959183,
1521
+ "loss": 0.146,
1522
+ "step": 21600
1523
+ },
1524
+ {
1525
+ "epoch": 0.44837489927061597,
1526
+ "grad_norm": 0.203125,
1527
+ "learning_rate": 0.00011551428571428573,
1528
+ "loss": 0.1438,
1529
+ "step": 21700
1530
+ },
1531
+ {
1532
+ "epoch": 0.4504411430460566,
1533
+ "grad_norm": 0.296875,
1534
+ "learning_rate": 0.0001151061224489796,
1535
+ "loss": 0.1435,
1536
+ "step": 21800
1537
+ },
1538
+ {
1539
+ "epoch": 0.4525073868214972,
1540
+ "grad_norm": 0.220703125,
1541
+ "learning_rate": 0.00011469795918367348,
1542
+ "loss": 0.1428,
1543
+ "step": 21900
1544
+ },
1545
+ {
1546
+ "epoch": 0.45457363059693784,
1547
+ "grad_norm": 0.162109375,
1548
+ "learning_rate": 0.00011428979591836735,
1549
+ "loss": 0.1472,
1550
+ "step": 22000
1551
+ },
1552
+ {
1553
+ "epoch": 0.45663987437237846,
1554
+ "grad_norm": 0.2353515625,
1555
+ "learning_rate": 0.00011388163265306122,
1556
+ "loss": 0.1417,
1557
+ "step": 22100
1558
+ },
1559
+ {
1560
+ "epoch": 0.4587061181478191,
1561
+ "grad_norm": 0.2412109375,
1562
+ "learning_rate": 0.00011347346938775512,
1563
+ "loss": 0.143,
1564
+ "step": 22200
1565
+ },
1566
+ {
1567
+ "epoch": 0.4607723619232597,
1568
+ "grad_norm": 0.2255859375,
1569
+ "learning_rate": 0.000113065306122449,
1570
+ "loss": 0.1396,
1571
+ "step": 22300
1572
+ },
1573
+ {
1574
+ "epoch": 0.46283860569870033,
1575
+ "grad_norm": 0.28515625,
1576
+ "learning_rate": 0.00011265714285714287,
1577
+ "loss": 0.1491,
1578
+ "step": 22400
1579
+ },
1580
+ {
1581
+ "epoch": 0.46490484947414096,
1582
+ "grad_norm": 0.2158203125,
1583
+ "learning_rate": 0.00011224897959183674,
1584
+ "loss": 0.143,
1585
+ "step": 22500
1586
+ },
1587
+ {
1588
+ "epoch": 0.4669710932495816,
1589
+ "grad_norm": 0.306640625,
1590
+ "learning_rate": 0.00011184081632653062,
1591
+ "loss": 0.1448,
1592
+ "step": 22600
1593
+ },
1594
+ {
1595
+ "epoch": 0.4690373370250222,
1596
+ "grad_norm": 0.283203125,
1597
+ "learning_rate": 0.0001114326530612245,
1598
+ "loss": 0.1457,
1599
+ "step": 22700
1600
+ },
1601
+ {
1602
+ "epoch": 0.47110358080046283,
1603
+ "grad_norm": 0.263671875,
1604
+ "learning_rate": 0.00011102448979591837,
1605
+ "loss": 0.1388,
1606
+ "step": 22800
1607
+ },
1608
+ {
1609
+ "epoch": 0.47316982457590345,
1610
+ "grad_norm": 0.20703125,
1611
+ "learning_rate": 0.00011061632653061224,
1612
+ "loss": 0.149,
1613
+ "step": 22900
1614
+ },
1615
+ {
1616
+ "epoch": 0.4752360683513441,
1617
+ "grad_norm": 0.2236328125,
1618
+ "learning_rate": 0.00011020816326530611,
1619
+ "loss": 0.1388,
1620
+ "step": 23000
1621
+ },
1622
+ {
1623
+ "epoch": 0.4773023121267847,
1624
+ "grad_norm": 0.2333984375,
1625
+ "learning_rate": 0.00010980000000000001,
1626
+ "loss": 0.1368,
1627
+ "step": 23100
1628
+ },
1629
+ {
1630
+ "epoch": 0.4793685559022253,
1631
+ "grad_norm": 0.25,
1632
+ "learning_rate": 0.00010939183673469388,
1633
+ "loss": 0.1408,
1634
+ "step": 23200
1635
+ },
1636
+ {
1637
+ "epoch": 0.48143479967766595,
1638
+ "grad_norm": 0.373046875,
1639
+ "learning_rate": 0.00010898367346938776,
1640
+ "loss": 0.1405,
1641
+ "step": 23300
1642
+ },
1643
+ {
1644
+ "epoch": 0.48350104345310657,
1645
+ "grad_norm": 0.275390625,
1646
+ "learning_rate": 0.00010857551020408163,
1647
+ "loss": 0.1355,
1648
+ "step": 23400
1649
+ },
1650
+ {
1651
+ "epoch": 0.48556728722854725,
1652
+ "grad_norm": 0.248046875,
1653
+ "learning_rate": 0.0001081673469387755,
1654
+ "loss": 0.1355,
1655
+ "step": 23500
1656
+ },
1657
+ {
1658
+ "epoch": 0.4876335310039879,
1659
+ "grad_norm": 0.232421875,
1660
+ "learning_rate": 0.0001077591836734694,
1661
+ "loss": 0.1409,
1662
+ "step": 23600
1663
+ },
1664
+ {
1665
+ "epoch": 0.4896997747794285,
1666
+ "grad_norm": 0.46484375,
1667
+ "learning_rate": 0.00010735102040816327,
1668
+ "loss": 0.139,
1669
+ "step": 23700
1670
+ },
1671
+ {
1672
+ "epoch": 0.4917660185548691,
1673
+ "grad_norm": 0.2119140625,
1674
+ "learning_rate": 0.00010694285714285715,
1675
+ "loss": 0.1357,
1676
+ "step": 23800
1677
+ },
1678
+ {
1679
+ "epoch": 0.49383226233030975,
1680
+ "grad_norm": 0.28125,
1681
+ "learning_rate": 0.00010653469387755102,
1682
+ "loss": 0.1367,
1683
+ "step": 23900
1684
+ },
1685
+ {
1686
+ "epoch": 0.49589850610575037,
1687
+ "grad_norm": 0.265625,
1688
+ "learning_rate": 0.00010612653061224492,
1689
+ "loss": 0.1332,
1690
+ "step": 24000
1691
+ },
1692
+ {
1693
+ "epoch": 0.497964749881191,
1694
+ "grad_norm": 0.251953125,
1695
+ "learning_rate": 0.00010571836734693879,
1696
+ "loss": 0.1312,
1697
+ "step": 24100
1698
+ },
1699
+ {
1700
+ "epoch": 0.5000309936566316,
1701
+ "grad_norm": 0.2490234375,
1702
+ "learning_rate": 0.00010531020408163266,
1703
+ "loss": 0.1365,
1704
+ "step": 24200
1705
+ },
1706
+ {
1707
+ "epoch": 0.5020972374320722,
1708
+ "grad_norm": 0.2490234375,
1709
+ "learning_rate": 0.00010490204081632653,
1710
+ "loss": 0.1332,
1711
+ "step": 24300
1712
+ },
1713
+ {
1714
+ "epoch": 0.5041634812075129,
1715
+ "grad_norm": 0.224609375,
1716
+ "learning_rate": 0.00010449387755102041,
1717
+ "loss": 0.1302,
1718
+ "step": 24400
1719
+ },
1720
+ {
1721
+ "epoch": 0.5062297249829535,
1722
+ "grad_norm": 0.2041015625,
1723
+ "learning_rate": 0.00010408571428571429,
1724
+ "loss": 0.1345,
1725
+ "step": 24500
1726
+ },
1727
+ {
1728
+ "epoch": 0.5082959687583941,
1729
+ "grad_norm": 0.2109375,
1730
+ "learning_rate": 0.00010367755102040817,
1731
+ "loss": 0.1354,
1732
+ "step": 24600
1733
+ },
1734
+ {
1735
+ "epoch": 0.5103622125338347,
1736
+ "grad_norm": 0.314453125,
1737
+ "learning_rate": 0.00010326938775510204,
1738
+ "loss": 0.1384,
1739
+ "step": 24700
1740
+ },
1741
+ {
1742
+ "epoch": 0.5124284563092754,
1743
+ "grad_norm": 0.2314453125,
1744
+ "learning_rate": 0.00010286122448979591,
1745
+ "loss": 0.129,
1746
+ "step": 24800
1747
+ },
1748
+ {
1749
+ "epoch": 0.514494700084716,
1750
+ "grad_norm": 0.259765625,
1751
+ "learning_rate": 0.00010245306122448981,
1752
+ "loss": 0.1367,
1753
+ "step": 24900
1754
+ },
1755
+ {
1756
+ "epoch": 0.5165609438601566,
1757
+ "grad_norm": 0.244140625,
1758
+ "learning_rate": 0.00010204489795918368,
1759
+ "loss": 0.1249,
1760
+ "step": 25000
1761
+ },
1762
+ {
1763
+ "epoch": 0.5186271876355972,
1764
+ "grad_norm": 0.40234375,
1765
+ "learning_rate": 0.00010163673469387755,
1766
+ "loss": 0.1301,
1767
+ "step": 25100
1768
+ },
1769
+ {
1770
+ "epoch": 0.5206934314110379,
1771
+ "grad_norm": 0.2578125,
1772
+ "learning_rate": 0.00010122857142857143,
1773
+ "loss": 0.1281,
1774
+ "step": 25200
1775
+ },
1776
+ {
1777
+ "epoch": 0.5227596751864785,
1778
+ "grad_norm": 0.2373046875,
1779
+ "learning_rate": 0.0001008204081632653,
1780
+ "loss": 0.137,
1781
+ "step": 25300
1782
+ },
1783
+ {
1784
+ "epoch": 0.5248259189619191,
1785
+ "grad_norm": 0.296875,
1786
+ "learning_rate": 0.0001004122448979592,
1787
+ "loss": 0.1425,
1788
+ "step": 25400
1789
+ },
1790
+ {
1791
+ "epoch": 0.5268921627373597,
1792
+ "grad_norm": 0.2197265625,
1793
+ "learning_rate": 0.00010000408163265307,
1794
+ "loss": 0.1305,
1795
+ "step": 25500
1796
+ },
1797
+ {
1798
+ "epoch": 0.5289584065128003,
1799
+ "grad_norm": 0.287109375,
1800
+ "learning_rate": 9.959591836734694e-05,
1801
+ "loss": 0.1307,
1802
+ "step": 25600
1803
+ },
1804
+ {
1805
+ "epoch": 0.531024650288241,
1806
+ "grad_norm": 0.201171875,
1807
+ "learning_rate": 9.918775510204083e-05,
1808
+ "loss": 0.1314,
1809
+ "step": 25700
1810
+ },
1811
+ {
1812
+ "epoch": 0.5330908940636816,
1813
+ "grad_norm": 0.291015625,
1814
+ "learning_rate": 9.87795918367347e-05,
1815
+ "loss": 0.1332,
1816
+ "step": 25800
1817
+ },
1818
+ {
1819
+ "epoch": 0.5351571378391222,
1820
+ "grad_norm": 0.23828125,
1821
+ "learning_rate": 9.837142857142859e-05,
1822
+ "loss": 0.1319,
1823
+ "step": 25900
1824
+ },
1825
+ {
1826
+ "epoch": 0.5372233816145628,
1827
+ "grad_norm": 0.232421875,
1828
+ "learning_rate": 9.796326530612246e-05,
1829
+ "loss": 0.125,
1830
+ "step": 26000
1831
+ },
1832
+ {
1833
+ "epoch": 0.5392896253900035,
1834
+ "grad_norm": 0.240234375,
1835
+ "learning_rate": 9.755510204081633e-05,
1836
+ "loss": 0.1299,
1837
+ "step": 26100
1838
+ },
1839
+ {
1840
+ "epoch": 0.5413558691654441,
1841
+ "grad_norm": 0.23828125,
1842
+ "learning_rate": 9.71469387755102e-05,
1843
+ "loss": 0.1335,
1844
+ "step": 26200
1845
+ },
1846
+ {
1847
+ "epoch": 0.5434221129408847,
1848
+ "grad_norm": 0.296875,
1849
+ "learning_rate": 9.673877551020408e-05,
1850
+ "loss": 0.1265,
1851
+ "step": 26300
1852
+ },
1853
+ {
1854
+ "epoch": 0.5454883567163253,
1855
+ "grad_norm": 0.2490234375,
1856
+ "learning_rate": 9.633061224489796e-05,
1857
+ "loss": 0.125,
1858
+ "step": 26400
1859
+ },
1860
+ {
1861
+ "epoch": 0.547554600491766,
1862
+ "grad_norm": 0.2197265625,
1863
+ "learning_rate": 9.592244897959183e-05,
1864
+ "loss": 0.1262,
1865
+ "step": 26500
1866
+ },
1867
+ {
1868
+ "epoch": 0.5496208442672067,
1869
+ "grad_norm": 0.322265625,
1870
+ "learning_rate": 9.551428571428572e-05,
1871
+ "loss": 0.1299,
1872
+ "step": 26600
1873
+ },
1874
+ {
1875
+ "epoch": 0.5516870880426473,
1876
+ "grad_norm": 0.224609375,
1877
+ "learning_rate": 9.510612244897959e-05,
1878
+ "loss": 0.1312,
1879
+ "step": 26700
1880
+ },
1881
+ {
1882
+ "epoch": 0.553753331818088,
1883
+ "grad_norm": 0.26953125,
1884
+ "learning_rate": 9.469795918367348e-05,
1885
+ "loss": 0.1289,
1886
+ "step": 26800
1887
+ },
1888
+ {
1889
+ "epoch": 0.5558195755935286,
1890
+ "grad_norm": 0.26953125,
1891
+ "learning_rate": 9.428979591836735e-05,
1892
+ "loss": 0.1232,
1893
+ "step": 26900
1894
+ },
1895
+ {
1896
+ "epoch": 0.5578858193689692,
1897
+ "grad_norm": 0.3046875,
1898
+ "learning_rate": 9.388163265306122e-05,
1899
+ "loss": 0.1281,
1900
+ "step": 27000
1901
+ },
1902
+ {
1903
+ "epoch": 0.5599520631444098,
1904
+ "grad_norm": 0.212890625,
1905
+ "learning_rate": 9.347346938775511e-05,
1906
+ "loss": 0.125,
1907
+ "step": 27100
1908
+ },
1909
+ {
1910
+ "epoch": 0.5620183069198504,
1911
+ "grad_norm": 0.240234375,
1912
+ "learning_rate": 9.306530612244898e-05,
1913
+ "loss": 0.1273,
1914
+ "step": 27200
1915
+ },
1916
+ {
1917
+ "epoch": 0.5640845506952911,
1918
+ "grad_norm": 0.203125,
1919
+ "learning_rate": 9.265714285714287e-05,
1920
+ "loss": 0.126,
1921
+ "step": 27300
1922
+ },
1923
+ {
1924
+ "epoch": 0.5661507944707317,
1925
+ "grad_norm": 0.2119140625,
1926
+ "learning_rate": 9.224897959183674e-05,
1927
+ "loss": 0.1255,
1928
+ "step": 27400
1929
+ },
1930
+ {
1931
+ "epoch": 0.5682170382461723,
1932
+ "grad_norm": 0.26171875,
1933
+ "learning_rate": 9.184081632653063e-05,
1934
+ "loss": 0.1223,
1935
+ "step": 27500
1936
+ },
1937
+ {
1938
+ "epoch": 0.5702832820216129,
1939
+ "grad_norm": 0.2236328125,
1940
+ "learning_rate": 9.14326530612245e-05,
1941
+ "loss": 0.128,
1942
+ "step": 27600
1943
+ },
1944
+ {
1945
+ "epoch": 0.5723495257970536,
1946
+ "grad_norm": 0.2578125,
1947
+ "learning_rate": 9.102448979591837e-05,
1948
+ "loss": 0.1272,
1949
+ "step": 27700
1950
+ },
1951
+ {
1952
+ "epoch": 0.5744157695724942,
1953
+ "grad_norm": 0.2197265625,
1954
+ "learning_rate": 9.061632653061226e-05,
1955
+ "loss": 0.1242,
1956
+ "step": 27800
1957
+ },
1958
+ {
1959
+ "epoch": 0.5764820133479348,
1960
+ "grad_norm": 0.25390625,
1961
+ "learning_rate": 9.020816326530613e-05,
1962
+ "loss": 0.118,
1963
+ "step": 27900
1964
+ },
1965
+ {
1966
+ "epoch": 0.5785482571233754,
1967
+ "grad_norm": 0.2578125,
1968
+ "learning_rate": 8.98e-05,
1969
+ "loss": 0.1195,
1970
+ "step": 28000
1971
+ },
1972
+ {
1973
+ "epoch": 0.580614500898816,
1974
+ "grad_norm": 0.17578125,
1975
+ "learning_rate": 8.939183673469387e-05,
1976
+ "loss": 0.1256,
1977
+ "step": 28100
1978
+ },
1979
+ {
1980
+ "epoch": 0.5826807446742567,
1981
+ "grad_norm": 0.265625,
1982
+ "learning_rate": 8.898367346938776e-05,
1983
+ "loss": 0.127,
1984
+ "step": 28200
1985
+ },
1986
+ {
1987
+ "epoch": 0.5847469884496973,
1988
+ "grad_norm": 0.216796875,
1989
+ "learning_rate": 8.857551020408163e-05,
1990
+ "loss": 0.1237,
1991
+ "step": 28300
1992
+ },
1993
+ {
1994
+ "epoch": 0.5868132322251379,
1995
+ "grad_norm": 0.36328125,
1996
+ "learning_rate": 8.816734693877552e-05,
1997
+ "loss": 0.1281,
1998
+ "step": 28400
1999
+ },
2000
+ {
2001
+ "epoch": 0.5888794760005786,
2002
+ "grad_norm": 0.212890625,
2003
+ "learning_rate": 8.775918367346939e-05,
2004
+ "loss": 0.1232,
2005
+ "step": 28500
2006
+ },
2007
+ {
2008
+ "epoch": 0.5909457197760192,
2009
+ "grad_norm": 0.2734375,
2010
+ "learning_rate": 8.735102040816326e-05,
2011
+ "loss": 0.1226,
2012
+ "step": 28600
2013
+ },
2014
+ {
2015
+ "epoch": 0.5930119635514598,
2016
+ "grad_norm": 0.48828125,
2017
+ "learning_rate": 8.694285714285715e-05,
2018
+ "loss": 0.1274,
2019
+ "step": 28700
2020
+ },
2021
+ {
2022
+ "epoch": 0.5950782073269004,
2023
+ "grad_norm": 0.244140625,
2024
+ "learning_rate": 8.653469387755102e-05,
2025
+ "loss": 0.1216,
2026
+ "step": 28800
2027
+ },
2028
+ {
2029
+ "epoch": 0.597144451102341,
2030
+ "grad_norm": 0.255859375,
2031
+ "learning_rate": 8.61265306122449e-05,
2032
+ "loss": 0.122,
2033
+ "step": 28900
2034
+ },
2035
+ {
2036
+ "epoch": 0.5992106948777817,
2037
+ "grad_norm": 0.31640625,
2038
+ "learning_rate": 8.571836734693878e-05,
2039
+ "loss": 0.1183,
2040
+ "step": 29000
2041
+ },
2042
+ {
2043
+ "epoch": 0.6012769386532223,
2044
+ "grad_norm": 0.216796875,
2045
+ "learning_rate": 8.531020408163266e-05,
2046
+ "loss": 0.1207,
2047
+ "step": 29100
2048
+ },
2049
+ {
2050
+ "epoch": 0.6033431824286629,
2051
+ "grad_norm": 0.1865234375,
2052
+ "learning_rate": 8.490204081632654e-05,
2053
+ "loss": 0.1213,
2054
+ "step": 29200
2055
+ },
2056
+ {
2057
+ "epoch": 0.6054094262041035,
2058
+ "grad_norm": 0.291015625,
2059
+ "learning_rate": 8.449387755102042e-05,
2060
+ "loss": 0.1198,
2061
+ "step": 29300
2062
+ },
2063
+ {
2064
+ "epoch": 0.6074756699795442,
2065
+ "grad_norm": 0.357421875,
2066
+ "learning_rate": 8.40857142857143e-05,
2067
+ "loss": 0.1239,
2068
+ "step": 29400
2069
+ },
2070
+ {
2071
+ "epoch": 0.6095419137549848,
2072
+ "grad_norm": 0.2373046875,
2073
+ "learning_rate": 8.367755102040817e-05,
2074
+ "loss": 0.1245,
2075
+ "step": 29500
2076
+ },
2077
+ {
2078
+ "epoch": 0.6116081575304254,
2079
+ "grad_norm": 0.26171875,
2080
+ "learning_rate": 8.326938775510205e-05,
2081
+ "loss": 0.1228,
2082
+ "step": 29600
2083
+ },
2084
+ {
2085
+ "epoch": 0.613674401305866,
2086
+ "grad_norm": 0.255859375,
2087
+ "learning_rate": 8.286122448979593e-05,
2088
+ "loss": 0.1223,
2089
+ "step": 29700
2090
+ },
2091
+ {
2092
+ "epoch": 0.6157406450813067,
2093
+ "grad_norm": 0.3203125,
2094
+ "learning_rate": 8.24530612244898e-05,
2095
+ "loss": 0.1209,
2096
+ "step": 29800
2097
+ },
2098
+ {
2099
+ "epoch": 0.6178068888567473,
2100
+ "grad_norm": 0.248046875,
2101
+ "learning_rate": 8.204489795918367e-05,
2102
+ "loss": 0.1145,
2103
+ "step": 29900
2104
+ },
2105
+ {
2106
+ "epoch": 0.6198731326321879,
2107
+ "grad_norm": 0.310546875,
2108
+ "learning_rate": 8.163673469387756e-05,
2109
+ "loss": 0.1158,
2110
+ "step": 30000
2111
+ },
2112
+ {
2113
+ "epoch": 0.6219393764076285,
2114
+ "grad_norm": 0.203125,
2115
+ "learning_rate": 8.122857142857143e-05,
2116
+ "loss": 0.1199,
2117
+ "step": 30100
2118
+ },
2119
+ {
2120
+ "epoch": 0.6240056201830692,
2121
+ "grad_norm": 0.2431640625,
2122
+ "learning_rate": 8.082040816326531e-05,
2123
+ "loss": 0.1178,
2124
+ "step": 30200
2125
+ },
2126
+ {
2127
+ "epoch": 0.6260718639585098,
2128
+ "grad_norm": 0.2490234375,
2129
+ "learning_rate": 8.041224489795919e-05,
2130
+ "loss": 0.1217,
2131
+ "step": 30300
2132
+ },
2133
+ {
2134
+ "epoch": 0.6281381077339504,
2135
+ "grad_norm": 0.2314453125,
2136
+ "learning_rate": 8.000408163265306e-05,
2137
+ "loss": 0.1211,
2138
+ "step": 30400
2139
+ },
2140
+ {
2141
+ "epoch": 0.630204351509391,
2142
+ "grad_norm": 0.234375,
2143
+ "learning_rate": 7.959591836734694e-05,
2144
+ "loss": 0.1194,
2145
+ "step": 30500
2146
+ },
2147
+ {
2148
+ "epoch": 0.6322705952848316,
2149
+ "grad_norm": 0.359375,
2150
+ "learning_rate": 7.918775510204082e-05,
2151
+ "loss": 0.1151,
2152
+ "step": 30600
2153
+ },
2154
+ {
2155
+ "epoch": 0.6343368390602724,
2156
+ "grad_norm": 0.259765625,
2157
+ "learning_rate": 7.87795918367347e-05,
2158
+ "loss": 0.1184,
2159
+ "step": 30700
2160
+ },
2161
+ {
2162
+ "epoch": 0.636403082835713,
2163
+ "grad_norm": 0.255859375,
2164
+ "learning_rate": 7.837142857142858e-05,
2165
+ "loss": 0.1147,
2166
+ "step": 30800
2167
+ },
2168
+ {
2169
+ "epoch": 0.6384693266111536,
2170
+ "grad_norm": 0.27734375,
2171
+ "learning_rate": 7.796326530612246e-05,
2172
+ "loss": 0.1131,
2173
+ "step": 30900
2174
+ },
2175
+ {
2176
+ "epoch": 0.6405355703865943,
2177
+ "grad_norm": 0.3125,
2178
+ "learning_rate": 7.755510204081633e-05,
2179
+ "loss": 0.1129,
2180
+ "step": 31000
2181
+ },
2182
+ {
2183
+ "epoch": 0.6426018141620349,
2184
+ "grad_norm": 0.255859375,
2185
+ "learning_rate": 7.71469387755102e-05,
2186
+ "loss": 0.1203,
2187
+ "step": 31100
2188
+ },
2189
+ {
2190
+ "epoch": 0.6446680579374755,
2191
+ "grad_norm": 0.3046875,
2192
+ "learning_rate": 7.673877551020409e-05,
2193
+ "loss": 0.1192,
2194
+ "step": 31200
2195
+ },
2196
+ {
2197
+ "epoch": 0.6467343017129161,
2198
+ "grad_norm": 0.32421875,
2199
+ "learning_rate": 7.633061224489796e-05,
2200
+ "loss": 0.1153,
2201
+ "step": 31300
2202
+ },
2203
+ {
2204
+ "epoch": 0.6488005454883568,
2205
+ "grad_norm": 0.2578125,
2206
+ "learning_rate": 7.592244897959184e-05,
2207
+ "loss": 0.1153,
2208
+ "step": 31400
2209
+ },
2210
+ {
2211
+ "epoch": 0.6508667892637974,
2212
+ "grad_norm": 0.2314453125,
2213
+ "learning_rate": 7.551428571428571e-05,
2214
+ "loss": 0.1147,
2215
+ "step": 31500
2216
+ },
2217
+ {
2218
+ "epoch": 0.652933033039238,
2219
+ "grad_norm": 0.2412109375,
2220
+ "learning_rate": 7.51061224489796e-05,
2221
+ "loss": 0.1116,
2222
+ "step": 31600
2223
+ },
2224
+ {
2225
+ "epoch": 0.6549992768146786,
2226
+ "grad_norm": 0.248046875,
2227
+ "learning_rate": 7.469795918367347e-05,
2228
+ "loss": 0.1133,
2229
+ "step": 31700
2230
+ },
2231
+ {
2232
+ "epoch": 0.6570655205901192,
2233
+ "grad_norm": 0.27734375,
2234
+ "learning_rate": 7.428979591836735e-05,
2235
+ "loss": 0.1133,
2236
+ "step": 31800
2237
+ },
2238
+ {
2239
+ "epoch": 0.6591317643655599,
2240
+ "grad_norm": 0.287109375,
2241
+ "learning_rate": 7.388163265306123e-05,
2242
+ "loss": 0.1163,
2243
+ "step": 31900
2244
+ },
2245
+ {
2246
+ "epoch": 0.6611980081410005,
2247
+ "grad_norm": 0.2197265625,
2248
+ "learning_rate": 7.34734693877551e-05,
2249
+ "loss": 0.1129,
2250
+ "step": 32000
2251
+ },
2252
+ {
2253
+ "epoch": 0.6632642519164411,
2254
+ "grad_norm": 0.326171875,
2255
+ "learning_rate": 7.306530612244898e-05,
2256
+ "loss": 0.1146,
2257
+ "step": 32100
2258
+ },
2259
+ {
2260
+ "epoch": 0.6653304956918817,
2261
+ "grad_norm": 0.349609375,
2262
+ "learning_rate": 7.265714285714286e-05,
2263
+ "loss": 0.1123,
2264
+ "step": 32200
2265
+ },
2266
+ {
2267
+ "epoch": 0.6673967394673224,
2268
+ "grad_norm": 0.27734375,
2269
+ "learning_rate": 7.224897959183674e-05,
2270
+ "loss": 0.1142,
2271
+ "step": 32300
2272
+ },
2273
+ {
2274
+ "epoch": 0.669462983242763,
2275
+ "grad_norm": 0.3125,
2276
+ "learning_rate": 7.184081632653061e-05,
2277
+ "loss": 0.1127,
2278
+ "step": 32400
2279
+ },
2280
+ {
2281
+ "epoch": 0.6715292270182036,
2282
+ "grad_norm": 0.283203125,
2283
+ "learning_rate": 7.14326530612245e-05,
2284
+ "loss": 0.1149,
2285
+ "step": 32500
2286
+ },
2287
+ {
2288
+ "epoch": 0.6735954707936442,
2289
+ "grad_norm": 0.34765625,
2290
+ "learning_rate": 7.102448979591837e-05,
2291
+ "loss": 0.1122,
2292
+ "step": 32600
2293
+ },
2294
+ {
2295
+ "epoch": 0.6756617145690849,
2296
+ "grad_norm": 0.2890625,
2297
+ "learning_rate": 7.061632653061226e-05,
2298
+ "loss": 0.1106,
2299
+ "step": 32700
2300
+ },
2301
+ {
2302
+ "epoch": 0.6777279583445255,
2303
+ "grad_norm": 0.255859375,
2304
+ "learning_rate": 7.020816326530613e-05,
2305
+ "loss": 0.1114,
2306
+ "step": 32800
2307
+ },
2308
+ {
2309
+ "epoch": 0.6797942021199661,
2310
+ "grad_norm": 0.251953125,
2311
+ "learning_rate": 6.98e-05,
2312
+ "loss": 0.1107,
2313
+ "step": 32900
2314
+ },
2315
+ {
2316
+ "epoch": 0.6818604458954067,
2317
+ "grad_norm": 0.240234375,
2318
+ "learning_rate": 6.939183673469389e-05,
2319
+ "loss": 0.1119,
2320
+ "step": 33000
2321
+ },
2322
+ {
2323
+ "epoch": 0.6839266896708474,
2324
+ "grad_norm": 0.30078125,
2325
+ "learning_rate": 6.898367346938776e-05,
2326
+ "loss": 0.1106,
2327
+ "step": 33100
2328
+ },
2329
+ {
2330
+ "epoch": 0.685992933446288,
2331
+ "grad_norm": 0.2041015625,
2332
+ "learning_rate": 6.857551020408163e-05,
2333
+ "loss": 0.1115,
2334
+ "step": 33200
2335
+ },
2336
+ {
2337
+ "epoch": 0.6880591772217286,
2338
+ "grad_norm": 0.25,
2339
+ "learning_rate": 6.81673469387755e-05,
2340
+ "loss": 0.1067,
2341
+ "step": 33300
2342
+ },
2343
+ {
2344
+ "epoch": 0.6901254209971692,
2345
+ "grad_norm": 0.35546875,
2346
+ "learning_rate": 6.775918367346939e-05,
2347
+ "loss": 0.1089,
2348
+ "step": 33400
2349
+ },
2350
+ {
2351
+ "epoch": 0.6921916647726098,
2352
+ "grad_norm": 0.251953125,
2353
+ "learning_rate": 6.735102040816326e-05,
2354
+ "loss": 0.1126,
2355
+ "step": 33500
2356
+ },
2357
+ {
2358
+ "epoch": 0.6942579085480505,
2359
+ "grad_norm": 0.2275390625,
2360
+ "learning_rate": 6.694285714285715e-05,
2361
+ "loss": 0.1057,
2362
+ "step": 33600
2363
+ },
2364
+ {
2365
+ "epoch": 0.6963241523234911,
2366
+ "grad_norm": 0.296875,
2367
+ "learning_rate": 6.653469387755102e-05,
2368
+ "loss": 0.1073,
2369
+ "step": 33700
2370
+ },
2371
+ {
2372
+ "epoch": 0.6983903960989317,
2373
+ "grad_norm": 0.259765625,
2374
+ "learning_rate": 6.61265306122449e-05,
2375
+ "loss": 0.1072,
2376
+ "step": 33800
2377
+ },
2378
+ {
2379
+ "epoch": 0.7004566398743723,
2380
+ "grad_norm": 0.2470703125,
2381
+ "learning_rate": 6.571836734693878e-05,
2382
+ "loss": 0.1071,
2383
+ "step": 33900
2384
+ },
2385
+ {
2386
+ "epoch": 0.702522883649813,
2387
+ "grad_norm": 0.271484375,
2388
+ "learning_rate": 6.531020408163265e-05,
2389
+ "loss": 0.1139,
2390
+ "step": 34000
2391
+ },
2392
+ {
2393
+ "epoch": 0.7045891274252536,
2394
+ "grad_norm": 0.369140625,
2395
+ "learning_rate": 6.490204081632654e-05,
2396
+ "loss": 0.1097,
2397
+ "step": 34100
2398
+ },
2399
+ {
2400
+ "epoch": 0.7066553712006942,
2401
+ "grad_norm": 0.259765625,
2402
+ "learning_rate": 6.449387755102041e-05,
2403
+ "loss": 0.1062,
2404
+ "step": 34200
2405
+ },
2406
+ {
2407
+ "epoch": 0.7087216149761348,
2408
+ "grad_norm": 0.255859375,
2409
+ "learning_rate": 6.40857142857143e-05,
2410
+ "loss": 0.11,
2411
+ "step": 34300
2412
+ },
2413
+ {
2414
+ "epoch": 0.7107878587515755,
2415
+ "grad_norm": 0.26171875,
2416
+ "learning_rate": 6.367755102040817e-05,
2417
+ "loss": 0.1103,
2418
+ "step": 34400
2419
+ },
2420
+ {
2421
+ "epoch": 0.7128541025270161,
2422
+ "grad_norm": 0.2412109375,
2423
+ "learning_rate": 6.326938775510204e-05,
2424
+ "loss": 0.1054,
2425
+ "step": 34500
2426
+ },
2427
+ {
2428
+ "epoch": 0.7149203463024567,
2429
+ "grad_norm": 0.2578125,
2430
+ "learning_rate": 6.286122448979593e-05,
2431
+ "loss": 0.1035,
2432
+ "step": 34600
2433
+ },
2434
+ {
2435
+ "epoch": 0.7169865900778974,
2436
+ "grad_norm": 0.28125,
2437
+ "learning_rate": 6.24530612244898e-05,
2438
+ "loss": 0.1071,
2439
+ "step": 34700
2440
+ },
2441
+ {
2442
+ "epoch": 0.7190528338533381,
2443
+ "grad_norm": 0.34375,
2444
+ "learning_rate": 6.204489795918369e-05,
2445
+ "loss": 0.1118,
2446
+ "step": 34800
2447
+ },
2448
+ {
2449
+ "epoch": 0.7211190776287787,
2450
+ "grad_norm": 0.271484375,
2451
+ "learning_rate": 6.163673469387756e-05,
2452
+ "loss": 0.1055,
2453
+ "step": 34900
2454
+ },
2455
+ {
2456
+ "epoch": 0.7231853214042193,
2457
+ "grad_norm": 0.2080078125,
2458
+ "learning_rate": 6.122857142857143e-05,
2459
+ "loss": 0.1046,
2460
+ "step": 35000
2461
+ },
2462
+ {
2463
+ "epoch": 0.7252515651796599,
2464
+ "grad_norm": 0.2099609375,
2465
+ "learning_rate": 6.082040816326531e-05,
2466
+ "loss": 0.1038,
2467
+ "step": 35100
2468
+ },
2469
+ {
2470
+ "epoch": 0.7273178089551006,
2471
+ "grad_norm": 0.306640625,
2472
+ "learning_rate": 6.041224489795919e-05,
2473
+ "loss": 0.1004,
2474
+ "step": 35200
2475
+ },
2476
+ {
2477
+ "epoch": 0.7293840527305412,
2478
+ "grad_norm": 0.31640625,
2479
+ "learning_rate": 6.000408163265307e-05,
2480
+ "loss": 0.102,
2481
+ "step": 35300
2482
+ },
2483
+ {
2484
+ "epoch": 0.7314502965059818,
2485
+ "grad_norm": 0.34375,
2486
+ "learning_rate": 5.959591836734694e-05,
2487
+ "loss": 0.1009,
2488
+ "step": 35400
2489
+ },
2490
+ {
2491
+ "epoch": 0.7335165402814224,
2492
+ "grad_norm": 0.61328125,
2493
+ "learning_rate": 5.918775510204082e-05,
2494
+ "loss": 0.1076,
2495
+ "step": 35500
2496
+ },
2497
+ {
2498
+ "epoch": 0.7355827840568631,
2499
+ "grad_norm": 0.21484375,
2500
+ "learning_rate": 5.877959183673469e-05,
2501
+ "loss": 0.1048,
2502
+ "step": 35600
2503
+ },
2504
+ {
2505
+ "epoch": 0.7376490278323037,
2506
+ "grad_norm": 0.474609375,
2507
+ "learning_rate": 5.837142857142858e-05,
2508
+ "loss": 0.1032,
2509
+ "step": 35700
2510
+ },
2511
+ {
2512
+ "epoch": 0.7397152716077443,
2513
+ "grad_norm": 0.322265625,
2514
+ "learning_rate": 5.796326530612245e-05,
2515
+ "loss": 0.1052,
2516
+ "step": 35800
2517
+ },
2518
+ {
2519
+ "epoch": 0.7417815153831849,
2520
+ "grad_norm": 0.29296875,
2521
+ "learning_rate": 5.7555102040816335e-05,
2522
+ "loss": 0.1023,
2523
+ "step": 35900
2524
+ },
2525
+ {
2526
+ "epoch": 0.7438477591586256,
2527
+ "grad_norm": 0.2275390625,
2528
+ "learning_rate": 5.714693877551021e-05,
2529
+ "loss": 0.1013,
2530
+ "step": 36000
2531
+ },
2532
+ {
2533
+ "epoch": 0.7459140029340662,
2534
+ "grad_norm": 0.294921875,
2535
+ "learning_rate": 5.6738775510204087e-05,
2536
+ "loss": 0.1086,
2537
+ "step": 36100
2538
+ },
2539
+ {
2540
+ "epoch": 0.7479802467095068,
2541
+ "grad_norm": 0.2265625,
2542
+ "learning_rate": 5.633061224489796e-05,
2543
+ "loss": 0.0997,
2544
+ "step": 36200
2545
+ },
2546
+ {
2547
+ "epoch": 0.7500464904849474,
2548
+ "grad_norm": 0.2890625,
2549
+ "learning_rate": 5.592244897959184e-05,
2550
+ "loss": 0.0999,
2551
+ "step": 36300
2552
+ },
2553
+ {
2554
+ "epoch": 0.752112734260388,
2555
+ "grad_norm": 0.2578125,
2556
+ "learning_rate": 5.551428571428572e-05,
2557
+ "loss": 0.1046,
2558
+ "step": 36400
2559
+ },
2560
+ {
2561
+ "epoch": 0.7541789780358287,
2562
+ "grad_norm": 0.294921875,
2563
+ "learning_rate": 5.510612244897959e-05,
2564
+ "loss": 0.1034,
2565
+ "step": 36500
2566
+ },
2567
+ {
2568
+ "epoch": 0.7562452218112693,
2569
+ "grad_norm": 0.2080078125,
2570
+ "learning_rate": 5.4697959183673475e-05,
2571
+ "loss": 0.1019,
2572
+ "step": 36600
2573
+ },
2574
+ {
2575
+ "epoch": 0.7583114655867099,
2576
+ "grad_norm": 0.33984375,
2577
+ "learning_rate": 5.428979591836735e-05,
2578
+ "loss": 0.1049,
2579
+ "step": 36700
2580
+ },
2581
+ {
2582
+ "epoch": 0.7603777093621505,
2583
+ "grad_norm": 0.3828125,
2584
+ "learning_rate": 5.3881632653061234e-05,
2585
+ "loss": 0.101,
2586
+ "step": 36800
2587
+ },
2588
+ {
2589
+ "epoch": 0.7624439531375912,
2590
+ "grad_norm": 0.298828125,
2591
+ "learning_rate": 5.3473469387755106e-05,
2592
+ "loss": 0.0997,
2593
+ "step": 36900
2594
+ },
2595
+ {
2596
+ "epoch": 0.7645101969130318,
2597
+ "grad_norm": 0.224609375,
2598
+ "learning_rate": 5.306530612244898e-05,
2599
+ "loss": 0.1043,
2600
+ "step": 37000
2601
+ },
2602
+ {
2603
+ "epoch": 0.7665764406884724,
2604
+ "grad_norm": 0.259765625,
2605
+ "learning_rate": 5.265714285714286e-05,
2606
+ "loss": 0.1032,
2607
+ "step": 37100
2608
+ },
2609
+ {
2610
+ "epoch": 0.768642684463913,
2611
+ "grad_norm": 0.2158203125,
2612
+ "learning_rate": 5.2248979591836736e-05,
2613
+ "loss": 0.1038,
2614
+ "step": 37200
2615
+ },
2616
+ {
2617
+ "epoch": 0.7707089282393537,
2618
+ "grad_norm": 0.294921875,
2619
+ "learning_rate": 5.1840816326530616e-05,
2620
+ "loss": 0.1008,
2621
+ "step": 37300
2622
+ },
2623
+ {
2624
+ "epoch": 0.7727751720147943,
2625
+ "grad_norm": 0.30078125,
2626
+ "learning_rate": 5.143265306122449e-05,
2627
+ "loss": 0.0971,
2628
+ "step": 37400
2629
+ },
2630
+ {
2631
+ "epoch": 0.7748414157902349,
2632
+ "grad_norm": 0.330078125,
2633
+ "learning_rate": 5.1024489795918374e-05,
2634
+ "loss": 0.0988,
2635
+ "step": 37500
2636
+ },
2637
+ {
2638
+ "epoch": 0.7769076595656755,
2639
+ "grad_norm": 0.291015625,
2640
+ "learning_rate": 5.0616326530612246e-05,
2641
+ "loss": 0.1006,
2642
+ "step": 37600
2643
+ },
2644
+ {
2645
+ "epoch": 0.7789739033411162,
2646
+ "grad_norm": 0.40625,
2647
+ "learning_rate": 5.020816326530613e-05,
2648
+ "loss": 0.0994,
2649
+ "step": 37700
2650
+ },
2651
+ {
2652
+ "epoch": 0.7810401471165568,
2653
+ "grad_norm": 0.23828125,
2654
+ "learning_rate": 4.9800000000000004e-05,
2655
+ "loss": 0.1016,
2656
+ "step": 37800
2657
+ },
2658
+ {
2659
+ "epoch": 0.7831063908919974,
2660
+ "grad_norm": 0.259765625,
2661
+ "learning_rate": 4.9391836734693883e-05,
2662
+ "loss": 0.0983,
2663
+ "step": 37900
2664
+ },
2665
+ {
2666
+ "epoch": 0.785172634667438,
2667
+ "grad_norm": 0.3828125,
2668
+ "learning_rate": 4.8983673469387756e-05,
2669
+ "loss": 0.0983,
2670
+ "step": 38000
2671
+ },
2672
+ {
2673
+ "epoch": 0.7872388784428787,
2674
+ "grad_norm": 0.361328125,
2675
+ "learning_rate": 4.8575510204081635e-05,
2676
+ "loss": 0.0993,
2677
+ "step": 38100
2678
+ },
2679
+ {
2680
+ "epoch": 0.7893051222183193,
2681
+ "grad_norm": 0.25390625,
2682
+ "learning_rate": 4.8167346938775514e-05,
2683
+ "loss": 0.1021,
2684
+ "step": 38200
2685
+ },
2686
+ {
2687
+ "epoch": 0.7913713659937599,
2688
+ "grad_norm": 0.37109375,
2689
+ "learning_rate": 4.7759183673469386e-05,
2690
+ "loss": 0.0996,
2691
+ "step": 38300
2692
+ },
2693
+ {
2694
+ "epoch": 0.7934376097692005,
2695
+ "grad_norm": 0.330078125,
2696
+ "learning_rate": 4.7351020408163265e-05,
2697
+ "loss": 0.0987,
2698
+ "step": 38400
2699
+ },
2700
+ {
2701
+ "epoch": 0.7955038535446411,
2702
+ "grad_norm": 0.265625,
2703
+ "learning_rate": 4.6942857142857145e-05,
2704
+ "loss": 0.0934,
2705
+ "step": 38500
2706
+ },
2707
+ {
2708
+ "epoch": 0.7975700973200818,
2709
+ "grad_norm": 0.271484375,
2710
+ "learning_rate": 4.6534693877551024e-05,
2711
+ "loss": 0.0985,
2712
+ "step": 38600
2713
+ },
2714
+ {
2715
+ "epoch": 0.7996363410955224,
2716
+ "grad_norm": 0.2080078125,
2717
+ "learning_rate": 4.61265306122449e-05,
2718
+ "loss": 0.0962,
2719
+ "step": 38700
2720
+ },
2721
+ {
2722
+ "epoch": 0.8017025848709631,
2723
+ "grad_norm": 0.353515625,
2724
+ "learning_rate": 4.571836734693878e-05,
2725
+ "loss": 0.0974,
2726
+ "step": 38800
2727
+ },
2728
+ {
2729
+ "epoch": 0.8037688286464038,
2730
+ "grad_norm": 0.2294921875,
2731
+ "learning_rate": 4.5310204081632654e-05,
2732
+ "loss": 0.0976,
2733
+ "step": 38900
2734
+ },
2735
+ {
2736
+ "epoch": 0.8058350724218444,
2737
+ "grad_norm": 0.26171875,
2738
+ "learning_rate": 4.490204081632653e-05,
2739
+ "loss": 0.0992,
2740
+ "step": 39000
2741
+ },
2742
+ {
2743
+ "epoch": 0.807901316197285,
2744
+ "grad_norm": 0.283203125,
2745
+ "learning_rate": 4.4493877551020406e-05,
2746
+ "loss": 0.0968,
2747
+ "step": 39100
2748
+ },
2749
+ {
2750
+ "epoch": 0.8099675599727256,
2751
+ "grad_norm": 0.232421875,
2752
+ "learning_rate": 4.4085714285714285e-05,
2753
+ "loss": 0.1005,
2754
+ "step": 39200
2755
+ },
2756
+ {
2757
+ "epoch": 0.8120338037481662,
2758
+ "grad_norm": 0.341796875,
2759
+ "learning_rate": 4.3677551020408164e-05,
2760
+ "loss": 0.0975,
2761
+ "step": 39300
2762
+ },
2763
+ {
2764
+ "epoch": 0.8141000475236069,
2765
+ "grad_norm": 0.240234375,
2766
+ "learning_rate": 4.326938775510204e-05,
2767
+ "loss": 0.0959,
2768
+ "step": 39400
2769
+ },
2770
+ {
2771
+ "epoch": 0.8161662912990475,
2772
+ "grad_norm": 0.283203125,
2773
+ "learning_rate": 4.286122448979592e-05,
2774
+ "loss": 0.094,
2775
+ "step": 39500
2776
+ },
2777
+ {
2778
+ "epoch": 0.8182325350744881,
2779
+ "grad_norm": 0.515625,
2780
+ "learning_rate": 4.24530612244898e-05,
2781
+ "loss": 0.0943,
2782
+ "step": 39600
2783
+ },
2784
+ {
2785
+ "epoch": 0.8202987788499287,
2786
+ "grad_norm": 0.279296875,
2787
+ "learning_rate": 4.2044897959183673e-05,
2788
+ "loss": 0.096,
2789
+ "step": 39700
2790
+ },
2791
+ {
2792
+ "epoch": 0.8223650226253694,
2793
+ "grad_norm": 0.27734375,
2794
+ "learning_rate": 4.163673469387755e-05,
2795
+ "loss": 0.0986,
2796
+ "step": 39800
2797
+ },
2798
+ {
2799
+ "epoch": 0.82443126640081,
2800
+ "grad_norm": 0.296875,
2801
+ "learning_rate": 4.122857142857143e-05,
2802
+ "loss": 0.0974,
2803
+ "step": 39900
2804
+ },
2805
+ {
2806
+ "epoch": 0.8264975101762506,
2807
+ "grad_norm": 0.326171875,
2808
+ "learning_rate": 4.0820408163265304e-05,
2809
+ "loss": 0.094,
2810
+ "step": 40000
2811
+ }
2812
+ ],
2813
+ "logging_steps": 100,
2814
+ "max_steps": 50000,
2815
+ "num_input_tokens_seen": 0,
2816
+ "num_train_epochs": 2,
2817
+ "save_steps": 2000,
2818
+ "stateful_callbacks": {
2819
+ "TrainerControl": {
2820
+ "args": {
2821
+ "should_epoch_stop": false,
2822
+ "should_evaluate": false,
2823
+ "should_log": false,
2824
+ "should_save": true,
2825
+ "should_training_stop": false
2826
+ },
2827
+ "attributes": {}
2828
+ }
2829
+ },
2830
+ "total_flos": 5.54202581434368e+18,
2831
+ "train_batch_size": 8,
2832
+ "trial_name": null,
2833
+ "trial_params": null
2834
+ }
training_args.bin ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:6a68034a540bf3812751e56e0d58ea34207d5a6ba518d18a65a54215dd111b4b
3
+ size 5969
vocab.json ADDED
The diff for this file is too large to render. See raw diff