CO2 data not properly downloaded from ecowitt.net - 3278 (solved with 3279)

[Gyvate]

CMX build 3278
the data (down)loading and processing after restart and time gap between last writing to today.ini is incomplete.
It downloads only CO2 and CO2 24h avg, but not the PM2.5, PM1.0 and T/H values (see MXdiags),.
stored in the extra data log is nothing (resp. 0), even not the downloaded CO2 values
Leaf Wetness data is also missing - and the data exists at ecowitt.net
below an excerpt from ExtraLog202401.txt with the last downloaded values and the transition to normal processing
23.01.24;10:45;5,9;4,5;6,2;5,8;-15,4;6,7;9,0;0,0;0,0;0,0;93;0;87;93;0;93;62;0;0;0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0;22;36;39;0;0;0;0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;44;31;0;0;0;0;0;0;0;0;0;0;7,0;4,0;0,0;0,0;0,0;0,0;0,0;0,0;2,0;0,1;0,0;0,0;0,0;0,0;0,0;0,0;0;0;0,0;0,0;0,0;0,0;0,0;0
23.01.24;10:50;5,9;4,5;6,3;5,8;-15,2;6,8;9,0;0,0;0,0;0,0;93;0;87;93;0;93;62;0;0;0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0;22;36;39;0;0;0;0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;44;31;0;0;0;0;0;0;0;0;0;0;7,0;4,0;0,0;0,0;0,0;0,0;0,0;0,0;2,0;0,1;0,0;0,0;0,0;0,0;0,0;0,0;0;0;0,0;0,0;0,0;0,0;0,0;0
23.01.24;10:55;6,0;4,5;6,3;5,8;-15,4;6,8;9,0;0,0;0,0;0,0;93;0;87;93;0;93;61;0;0;0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0;22;36;39;0;0;0;0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;44;31;0;0;0;0;0;0;0;0;0;0;11,0;4,0;0,0;0,0;0,0;0,0;0,0;0,0;2,0;0,1;0,0;0,0;0,0;0,0;0,0;0,0;0;0;0,0;0,0;0,0;0,0;0,0;0
23.01.24;11:00;6,0;4,5;6,2;5,8;-16,5;6,7;9,0;0,0;0,0;0,0;93;0;87;93;0;93;60;0;0;0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0;22;36;39;0;0;0;0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;44;31;0;0;0;0;0;0;0;0;0;0;13,0;4,0;0,0;0,0;0,0;0,0;0,0;0,0;2,0;0,1;0,0;0,0;0,0;0,0;0,0;0,0;0;0;0,0;0,0;0,0;0,0;0,0;0
23.01.24;11:08;6,1;4,5;6,3;5,8;-18,2;6,7;8,9;0,0;0,0;0,0;93;99;88;93;0;93;58;0;0;0;5,1;4,4;4,5;4,8;0,0;5,6;1,1;0,0;0,0;0,0;0,0;0,0;0,0;0,0;32;22;36;39;0;0;74;0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;44;31;0;0;0;0;0;0;0;0;0;0;10,0;4,0;0,0;0,0;7,1;3,9;0,0;0,0;2,0;0,1;0,0;0,0;0,0;0,0;0,0;0,0;723;735;3,8;3,2;4,3;3,9;21,4;41
23.01.24;11:09;6,1;4,5;6,3;5,9;-18,3;6,7;8,9;0,0;0,0;0,0;93;99;87;93;0;93;58;0;0;0;5,1;4,4;4,3;4,9;0,0;5,6;1,1;0,0;0,0;0,0;0,0;0,0;0,0;0,0;32;22;36;39;0;0;85;0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;44;31;0;0;0;0;0;0;0;0;0;0;10,0;4,0;0,0;0,0;7,1;3,9;0,0;0,0;2,0;0,1;0,0;0,0;0,0;0,0;0,0;0,0;764;736;5,5;3,2;6,0;3,9;21,4;41
23.01.24;11:10;6,1;4,5;6,3;5,9;-18,5;6,7;8,9;0,0;0,0;0,0;93;99;88;93;0;93;57;0;0;0;5,1;4,4;4,5;4,9;0,0;5,6;0,8;0,0;0,0;0,0;0,0;0,0;0,0;0,0;32;22;36;39;0;0;89;0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;44;31;0;0;0;0;0;0;0;0;0;0;10,0;4,0;0,0;0,0;7,1;3,9;0,0;0,0;2,1;0,1;0,0;0,0;0,0;0,0;0,0;0,0;749;736;4,7;3,2;5,7;3,9;21,4;41
23.01.24;11:11;6,1;4,5;6,3;5,9;-18,5;6,7;8,8;0,0;0,0;0,0;93;99;88;93;0;93;57;0;0;0;5,1;4,4;4,5;4,9;0,0;5,6;0,7;0,0;0,0;0,0;0,0;0,0;0,0;0,0;32;22;36;39;0;0;87;0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;44;31;0;0;0;0;0;0;0;0;0;0;10,0;4,0;0,0;0,0;7,1;3,9;0,0;0,0;2,0;0,1;0,0;0,0;0,0;0,0;0,0;0,0;749;736;4,7;3,2;5,7;3,9;21,4;41

That same phenomenon already occured with another user in the German Ecowitt forum.
MXdiags file attached

[mcrossley]

OK, the CO2 and CO2 avg not being logged, I see the problem and will fix it.

Ecowitt only send those two values for the CO2 Combo sensor in the historic data, there is no PM or T/H data.

Your historic data does contain PM 2.5 values for sensors 1 & 2, and they are correctly logged in the file as AirQuality1 and AirQuality2

Leaf wetness and extra T/H dew point is just MIA - I'll add them.

[Gyvate]

Ecowitt only send those two values for the CO2 Combo sensor in the historic data, there is no PM or T/H data.

I'd think it hasn't been requested

maybe the request is not complete as the PM25 and PM10 data plus the WH45 T/H data from the WH45 is in the ecowitt.net records
(see attachment) - also MIA ??
I can't see the following portions in the call return listed - only co2 and co2-24vag - json example below (values are examples from the API doc)
there is a direct jump from co2 24h avg to pm25_ch1, the WH41 in the returned data - the WH45 return (and probably the request) is incomplete
Even so, I would epect at least the CO2 and CO2 24h avg to be stored what isn't the case either.

Code: Select all

...leaf_ch1,leaf_ch2,leaf_ch3,leaf_ch4,leaf_ch5,leaf_ch6,leaf_ch7,leaf_ch8,indoor_co2,co2_aqi_combo,pm25_ch1,pm25_ch2,pm25_ch3,pm25_ch4&cycle_type=5min ....

"co2_aqi_combo": {
"co2": {
"unit": "ppm",
"list": {
"1647993600": "18976",
"1648008000": "18023",
"1648022400": "17493",
"1648080000": "19357",
"1648166400": "17463"
}
},
"24_hours_average": {
"unit": "ppm",
"list": {
"1647993600": "19637",
"1648008000": "19436",
"1648022400": "18043",
"1648080000": "20236",
"1648166400": "20165"
}
}
},
"pm25_aqi_combo": {
"pm25": {
"unit": "µg/m3",
"list": {
"1647993600": "516",
"1648008000": "519",
"1648022400": "490",
"1648080000": "485",
"1648166400": "506"
}
}
},
"pm10_aqi_combo": {
"pm10": {
"unit": "µg/m3",
"list": {
"1647993600": "456",
"1648008000": "465",
"1648022400": "550",
"1648080000": "464",
"1648166400": "511"
}
}
},
"pm1_aqi_combo": {
"pm1": {
"unit": "µg/m3",
"list": {
"1647993600": "513",
"1648008000": "515",
"1648022400": "486",
"1648080000": "485",
"1648166400": "490"
}
}
},
"pm4_aqi_combo": {
"pm4": {
"unit": "µg/m3",
"list": {
"1647993600": "476",
"1648008000": "486",
"1648022400": "476",
"1648080000": "485",
"1648166400": "482"
}
}
},
"t_rh_aqi_combo": {
"temperature": {
"unit": "ºF",
"list": {
"1647993600": "46.5",
"1648008000": "41.6",
"1648022400": "41.3",
"1648080000": "48.8",
"1648166400": "35.0"
}
},
"humidity": {
"unit": "%",
"list": {
"1647993600": "58",
"1648008000": "52",
"1648022400": "51",
"1648080000": "53",
"1648166400": "51"
}
}
},
"pm25_ch1": {
"pm25": {
"unit": "µg/m3",
"list": {
"1647993600": "553",
"1648008000": "514",
"1648022400": "511",
"1648080000": "539",
"1648166400": "480"
}
}
},
"pm25_ch2": {
"pm25": {
"unit": "µg/m3",
"list": {
"1647993600": "496",
"1648008000": "492",
"1648022400": "482",
"1648080000": "525",
"1648166400": "573"
}
}
},

[mcrossley]

MIA = missing in action

You're right they weren't being requested. part of the problem is that Ecowitt do not list all the valid call-backs, they just give a few examples, and you are left to figure out for yourself which sensors the values relate to, particularly the "combo" values.

I'm now adding 49 callback types, I just wish they gave you the option of "all", it would be so much easier.

[Gyvate]

MIA = missing in action

I figured that out
" - also MIA ??" was more of a rhethorical question ... wanting to say that they are also missing

I just wish they gave you the option of "all", it would be so much easier.

agreed

what happens if you simply request the full list even though only parts of the sensors are registered ?
An error message or just only all what's been stored ?

[mcrossley]

Thankfully it just sends the values for the sensors it has - hence I add all 49 options (just missing off the camera data as that is handled differently).

Stupidly with the "realtime" API call you can give the callback the value "all", but not the historic

[mcrossley]

Anyway, I think it is all sorted now, CO2 values, CO2 T/H, CO2 PM, and extra T/H sensor dewpoints all added.

[Gyvate]

- new build ? (or test build to verify ?)

[mcrossley]

I'll push it out untested in the next release - I wanted to get that out last weekend but have been too busy. If it works fine, if it still has issues then I'll create a further test release, nothing lost.

[Gyvate]

3.28.2 build 3279 tested - and now all WH45, WN35 etc. values are downloaded during the refill.

[mcrossley]

Great, thanks for confirming it works.