<div dir="ltr">A great start to detecting "performance failures".  +1<div><br></div><div>Now imagine if we added a variable to TestCase, say, 'timings', a Dictionary of #testSelector -> lastRunDuration 's.  Then, any test more than ~10% off its baseline would raise an Error (or.. PerformanceFailure?, whatever).<div><br></div><div>There'd be a method, #resetBaselines to reset this Dictionary under the same condition that we re-ask for developer initials -- when image detects it has moved to a new location.  Since this this could mean possibly different hardware, new baselines would need established to avoid spurious failures.</div><div><br></div><div>From a UI perspective, access to #resetBaselines should be sufficient -- once all are addressed or "okay'ed", the #resetBaselines would allow new baselines to be captured on the next run...</div><div><div><br></div><div><div> - Chris</div><div><div><br></div><div><br></div></div></div></div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Sep 3, 2019 at 3:35 AM Marcel Taeumel <<a href="mailto:marcel.taeumel@hpi.de" target="_blank">marcel.taeumel@hpi.de</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div id="gmail-m_-4172279358252000528gmail-m_7945044487146074372__MailbirdStyleContent" style="font-size:10pt;font-family:Arial;color:rgb(0,0,0)"><div>Can I merge the required changes into Trunk's SUnit package? :-) It's basically a few additions to TestResult and RestTunner.</div><div><br></div><img src="cid:16cf93c466fcb971f161" width="auto"><div class="gmail-m_-4172279358252000528gmail-m_7945044487146074372mb_sig"></div><div><br></div><div>Best,</div><div>Marcel</div></div><br>
</blockquote></div>