<div id="__MailbirdStyleContent" style="font-size: 10pt;font-family: Arial;color: #000000">
                                        
                                        
                                            
                                        
                                        
                                        Hmm... at the moment, it would be a new entry in the TestCase's history dict besides #passes, #failures, etc.:<div><br></div><div><img src="cid:4214abd8-a6ed-4a27-a244-747e6da16fb7" width="auto"></img></div><div><br></div><div>How to compute a reliable baseline? You know about SMark and BechmarkRunner?</div><div><a href="http://www.squeaksource.com/SMark.html">http://www.squeaksource.com/SMark.html</a></div><div><a href="http://www.hpi.uni-potsdam.de/hirschfeld/squeaksource/BenchmarkRunner.html">http://www.hpi.uni-potsdam.de/hirschfeld/squeaksource/BenchmarkRunner.html</a></div><div><br></div><div>A TestCase's history dict is the mechanism to store such kind of data, I suppose. Even though I am not sure why there are no TestResults kept in such a history record. Objects! :-D</div><div><br></div><div><span style="font-size: 10pt">Best,</span></div><div>Marcel<br><div><br></div><div><br></div></div><div class="mb_sig"></div>
                                        
                                        <blockquote class="history_container" type="cite" style="border-left-style: solid;border-width: 1px;margin-top: 20px;margin-left: 0px;padding-left: 10px;min-width: 500px">
                        <p style="color: #AAAAAA; margin-top: 10px;">Am 04.09.2019 00:45:22 schrieb Chris Muller <asqueaker@gmail.com>:</p><div style="font-family:Arial,Helvetica,sans-serif">
<meta http-equiv="Content-Type" content="text/html; charset=utf-8"><div dir="ltr">A great start to detecting "performance failures".  +1<div><br></div><div>Now imagine if we added a variable to TestCase, say, 'timings', a Dictionary of #testSelector -> lastRunDuration 's.  Then, any test more than ~10% off its baseline would raise an Error (or.. PerformanceFailure?, whatever).<div><br></div><div>There'd be a method, #resetBaselines to reset this Dictionary under the same condition that we re-ask for developer initials -- when image detects it has moved to a new location.  Since this this could mean possibly different hardware, new baselines would need established to avoid spurious failures.</div><div><br></div><div>From a UI perspective, access to #resetBaselines should be sufficient -- once all are addressed or "okay'ed", the #resetBaselines would allow new baselines to be captured on the next run...</div><div><div><br></div><div><div> - Chris</div><div><div><br></div><div><br></div></div></div></div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Sep 3, 2019 at 3:35 AM Marcel Taeumel <<a href="mailto:marcel.taeumel@hpi.de" target="_blank">marcel.taeumel@hpi.de</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin: 0px 0px 0px 0.8ex;border-left: 1px solid rgb(204,204,204);padding-left: 1ex;min-width: 500px"><div id="gmail-m_-4172279358252000528gmail-m_7945044487146074372__MailbirdStyleContent" style="font-size: 10pt;font-family: Arial;color: rgb(0,0,0)"><div>Can I merge the required changes into Trunk's SUnit package? :-) It's basically a few additions to TestResult and RestTunner.</div><div><br></div><img src="cid:16cf93c466fcb971f161" width="auto"></img><div class="gmail-m_-4172279358252000528gmail-m_7945044487146074372mb_sig"></div><div><br></div><div>Best,</div><div>Marcel</div></div><br>
</blockquote></div>
</div></blockquote></div>