Comparing the Selected Transfer Functions and Local Optimization Methods for Neural Network Flood Runoff Forecast

Table 1

The implemented transfer functions [15]; 𝑎 is the neuron’s activation, 𝑦 is the neuron output.

Function name	Transfer function	Derivatives of transfer function
Logistic sigmoid (LSi)	1𝑦(𝑎)=1+exp(−𝑎)	𝑦^′(𝑎)=𝑦(𝑎)(1−𝑦(𝑎))
Hyperbolic tangent (HT)	𝑦(𝑎)=tanℎ(𝑎)	𝑦^′(𝑎)=1−𝑦(𝑎)^2
Linear function (LF)	𝑦(𝑎)=𝑎	𝑦^′(𝑎)=1
Gaussian function (GF)	𝑦(𝑎)=exp(−𝑎^2)	𝑦^′(𝑎)=−0.5𝑦(𝑎)𝑎
Inverse abs (IA)	𝑎𝑦(𝑎)=1+|𝑎|	𝑦^′1(𝑎)=(1+|𝑎|)^2
LogLog (LL)	𝑦(𝑎)=exp(−exp(−𝑎))	𝑦^′(𝑎)=exp(−𝑎)𝑦(𝑎)
ClogLog (CL)	𝑦(𝑎)=1−exp(−exp(𝑎))	𝑦^′(𝑎)=(1−𝑦(𝑎))exp(𝑎)
ClogLogm (CLm)	𝑦(𝑎)=1−2exp(−0.7exp(𝑎))	𝑦^′(𝑎)=1.4exp(𝑎)exp(−0.7exp(𝑎))
RootSig (RS)	𝑎𝑦(𝑎)=1+√1+𝑎^2	𝑦^′1(𝑎)=1+√1+𝑎^2√1+𝑎^2
LogSig (LS)	1𝑦(𝑎)=1+exp(−𝑎)^2	𝑦^′(𝑎)=2exp(−𝑎)1+exp(−𝑎)^3
Sech (SF)	2𝑦(𝑎)=exp(𝑎)+exp(−𝑎)	𝑦^′(𝑎)=−𝑦(𝑎)tanℎ(𝑎)
Wave (WF)	𝑦(𝑎)=(1−𝑎^2)exp(−𝑎^2)	𝑦^′(𝑎)=2𝑎exp(−𝑎^2)(−2+𝑎^2)