一、代价函数
代价函数的重要性和应用
代价函数（Cost Function）是机器学习中非常重要的一个概念。它在训练算法过程中起到了至关重要的作用。代价函数帮助我们衡量和评估我们的模型对于给定数据集的预测的准确性和性能。更进一步说，代价函数帮助我们找到最优的模型参数，以使得我们的预测结果与实际结果尽可能接近。
代价函数的应用非常广泛，特别是在监督学习中。它可以用于回归问题和分类问题。在回归问题中，我们的目标是预测连续的数值输出，如房价预测等。在分类问题中，我们的目标是将输入数据划分为不同的类别，如垃圾邮件过滤等。
代价函数的定义和形式
代价函数是一个数学函数，它衡量了我们模型预测结果与实际结果之间的差距。通过最小化代价函数的值，我们可以找到最优的模型参数。代价函数的形式取决于具体的问题和算法。
在回归问题中，常用的代价函数是均方误差（Mean Squared Error）。它计算了模型预测值与实际值之间的平方差并求平均。均方误差具有良好的数学性质，容易求导和优化。对于分类问题，常用的代价函数是交叉熵损失函数（Cross Entropy Loss）。它衡量了模型预测值与实际类别之间的差异性。
代价函数的优化
优化代价函数是机器学习算法中的关键步骤之一。我们的目标是找到最优的模型参数，使得代价函数的值最小化。为了实现这个目标，我们可以使用不同的优化算法和技术。
梯度下降（Gradient Descent）是一种常用的优化算法。它通过计算代价函数对模型参数的梯度来更新参数的值。梯度下降重复迭代更新参数，直到找到代价函数的局部最小值。另外，还有一些改进的梯度下降算法，如随机梯度下降（Stochastic Gradient Descent）和批量梯度下降（Batch Gradient Descent）。
代价函数的挑战与应对
在实际应用中，代价函数可能会面临一些挑战。其中一个挑战是过拟合（Overfitting）。过拟合指的是模型在训练集上表现很好，但在测试集或新数据上表现较差。为了应对过拟合问题，可以使用正则化技术，如L1正则化和L2正则化。
另一个挑战是欠拟合（Underfitting）。欠拟合指的是模型无法很好地拟合训练数据和实际数据。欠拟合问题可以通过增加模型复杂度或增加特征数量来解决。
代价函数对模型性能的影响
代价函数选择的好坏直接影响着模型的性能和训练结果。一个合适的代价函数应该能够准确衡量模型的预测性能，并且易于优化。
选择代价函数时需要综合考虑特定问题的特点和数据的分布。在不同的问题和算法中，选择不同的代价函数可能会得到更好的结果。事实上，代价函数的选择也是一种权衡和折中的过程。
小结
代价函数在机器学习中扮演着重要的角色，它帮助我们评估和优化模型的性能。通过选择合适的代价函数和优化算法，我们可以找到最优的模型参数，从而提高模型的准确性和泛化能力。
尽管代价函数的选择和优化并不是一件容易的事情，但它是机器学习中不可或缺的一部分。通过不断地学习和实践，我们可以更好地理解和应用代价函数，从而构建出更优秀的机器学习模型。
二、逻辑回归为什么使用对数损失函数？
两种方法都是常见的分类算法,从目标函数来看,区别在于逻辑回归采用的是logistical loss,svm采用的是hinge loss.这两个损失函数的目的都是增加对分类影响较大的数据点的权重,减少与分类关系较小的数据点的权重.SVM的处理方法是只考虑support vect。
三、逻辑回归算法？
逻辑回归其实是一个分类算法而不是回归算法。通常是利用已知的自变量来预测一个离散型因变量的值（像二进制值0/1，是/否，真/假）。简单来说，它就是通过拟合一个逻辑函数（logit fuction）来预测一个事件发生的概率。所以它预测的是一个概率值，自然，它的输出值应该在0到1之间。
假设你的一个朋友让你回答一道题。可能的结果只有两种：你答对了或没有答对。为了研究你最擅长的题目领域，你做了各种领域的题目。那么这个研究的结果可能是这样的：如果是一道十年级的三角函数题，你有70%的可能性能解出它。但如果是一道五年级的历史题，你会的概率可能只有30%。逻辑回归就是给你这样的概率结果。
逻辑回归的原理
Logistic Regression和Linear Regression的原理是相似的，可以简单的描述为这样的过程：
（1）找一个合适的预测函数（Andrew Ng的公开课中称为hypothesis），一般表示为h函数，该函数就是我们需要找的分类函数，它用来预测输入数据的判断结果。这个过程时非常关键的，需要对数据有一定的了解或分析，知道或者猜测预测函数的“大概”形式，比如是线性函数还是非线性函数。
（2）构造一个Cost函数（损失函数），该函数表示预测的输出（h）与训练数据类别（y）之间的偏差，可以是二者之间的差（h-y）或者是其他的形式。综合考虑所有训练数据的“损失”，将Cost求和或者求平均，记为J(θ)函数，表示所有训练数据预测值与实际类别的偏差。
（3）显然，J(θ)函数的值越小表示预测函数越准确（即h函数越准确），所以这一步需要做的是找到J(θ)函数的最小值。找函数的最小值有不同的方法，Logistic Regression实现时有的是梯度下降法（Gradient Descent）。
四、逻辑斯谛回归中似然函数的意义？
统计学中，似然函数是一种关于统计模型参数的函数。给定输出x时，关于参数θ的似然函数L(θ|x)（在数值上）等于给定参数θ后变量X的概率：
L(θ|x)=P(X=x|θ).
似然函数在推断统计学（Statistical inference）中扮演重要角色，尤其是在参数估计方法中。在教科书中，似然常常被用作“概率”的同义词。但是在统计学中，二者有截然不同的用法。概率描述了已知参数时的随机变量的输出结果；似然则用来描述已知随机变量输出结果时，未知参数的可能取值。例如，对于“一枚正反对称的硬币上抛十次”这种事件，我们可以问硬币落地时十次都是正面向上的“概率”是多少；而对于“一枚硬币上抛十次，落地都是正面向上”这种事件，我们则可以问，这枚硬币正反面对称的“似然”程度是多少。
五、分层回归是逻辑回归吗？
不属于逻辑回归。
不属于，逻辑回归属于概率型的非线性回归,分为二分类和多分类的回归模型。分层回归的理解 其实是对两个或多个回归模型进行比较。分组数据的逻辑回归模型也可以称为分层逻辑回归。
分层回归将核心研究的变量放在最后一步进入模型，以考察在排除了其他变量的贡献的情况下，该变量对回归方程的贡献。如果变量仍然有明显的贡献，那么就可以做出该变量确实具有其他变量所不能替代的独特作用的结论。这种方法主要用于，当自变量之间有较高的相关，其中一个自变量的独特贡献难以确定的情况。常用于中介作用或者调节作用研究中。
六、逻辑条件函数if？
IF函数的表达式为：
IF(logical_test,[value_if_true],[value_if_false])
logical_test为逻辑判断值
value_if_true判断结果为真时的返回值
value_if_false判断结果为假时的返回值
七、回归函数公式？
回归方程的公式：D=y1+y2+y3。回归方程是根据样本资料通过回归分析所得到的反映一个变量（因变量）对另一个或一组变量（自变量）的回归关系的数学表达式。回归直线方程用得比较多，可以用最小二乘法求回归直线方程中的a，b，从而得到回归直线方程。
方程（equation）是指含有未知数的等式。是表示两个数学式（如两个数、函数、量、运算）之间相等关系的一种等式，使等式成立的未知数的值称为“解”或“根”。求方程的解的过程称为“解方程”。
八、线性回归函数？
所谓线性回归模型就是指因变量和自变量之间的关系是直线型的。
回归分析预测法中最简单和最常用的是线性回归预测法。
回归分析是对客观事物数量依存关系的分析．是数理统计中的一个常用的方法．
是处理多个变量之间相互关系的一种数学方法．
九、什么叫逻辑回归数？
逻辑回归（Logistic Regression，也译作“对数几率回归”）是离散选择法模型之一，属于多重变量分析范畴，是社会学、生物统计学、临床、数量心理学、计量经济学、市场营销等统计实证分析的常用方法。
十、逻辑回归模型建模步骤？
1，构建所需的数据集，根据实验的窗口，构建逻辑回归数据结构，例如 用过去12个月数据 做购买率的模型训练，这部分包含训练数据集与测试数据集，
2.变量的转化与预处理。
其中去掉缺失值较多的变量，购买率分布较集中的变量，即购买概率的变化不随自变量变化而变化的变量，即数值集中程度较高的变量。与Y不相关的变量。
3.变量的删选（特征工程）（caret包）
将高维即数量太庞大的自变量群，降维致较少的变量组合，（例如降至80以下 或者20左右），这部分步骤主要来降维的同时，期望消去变量之间的共线性，相关性等因素
4.模型的构建（glm 包/step() )
根据实际商业的目的，挑选第三步后剩下的变量，并调参，找到是整个系统平滑稳定的变量组合，例如10个变量，其中每个变量权重期望分布均匀，且满足模型其他各项基本指标，如C值 AUC等。
5.模型的评估 与描述
将构建完成的模型，将所有客户的购买率给出，并从高到低排序，总人群均分为10类 。输出模型结果 其中理想效果是 ：购买率高的客户群为总体平均购买率人群的两倍既两倍以上，即高的购买率是总体平均购买率的两倍。