『壹』 python lda 主題模型 需要使用什麼包
python lda 主題模型 需要使用什麼包
數據結構是程序構成的重要部分，鏈表、樹、圖這些在用C 編程時需要仔細表達的問題在Python 中簡單了很多。在Python 中，最基本的數據結構就是數組、序列和哈希表，用它們想要表達各種常見的數據結構是非常容易的。沒了定義指針、分配內存的任務，編程變得有趣了。CORBA 是一種高級的軟體體系結構，它是語言無關平台無關的。C++、Java 等語言都有CORBA 綁定，但與它們相比，Python 的 CORBA 綁定卻容易很多，因為在程序員看來，一個 CORBA 的類和 Python 的類用起來以及實現起來並沒有什麼差別。
『貳』 請問那位高人有關於人臉識別lda演算法的實例，帶圖片庫最好，謝謝
原代碼可以在這里下載。論文原作者David Blei用C寫的。
lda-c.tgz載下來解壓，用make編譯，生成lda可執行程序。
lda est [initial alpha] [k] [settings] [data] [random/seeded/*] [directory]
lda inf [settings] [model] [data] [name]
第一個命令是模型生成的部分。est就是estimate
第二個命令是推理部分。inf就是inference
主函數在lda-estimate.c里。
readme.txt里的模型描述：
LDA is a hierarchical probabilistic model of documents. Let \alpha be a scalar and \beta_{1:K} be K distributions of words (called "topics"). As implemented here, a K topic LDA model assumes the following generative process of an N word document:
1. \theta | \alpha ~ Dirichlet(\alpha, ..., \alpha)
2. for each word n = {1, ..., N}:
a. Z_n | \theta ~ Mult(\theta)
b. W_n | z_n, \beta ~ Mult(\beta_{z_n})
This code implements variational inference of \theta and z_{1:N} for a document, and estimation of the topics \beta_{1:K} and Dirichlet parameter \alpha.
從前面一篇文章可知K是一個選取的參數表示topic的個數(在代碼里用變數NTOPICS表示)，\alpha是Dirichlet分布的參數，本來是一個k維向量，但是這里把它定義為標量，用一個值表示。在lda est命令里會給出一個初始的\alpha值，程序會根據訓練數據求出最終的\alpha和\beta值，\beta值在上一篇文章中已經解釋: β是一個k*V的矩陣。k就是主題個數，V是詞語個數。計算模型實際上就是估算α和β的值。
lda est另外幾個參數的解釋。
setting: 配置文件，格式如下：
var max iter [integer e.g., 10 or -1]
var convergence [float e.g., 1e-8]
em max iter [integer e.g., 100]
em convergence [float e.g., 1e-5]
alpha [fit/estimate]
var max iter: 對於每一個文檔的最大迭代次數，－1就是不限制，用收斂准則去判斷是否停止迭代。
var convergence: 參數估計的收斂准則，當(score_old - score) / abs(score_old)小於設定值(或者迭代次數達到最大值)時，停止迭代
em max iter: EM最大迭代次數
em convergence: EM收斂准則
alpha: fit表示迭代過程中\alpha值保持不變，estimate表示\alpha值也會計算
data: 數據文件(數據格式在後面講到)
random/seeded/*: 模型初始化參數，就是\beta矩陣的初始化。random就是用隨機變數初始化，seeded就是隨機抽取一個文檔用平滑方法得到。＊表示從已有的模型里載入。代碼里涉及到一個概念：sufficient statistics(充分統計量)，用結構體lda_suffstats存儲，裡面有一個k*V的二維數組class_word，不知道跟lda_model結構里的log_prob_w(也是k*V的二維數組)是什麼關系。此處存疑。
directory: 輸出目錄
這里 有一個簡單的語料庫。載下來解壓到lda程序所在目錄。
然後運行如下命令
./lda 1 10 settings.txt ap/ap.dat random output
大概跑10來分鍾
『叄』 怎樣實現對短文本的主題分析python3實現
看這個題目很有興趣，說兩句mark一下學習。
人在閱讀時，不一定預設一個或者幾個主題，而是根據詞語涉及的場景或者類別逐步進入作者的思路，可能最後一句才發現那隻是一段笑話。
LDA的不足我覺得主要有兩個，一個是主題桶的數量，一個是詞語無序的統計。
改進的思路，一個是把主題桶換成詞典，就是把每個詞可能的場景或者類別抽取出來分析，發散思維而不是在主題桶里選擇。比如：蘋果、價格、喬布斯。蘋果可能的類別有水果、農業、經濟、手機等，與後面的詞語類別的重疊和統計，形成主題的神經網路，以後通過AI完善詞典不斷提高分析效果。
一個是增加對文本順序的考慮，對劇情內容進行捕捉，通過對前後主題和場景的變化，達到分析劇情的目的。
只是一個思路，僅供參考。
『肆』 Python中用LDA計算困惑度時出現代碼錯誤，這行代碼表示模型文件名的迭代公式
LDA主題模型的評價指標是困惑度，困惑度越小，模型越好。
所以，可以跑一組實驗，看不同迭代次數對應的困惑度是多少，畫一條曲線，最小困惑度對應的迭代次數即為最佳次數。
迭代次數太少，會導致模型尚未收斂，迭代次數太多，又會浪費計算資源。
『伍』 python中的lda包怎麼用
安裝
$ pip install lda --user
示例
from __future__ import division, print_function
import numpy as np
import lda
import lda.datasets
# document-term matrix
X = lda.datasets.load_reuters()
print("type(X): {}".format(type(X)))
print("shape: {}\n".format(X.shape))
print(X[:5, :5])
'''輸出：
type(X): <type 'numpy.ndarray'>
shape: (395L, 4258L)
[[ 1 0 1 0 0]
[ 7 0 2 0 0]
[ 0 0 0 1 10]
[ 6 0 1 0 0]
[ 0 0 0 2 14]]
'''
『陸』 python如何根據csv中一列的內容對另一列進行寫入
"""
請參考
python列表切片讀取csv數據計算導購客單價.py
題目來源https://github.com/FGFW/FCNNIC
依山居19:442015/11/22
計算公式為:
導購日客單價=導購日成交金額/日客單數
每個相同的單據編號為1單,也就是去重後得到該導購的日客單數
導購日成交金額=導購完成的日所有單總和，也可以小計中倒數第二列直接提取
要求：計算出CSV表格中每位導購每天的客單價.
總結:這個版本要計算多個日期，邏輯復雜度多了一層，
忍不住寫很了很多列表解析過濾,代碼行數少，但是可讀性和維護性應該差。
"""
withopen("2014.08.01-2014.09.30零售數據.csv")asf:
txt=[r.rstrip(" ").split(",")forrinf.readlines()]
dg={r[0]forrintxtif(r[0]!='')and("普通零售"inr[5])}
dg=sorted(dg)
fordindg:
date={r[1]forrintxtif(dinr[0])and("-"inr[1])}
date=sorted(date)
fortindate:
導購成交金額=sum([float(s[-3])forsintxtif(dins[0]and(tins[1])ands[-3]!='')])
日單數=len({s[2]forsintxtif(dins[0]and(tins[1])ands[-3])})
導購客單價=導購成交金額/日單數
print(d,"%s成交額:%4.2f客單價:%2.2f日單數:%2d"%(t,導購成交金額,導購客單價,日單數))
try:
input("按回車退出")
exceptSyntaxError:
pass
"""
輸出：
...
顧意珍2014-09-13成交額:539.00客單價:26.95日單數:20
顧意珍2014-09-14成交額:397.00客單價:22.06日單數:18
黎麗群2014-08-15成交額:489.00客單價:19.56日單數:25
...
"""
『柒』 python lda 粘貼代碼後出現這樣的問題，求救
好好看代碼，不要沾別人的，一般網上的代碼只是重點代碼，不是完整代碼
『捌』 LDA主題模型，有人用過JGibbLDA這個lda實現么
有很多啊,python裡面都有標準的庫了,其實有了JGibbsLDA也就夠了,想要其他語言的版本,自己改寫一個吧
『玖』 Python LDA降維中不能輸出指定維度（n_components）的新數據集
LDA降維後的維度區間在[1,C-1]，C為特徵空間的維度，與原始特徵數n無關，對於二值分類，最多投影到1維，所以我估計你是因為這是個二分類問題，所以只能降到一維。
『拾』 Python語言下的機器學習庫
Python語言下的機器學習庫
Python是最好的編程語言之一，在科學計算中用途廣泛：計算機視覺、人工智慧、數學、天文等。它同樣適用於機器學習也是意料之中的事。當然，它也有些缺點；其中一個是工具和庫過於分散。如果你是擁有unix思維（unix-minded）的人，你會覺得每個工具只做一件事並且把它做好是非常方便的。但是你也需要知道不同庫和工具的優缺點，這樣在構建系統時才能做出合理的決策。工具本身不能改善系統或產品，但是使用正確的工具，我們可以工作得更高效，生產率更高。因此了解正確的工具，對你的工作領域是非常重要的。
這篇文章的目的就是列舉並描述Python可用的最有用的機器學習工具和庫。這個列表中，我們不要求這些庫是用Python寫的，只要有Python介面就夠了。我們在最後也有一小節關於深度學習（Deep Learning）的內容，因為它最近也吸引了相當多的關注。
我們的目的不是列出Python中所有機器學習庫（搜索「機器學習」時Python包索引(PyPI)返回了139個結果），而是列出我們所知的有用並且維護良好的那些。另外，盡管有些模塊可以用於多種機器學習任務，我們只列出主要焦點在機器學習的庫。比如，雖然Scipy包含一些聚類演算法，但是它的主焦點不是機器學習而是全面的科學計算工具集。因此我們排除了Scipy（盡管我們也使用它！）。
另一個需要提到的是，我們同樣會根據與其他科學計算庫的集成效果來評估這些庫，因為機器學習（有監督的或者無監督的）也是數據處理系統的一部分。如果你使用的庫與數據處理系統其他的庫不相配，你就要花大量時間創建不同庫之間的中間層。在工具集中有個很棒的庫很重要，但這個庫能與其他庫良好集成也同樣重要。
如果你擅長其他語言，但也想使用Python包，我們也簡單地描述如何與Python進行集成來使用這篇文章列出的庫。
Scikit-LearnScikit Learn是我們在CB Insights選用的機器學習工具。我們用它進行分類、特徵選擇、特徵提取和聚集。我們最愛的一點是它擁有易用的一致性API，並提供了很多開箱可用的求值、診斷和交叉驗證方法（是不是聽起來很熟悉？Python也提供了「電池已備(譯註：指開箱可用)」的方法）。錦上添花的是它底層使用Scipy數據結構，與Python中其餘使用Scipy、Numpy、Pandas和Matplotlib進行科學計算的部分適應地很好。因此，如果你想可視化分類器的性能（比如，使用精確率與反饋率(precision-recall)圖表，或者接收者操作特徵(Receiver Operating Characteristics，ROC)曲線），Matplotlib可以幫助進行快速可視化。考慮到花在清理和構造數據的時間，使用這個庫會非常方便，因為它可以緊密集成到其他科學計算包上。
另外，它還包含有限的自然語言處理特徵提取能力，以及詞袋（bag of words）、tfidf（Term Frequency Inverse Document Frequency演算法）、預處理（停用詞/stop-words，自定義預處理，分析器）。此外，如果你想快速對小數據集（toy dataset）進行不同基準測試的話，它自帶的數據集模塊提供了常見和有用的數據集。你還可以根據這些數據集創建自己的小數據集，這樣在將模型應用到真實世界中之前，你可以按照自己的目的來檢驗模型是否符合期望。對參數最優化和參數調整，它也提供了網格搜索和隨機搜索。如果沒有強大的社區支持，或者維護得不好，這些特性都不可能實現。我們期盼它的第一個穩定發布版。
StatsmodelsStatsmodels是另一個聚焦在統計模型上的強大的庫，主要用於預測性和探索性分析。如果你想擬合線性模型、進行統計分析，或者預測性建模，那麼Statsmodels非常適合。它提供的統計測試相當全面，覆蓋了大部分情況的驗證任務。如果你是R或者S的用戶，它也提供了某些統計模型的R語法。它的模型同時也接受Numpy數組和Pandas數據幀，讓中間數據結構成為過去！
PyMCPyMC是做貝葉斯曲線的工具。它包含貝葉斯模型、統計分布和模型收斂的診斷工具，也包含一些層次模型。如果想進行貝葉斯分析，你應該看看。
ShogunShogun是個聚焦在支持向量機（Support Vector Machines, SVM）上的機器學習工具箱，用C++編寫。它正處於積極開發和維護中，提供了Python介面，也是文檔化最好的介面。但是，相對於Scikit-learn，我們發現它的API比較難用。而且，也沒提供很多開箱可用的診斷和求值演算法。但是，速度是個很大的優勢。
GensimGensim被定義為「人們的主題建模工具（topic modeling for humans）」。它的主頁上描述，其焦點是狄利克雷劃分（Latent Dirichlet Allocation， LDA）及變體。不同於其他包，它支持自然語言處理，能將NLP和其他機器學習演算法更容易組合在一起。如果你的領域在NLP，並想進行聚集和基本的分類，你可以看看。目前，它們引入了Google的基於遞歸神經網路（Recurrent Neural Network）的文本表示法word2vec。這個庫只使用Python編寫。
OrangeOrange是這篇文章列舉的所有庫中唯一帶有圖形用戶界面（Graphical User Interface，GUI）的。對分類、聚集和特徵選擇方法而言，它是相當全面的，還有些交叉驗證的方法。在某些方面比Scikit-learn還要好（分類方法、一些預處理能力），但與其他科學計算系統（Numpy, Scipy, Matplotlib, Pandas）的適配上比不上Scikit-learn。但是，包含GUI是個很重要的優勢。你可以可視化交叉驗證的結果、模型和特徵選擇方法（某些功能需要安裝Graphviz）。對大多數演算法，Orange都有自己的數據結構，所以你需要將數據包裝成Orange兼容的數據結構，這使得其學習曲線更陡。
PyMVPAPyMVPA是另一個統計學習庫，API上與Scikit-learn很像。包含交叉驗證和診斷工具，但是沒有Scikit-learn全面。
深度學習盡管深度學習是機器學習的一個子節，我們在這里創建單獨一節的原因是，它最新吸引了Google和Facebook人才招聘部門的很多注意。
TheanoTheano是最成熟的深度學習庫。它提供了不錯的數據結構（張量，tensor）來表示神經網路的層，對線性代數來說很高效，與Numpy的數組類似。需要注意的是，它的API可能不是很直觀，用戶的學習曲線會很高。有很多基於Theano的庫都在利用其數據結構。它同時支持開箱可用的GPU編程。
PyLearn2還有另外一個基於Theano的庫，PyLearn2，它給Theano引入了模塊化和可配置性，你可以通過不同的配置文件來創建神經網路，這樣嘗試不同的參數會更容易。可以說，如果分離神經網路的參數和屬性到配置文件，它的模塊化能力更強大。
DecafDecaf是最近由UC Berkeley發布的深度學習庫，在Imagenet分類挑戰中測試發現，其神經網路實現是很先進的（state of art）。
Nolearn如果你想在深度學習中也能使用優秀的Scikit-learn庫API，封裝了Decaf的Nolearn會讓你能夠更輕松地使用它。它是對Decaf的包裝，與Scikit-learn兼容（大部分），使得Decaf更不可思議。
OverFeatOverFeat是最近貓vs.狗（kaggle挑戰）的勝利者，它使用C++編寫，也包含一個Python包裝器（還有Matlab和Lua）。通過Torch庫使用GPU，所以速度很快。也贏得了ImageNet分類的檢測和本地化挑戰。如果你的領域是計算機視覺，你可能需要看看。
HebelHebel是另一個帶有GPU支持的神經網路庫，開箱可用。你可以通過YAML文件（與Pylearn2類似）決定神經網路的屬性，提供了將神級網路和代碼友好分離的方式，可以快速地運行模型。由於開發不久，就深度和廣度上說，文檔很匱乏。就神經網路模型來說，也是有局限的，因為只支持一種神經網路模型（正向反饋，feed-forward）。但是，它是用純Python編寫，將會是很友好的庫，因為包含很多實用函數，比如調度器和監視器，其他庫中我們並沒有發現這些功能。
NeurolabNeuroLab是另一個API友好（與Matlabapi類似）的神經網路庫。與其他庫不同，它包含遞歸神經網路（Recurrent Neural Network，RNN）實現的不同變體。如果你想使用RNN，這個庫是同類API中最好的選擇之一。
與其他語言集成你不了解Python但是很擅長其他語言？不要絕望！Python（還有其他）的一個強項就是它是一個完美的膠水語言，你可以使用自己常用的編程語言，通過Python來訪問這些庫。以下適合各種編程語言的包可以用於將其他語言與Python組合到一起：R -> RPythonMatlab -> matpythonJava -> JythonLua -> Lunatic PythonJulia -> PyCall.jl
不活躍的庫這些庫超過一年沒有發布任何更新，我們列出是因為你有可能會有用，但是這些庫不太可能會進行BUG修復，特別是未來進行增強。MDPMlPyFFnetPyBrain如果我們遺漏了你最愛的Python機器學習包，通過評論讓我們知道。我們很樂意將其添加到文章中。