github有一个Apple股价预测项目，https://github.com/Twabeeric/AAPLTextMining 

股评师分析报告是否会对股价产生影响，为此本文使用文本情感分析对股评师报告对文本数据进行了度量。

项目数据包括：

• Apple 2017-2018股价数据

• ThomsonOne网站Sherri Scribner（德意志银行股评师）对Apple公司周度研究报告（2017-2018），有65个docx文件

导入数据

我们需要按照日期，将报告与股价数据按照日期合并到一起， 我们先导入分析师报告，一共有65个docx文件

1. from io import StringIO

2. import pandas as pd

3. import datetime

4. import re

5. import docx

6. import os

7. 
   

8. 
   

9. 
   

10. def read_from_docx(file_path):

11. """

12. 读取docx文件，并返回其中的文本内容

13. :param file_path: docx文件路径

14. :return: docx中的文本内容

15. """

16. texts = ''

17. doc = docx.Document(file_path)

18. for para in doc.paragraphs:

19. texts += para.text

20. return texts

21. 
    

22. 
    

23. 
    

24. 


26. 
    

27. 
    

28. flist = [f for f in os.listdir('data/reports') if 'docx' in f]

29. Descriptions = [read_from_docx('data/reports/'+f) for f in flist]

30. Dates = [f[:8] for f in flist]

31. 
    

32. 
    

33. data1 = pd.DataFrame({'Date': Dates,

34. 'Descriptions': Descriptions})

35. 
    

36. 
    

37. data1.head()

将日期Date整理为datetime类型

1. data1['Date'] = pd.to_datetime(data1['Date'])

2. data1.sort_values('Date', inplace=True)

3. data1.head()

导入Apple公司股价数据

1. data2= pd.read_csv('data/AAPL.csv')

2. data2['Date'] = pd.to_datetime(data2['Date'])

3. data2.head()

将股价和分析师报告按照Date合并

1. df = pd.merge(data1, data2)

2. df.head()

文本情感计算

pysentiment库对金融文本数据进行情感计算。查了下该库的官方文档，发现该库提供了两大情感分析

• Harvard IV-4 英文通用情感分析，喜怒哀乐，主要是形容词情感词典

• Loughran&MCdonald 英文金融情感分析，金融领域特有的情感词典

该库的教程可见于 http://bit.ly/2LECfw5

使用pandas的apply批处理方法，可以批量对对某一列施行某种算法（计算函数）

1. from pysentiment import lm,hiv4

2. 
   

3. 
   

4. lm = lm.LM()

5. hiv4 = hiv4.HIV4()

6. 
   

7. 
   

8. def hiv4_positive(text):

9. words = hiv4.tokenize(text)

10. score = hiv4.get_score(words)

11. return score['Positive']

12. 
    

13. 
    

14. def hiv4_negative(text):

15. words = hiv4.tokenize(text)

16. score = hiv4.get_score(words)

17. return score['Negative']

18. 
    

19. 
    

20. def hiv4_polarity(text):

21. words = hiv4.tokenize(text)

22. score = hiv4.get_score(words)

23. return score['Polarity']

24. 
    

25. 
    

26. def hiv4_subjectivity(text):

27. words = hiv4.tokenize(text)

28. score = hiv4.get_score(words)

29. return score['Subjectivity']

30. 
    

31. 
    

32. def lm_positive(text):

33. words = lm.tokenize(text)

34. score = lm.get_score(words)

35. return score['Positive']

36. 
    

37. 
    

38. def lm_negative(text):

39. words = lm.tokenize(text)

40. score = lm.get_score(words)

41. return score['Negative']

42. 
    

43. 
    

44. def lm_polarity(text):

45. words = lm.tokenize(text)

46. score = lm.get_score(words)

47. return score['Polarity']

48. 
    

49. 
    

50. def lm_subjectivity(text):

51. words = lm.tokenize(text)

52. score = lm.get_score(words)

53. return score['Subjectivity']

54. 
    

55. 
    

56. 
    

57. df['hiv4_pos'] = df['Descriptions'].apply(hiv4_positive)

58. df['hiv4_neg'] = df['Descriptions'].apply(hiv4_negative)

59. df['hiv4_polarity'] = df['Descriptions'].apply(hiv4_polarity)

60. df['hiv4_subjectivity'] = df['Descriptions'].apply(hiv4_subjectivity)

61. 
    

62. 
    

63. df['lm_pos'] = df['Descriptions'].apply(lm_positive)

64. df['lm_neg'] = df['Descriptions'].apply(lm_negative)

65. df['lm_polarity'] = df['Descriptions'].apply(lm_polarity)

66. df['lm_subjectivity'] = df['Descriptions'].apply(lm_subjectivity)

67. 
    

68. 
    

69. df.head()

可视化

查看股价与报告的情感得分走势关系

1. import matplotlib.pyplot as plt

2. import seaborn as sns

3. 
   

4. f, axes = plt.subplots(nrows=2, ncols=1, figsize=(14, 6))

5. axes[0].set_title('Stock Price、HIV4_polarity & LM_polarity')

6. sns.lineplot(x="Date", y="Adj Close", data = df, label='Price', ax=axes[0]);

7. sns.lineplot(x="Date", y="hiv4_polarity", data = df, label='hiv4_polarity', ax=axes[1]);

8. sns.lineplot(x="Date", y="lm_polarity", data = df, label='lm_polarity', ax=axes[1]);

本文只是找了很少的数据，从图中走势看，LM金融情感极性得分（lm_polarity）与股价price走势更相似。说明对于苹果公司而言，通过对股评师有关苹果公司的报告进行文本情感计算，能够一定程度上预测股价走势。

近期文章